とらりもん - MODISデータのダウンロード Diff
- Added parts are displayed like this.
- Deleted parts are displayed
like this.
!更新履歴
* 2015/08/07 筑波大学 奈佐原顕郎 加筆, 修正
* 2014/12/11 筑波大学 秋津朋子 加筆, 修正
* 2011/12/01 筑波大学 田中健太郎 加筆, 修正
* 2011/10/27 筑波大学 田中健太郎
* 2008/08/01 筑波大学 小�肪厦�
* 2008/06/27 筑波大学 小�肪厦�
* 2008/06/18 筑波大学 小�肪厦�
!MODISデータのダウンロード
!!ショートカット
$ wget -c http://e4ftl01.cr.usgs.gov/MOTA/MCD43A4.005/2013.08.29/MCD43A4.A2013241.h31v09.005.2013267122653.hdf
$ name=*****
$ passwd=******
$ wget --http-user="$name" --http-password="$passwd" https://e4ftl01.cr.usgs.gov/MOLT/MOD13C2.006/2016.01.01/MOD13C2.A2016001.006.2016035120438.hdf
!!データのダウンロードの前に
!!!!!低次プロダクトと高次プロダクト
衛星データは、一般的に低次プロダクトと高次プロダクトに分類される。低次プロダクトであるほど、補正などの処理が行われておらず、観測時にオリジナルデータに近い。一方で高次プロダクトは、様々な処理が行われたデータであり、一般ユーザにとって使いやすい形に加工されている。しかしながら、処理アルゴリズムの良し悪しによって、データの品質が左右されるという欠点を持つ。
高次プロダクトの例 大気補正後地表面反射率 (MOD09)、地表面温度 (MOD11)
低次プロダクトの例 放射量補正後地表面反射率 (MOD02)など
!!MODISデータダウンロードサイト: 千葉大・市井先生
* [[ftp://modis.cr.chiba-u.ac.jp/ichii/DATA/MODIS/]]
* [[ftp://modis.cr.chiba-u.ac.jp/ichii/DATA/MODIS/GLOBAL/tmp/MCD43A4.006/org/]]
!!MODISデータダウンロードサイト: Reverb
*[[ECHO's Reverb|http://reverb.echo.nasa.gov/reverb/]]
{{attach_view(reverb.png)}}
また低次プロダクトについては、下記のLAADSと呼ばれるサイトでも可能である。
ユーザー登録は不要であるが、メールアドレスの入力が求められる。
*[[Level 1 and Atomosphere Archive and Distribution System (通称LAADS)|http://ladsweb.nascom.nasa.gov/]]
特徴として、過去の注文履歴が残るために再注文も可能。またftpサイトからデータをダウンロードすることも可能である。
!!MODISデータの注文
衛星データを扱う際には、以下の点に注意して欲しい。
*プロダクトID (どんなプロダクトで、既にどんな処理がされているか?)
*撮影範囲 (どこの場所の画像か?)
*撮影日時 (何年何月何日のどの時間帯に撮られたデータか?)
*空間解像度 (どのくらい細かいデータか?)
*ファイル形式
上記を踏まえて、実際にMODISデータを注文してみよう。
ここでは、Reverbからデータをダウンロードする方法を紹介する。
まず下記のサイトへアクセス。
*[[ECHO's Reverb|http://reverb.echo.nasa.gov/reverb/]]
!!!!!1. Step1 の"Search Criteria" に検索条件を入力する。
{{attach_view(Modis1.png)}}
*対象地域
画面中央上部にある "Spatial Search" により、対象地域を指定する。
方法は4種類ある。
Bounding Box
Point
Polygon
2D coordinate
今回は、Point を選択し、検索欄に以下を入力。※クリックして場所を指定しても良い。
36.112, 140.102
上記は、筑波大学生物農林学系棟付近の緯度経度である。
*プロダクト名など
"Search Terms" に、欲しい衛星画像のプロダクト名などを入力する。
ex)
MOD09GQ
*対象期間
Temporal Search に欲しい衛星画像の期間を入力する。
ex)
START
2011-11-21 00:00:00
END
2011-11-30 23:59:59
!!!!!2. Step1の検索結果がstep2に表示されるので、欲しいデータセットを選択する。
今回は下記を使用する。
MODIS/Terra Surface Reflectance Daily L2G Global 250m SIN Grid V005
!!!!!3. Step2で選択したデータセットを確認し、"Search for Granules" をクリック。("Search for Granules by ID"も選択できるが、上級者向け)
しばらくすると、ポップアップウィンドウが表示されるので、"Accept" をクリック。
!!!!!4. 詳細な検索結果が表示されるので、注文したいシーンを選択(カートのロゴをクリックすると、注文できる。)。まとめて注文したい場合は、"All on Page" のカートボタンをクリック。
!!!!!5. "View Item in Cart" をクリック。
{{attach_view(Modis3.png)}}
!!!!!6. 注文データの一覧が表示されるので、面倒だがもう一度必要シーンを選択する。
!!!!!7. "Order Selected" をクリックし、注文する。
{{attach_view(Modis4.png)}}
!!!!!8. ユーザー登録を求められるので、入力する。入力後、"Proceed"をクリック。
{{attach_view(Modis5.png)}}
!!!!!9. オーダーオプションを指定する。
どれか一つのデータを選択し、"set" をクリックする。すると、ポップアップウィンドウが表示されるので、
"Use these values for all applicable order items"
にチェックを入れる。
!!!!!10. "Proceed" をクリックすると確認画面が表示されるので、"Submit order" をクリックし、注文を確定する。
以上で注文は完了である。しばらくすると(データ量によっては、数日かかる。)、登録したメールが2通届く。
1通目は、注文の確認なので無視して構わない (タイトル: Reverb Order Confirmation - ID:xxxxxxxxxxx)。2通目には、httpサーバーのURLが記載されたメールが届く (LPDAAC ECS Order Notification Order ID:xxxxxxxxx)。
後は、メールに記載されたHTTPサーバーのURLを元に、wget等のコマンドを用いて衛星画像をダウンロードすればよい。
ex) xxxxxxは、送られてきたHTTPサーバーのURLに合わせて変更する。
wget -c http://e4ftl01.cr.usgs.gov/PullDir/xxxxxxxxx/*.hdf*
----
----
----
----
----
!以下 過去の記事
!!MODISデータの注文
EOSのトップページから『Enter as registered user』をクリックし、user IDとパスワードを入力してログインする。『Choose Data Sets』の『Land』にある『MODIS/Aqua』，『MODIS/Terra』の必要な方をクリックすると、上方のウィンドウにプロダクトが表示されるので、必要なプロダクトを選択する。
次に、『Choose Search Area』に必要な位置の緯度・経度を入力する。位置情報はある程度の範囲を検索する場合は『Type in Lat/Lon Range』を、特定の位置地点を検索する場合は『Type in Lat/Lon Point』を用いると良い。
さらに『Choose a Date/Time Range (not required)』に検索したい期間を入力する。
入力しなくても検索は出来るが、時間がかかるので入力することを推奨する。『Start』に検索対象期間の始まりを、『End』に終わりを入力する。日付や時間の入力フォーマットは日付の場合 YYYY-MM-DD (ex. 1967-05-25) or MM/DD/YYYY (ex.05/25/1967)で、時間の場合 HH:MM (ex. 14:30) or HH:MM:SS (ex. 14:30:01)である。
最後に、『Choose Additional Options (not required)』の『Return a maximum of 100 data granules per data set (Range: 1 - 1000).』の100を1000にすることを推奨する。 (利用するデータ数が少なければ不要。)
必要な情報を入力したら、下部の『Start Search』をクリックするとデータの検索が始まる。しばらくすると検索結果が表示される。
必要なデータのチェックボックスにチェックを入れる。全てのデータが必要な場合は、『All』ボタンをクリックすると良い。必要なデータを選択したら、『Add selections to cart』をクリックすると、『Shopping Cart: Data Quality Summary』というページになります(最初だけなる、2週間くらいするとまた聞かれる？)。恐らく、データに問題があっても責任は負いませんというようなことが書かれているだけなので、『Accept - Continue to Shopping Cart』をクリックする。すると、『Shopping Cart: Step 1: Choose Ordering Options』というページに移動する。『Order Options』の『Choose Options』をクリックし、移動したページの『FtpPull』を選択し、『Ok! Accept my choice & return to the shopping cart!』をクリックする。(この際、データの入手法は各検索毎の設定であるため、数回に分けて検索してCartにデータを入れている場合注意が必要!!)その後、『Go to Step2：Order Form』をクリックし、移動したページの『Submit Order Now!』をクリックし、しばらくすると注文が完了する。登録されているメールアドレス宛に注文を受け付けたというメールが来ます。これで注文は完了です。
EOSは前回検索したパラメータが一定期間残りますので、少し違う条件で探す場合は便利です。
経験的に注文ファイル数が200個を越えると準備が出来るまでに1週間以上かかります。200個以内に抑えれば1〜3日程度でダウンロード出来るので、細かく注文した方が良いと思います。(EOSの状況に左右されます。)
!!!LAADS編
''EOSと大きな差はありませんので、簡単に書きます。''
LAADSのトップページのDataをクリック、次のページのSearchをクリック。必要な衛星センサー、プロダクト、期間、位置を入力し、欲しいデータを検索し、検索結果をCartに入れ、注文を確定します。（このあたりはネットショッピングと同じ感覚です。）
最後の方でe-mailアドレスを入力して、注文をすると、そのアドレスに注文確認のメールが来ます。状況によってはすぐにダウンロードができますが、大抵の場合何日後かにダウンロードの準備が出来ましたというメールが来ます。
LAADSでは前回検索したパラメータが残りません。残したい場合はパラメータを入力するページの『Saved Parameters Selection』で保存すると、search.htmlというファイルが作成されるので、そのファイルを適当に保存しておいて、読み出せば同じパラメータで検索することが出来ます。
LAADSはデータが準備されるのが早いので、たいてい次の日にはメールが来ます。
1回の注文データ数はEOSよりも多くても問題と思います。
以前はたまにLAADSのサーバーが落ちていたが、最近は改善されたようです。
----
!!衛星データのダウンロード方法
*EOS編
データが準備が完了すると、EOSから『LPDAAC ECS Order Notification Order ID: ??????????』というタイトルのメールが来ます。このメールを以下のシェルスクリプトに詠み込ませてください。（小�砲�sshでログインしてダウンロードすることが多いので、メールの本文をコピペして、テキストファイルにしています。）
#!/bin/sh
# EDC_get.sh
# making shell-script for download from EDC and run it
# 2004_1014 K. Nishida make
# 2006_0525 T. Koyanagi improve
# 2014_1211 T. Akitsu improve
# usage: $ EDC_get.sh < ECS_Notification_mail
cat | sort > dummy
ID=`cat dummy | grep ORDERID | awk '{print $2}'`
out=wget_${ID}.sh
HOST=`cat dummy | grep HOST: | sed 's/HOST: /http:\/\//'`
DIR=`cat dummy | grep DIR: | sed 's/DIR: //'`
cat dummy | grep FILENAME | grep -v met | grep -v xml | sed 's/ FILENAME: //'|awk -v host=$HOST -v dir=$DIR '{print "wget -c "host"/"dir"/"$1}' > $out
rm dummy
echo $out
chmod +x $out
./$out
このシェルスクリプトは
$ ./EDC_get.sh <EOSからのメール
とするとシェルスクリプトを実行したディレクトリにデータがダウンロードされます。
''注）OSによって改行コードが違うため、UNIX以外では利用できない可能性があります。''
EOSのメール受信から1週間後にはftpサイトからデータが消去されるので、早めにダウンロードしましょう。
*LAADS編
データが準備が完了すると、LAADSから『LAADS Web Order Notification』というタイトルのメールが来ます。メールにftpでデータをダウンロードする方法が記載されていますので、ftpでダウンロードする方はその通りにして下さい。wgetでダウンロードする場合は、
$ wget -r -c -t 0 -T 10 -l1 -R "index*" --no-check-certificate http://ladsweb.nascom.nasa.gov/orders/?????????/
(?????????はOrder ID)
とすればダウンロード出来ます。
* 2015/08/07 筑波大学 奈佐原顕郎 加筆, 修正
* 2014/12/11 筑波大学 秋津朋子 加筆, 修正
* 2011/12/01 筑波大学 田中健太郎 加筆, 修正
* 2011/10/27 筑波大学 田中健太郎
* 2008/08/01 筑波大学 小�肪厦�
* 2008/06/27 筑波大学 小�肪厦�
* 2008/06/18 筑波大学 小�肪厦�
!MODISデータのダウンロード
!!ショートカット
$ wget -c http://e4ftl01.cr.usgs.gov/MOTA/MCD43A4.005/2013.08.29/MCD43A4.A2013241.h31v09.005.2013267122653.hdf
$ name=*****
$ passwd=******
$ wget --http-user="$name" --http-password="$passwd" https://e4ftl01.cr.usgs.gov/MOLT/MOD13C2.006/2016.01.01/MOD13C2.A2016001.006.2016035120438.hdf
!!データのダウンロードの前に
!!!!!低次プロダクトと高次プロダクト
衛星データは、一般的に低次プロダクトと高次プロダクトに分類される。低次プロダクトであるほど、補正などの処理が行われておらず、観測時にオリジナルデータに近い。一方で高次プロダクトは、様々な処理が行われたデータであり、一般ユーザにとって使いやすい形に加工されている。しかしながら、処理アルゴリズムの良し悪しによって、データの品質が左右されるという欠点を持つ。
高次プロダクトの例 大気補正後地表面反射率 (MOD09)、地表面温度 (MOD11)
低次プロダクトの例 放射量補正後地表面反射率 (MOD02)など
!!MODISデータダウンロードサイト: 千葉大・市井先生
* [[ftp://modis.cr.chiba-u.ac.jp/ichii/DATA/MODIS/]]
* [[ftp://modis.cr.chiba-u.ac.jp/ichii/DATA/MODIS/GLOBAL/tmp/MCD43A4.006/org/]]
!!MODISデータダウンロードサイト: Reverb
*[[ECHO's Reverb|http://reverb.echo.nasa.gov/reverb/]]
{{attach_view(reverb.png)}}
また低次プロダクトについては、下記のLAADSと呼ばれるサイトでも可能である。
ユーザー登録は不要であるが、メールアドレスの入力が求められる。
*[[Level 1 and Atomosphere Archive and Distribution System (通称LAADS)|http://ladsweb.nascom.nasa.gov/]]
特徴として、過去の注文履歴が残るために再注文も可能。またftpサイトからデータをダウンロードすることも可能である。
!!MODISデータの注文
衛星データを扱う際には、以下の点に注意して欲しい。
*プロダクトID (どんなプロダクトで、既にどんな処理がされているか?)
*撮影範囲 (どこの場所の画像か?)
*撮影日時 (何年何月何日のどの時間帯に撮られたデータか?)
*空間解像度 (どのくらい細かいデータか?)
*ファイル形式
上記を踏まえて、実際にMODISデータを注文してみよう。
ここでは、Reverbからデータをダウンロードする方法を紹介する。
まず下記のサイトへアクセス。
*[[ECHO's Reverb|http://reverb.echo.nasa.gov/reverb/]]
!!!!!1. Step1 の"Search Criteria" に検索条件を入力する。
{{attach_view(Modis1.png)}}
*対象地域
画面中央上部にある "Spatial Search" により、対象地域を指定する。
方法は4種類ある。
Bounding Box
Point
Polygon
2D coordinate
今回は、Point を選択し、検索欄に以下を入力。※クリックして場所を指定しても良い。
36.112, 140.102
上記は、筑波大学生物農林学系棟付近の緯度経度である。
*プロダクト名など
"Search Terms" に、欲しい衛星画像のプロダクト名などを入力する。
ex)
MOD09GQ
*対象期間
Temporal Search に欲しい衛星画像の期間を入力する。
ex)
START
2011-11-21 00:00:00
END
2011-11-30 23:59:59
!!!!!2. Step1の検索結果がstep2に表示されるので、欲しいデータセットを選択する。
今回は下記を使用する。
MODIS/Terra Surface Reflectance Daily L2G Global 250m SIN Grid V005
!!!!!3. Step2で選択したデータセットを確認し、"Search for Granules" をクリック。("Search for Granules by ID"も選択できるが、上級者向け)
しばらくすると、ポップアップウィンドウが表示されるので、"Accept" をクリック。
!!!!!4. 詳細な検索結果が表示されるので、注文したいシーンを選択(カートのロゴをクリックすると、注文できる。)。まとめて注文したい場合は、"All on Page" のカートボタンをクリック。
!!!!!5. "View Item in Cart" をクリック。
{{attach_view(Modis3.png)}}
!!!!!6. 注文データの一覧が表示されるので、面倒だがもう一度必要シーンを選択する。
!!!!!7. "Order Selected" をクリックし、注文する。
{{attach_view(Modis4.png)}}
!!!!!8. ユーザー登録を求められるので、入力する。入力後、"Proceed"をクリック。
{{attach_view(Modis5.png)}}
!!!!!9. オーダーオプションを指定する。
どれか一つのデータを選択し、"set" をクリックする。すると、ポップアップウィンドウが表示されるので、
"Use these values for all applicable order items"
にチェックを入れる。
!!!!!10. "Proceed" をクリックすると確認画面が表示されるので、"Submit order" をクリックし、注文を確定する。
以上で注文は完了である。しばらくすると(データ量によっては、数日かかる。)、登録したメールが2通届く。
1通目は、注文の確認なので無視して構わない (タイトル: Reverb Order Confirmation - ID:xxxxxxxxxxx)。2通目には、httpサーバーのURLが記載されたメールが届く (LPDAAC ECS Order Notification Order ID:xxxxxxxxx)。
後は、メールに記載されたHTTPサーバーのURLを元に、wget等のコマンドを用いて衛星画像をダウンロードすればよい。
ex) xxxxxxは、送られてきたHTTPサーバーのURLに合わせて変更する。
wget -c http://e4ftl01.cr.usgs.gov/PullDir/xxxxxxxxx/*.hdf*
----
----
----
----
----
!以下 過去の記事
!!MODISデータの注文
EOSのトップページから『Enter as registered user』をクリックし、user IDとパスワードを入力してログインする。『Choose Data Sets』の『Land』にある『MODIS/Aqua』，『MODIS/Terra』の必要な方をクリックすると、上方のウィンドウにプロダクトが表示されるので、必要なプロダクトを選択する。
次に、『Choose Search Area』に必要な位置の緯度・経度を入力する。位置情報はある程度の範囲を検索する場合は『Type in Lat/Lon Range』を、特定の位置地点を検索する場合は『Type in Lat/Lon Point』を用いると良い。
さらに『Choose a Date/Time Range (not required)』に検索したい期間を入力する。
入力しなくても検索は出来るが、時間がかかるので入力することを推奨する。『Start』に検索対象期間の始まりを、『End』に終わりを入力する。日付や時間の入力フォーマットは日付の場合 YYYY-MM-DD (ex. 1967-05-25) or MM/DD/YYYY (ex.05/25/1967)で、時間の場合 HH:MM (ex. 14:30) or HH:MM:SS (ex. 14:30:01)である。
最後に、『Choose Additional Options (not required)』の『Return a maximum of 100 data granules per data set (Range: 1 - 1000).』の100を1000にすることを推奨する。 (利用するデータ数が少なければ不要。)
必要な情報を入力したら、下部の『Start Search』をクリックするとデータの検索が始まる。しばらくすると検索結果が表示される。
必要なデータのチェックボックスにチェックを入れる。全てのデータが必要な場合は、『All』ボタンをクリックすると良い。必要なデータを選択したら、『Add selections to cart』をクリックすると、『Shopping Cart: Data Quality Summary』というページになります(最初だけなる、2週間くらいするとまた聞かれる？)。恐らく、データに問題があっても責任は負いませんというようなことが書かれているだけなので、『Accept - Continue to Shopping Cart』をクリックする。すると、『Shopping Cart: Step 1: Choose Ordering Options』というページに移動する。『Order Options』の『Choose Options』をクリックし、移動したページの『FtpPull』を選択し、『Ok! Accept my choice & return to the shopping cart!』をクリックする。(この際、データの入手法は各検索毎の設定であるため、数回に分けて検索してCartにデータを入れている場合注意が必要!!)その後、『Go to Step2：Order Form』をクリックし、移動したページの『Submit Order Now!』をクリックし、しばらくすると注文が完了する。登録されているメールアドレス宛に注文を受け付けたというメールが来ます。これで注文は完了です。
EOSは前回検索したパラメータが一定期間残りますので、少し違う条件で探す場合は便利です。
経験的に注文ファイル数が200個を越えると準備が出来るまでに1週間以上かかります。200個以内に抑えれば1〜3日程度でダウンロード出来るので、細かく注文した方が良いと思います。(EOSの状況に左右されます。)
!!!LAADS編
''EOSと大きな差はありませんので、簡単に書きます。''
LAADSのトップページのDataをクリック、次のページのSearchをクリック。必要な衛星センサー、プロダクト、期間、位置を入力し、欲しいデータを検索し、検索結果をCartに入れ、注文を確定します。（このあたりはネットショッピングと同じ感覚です。）
最後の方でe-mailアドレスを入力して、注文をすると、そのアドレスに注文確認のメールが来ます。状況によってはすぐにダウンロードができますが、大抵の場合何日後かにダウンロードの準備が出来ましたというメールが来ます。
LAADSでは前回検索したパラメータが残りません。残したい場合はパラメータを入力するページの『Saved Parameters Selection』で保存すると、search.htmlというファイルが作成されるので、そのファイルを適当に保存しておいて、読み出せば同じパラメータで検索することが出来ます。
LAADSはデータが準備されるのが早いので、たいてい次の日にはメールが来ます。
1回の注文データ数はEOSよりも多くても問題と思います。
以前はたまにLAADSのサーバーが落ちていたが、最近は改善されたようです。
----
!!衛星データのダウンロード方法
*EOS編
データが準備が完了すると、EOSから『LPDAAC ECS Order Notification Order ID: ??????????』というタイトルのメールが来ます。このメールを以下のシェルスクリプトに詠み込ませてください。（小�砲�sshでログインしてダウンロードすることが多いので、メールの本文をコピペして、テキストファイルにしています。）
#!/bin/sh
# EDC_get.sh
# making shell-script for download from EDC and run it
# 2004_1014 K. Nishida make
# 2006_0525 T. Koyanagi improve
# 2014_1211 T. Akitsu improve
# usage: $ EDC_get.sh < ECS_Notification_mail
cat | sort > dummy
ID=`cat dummy | grep ORDERID | awk '{print $2}'`
out=wget_${ID}.sh
HOST=`cat dummy | grep HOST: | sed 's/HOST: /http:\/\//'`
DIR=`cat dummy | grep DIR: | sed 's/DIR: //'`
cat dummy | grep FILENAME | grep -v met | grep -v xml | sed 's/ FILENAME: //'|awk -v host=$HOST -v dir=$DIR '{print "wget -c "host"/"dir"/"$1}' > $out
rm dummy
echo $out
chmod +x $out
./$out
このシェルスクリプトは
$ ./EDC_get.sh <EOSからのメール
とするとシェルスクリプトを実行したディレクトリにデータがダウンロードされます。
''注）OSによって改行コードが違うため、UNIX以外では利用できない可能性があります。''
EOSのメール受信から1週間後にはftpサイトからデータが消去されるので、早めにダウンロードしましょう。
*LAADS編
データが準備が完了すると、LAADSから『LAADS Web Order Notification』というタイトルのメールが来ます。メールにftpでデータをダウンロードする方法が記載されていますので、ftpでダウンロードする方はその通りにして下さい。wgetでダウンロードする場合は、
$ wget -r -c -t 0 -T 10 -l1 -R "index*" --no-check-certificate http://ladsweb.nascom.nasa.gov/orders/?????????/
(?????????はOrder ID)
とすればダウンロード出来ます。