AMeDAS
2012/10/02 奈佐原(西田)顕郎
気象業務支援センターによると、アメダス年報のCD・DVD配布が, 2010年でおしまいになってしまった。気象庁のウェブからデータがとれるようになったからだそうだ:
ところが、気象庁のアメダスデータのページは、地点・年・月等を毎回指定して閲覧するものであり、日本全国のデータを一括してダウンロードするというような機能はない。
そこで, 1年分の全国のアメダスデータ(日ごとの統計値)をダウンロードするシェルスクリプトを作ってみた: AMeDAS_get.sh ... Ubuntu Linux 10.04で動作確認済み。
処理の流れ:
- まず全国のマップをダウンロード。
- それを解析して, 各地域のマップのURLを引っ張りだし, 各地域のマップをダウンロード。
- それを解析して, 各サイトのURLを引っ張りだし, 各観測サイトの日別データが1月ぶんまとまったページをダウンロード。
- それを12ヶ月ぶん, 繰り返す。
- 観測サイトには2種類ある: アメダスステーションと気象台。それぞれでURLが微妙に異なるので, まず全サイトをアメダスと仮定してダウンロードし, 空振ったものを消去。次に, 全サイトを気象台と仮定してダウンロードし, 空振ったものを消去している。
- もともと、日データは1月ぶんごとにまとまっている。もとのhtmlファイルと, そこからデータ抽出(テキスト処理)したtxtファイルの2種類のファイルを保存する。
- 1年分のダウンロードに60分くらいかかる。
Keyword(s):
References:[とらりもんHOME]