とらりもん - AMeDAS Diff

2012/10/02 奈佐原（西田）顕郎

[[気象業務支援センターによると|http://www.jmbsc.or.jp/hp/offline/info/info_ame_aero1208.pdf]]、アメダス年報のCD・DVD配布が, 2010年でおしまいになってしまった。気象庁のウェブからデータがとれるようになったからだそうだ：


ところが、[[気象庁のアメダスデータのページ|http://www.data.jma.go.jp/obd/stats/etrn/index.php]]は、地点・年・月等を毎回指定して閲覧するものであり、日本全国のデータを一括してダウンロードするというような機能はない。

そこで, 1年分の全国のアメダスデータ（日ごとの統計値）をダウンロードするシェルスクリプトを作ってみた:
{{attach_anchor(AMeDAS_get.sh}} ... Ubuntu Linux 10.04で動作確認済み。

処理の流れ:
* まず全国のマップをダウンロード。
* それを解析して, 各地域のマップのURLを引っ張りだし, 各地域のマップをダウンロード。
* それを解析して, 各サイトのURLを引っ張りだし, 各観測サイトの日別データが１月ぶんまとまったページをダウンロード。
* それを12ヶ月ぶん, 繰り返す。
* 観測サイトには2種類ある: アメダスステーションと気象台。それぞれでURLが微妙に異なるので, まず全サイトをアメダスと仮定してダウンロードし, 空振ったものを消去。次に, 全サイトを気象台と仮定してダウンロードし, 空振ったものを消去している。
* もともと、日データは１月ぶんごとにまとまっている。もとのhtmlファイルと, そこからデータ抽出（テキスト処理）したtxtファイルの2種類のファイルを保存する。
* 1年分のダウンロードに60分くらいかかる。

!その他
[[PythonによるAMeDASデータのダウンロード]]