この記事の目次

Argoのデータは無料で公開されており、登録も必要ありません。しかし、同じ測定値が複数の入手経路とファイル構成で提供されているため、入手そのものよりも選び方が難しく、テキストファイル1つで済んだはずの確認に数ギガバイトをダウンロードしてしまうこともあります。

Argoフロートとは何か、何を測っているのかから知りたい場合は、Argoフロートとは?海洋観測データの完全ガイドから始めてください。

データソース:2つのGlobal Data Assembly Centre

Argoのデータはすべて2つのGlobal Data Assembly Centre(GDAC)へ集められ、両者は同じ内容を保持しています。

  • フランスのCoriolis GDAC:https://data-argo.ifremer.fr/
  • 米国のGDAC:https://nrlgodae1.nrlmry.navy.mil/pub/outgoing/argo

両者は互いにミラーの関係にあるため、近いほうや速いほうを選んでかまいません。地域ポータル、ビューア、Pythonライブラリ、クラウド上の複製など、ほかのArgoサービスはこの内容を別の形で提供しており、入手先によって内容が食い違った場合は、元データであるGDACを確認します。

複数のプロトコルで、同じ内容にアクセスできます。

経路向いている用途
HTTPSブラウザで中身を見る、特定のファイルをスクリプトで取得する
FTPHTTPSと同じディレクトリ構成。現在も公式に案内されているが、最近のブラウザでは開けない
rsync(vdmzrs.ifremer.fr)手元のミラーを、差分だけで最新の状態に保つ
ERDDAP・THREDDSサーバー側で条件を絞り込み、必要な範囲のデータだけを受け取る
AWS Open Dataアーカイブをダウンロードせず、クラウド上で解析する

数本のプロファイルを見るだけならHTTPSで十分ですが、ローカルに複製を持ち続けるならrsync、ファイルの一部だけを取得したいならERDDAPが適しています。

アーカイブの構成

GDACの最上位には、いくつかのディレクトリとインデックスファイルが並んでいます。

dac/           処理を担当したデータセンター別のフロート
geo/           同じプロファイルを海盆と日付で整理したもの
latest_data/   最近更新されたファイル
aux/           実験的・補助的なセンサーデータ
etc/           付随ファイル
*.txt          インデックスファイルと readme_before_using_the_data.txt

dac/とgeo/には同じ観測データが入っており、違うのは並べ方だけなので、必要なフロートが分かっているときはdac/を、海域と期間が分かっているときはgeo/を使います。

フロートのディレクトリには、そのフロートの全履歴が入っています。

dac/aoml/1900722/
    1900722_meta.nc      フロートとセンサーのメタデータ
    1900722_tech.nc      技術・工学的な値
    1900722_Dtraj.nc     遅延モードの軌跡
    1900722_Rtraj.nc     リアルタイムの軌跡
    1900722_prof.nc      すべてのコアプロファイルを1ファイルに
    1900722_Sprof.nc     すべての合成BGCプロファイルを1ファイルに
    profiles/            プロファイル1本につき1ファイル

目的に対応するファイル形式

ファイル名そのものにも意味があり、先頭のRはリアルタイム、Dは専門家による品質管理を経た遅延モードという処理状態を表します。また、Bは生物地球化学のファイル、Sは合成プロファイルを示します。

必要なものダウンロードするファイル
1本のフロートの水温・塩分の全履歴<WMO>_prof.nc
特定の1プロファイルprofiles/D<WMO>_<サイクル番号>.nc
生物地球化学変数を共通の圧力軸で<WMO>_Sprof.nc
プロファイル間でフロートが漂流した経路<WMO>_Dtraj.nc または <WMO>_Rtraj.nc
センサーの型式、校正、ミッション設定<WMO>_meta.nc

最初に読むファイルとしては、多くの場合、マルチプロファイルファイル(_prof.nc)が適しています。1本のフロートの全サイクルがまとまっているので、たとえば200サイクルを時系列で調べる場合も、200ファイルではなく1ファイルを読むだけで済みます。

生物地球化学のデータを扱うなら、合成プロファイルファイル(_Sprof.nc)が適していることがほとんどです。BGCフロートはセンサーごとに異なる鉛直測定方式を使うことが多く、生のファイルでは酸素とクロロフィルが互いに、またCTDの水温・塩分とも異なる圧力レベルに載ったままになります。合成ファイルはこれらをプロファイルごとに一つの圧力軸へ揃えたもので、結合作業をまるごと省けます。

これらのファイルの内部構造でつまずいている場合は、初心者向けArgo NetCDF形式の解説で順を追って扱っています。

ダウンロードの前にインデックスファイルを使う

インデックスファイルはアーカイブの中で見落とされがちですが、ある種類のファイルをすべて列挙し、絞り込みに使えるメタデータを添えたCSVです。フロート単位のインデックスは数メガバイト、もっとも大きいコアプロファイルのインデックスでも約300メガバイト(gzip版は約60メガバイト)であり、一覧に載っているテラバイト規模のデータ本体に比べれば、桁違いに小さく収まります。

インデックスファイル列挙している対象
ar_index_global_prof.txtすべてのコアプロファイルファイル
argo_synthetic-profile_index.txtすべての合成BGCプロファイルファイル
argo_bio-profile_index.txtすべてのB-file
ar_index_global_meta.txt、_tech.txt、_traj.txtメタデータ、技術、軌跡の各ファイル
ar_index_this_week_prof.txt直近1週間に追加・更新されたプロファイル

コアプロファイルのインデックスは、1ファイルにつき1行です。

file,date,latitude,longitude,ocean,profiler_type,institution,date_update
aoml/1900830/profiles/D1900830_002.nc,20090515031347,-5.654,42.314,I,846,AO,20260805230652

実ファイルでは、この列見出しの前に#で始まる注記行が並んでいます。読み込むときは#行を読み飛ばしてください(pandasならcomment="#")。

この情報だけで、「この海域のこの期間にどのプロファイルがあるか」をテキスト処理で調べ、取得すべきファイルのパスを一覧にできます。

合成プロファイルのインデックスには、BGCの検索を簡単にする列が2つ加わります。

file,date,latitude,longitude,ocean,profiler_type,institution,parameters,parameter_data_mode,date_update
aoml/1900722/profiles/SD1900722_001.nc,20061022021624,-40.316,73.389,I,846,AO,PRES TEMP PSAL DOXY,DDDD,20220628080801

parameters列にはそのプロファイルに実際に含まれている変数が並び、parameter_data_mode列には同じ順序で各変数の処理状態が入ります。遅延モードのDOXYを含むプロファイルを選ぶ作業は、ダウンロードして中身を確認する繰り返しではなく、このファイルへの絞り込みで済みます。

スクリプトを書きたくないときのブラウザツール

GDACをもとにした公式・コミュニティのツールがいくつかあり、探索的な検索ではこちらのほうが速いことがほとんどです。

リアルタイムか遅延モードか

すべてのプロファイルは、まず自動チェックだけを通ったリアルタイムのデータとして、通常は1日以内に公開されます。遅延モードのファイルはその後、専門家がプロファイルを確認しセンサーのドリフトを補正してから公開されます。コアArgoでは観測から1年以上あとになるのが一般的です。

どちらを選ぶかは、そのデータで何をするかによります。ざっと目を通す用途、授業や教材、そのフロートが調べたい対象に合うかどうかの判断であれば、リアルタイムで十分です。塩分や圧力のわずかな偏りに影響される解析、たとえば貯熱量、混合層深度の傾向、水塊解析には、遅延モードのファイルとその中の補正済み変数を使ってください。ファイル内部での選び方はArgoデータの品質管理で扱っています。

ダウンロードしたファイルに両方が混在するのは普通のことで、同じフロートでも、最近のサイクルはリアルタイム、古いサイクルは遅延モードになる場合があります。データモードはプロファイルごとに確認できます。

ダウンロードしたデータを引用する

GDACは遅延モードの処理が進むにつれて日々変化するため、「GDACからダウンロードした」と書くだけでは、同じデータを再現できません。2014年以降、アーカイブ全体の月次スナップショットにDOIが付与されており、実際に使ったスナップショットを引用することが解析の再現性につながります。スナップショットはdoi.org/10.17882/42182にまとめられています。データ方針に従い、Argo計画への謝辞も記載してください。

ダウンロードする価値があるかを見極める

インデックスファイルから分かるのはどのプロファイルが存在するかまでであり、どれが目的に合うかを判断するには、実際のプロファイルを見る必要があります。具体的には、その海域に探している構造があるか、同じフロートの各サイクルで鉛直構造が似ているか、変化しているか、酸素の特徴が本当に現れているか、といった点を確認します。

こうした点は、ダウンロードして描画する作業を繰り返すより、プロファイルをブラウザで見るほうが速く分かります。そのうえで、GDACから取得するWMO IDとサイクル番号を絞り込めます。

OceanGraphでのArgoプロファイル検索

詳しい絞り込み方は、場所・時刻・WMO IDからArgoフロートのプロファイルを探す方法で説明しています。そこで使う検索条件は、上のインデックスファイルの各列にも対応しています。