学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

13-NA27

環オホーツク圏の海洋・大気シミュレーション
中村知裕（北海道大学）
概要 環オホーツク圏では、オホーツク海起源の海洋熱塩循環・潮汐混合・栄養物質（特に鉄）循環に伴い、世界でも最大規模の基礎生産が生じ、豊富な水産資源や炭素循環に影響している。また下層雲は北海道の気候に影響する。最近ではこれらに長期変動が生じていることも明らかになってきた。本研究では、こうした現象の理解と数値モデルによる再現性の向上に向け、環オホーツク圏の海洋・大気シミュレーションと使用する数値モデルの高速化チューニングを行う。本年度は、先ず(I)計算機科学分野の課題として、海洋鉄循環モデルの鉄化学部分の高速化チューニングを行った。次に(II)環オホーツク圏大気・海洋シミュレーションとして、(a) 海洋鉄循環の経年変動シミュレーションと高分解能熱塩循環シミュレーション、(b) 内部重力波による鉛直混合過程の 2 次元、3 次
元数値実験、(c) オホーツク海沿岸の冬季下層雲の高分解能シミュレーションを行った。

1. 研究の目的と意義海水が海洋中層に潜り込むので、大気中の酸素、研究の目的温室効果気体（二酸化炭素など）、フロンといった環オホーツク圏（オホーツク海とその周辺地域） 様々な気体が北太平洋中層に取り込まれ、それらは、季節変動や気候変動に顕著な特徴を持ち、日物質の循環に影響する [Uchimoto et al., 2011;

本とりわけ北日本の気候に大きな影響を与えてい2009]。

る。冬季には、シベリア東部は北半球の寒極（気環オホーツク圏はまた、世界最大規模の基礎生温の最も低い地域）となり、寒気が吹き出す。吹産（海洋植物プランクトン増殖）で知られている。

き出した寒気により形成される冬季の下層雲（筋高い基礎生産は、食物連鎖を通し豊富な水産資源状雲）は、日本海側で発生する筋状雲と同様に、の基礎となるとともに、二酸化炭素の海洋内貯留多くの降水（降雪）をもたらし、生活・経済に影など炭素循環にも重要な役割を果たす。この高い響する。寒気はまた、オホーツク海で大規模な海基礎生産を支える上で、上述の熱塩循環によりア氷生成を引き起こす。

ムール川から運ばれて来た「鉄」が重要であるこオホーツク海における海氷生成は北海道沿岸のとが最近の研究から分かってきた [Nishioka et

気候や産業に影響するだけでなく、北太平洋ほぼal., 2007]。すなわち、鉄は２価と３価のイオン全域の海洋中層循環に影響を与えている。海氷生を持つことから光合成等における電子伝達に使わ成の際には、海水が結氷点まで冷却される上に、れているが、海水には極めて溶けにくいため多く海水が凍る際に不純物として塩が排出されるため、 の海域において基礎生産を律速している。例外的高密度の海水が生成される。生成された高密度水に環オホーツク圏では、熱塩循環に伴う鉄供給のはオホーツク海そして北太平洋の中層に広がる。

おかげで鉄律速がかかりづらく、このことが水産また、千島列島域のように海底地形上を強い潮資源の豊さに繋がっている。

流が流れる海域では、内部重力波の生成と砕波に環オホーツク圏におけるこれらの現象は、顕著より激しい鉛直混合が生じる[Nakamura et al.,な数年から数十年規模の変動を持つのに加えて、2000; 2010]。これらの高密度水生成と千島列島域

シベリアを中心に顕著な温暖化が進行している。

での潮汐鉛直混合により、オホーツク海起源の熱温暖化の特に著しい地域では、平均して 10 年間に塩循環（密度差に由来し、鉛直方向の輸送で特徴2℃のペースで冬季の気温が上昇している。温暖化付けられる海洋循環）が駆動される [Nakamura etに伴うようにオホーツク海の海氷面積も減少傾向

al., 2006]。熱塩循環に伴い、大気に接していたにあることから、上述のオホーツク海起源の熱塩1

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

循環が弱まっていく可能性が危惧されているーツク圏の気候・環境研究には、数値シミュレー[Nakanowatari et al., 2007; Matsuda et al.,

ションとそれに基づくメカニズム解明、そして解2009]。

明されたメカニズムに基づく数値シミュレーショ

このように、環オホーツク圏では科学的に興味ンの改良が欠かせない。

深くかつ社会的に重要な気候・環境の形成およびそれらの長期変動が生じており、これらのより良2. 当拠点公募型共同研究として実施した意義

い理解と数値シミュレーションによる再現・予測(1) 共同研究を実施した拠点名および役割分担が求められている。そこで代表者らのグループで拠点名：北海道大学

は、環オホーツク圏の気候および環境変動のより役割分担：

良い理解のために、環オホーツク圏を対象とした

中村知裕：海洋と大気のシミュレーションおよび海洋および大気の数値シミュレーションを行ってプログラムの高速化いる。本研究ではその一環として、環オホーツク

大宮学：プログラムの高速化

圏の気候・環境に重要な３つの現象―(a) オホー

三寺史夫：海洋シミュレーション

ツク海を起源とする栄養物質循環と熱塩循環、(b)中野渡拓也：海洋物質循環・熱塩循環シミュレー

潮汐による鉛直混合過程、(c) オホーツク海周辺

ションの下層雲―について数値シミュレーション研究を

阿部祥子：海洋鉛直混合過程シミュレーション行う。加えて、これらシミュレーションの効率化

松田淳二：海洋熱塩循環シミュレーションと大規模化に向けて、北海道大学情報基盤センタ

伊藤薫：海洋鉛直混合過程シミュレーション

ー大型計算機での高速化チューニングを検討する。 (2) 共同研究分野

研究の意義

超大規模数値計算系応用分野

現在気候・現在環境のシミュレーションとそれ(3) 当公募型共同研究ならではという事項など

らの形成・変動メカニズム解明は、地球温暖化に本共同研究により、計算科学の専門家と共同研伴う環オホーツク圏の変化の理解および信頼性の究を行えたことが当共同研究ならではの事項の第高い予測の必要条件である。中でも、環オホーツ一である。このことは、北海道大学情報基盤セン

ク圏太平洋側では近年表層の栄養物質そして基礎ターの大型計算機システムでの高速化チューニン生産が減少傾向にあり、温暖化がその主な原因でグにとどまらず、報告書に記していない細かな情はないかと示唆されている。もしこの示唆が正し報交換においても顕著であった。

ければ、温暖化が進むと基礎生産がさらに減少し、また、北海道大学情報基盤センターの大型計算ひいては水産資源・炭素循環も大きく影響を受け機システムを使用させて戴くことで、数値シミュることから、先行きが懸念されている。本研究のレーションとその結果の解析を円滑に且つ高速に成果は、こうした変動の要因解明と予測の重要な実施できるのも当共同研究の利点である。

基礎となる。

加えて、JHPCN シンポジウムにおいて他分野の対象とする環オホーツク圏は上述のように日本計算科学に関する専門家と交流し、その研究発表にとって重要な地域である。しかしながら、大半を拝聴できることは、当共同研究以外では滅多にがロシア領ないしロシア経済水域に含まれている得られない機会であった。

ため、大気・海洋・陸面全てにおいて公開されている観測データが限られている。また、基礎生産

3. 研究成果の詳細と当初計画の達成状況に重要な鉄は、海水中に比べ観測船内の方が遙か(1) 研究成果の詳細についてに量が多いため観測には特殊な技術を要するので(I) 計算機科学分野での検討課題断片的知識しか得られていない。そのため環オホ
2

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

本課題では、これまで構築・改良してきた海洋鉄循環モデルの高速化を検討した。中でも鉄化学モデル部分は、鉄化学プロセスの観点からの改良を積み重ねてきた結果、計算負荷が非常に大きくなってしまっていたので、そこを中心に SR16000M1用に高速化チューニングを施した。
診断の結果、鉄化学モデルの性能阻害要因は以下の３点であった。
(a)ノード内 SMP 並列において演算負荷が均等化されていなかった。
(b) サブルーチンの主要ループで関数を引用し、更にその中から別の関数を引用するという深いネストがあり、そのため主要ループが SMP 並列化されていないサブルーチンがあった。
(c) サブルーチン主要ループから関数を引用しているため、引用回数が多くそのオーバーヘッドがかかっていた。
これらに対して以下のような最適化を行った。
(1) ノード内を 32SMP 並列から 4MPI×8SMP のハイブリッド並列にした。
(2) (b)の関数から引用されている関数を、サブルーチンの主要演算部に直接インライン展開し図１：（上）オリジナルコード、（下）チた。この変更により、変数間の依存関係を明ューニング後。共に、subroutine sigclcfl

確化して、該当サブルーチンの主要ループにの主要演算部を抜き出している。

SMP 並列化を適用した。
(3) (c)のループ内で引用されている関数をイン（チューニング用に実際のシミュレーションよりライン展開し、引用のオーバーヘッドを削減遙かに少ない時間ステップで終了しているため、した。

初期化処理の割合が多く、平均実行効率が本来よ

最適化(2)と(3)による変更の具体例を図１に示り低くなっている）。(1)のノード内ハイブリッドす。オリジナルコードでは、サブルーチン sigclcfl並列（4MPIx8SMP）への変更により、全体の演算のの主要ループ内で関数 dstp を引用し、さらにその並列化率が 44%から 77%になり演算負荷均等化が関数 dstp 内で関数 d0 を引用していた。最終的に改善された。（これにより，実質的な実行時間はは、これらの関数 d0 と dstp をインライン展開し、32%に短縮）。
(2) のループ内 2 重引用の解消と SMP主要ループの SMP 並列を行っている。その際、関並列指示（表 1(2)）により演算の並列化率が 77%

数 dstp と関数 d0 の値を示す変数として tmp_dstpから 91%になり演算負荷が均等化され、実行時間と tmp_d0 を導入し、変数 tmp_dstp, tmp_d0 はサは 86%に短縮した。加えて、(3)の頻繁に引用されブルーチン sigclcfl のループ変数に依存が無いる関数のインライン展開（表１(3)」）を行うことため、tlocal 変数としてディレクティブにより指により、演算の並列化率は 91%から 94%になり、CPU示している。

時間は 92%に短縮した。

SR16000M1 で実行した結果の比較を表１に示す
3

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

以上のように、ごく一部だが非常に計算効率が速化できた。この高速化したコードを、次に説明悪い箇所があったので、その解消により大幅に高する鉄循環の経年変動シミュレーションに用いた。

表１：実行性能等の比較(II) 環オホーツク圏海洋・大気シミュレーション(a) オホーツク海を起源とする栄養物質循環と熱塩循環
環オホーツク圏の栄養物質循環を特徴付ける鉄と主要栄養塩の代表としてリンに注目してシミュレーションを行う。前年度までに、鉄化学モデルを構築し、熱塩循環を概ね良好に再現している海洋大循環モデルに組み込み、気候学的季節変動場についてシミュレーションを行い、各種感度実験
図２：鉄循環経年変動シミュレーションと解析等を行った。本年度は、高速化チューニンより得られた基礎生産のトレンド。

グを施したコードを用いて、経年変動シミュレーションを行った。加えて、さらに発展させるための基盤として、（鉄化学モデルを組み込む前の）熱塩循環の高分解能シミュレーションを行った。
図２に鉄循環モデルを用いた経年変動シミュレーションより得られた基礎生産の過去３０年間のトレンドの分布を示す。図は大気場を変動させた場合のもので、基礎生産とは光合成による植物プランクトン増殖量のことである。
基礎生産のトレンドは、オホーツク海内部で増加傾向、太平洋側の西部亜寒帯で減少傾向となっている。
図３と図４に、これらの領域における基礎生産の経年変動とそれを決める因子を示した。オホーツク海内部（図３）と西部亜寒帯（図４）の双方

図３：鉄循環経年変動シミュレーション

で、およそ５年以上の時間スケールにおける基礎の結果。オホーツク海内部における、(a)生産の変動（黒線）は、鉄（青線）と高い相関が基礎生産と (b)それを決定する因子の寄ある。すなわち、これらの海域における基礎生産

与の経年変動：鉄（青）、リン酸（赤）、の理解と予測には鉄循環の考慮が欠かせないこと

光合成有効放射量（緑）。

が示唆されている。
4

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

シミュレーションされた海氷（図６a）は、オホーツク海の約 2/3 に広がり、西部で特に多い。また、オホーツク海北部の沿岸でポリニヤが解像されている。海氷生成に伴い低温で高密度の海水が形成され、北部陸棚域から西岸沿いに南下しつつ一部は内部へ広がる様子が再現されている（図６b）。この水塊は水温が低いため等密度面で見ると(a)

図４：図３と同様。ただし、西部亜寒帯の変動。
加えて、経年変動のもう一つの主な駆動力と目されている潮汐の 18.6 年変動もモデル化して組(b)み込んだシミュレーションも行った。シミュレー
ションされた表層栄養塩濃度の経年変動には、大気変動の寄与の方が大きかったが、潮汐混合の変動により有意な大きさの 18.6 年変動成分が加わった（図は省略）。
次に、上記の鉄循環シミュレーションをより高分解能・広領域で行うための準備として行った、オホーツク海－北太平洋熱塩循環の高分解能シミュレーションについて述べる。
水平分解能は、海氷生成が集中して起こる沿岸(c)の開氷域（ポリニヤ）および千島列島のほぼ全ての海峡を許容し、北太平洋西岸周辺で中規模渦を許容ないし分解するよう設定した（図５）。モデル領域は北太平洋とその縁辺海全域に加え、南太平洋とインド洋の一部を含む（図５は領域の一部）。

図６：高分解能熱塩循環シミュレーションの結果。(a)海氷分布（2 月月平均）、(b)中層水温（6 月月平均）、(c)中層塩分（9 月月平均）。
(b),(c)は 26.8等密度面上。

図５：モデルの格子間隔5学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

低塩であり、それがオホーツク海から北太平洋へ(a)広がる（図６c）。
以上のように、詳細な循環場が再現されており、今後、熱塩循環や鉄循環を解析しシミュレーションしていく基盤が出来上がった。
(b) 潮汐による鉛直混合過程
環オホーツク圏では潮汐による鉛直混合が非常に強く、熱・塩・栄養物質の鉛直輸送（混合）を介して熱塩循環および物質循環に重要な役割を果たしている。本研究で用いている海洋大循環モデ
ルではその効果を簡単なパラメタ化により考慮しているが、同時に非静水圧海洋モデルによる鉛直(b)混合過程シミュレーションを行い、その理解とパラメタ化の向上を図っている。本年度は、混合に関する力学不安定の理論拡張のために理想的条件下で鉛直２次元実験を行うと共に、前年度の高速化チューニングを活かし、３次元数値実験を多数・より高分解能で行った。ここでは紙面の都合上、後者の結果に焦点を絞る。
3 次元実験は潮流（潮汐に伴う流れ）により生成された内部重力波が、渦により屈折し砕波に至る過程を対象にした。図７に、右奥から入射した波が（図７a）、成長して砕波し（図７b）、その後さらに砕波領域が広がる様子（図７c）を示す。こ(c)の実験では、波の成長は領域中央付近に与えた渦によって引き起こされている。図 7c の様に砕波領域が広がる原因は、密度不安定よりむしろ、渦と波の相互作用により図 8 のように生じた鉛直シアーに起因する力学的不安定であった。
こうした渦と内部重力波の相互作用による混合は、これまで海洋学において考慮されていない新たな混合過程である。その解明のために波長や振幅などのパラメタを変えた実験も行った。

図７：3 つの密度面の時間発展。(a)初期、(b)500分後、(c)700 分後。（計算は連続成層で行っている。）
6

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

年度は冬季の下層雲に注目し、領域大気シミュレーションを行った。
冬季、北海道オホーツク海側沿岸では、しばしば岸に沿った帯状の雲が生じた量の降雪をもたらす。図 9 は、シミュレーションで得られた帯状雲の時間発展である。最初北海道沿岸で形成され（図9a、コンター）、海上に移動しながら発達し（図9b, c）、徐々に弱まっていく（図 9d）が再現できた。色で示した下層(940hPa)の気温から、帯状雲は北海道付近の低温域と樺太下流（南東）の低温
図 8：鉛直シアーの 3 次元分布。700 分後。

域に挟まれた帯状の高温域に形成される。このシミュレーションにより、北海道からの陸風に加え(c) オホーツク海周辺の下層雲て、樺太からの寒気移流が帯状雲の維持と発達に前年度まで夏季下層雲に注目してきたので、本重要であるという新たな知見が得られた。

図９：北海道オホーツク海
沿岸帯状雲のシミュレーション。コンターは鉛直積分した雪の混合比、色は940hPa の気温。2008 年
12 月 (a) 1130UTC 26,(b) 1700UTC 26, (c) 2330
UTC 26, (d) 1130UTC 27の事例。

化率と実行効率が大幅に向上した。
(2) 当初計画の達成状況について(II) 環オホーツク圏海洋・大気シミュレーショ(I) 今年度の計算科学分野での検討課題として、 ンの課題(II-a) オホーツク海を起源とする栄養
計画通り鉄化学モデルの高速化チューニングを行

物質循環と熱塩循環についても、今年度の計画通った。ノード内 SMP 並列の負荷均等化、ネストのり鉄循環の経年変動シミュレーションおよび高分深い関数のインライン展開、インライン展開部の解能熱塩循環シミュレーションを実施し終えた。

ディレクティブによる強制 SMP 並列により、並列(II-b) 潮汐による鉛直混合過程についても、高分7

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

解能 3 次元実験と鉛直 2 次元実験を当初予定分のwater in the Okhotsk Sea. Prog. Oceanogr.

計算を終えた。(II-c) オホーツク海側の冬季下層(accepted).

雲のシミュレーションも、降雪をもたらす帯状雲(2) 国際会議プロシーディングス（筋雲の太く安定したもの）の再現に成功したの(3) 国際会議発表

で、今年度計画は終了である。

Ito, K. and T. Nakamura. Vortex and internal
waves interaction. Ocean Sciences Meeting 2014

以上のように、今年度の当初計画は全て達成でin Honolulu, Hawaii, USA, 23-29, Feb. 2014.

きた。

(4) 国内会議発表

4. 今後の展望

中村知裕. 内部波の許容から解像へ、そして砕波(I)計算科学分野での検討課題：今年度高速化チュ過程の解像へ. 2013 年度 日本海洋学会 秋季大ーニングを行った鉄化学モデルを、高分解能にし会, 2012 年 9 月 17-21 日, 北海道大学, 札幌.

た熱塩循環モデルに組み込んだ上で、その高速化

伊藤薫,中村知裕. 渦と内部波の相互作用. 2013

チューニングを検討したい。

年度 日本海洋学会 秋季大会, 2012 年 9 月(II)環オホーツク圏海洋・大気シミュレーション

17-21 日, 北海道大学, 札幌.

(II-a)オホーツク海を起源とする栄養物質循環

松田淳二,笹島雄一郎,三寺史夫,中村知裕,羽角博と熱塩循環：今年度行った鉄循環経年変動シミュ康,若土正曉. 高解像度モデルによって見えてレーションおよび高分解能熱塩循環シミュレーシ

きたオホーツク海熱塩循環システムの描像.

ョン両者について感度実験を行い、それぞれの支2013 年度 日本海洋学会 秋季大会, 2012 年 9 月

配要因を探っていきたい。

17-21 日, 北海道大学, 札幌.
(5) その他（特許，プレス発表，著書等）(II-b)潮汐による鉛直混合過程：上の報告では触れていないが、今年度の３次元実験の結果から渦の形状への依存性や相互作用における重要なパラメタが示唆されたので、来年度はそれらを考慮して、高分解能実験を複数行い、力学的解析を行いたい。
(II-c)オホーツク海周辺の下層雲：再現に成功
した帯状雲の高分解能シミュレーションによる感度実験を行い、形成・維持機構を調べていきたい。

5. 研究成果リスト(1) 学術論文（投稿中のものは「投稿中」と明記）
Nakamura, T., Y. Takeuchi, K. Uchimoto, and H.
Mitsudera. Effects of temporal variation intide-induced vertical mixing in the Kuril
Straits on the thermohaline circulation
originatingin

theOkhotskSea.

Prog.

Oceanogr. (accepted).
Uchimoto, K., T. Nakamura, J. Nishioka, H.
Mitsudera, K. Misumi, D. Tsumune. Simulationof high concentration of iron in dense shelf8