テクニカルホワイトペーパー

ドキュメントが選択した言語で利用可能かどうかを確認してください。

現代のデータセンターの冷却戦略

テクニカルホワイトペーパー

目次
現代のデータセンターへの電力供給と冷却 ...................................................................................................................... 3
オープンエリアアプローチの現在の課題 ........................................................................................................................... 3
空気封じ込め戦略 ........................................................................................................................................................... 6
冷却をラックに近づける .................................................................................................................................................... 7
液体支援冷却 .................................................................................................................................................................. 8
直接液体冷却（DLC） ....................................................................................................................................................... 9
HPE Apollo DLC システム ........................................................................................................................................... 9
完全閉ループ液体冷却 .................................................................................................................................................. 10
HPE Cray EX スーパーコンピューター ........................................................................................................................ 10
HPE Cray EX および Apollo 液体支援 ....................................................................................................................... 10
液浸冷却 .................................................................................................................................................................... 11
最適な冷却戦略の選択 .................................................................................................................................................. 11
サーバー密度/ラックあたりの電力に基づく冷却の決定 ................................................................................................ 11
データセンターサービス.................................................................................................................................................. 12
HPE Performance Cluster Manager を使用して電力と冷却を管理する ......................................................................... 13
結論 .............................................................................................................................................................................. 13
詳細情報 ....................................................................................................................................................................... 132テクニカルホワイトペーパー

現代のデータセンターへの電力供給と冷却
今日 IT リーダーは、従来型の空冷式データセンターでの IT 機器(ITE)への電力供給と冷却に苦労を強いられています。現
在、プロセッサーの消費電力は 200W を、グラフィックスプロセッシングユニット（GPU）は 300W を超えており、これらのコンポーネントが必要とする電力はさらに増え続けています。ハイパフォーマンスコンピューティング（HPC）スペースの高密度ラック構成は、20kW から 40kW に移行しており、2022 年までにラックあたり 70kW を超えると推定されています。
今日、カスタムの液冷 HPC ラックが 70〜120kW を消費するのは珍しいことではありません。実際、電力密度は 7 年ごとに 2倍になる傾向があります。
このテクノロジーブリーフでは、初めに従来の冷却方法の制限について説明します。次に、既存の冷却システムを変更または補足して、データセンターに必要な冷却能力を実現するために選択できるさまざまなシステムについて説明します。

オープンエリアアプローチの現在の課題
エンタープライズデータセンターは、ほとんどの場合、サーバーとストレージシステムのラックを冷却するためのオープンエリアアプローチで設計されています。このアプローチでは、1 つ以上のコンピュータールームエアコン（CRAC）がデータセンター内に配置されます。ラックは、図 1 に示すように、コールドアイル/ホットアイルのレイアウトで配置されます。
冷気は、上げ床プレナムを通り、コールドアイルの通気口のある床タイルを通って ITE ラックの前面に向かって押し上げられます。
冷気は ITE ラックから吸い込まれ、温風はラックの後部から天井に向かって排出されます。空気循環は、床レベルで冷気を供給し、天井近くで温風を集めるという基本戦略に基づいて機能します。

図 1.従来のオープンエリアのデータセンター通路の配置

オープンエリア戦略は、通常、最大 10 kW の電力を使用するラックに適しており、数百のラックに比較的簡単に拡張できます。このアプローチは、数個の 30 kW ラックをサポートすることもできますが、他のラックの電力がはるかに低いか、空いている場合に限ります。ただし、いくつかの重要な欠点があります。暖かい空気の一部は冷たい空気と混ざり合って冷却システムの効率を低下させ、暖かい空気の他の部分は冷たい通路に巻き戻されて ITE の効率を低下させる可能性があります。典型的な解決策は、ホットスポットを補うために冷却システムをより低温で動作するように設定するか、補足的な冷却または特定のチャネリングを追加することでした。
マルチノードシステムと 1U サーバーを使用すると、高密度のインフラストラクチャを組み立てることができます。ただし、これらのシステムは、床面積 1 平方フィートあたりの熱量がはるかに多く、ホットスポットが多くなります。このような場合、オープンエリアアプローチでは、数ラック以上の冷気の需要に対応できません。ITE 機能の向上に伴い、1U および 2U サーバーでさえ、従来のオープンクーリングアプローチの限界となる密度に近づき始めています。

3

テクニカルホワイトペーパー

最新のサーバーシステムによって発生する熱負荷の増加には、従来のオープンエリアアプローチよりも積極的な冷却戦略が必要です。このような戦略には、次のものが含まれます:
空気封じ込め
列内冷却
液体支援冷却（後部熱交換器、密結合冷却）
コンポーネントレベルの直接液体冷却（DLC）

ファンレス液体冷却

図 2.ラックあたりの kW とソリューションの統合に基づいて観察された冷却戦略と実装

図 2 では左側、オレンジ色の実線のボックスでの冷却方法は、空冷 IT で機能します。右側、水色の破線のボックス内のアイテムには、液冷用に特別に設計または最適化された IT が含まれています。両方のアウトラインタイプのアイテムは、両方のテクノロジーの組み合わせをサポートします。基本的に、50 kW の障壁を超えると、液体冷却用に特別に設計されたソリューションを実装することになります。

4テクニカルホワイトペーパー

表 1 には、各テクノロジーの例と、その利点、考慮事項、および要件が含まれています。以降のセクションでは、特定の実装について詳しく説明します。
表 1.さまざまな冷却戦略の利点、考慮事項、および要件
従来の空冷利点考慮事項

要件

ラック列の外側にある CRACによる空冷

今後 5 年間、これは低熱設計電力（TDP）プロセッサーSKU にのみ有効です。

現在存在するほとんどのデータセン
ター

列内冷却液体を列に移動します
1 行あたり 350kW、一般的なデータセンターピッチで 208VAC電源を維持できます

液体支援冷却

それぞれ最大55kW をサポートできるラックで電力密度を再取得します
データセンターの空気封じ込めは必要ありません

列内クーラーがスペースを占有するため、ノード密度の損失が認識されます

列内クーラーがスペースを占有するため、ノード密度の損失が認識されます

データセンターの空気が混ざり合うと、クーラーの使用効率が低下します

熱交換器用のより深いラックまたは追加された列の長さ

空気封じ込めが必要です

データセンターのアップグレー
ドが必要になる場合があります

施設の水を追加するためのデータセンターのアップグレード

コンポーネントレベ
ルの直接液体冷却
データセンターの電圧は同じままでかまいません
無駄なチラーの電力を計算電力に転送します

ファンレス液体冷却

究極のパフォーマ
ンス密度と効率設備を償却するための大規模ユニット

電力密度の増加
トップエンドプロ
セッサのサポート
運営費の削減増加した電力密度を十分に活用するには、列の電力容量を増やす必要があります

各タイルに施設の水が必要です

行ベースの冷却分配ユニット（CDU）が必要です
データセンターは、高電圧の三相 A/C電源を利用する必要があります

施設の水が必要です

施設の水が必要です5テクニカルホワイトペーパー

空気封じ込め戦略
空気封じ込め戦略は、エアハンドラーの効率を最大化するために、供給される冷たい空気を暖かい戻り空気から分離します。封じ込めを使用すると、境界 CRAC を追加したり、開いた床タイルやプレナムを使用したりするのが簡単になります。これらの利点により、空冷能力をラックあたり 25kW に拡張できます。空気封じ込め戦略の選択は、一般に、上げ床または吊り天井があるかどうか、防火基準を満たす能力、および ITE に出入りする冷却空気の温度プロファイルに依存します。ホットアイルまたはコールドアイルのいずれかの封じ込めを使用できます。
コールドアイル封じ込めは、各列の端にパネル/ドアと隣接するコールドアイル面にまたがるパネルが必要なだけなので、一般的に実装するのが最も簡単な戦略です。これにより、CRAC を離れる空気が、ピーク圧力で、熱風の混合なしに ITEに最も低い温度を供給することができ、ITE を可能な限り高速かつ効率的に実行できます。サポートするインフラストラクチ
ャのほとんど（電源ケーブル、イーサネットケーブル、高速ケーブル）はホットアイルのトレイにあるため、コールドアイルの封じ込めもそれらを考慮する必要はありません。
ホットアイル封じ込めは、ホットエアとコールドエアを混合しないため、排気のみが CRAC に戻り、コールドアイルコンテインメ
ントシステムよりも効率的に空調システムを動作させることができます。ITE 密度が増加するにつれて、ラックの排気温度が上昇し、このタイプの熱で長期間使用できなくなったため、ほとんどの高密度展開では、ホットアイルの封じ込めが標準化されています。このアプローチと組み合わせた優れたコールドアイルタイル管理と圧力は、ITE に最も冷たい空気を送ることもできます。
図 3 は、高密度のホットアイル封じ込めのシンプルさの典型的な例です。スペースはオープンフリーアクセスフロア環境と同じように見えますが、隣接するホットアイル面の列の端にドアが追加され、吊り天井に流れ込むダクトへのカーテンが CRACに戻ります。頻繁に移動するコールドアイル環境は 75°F (24°C) で簡単に作業でき、100°F (38°C) を超えるホットアイ
ル環境には必要な場合にのみ、アクセスできます。

図 3．ヒューストンにある BP の最先端のハイパフォーマンスコンピューティングセンター（CHPC）内の通路の封じ込め。

6

テクニカルホワイトペーパー

冷却をラックに近づける
データセンター内のサーバーの数が増えるにつれ、IT プロフェッショナルは、増加する電力密度を処理するための代替の冷却ソリューションを探しています。前述のように、すべてのデータセンターが同じパスをたどるわけではなく、各ステップの間に停止があり、一度に 1 ステップずつ移動する可能性はほとんどありません。たとえば、封じ込めから始めて、密度、冷却能力、および効率を高めるために列内冷却を追加することができます。または、列内冷却に直接進み、基本的に CRAC を列に移動し、周囲の CRAC を排除して、上げ床とそのダクト付き供給および戻りプレナムを排除することもできます。図 4 はそのような例の 1 つです。

図 4.Massachusetts Green High Performance Computing Center (MGHPCC)での列内冷却

7テクニカルホワイトペーパー

液体支援冷却
液体支援冷却により、リアドア熱交換器（RDHX）がラックエンクロージャーの標準リアドアに取って代わります。次に、ITEを出た加熱された空気は、液体から空気への熱交換器（L2A HEX）を通過し、熱を液体に伝達します。一方、RDHX ファンは、冷間中和された空気の流れをデータセンターに戻します。
密結合の冷却システムには、オープンルームの空気から隔離された個別の冷気分配経路と温風戻り経路があります。閉ループシステムは通常、ITE によって生成された熱を除去するために冷水を使用する L2AHEX を使用します。HPE は、HPE
Adaptive Rack Cooling System（ARCS）と呼ばれる密結合冷却システムを提供しています。両方の液体支援冷却ソリューシ
ョンの例は、以下の図 5 で強調表示されています。

図 5.液体支援冷却：右側の RDHX と比較した左側の ARCS（上面図）

ITE は、前面に冷気を必要とし、背面に加熱された空気を排出します。図 5 では、ARCS システムでは、左側の空気の流れは前後に沿っていますが、すべての ITE 空気は、施設の入力空気を必要とせず、施設の戻り空気と相互作用しません。
ARCS では、熱負荷全体が水によって運ばれるため、部屋に熱負荷が入ることはありません。右側の RDHX の例でも、ITEの前後の冷却が示されていますが、顕著な違いは、施設の空気がラックに出入りすることです。加熱された空気は、ラックを出る前に RDHX によって冷却されるため、室内で正味の熱が増加することはありません。ただし、このソリューションでは、ITE の全エアフロー容量をサポートするためにルームエアムーバーが必要ですが、ARCS はエアムーバーを必要とせず、データセンター以外の環境にインストールできます。
これら 2 つのテクノロジーのもう 1 つの差別化要因は、ITE を基準にした交換器の配置です。ARCS の展開では、L2A HEXが ITE ラックにないため、さまざまな施設の液体温度が許可されます。逆に、RDHX では、最初に施設の水を CDU 液液熱交換器（L2L HEX）に送る必要があります。次に、施設の水が各 ITE ラックの L2A HEX に二次液体ネットワークを分配します。
施設には露点以下の水があることが多いため、これは重要です。この点、ARCS は二次液体ネットワークを必要としない構成を取ることができるようになりました。
ARCS は、L2A HEX に対応するために 2〜4 個の ITE ラックをサポートするために、常に 1 つのラックスペースを必要としますが、特定の施設の液体条件では RDHX L2L HEX を排除できる場合があります。しかし、それでもすべてのラックに流体接続する必要があります。どちらのシナリオでも、ラックは通常より深く、これは部屋のレイアウトに対応する必要があります。別の液体支援技術は、L2A HEX オーバーヘッドを配置し、ITE の上のスペースに施設インフラストラクチャがまだインストールされていない場合、さまざまな部屋の配置を可能にする可能性があります。

8

テクニカルホワイトペーパー

DIRECT-LIQUID COOLING (DLC)
DLC システムは、コンポーネントレベルで ITE を冷却するために特別に設計されています。これらは、空冷が不可能な高密度および/または高出力システムに最適なソリューションです。DLC システムは、通常、CDU を使用して IT 熱を施設の給水にリダイレクトします。

HPE Apollo DLC システム
HPE Apollo DLC システムは、プロセッサーのパフォーマンスを最適化し、データセンターの効率を高め、データセンターの密度を回復するための、シンプルで完全に統合されたプラグアンドプレイアプローチを提供します。工場でインストールされたDLC の概念は、HPE Apollo 2000 Gen10 Plus システムで利用できます。これは、HPE ARCS またはリアドア熱交換器と組み合わせて、部屋に中立なソリューションを提供し、データセンターの効率をさらに最大化できます。
HPE Apollo DLC は、サーバー内のコンポーネント上に冷却剤を流し、熱をそれらから引き離すコールドプレートとチューブで構成されています。ラックの長さを走るマニホールドがサーバーに冷却剤を供給し、温水はラック内に含まれる CDU に送られます。CDU は最大 32°C (89.6°F)の施設の水に接続し、サーバーから水が戻ります。さらに、液冷インフラストラクチャは、次世代 CPU、GPU、および相互接続との上位互換性を維持しながら、複数のプロセッサアーキテクチャとアクセラレータオプションをサポートするように注意深く設計されています。現在、Apollo DLC は HPE Apollo 2000 Gen10 Plus システムでCPU とメモリの冷却をサポートします。さらに、CPU および GPU 冷却は、HPE Apollo 6500 Gen10 Plus システムでサポートします。

9テクニカルホワイトペーパー

完全閉ループ液体冷却
この環境にシステムを導入する場合、データセンターの周囲空気は使用されません。図 6 に示すように、完全に封じ込まれています。

図 6.液体支援および直接液体冷却の実装例

HPE Cray EX スーパーコンピューター
大規模システムで最高のパフォーマンス、密度、効率を必要とする企業向けに、HPE Cray EX スーパーコンピューターは100％ソリューションレベルの熱捕捉を提供し、外部の空冷の必要性を排除します。
HPE Cray EX アーキテクチャには、温水の効率を使用して最高ワット数の CPU と GPU（500W を超える）をサポートするための多くの革新的な機能が含まれています。液冷インフラストラクチャは、はるかにコンパクトなシステムアーキテクチャをもたらすため、より安価な電気ケーブルよりもより高価な光相互接続ケーブルの使用を最小限に抑えます。

HPE Cray EX および Apollo 液体支援
完全閉ループ液体冷却はデータセンターの周囲空気を使用しないため、サイトは施設の冷却から流体をそこに運ぶだけでよ
く、CRAC、上げ床、またはあらゆるタイプの空気移動装置を準備する必要はありません。技術的には、特定の列内クーラーと HPE ARCS 自体が、一部の施設でこれらの条件を満たすことができます。
これを HPE Cray スーパーコンピューターおよび DLC を備えた HPE Apollo ソリューションと組み合わせることで、これらはほぼすべてのデータセンター環境にインストールできます。

10テクニカルホワイトペーパー

液浸冷却
エンタープライズデータセンターは、このホワイトペーパーで前述したように、サーバーとストレージシステムのラックを冷却するためにオープンエリアアプローチを最も頻繁に使用しています。
液浸冷却は、システム冷却の課題を解決するために大きく異なるアプローチを採用しています。液浸冷却とは、誘電性冷却剤と呼ばれる熱伝導性の液体（電気的ではない）にコンピュータコンポーネントまたはサーバー全体を沈めることです。この方法で冷却される IT ハードウェアはファンを必要とせず、通常、温水冷却液と冷水回路の間の熱交換は、ヒーターコアやラジエーターなどの熱交換器を介して行われます。
HPE サーバーは、ほとんどのデータセンターに導入されている従来の冷却方法をサポートするように設計されています。
そのため、液浸冷却シナリオで HPE サーバーを使用するためには、必要なシステム変更がいくつかあります。たとえばサーマルグリースは、互換性のあるサーマルインターフェイス材料と交換する必要があります。液浸液との互換性のために、ハードディスクドライブの代わりにソリッドステートドライブを使用する必要があります。クーラントの自然な流れを妨げることを防ぐために、システムファンは取り外す必要もあります。現在、HPE は、液浸された製品に対する保証またはサービスを提供していません。
上記のすべての冷却戦略は、今日の液浸冷却と同等またはそれ以上の利点をもたらします。

最適な冷却戦略の選択
どの冷却戦略が環境に最適であるかは、施設の特性、部屋のマッピング、ラックあたりの消費電力、サーバー密度などの多くの要因によって異なります。そのため、HPE は、すべてのデータセンター環境に最適な戦略として、1 つの特定の冷却戦略を推奨していません。

サーバー密度/ラックあたりの電力に基づく冷却の決定
部屋の特性とデータセンターのレイアウトから特定の冷却戦略を提案できますが、最終的には機器の密度と消費電力によって最適な選択が決まります。いくつかの一般的な仮定をすることができます：
最大 10kW を使用するラックには、従来のデータセンター冷却で十分です。
10 kW 以上を使用するラックには、何らかの形の封じ込め戦略が必要になる可能性があります。
液体支援冷却は、10 kW ラックから始まり、ラックあたり最大 60 kW までのバランスの取れたアプローチですが、ラックあたり 45 kW を超えると、その密度レベルでコンポーネントを空冷できる専用の ITE が必要になる可能性があります。
閉ループ冷却は、ラックあたり 10 kW から 10 年以上前のレガシーIT まで、ラックあたり数百 kW のエクサスケールスーパーコンピューターまで、従来のサーバー/電力密度の最も広い範囲に対応します。

11

テクニカルホワイトペーパー

データセンターサービス
HPE Pointnext Data Center Technology Services (DCTS) は、戦略および計画からデータセンターの試運転に至るまで、コンサルティングサービスの完全なポートフォリオを提供します。図 7 に示すように、DCTS はデータセンターのライフサイクル全体にわたってサービスを提供します。サービスは 5 つの主要なポートフォリオにグループ分けされています。これは次のとおりです。
アドバイザリーと戦略：サービスには、ロードマップ計画、現在の状態と将来の状態のシナリオ、IT ソーシングオプション、および総所有コスト（TCO）分析が含まれます。
プラニングサービス：機械、電気、防火、燃料油、およびセキュリティシステムの概念計画サービスの完全なポートフォリ
オ。DCTS には、HPC 液冷データセンターの計画において豊富な経験もあります。最近、DCTS はアジアで世界最大のHPC 施設のいくつかを設計しました。
モジュラーデータセンターと専門サービス：DCTS は、容量と冗長性に関連するいくつかのカテゴリに分類されるセキュアエッジデータセンター（SEDC）を含むパートナーシップを通じて、さまざまなモジュラーソリューションを提供します。DCTS サービスには、サイト評価、建設管理、および入札評価が含まれます。
データセンターの管理および運用コンサルティング：DCTS は、データセンターの管理と運用効率をサポートする完全なサービスラインを提供します。Runbook は、手順、オペレーショナルリスク評価、スタッフと組織の評価、物理的セキュリティ評
価、継続的改善プログラム、ITSM サービス機能、法医学的障害分析、試運転サービス、および DCIM コンサルティングサービスの完全なセットです。
評価とエネルギーサービス：熱の迅速で包括的な評価、インフラストラクチャの状態と容量の評価、基本的な容量の評価、エネルギー効率の評価、水効率の評価、エネルギーと持続可能性の管理ワークショップ、グリーン認証など、さまざまな space-power-cooling-air 管理サービスです。

図 7.HPE Pointnext Data Center Technology Services (DCTS)

12

テクニカルホワイトペーパー

HPE PERFORMANCE CLUSTER MANAGER を使用した電力と冷却の管理
HPC システムでは、システム障害を防ぎ、電力と冷却のコストを管理するために、綿密な監視と管理が必要です。
HPE Performance Cluster Manager は、HPE クラスター用の完全に統合されたシステム管理ソフトウェアであり、電力や冷却など、クラスターのすべての側面の管理者による監視と管理を提供します。このソフトウェアは、CPU、GPU、ラック、シャーシ、ノード、ラック AC、バルク DC、および CDU のすべてのハードウェアの電力メトリックを収集して分析します。このソフトウ
ェアは HPE ARCS もサポートしているため、ユーザーは電力と冷却のメトリックを分析し、水漏れ、電源装置の障害、過熱などの事前構成されたアラートに対応できます。
図 8 および 9 は、HPE Performance Cluster Manager が CDU および HPE ARCS の熱ステータスおよびその他のインジケーターを監視し、ユーザーが潜在的な問題を簡単に見つけられるようにそれらを Grafana に表示する方法を示しています。

テクニカルホワイトペーパー

図 8.Grafana に表示される CDU モニタリングのスクリーンショット

図 9.経時的に Grafana に表示される HPE ARCS メトリック

テクニカルホワイトペーパー

図 10.冷却装置の詳細図

冷却に障害が発生した場合、HPE Performance Cluster Manager は、システムの影響を受ける部分をシャットダウンして、コンポーネントの過熱からシステムを保護します。シャットダウンはトポロジとプロトコルを認識し、順次ステージングされます。
HPE Performance Cluster Manager は、消費電力を管理および監視する機能も提供します。これを使用して、電力と冷却の範囲内に収まるようにラック/シャーシ/ノードの電力上限を決定できます。システム管理者は、電力や熱などの環境しきい値、データセンターの電力容量、またはワークロード、計画された電圧低下、時刻などの他の理由に基づいて、電力上限をトリガーする制限を設定できます。
電力と冷却のデータはスケーラブルなデータベースに保存されるため、容量と計画の目的で分析できます。
図 11 は、HPE ARCS のユーザーフレンドリーなインターフェースと、システムに関する一目でわかる情報を示しています。これにより、ユーザーは、水漏れ、温度変化、ドアのロック/ロック解除、電源障害などの問題を明確に確認できます。

図 11.HPE ARCS の概要ユーザーインターフェイス

テクニカルホワイトペーパー

HPE Performance Cluster Manager は HPE ARCS と完全に統合されているため、ユーザーは電力と冷却のメトリックを監視および分析し、ソフトウェアによって管理される残りの電力と冷却の情報とともにアラートを構成して対応できます。詳細については、HPE Performance Cluster Manager を使用した電源と冷却の管理に関するセクションを参照してください。

結論
データセンターはより効率的な冷却ソリューションを必要としているため、HPE は現在および将来のニーズを満たすソリューションを提供するために熱心に取り組んでいます。条件はデータセンターごとに異なるため、コンピューティング環境を効率的に冷却するために、選択可能な幅広いソリューションを提供します。

詳細情報
詳細については、以下のリソースを参照してください。
リソースの説明

リソースのリンク

HPE Pointnext サービス: デジタルトランス
フォーメーションを加速するためのコンサル
ティング、運用、教育、および金融サービス

HPE Pointnext サービス

HPE Performance Cluster Manager

HPE Performance Cluster Manager

HPE Adaptive Rack Cooling System(ARCS)

HPE ARCS QuickSpecs
HPE ARCS 仮想製品アニメー
ション HPE ARCS ウェブページ

HPE Cray EX

HPE Cray EX ウェブページ

HPE high-performance computing (HPC)

HPE HPC ウェブページ

HPE Apollo 2000 Gen10 Plus
システム (DLC を含む)

HPE Apollo 2000 Gen10 Plus システムウェブページ HPE Apollo 2000 Gen10 Plus
System QuickSpecs

詳細はこちら

HPE Apollo 2000 Gen10 Plus システム仮想製品アニメーション

hpe.com/info/hpc

正しい購入決定をする。プリセール
ススペシャリストに問い合わせる。

© Copyright 2020 Hewlett Packard Enterprise Development LP. 本書の内容は、予告なしに変更されることがあります。Hewlett Packard Enterprise 製品およびサービスに対する保証については、当該製品およびサービスの保証規定書に記載されています。本書のいかなる内容も、新たな保証を追加するものではありません。
Hewlett Packard Enterprise は、本書中の技術的あるいは校正上の誤り、省略に対しては責任を負いかねますのでご了承ください。a00104981ENW、2020 年 9 月