AI 特許紹介(28)AI 特許を学ぶ！究める！
～MASK R-CNN 特許～
2021 年 5 月 10 日
河野特許事務所
所長 弁理士 河野英仁
「AI 特許紹介」シリーズは、注目すべき AI 特許のポイントを紹介します。熾烈な競争となっている第４次産業革命下では AI 技術がキーとなり、この AI 技術・ソリュー
ションを特許として適切に権利化しておくことが重要であることは言うまでもありません。
AI 技術は Google, Microsoft, Amazon を始めとした IT プラットフォーマ、研究機関
及び大学から毎週のように新たな手法が提案されており、また AI 技術を活用した新たなソリューションも次々とリリースされています。
本稿では米国先進 IT 企業を中心に、これらの企業から出願された AI 特許に記載された AI テクノロジー・ソリューションのポイントをわかりやすく解説致します。
1.概要
特許権者 Facebook
出願日 2018 年 3 月 15 日
登録日2020 年 7 月 14 日

登録番号 US10713794
発明の名称

オブジェクトインスタンスのセグメンテーションに機械学習を使用するための方法とシステム
794 特許は、オブジェクトの検出と分類をピクセル単位で行う MASK R-CNN に関する。
2.特許内容の説明
図１は、Mask R-CNN のフレームワークを示す。

1

図１
図１では、サッカーをしている数人の人間を示す入力画像 910 の例を示している。
ResNet、または、特徴ピラミッドネットワーク（FPN）等の畳み込みバックボーン深層ネットワークを用いて、入力画像 910 を処理し、特徴マップ 920 を生成する。
バックボーンの出力はまた、領域提案ネットワーク（RPN）によって使用され、特徴
マップ 920 内の領域にマッピングされる任意の数の RoI930 を識別する。次に、RoI930などの個々の RoI は、RoIAlign940 と呼ばれるプロセスを使用して処理され、より小さな RoI または領域特徴マップ 950（例えば、７×７）を抽出する。より小さな領域特徴
マップは、固定された所定のサイズ（例えば、n×n または n×m）を有する。
次に、RoI 特徴マップ 950 は、(1)オブジェクト 960 を（バウンディングボックスを使用して）検出し、(2)オブジェクト 970 を（例えば、人、犬などとして）分類し、(3)セグメンテーションマスクを介してオブジェクト 980 をセグメント化する。
これらの 3 つのタスクのそれぞれは、畳み込みニューラルネットワークなどの１つまたは複数のニューラルネットワーク層を使用して実行することができる。 例えば、全結合層 955 は、物体検出 960 および物体分類 970 に使用される。セグメンテーション
マスクブランチのためのネットワーク 958 は、各 RoI に適用され、ピクセル毎にセグ
メンテーションマスクを予測する完全畳み込みネットワーク（FCN）である。

2

図２
図 2 は、Common Objects in Context (COCO)テストセット（特定のオブジェクトの様々な画像を含む）に対して Mask R-CNN を使用して画像処理を実行した結果の例を示している。
図 2 は、分類のためのグラウンドトゥルースラベル（例えば、「車」または「人」のラベル）、バウンディングボックスオブジェクト検出（例えば、車などのオブジェクトの周りのバウンディングボックス）、および、インスタンスセグメンテーション（たとえば、異なる色で表され、各オブジェクトインスタンスに対応する特定のピクセルを識別するマスク）を備えたトレーニング画像を示している。

3

図 13A ResNet C4 ネットワークヘッド

図 13B FPN ネットワークヘッド

図 13A は ResNet C4 ネットワークヘッド、図 13B は FPN ネットワークヘッドを示す。両方の図で、それぞれのヘッドは RoI を入力として受け取り、3 つの予測を出力する。RoI で検出されたオブジェクトの分類（class）、オブジェクトのバウンディングボックス（box）、および、オブジェクトのセグメンテーションマスク（mask）である。
図の数字は空間分解能とチャネルを示し、矢印はコンテキストから推測できる畳み込
み、デコンボリューション、または完全結合レイヤーを示す。例えば、図 13B において、「×４」は、４つの連続する畳み込みのスタックを示し、28×28×256 マップの生成
は、デコンボリューションによるものである。
図 13A において、「res5」は、ResNet の第 5 ステージを示す。これは、簡単にする
ために、最初の畳み込みがストライド 1 の 7×7 RoI で動作するように変更されている。
FPN の場合、バックボーンにはすでに res5 が含まれているため、より少ないフィルターを使用するより効率的なヘッドが可能となる。示されている例では、ResNet-C4 を使用して生成されたマスクは 14×14×80 であり、FPN を使用して生成されたマスクは28×28×80 である。

3.クレーム794 特許のクレーム 1 は以下の通りである。
1. コンピュータシステムにおける方法において、
トレーニング画像にアクセスし、第１のニューラルネットワークを使用してトレーニング画像の特徴マップを生成し、特徴マップにおける関心領域を特定し、
4サンプリング領域によって定義されたサンプリング位置に基づいて、関心領域の領域
特徴マップを生成し、前記サンプリング領域と関心領域は、特徴マップ内の同じ領域に整列しており、
第 2 のニューラルネットワークを使用して領域特徴マップを処理することにより、対象領域に関連付けられたインスタンスセグメンテーションマスクを生成し、インスタンスセグメンテーションマスクを使用して第２のニューラルネットワークを
トレーニングし、
トレーニングされた第２のニューラルネットワークは、画像に描かれたオブジェクト
インスタンスのインスタンスセグメンテーションマスクを生成するように構成される。

4. MASK R-CNN に関する論文
本特許に関連する論文1「MASK R-CNN」が Kaiming He 氏らにより発表されている。
下記図は、COCO テストセットを用いた MASK R-CNN の結果を示している。各オブジェクトがピクセル単位で的確に分類されていることが理解できる。

上記テーブルは、COCO テストにおける、インスタンスセグメンテーションマスク
の AP（Average Precision）を示している。MNC と FCIS は、それぞれ COCO の 2015
Kaiming He Georgia Gkioxari Piotr Doll´ar Ross Girshick, “MASK R-CNN”,
arXiv:1703.06870v3 [cs.CV] 24 Jan 20181

5

と 2016 のセグメンテーションチャレンジの勝者である。Mask R-CNN は、マルチス
ケールトレイン/テスト、水平フリップテスト、および OHEM を含むより複雑な FCIS+++よりも優れた結果を達成している。
以上
著者紹介
河野英仁
河野特許事務所、所長弁理士。立命館大学情報システム学博士前期課程修了、米国フラ
ンクリンピアースローセンター知的財産権法修士修了、中国清華大学法学院知的財産夏季セミナー修了、MIT(マサチューセッツ工科大学)コンピュータ科学・AI 研究所 AI コース修了。
AI 特許コンサルティング、医療 AI 特許コンサルティングの他、米国・中国特許の権
利化・侵害訴訟を専門としている。著書に「世界のソフトウエア特許(共著)」、「FinTech
特許入門」、「AI/IoT 特許入門 2.0」、「ブロックチェーン 3.0(共著)」がある。

6