称号及び氏名

博士（工学） 北 耕次

学位授与の日付

平成 30 年 3 月 31 日

論

「防犯カメラ映像の画質改善に関する研究」

文

名

論文審査委員

主査

吉岡 理文

副査

松本 啓之亮

副査

黄瀬 浩一

論文要旨
近年，防犯カメラの設置台数が世界的に増加している。2016年の日本における設置台数は500万台（25人に1台）以上，アメリカでは3000万台（11人に1台）以上ある。また，2015年の中国でも2000万台（70人に1台）に達するが，人口に対して設置台数が最も多いのがイギリスであり，2014年には既に590万台（11人に1台）に達している。様々な場所や時間帯で映像が撮影される環境が広がる中，犯罪の客観的な状況証拠としての価値が益々重要視されるようになってきている。記憶に新しい事件としては，2017年2月に発生した朝鮮民主主義人民共和国の金正男氏暗殺が挙げられる。なお，テレビ放送の一部に私が処理した映像が含まれている。
防犯カメラの映像技術は，基本的にテレビ放送と同じである。映像信号はアナログからデジタルへ，記録媒体は磁気テープから光ディスクやメモリへと変遷し，映像の高画質化はテレビ放送と同様に重要なファクタである。一方で，機器が小型化され安価となったことで，公共施設や店舗だけでなく一般家庭等にも普及が進み，偶然遭遇した事件現場をドライブレコーダや携帯電話で撮影した映像まで含めると，何らかの映像が残っている事件はかなり多い。このため，事件が発生すると警察は事件当時の映像を隈なく収集することに日々努力している。
容疑者の供述や住民への聞き込みに比べ，映像は客観的な証拠となるため，これを収集することは非常に重要である。ところが，一般的に防犯カメラは長期間録画のために低画質に設定したり，暗い環境での撮影が少なくなく，加えて偶然映り込んだ小さな物体を重要視することも珍しくないため，高画質化がどんなに進んでも，綺麗な映像が収集できるとは限らない。しかも，ダミーカメラが使われることからも分かるように，設置側は犯罪抑止に目的があり，事件解決には関心が低いため，古い機器を使い続けたり低品質な機器を設置したりする理由となっている。また，事件発生当時には困難だった映像処理が，20年近く経過した現在になって改めて行われることもある。このような背景から，防犯カメラ映像の画質を改善する必要性が生じており，設置台数の増加に伴ってその機会が益々増えると予想される。
さて，撮影した映像信号は，伝送や保存を低負荷で行えるように，情報量を削減することがアナログ時代から行われてきた。画面の走査を２回に分けて１行おきに交互表示するインタレース方式では，情報量の半減と同時に画面のチラつき（フリッカ）を抑える効果があり，現在のデジタルハイビジョン放送でも使用されている。更にデジタル方式では，フレーム間の冗長性と動き予測により大幅に情報量が削減されている。人間は蛍光灯の明滅を感じないが，これは明滅が目の周波数応答よりも速いからであり，同様にインタレース映像のチラつきもあまり感じることはない。また，ディスプレイから一定以上離れて画像を見ると，画面の画素配列や画像上のノイズ（例えばブロックノイズ）などもやはり認識できない。このように映像の情報量削減技術は，人間の視覚特性を巧みに利用しており，映像を見る上で違和感を与えることのない画質が実現されている。ところが，映像を一時停止や拡大した場合には，適切な条件で撮影され処理されたテレビ放送のような映像であっても，情報量削減に伴う問題点が浮き彫りになることがしばしば見受けられる。況して防犯カメラでは，適切な撮影条件はあまり期待できず，一瞬映った物や極小の物を重視する傾向も強い。そして当然，事件映像は撮り直すことができないため，その画質はかなり厳しい状態にならざるを得ない。
防犯カメラ映像の画質改善を行う場合，例えばJPEGブロックノイズの軽減後に輪郭強調を行ったり，歪曲の修正後に複数フレーム超解像を行ったりというように，処理順序を考慮しないと良好な画質が得られないことがある。そこで本論文では，画質改善処理を，①ノイズや収差など画像の問題点を抑制または解消する処理，②エッジ強調やボケ補正，超解像など画像の鮮明度を向上する処理，の２つに区別し，前者①に該当するインタレース映像に関する内容を第２章で，後者②に該当する１フレーム超解像に関する内容を第３章と第４章で取り上げる。
本論文の構成を以下に示す。
第２章では，拡大されたインタレース映像を通常のインタレース状態へ復元する方法について述べる。 インタレース映像は，時間差のある２枚の画像（フィールドという）が１行置きに交互に混合されて１枚の画像（フレームという）として記録されており，再生時にはフィールドが元の時間順に表示される。ところが，表示を静止したり静止画ファイルとして出力したりする場合，フレームが表示または出力されるため，移動物体部分には時間差に伴う位置ずれが横縞模様のコーミングノイズとなって現れる。このノイズは上記②の処理の妨げとなるため，上記①としてインタレース解除を行い，１フレームを元の２フィールドに分離しなければならない。この時，縦方向の解像度が低下するため，一般的にインタレース映像に関する研究は，低下した解像度を改善することに目的がある。つまり，インタレース状態は問題なく解除できることが前提である。ところが，何らかの理由でインタレース映像が拡大されていた場合，インタレース解除を行うと絵柄が滲んだような状態になり正しく分離できなくなる。本章では，インタレース映像の拡大倍率を検出し，その逆数の倍率と新しい縮小アルゴリズムによって通常のインタレース状態に復元する方法を述べ，様々な拡大倍率のインタレース映像を用いた実験により本手法の有効性を示す。
第３章では，単純な円図形を学習に用いた１フレームタイプの超解像について述べる。上述のように，防犯カメラ映像は，撮影環境や録画設定が適正とは言えない条件下で記録されることが珍しくなく，インタレース解除後の解像度低下の改善も含め，警察等では上記②に関する処理が最も必要とされているという背景がある。画像の鮮明度を向上させる方法に超解像と呼ばれるものがあり，対象とするフレーム枚数の違いから，１フレームと複数フレームのタイプがある。傾向的にノイズが多い防犯カメラ映像には，画像を重畳することでノイズ抑制効果も期待できる後者のタイプが，警察等の画像処理現場でよく用いられている。しかし，防犯カメラのフレームレート（１秒あたりのフレーム数）は，長期間録画のために低く設定されることが多いため，鮮明化対象が写ったフレームを複数枚揃えることは実際には難しい。したがって，１フレームタイプの超解像も必要とされている。１フレームタイプは，予め決めた条件や学習データベースを利用することで解像度を改善する手法だが，警察等には証拠として受け入れられないという実情がある。その理由は，アルゴリズムが同じであっても学習画像が異なれば結果が変わるからであり，どんなに大量の画像を学習しても，この問題は根本的に払拭することはできない。この課題を解決するため本章では，計算によって生成できる様々な半径の円画像を学習画像として用い，一般画像が持つような特徴を考慮する必要性を排除する。円は，部分的に輪郭線を見ると全ての方向への成分が存在している。一方で直線成分は存在しないため，半径の大きい円を含めることによって局所的に直線と見なす。これらの円画像のみから低解像と高解像の関係性を学習し，同一規模の学習データベースを構築した従来手法との比較によって本手法の有効性を示す。
第４章では，一般的なノイズ除去手法であるバイラテラルフィルタを利用した１フレームタイプの超解像について述べる。バイラテラルフィルタとはエッジ保存型のノイズ除去フィルタであり，ノイズ除去と共にエッジを強調する効果を有することが知られている。エッジとは，明るさ・色相・彩度の内の少なくとも１成分について一定以上の差異がある２つの領域の境界線であり，その成分差が大きい程はっきりしたエッジとして認識される。ただし，画像がぼやけていると一方の領域から他方の領域に向かって成分値が徐々に変化するため，ボケが強いほど境界線はあやふやになりエッジを認識し辛くなる。なお，画像にボケが発生する原因には，フォーカスずれや被写界深度などがある。画像中に存在するエッジの変化には様々な状態があり得るが，バイラテラルフィルタのパラメータ（２つのガウシアン分布のσ）は１画像内では一定であるため，強調されるエッジと平滑化されるエッジの両方が出現する。本章では，エッジ状態を検出し，その変化具合に応じてバイラテラルフィルタのパラメータを適宜調整することによって，画像中に存在するエッジを全体的に鮮明にする。実験では，比較的高画質な画像からかなり低画質な画像にまで本手法を適用し，エッジに注目した画質評価方法によってその有効性を示す。
第５章では，本研究で得られた結果の総括を行い結論とし，今後の課題について述べる。近年，日本の犯罪は減少傾向にあるが，身近な犯罪はむしろ増加しているとも言われる。防犯カメラやドライブレコーダ，携帯電話の普及によって，事件・事故に関する何らかの映像が残るようになったが，その状態は個々に異なるため，画質改善手法にも色々なタイプが必要とされている。本研究により，これまで画質改善が困難であった映像のいくつかを改善することができた。
今後は，第４章によって得られたエッジと元のエッジからボケを修復するためのボケ関数（PSF）を求めて，これを画像全体に適用し直す手法や他の手法との組み合わせ，新たな手法の検討など更なる画質の改善を行う。

審査結果の要旨

本論文は，犯罪の抑止や捜査等に重要となっている防犯カメラ映像の画質改善について検討を行ったものである．防犯カメラ映像は長時間の連続録画に重点を置いているため，画質，フレームレートが低く設定されており，夜間，屋外等照明条件も良好でない場合が多い．それゆえ，証拠として用いるためには画質改善が重要である．本論文では前処理であるインターレース解除と画質改善を行う手法について検討し，以下の成果を得ている．
（１）画像の記録方式として 1 フレームを 2 回に分けて走査するインターレース方式があるが，画像処理を行う前にこれを解除する必要がある．通常は単純な処理であるが，録画された画像を収集する過程で拡大，縮小等が行われ，しかもその内容が不明である場合があり，正しくインターレース解除を行うためには，これを適切に推定する必要がある．本論文では得られた画像のみから処理過程を推定し，正しくインターレース解除を行う手法を提案し，実験によって有効性を示している．
（２）低フレームレートの場合，フレーム間の差異が大きいため，複数フレームを用いた処理は不適であり，１フレーム毎に画質改善を行うパッチベース手法が適している．従来のパッチベース手法では多くの画像を学習し，それに基づいて画質改善を行うことが一般的であったが，処理結果が学習した画像データセットに依存するため，証拠画像としては利用し難いという問題があった．これに対して，本論文では様々なスケールの円弧のみをパッチとして適用する手法を提案し，従来手法と同程度の画質改善効果が得られることを示している．
（３）1 フレーム毎の画質改善を行う別のアプローチとして，画像内の領域境界であるエッジの強調を行う手法について検討を行っている．従来この処理にはバイラテラルフィルタが用いられていたが，最適な結果を得るためには画像の状況に応じてフィルタパラメータを調整する必要があった．
これに対してエッジの状況に応じてフィルタパラメータを自動調整する手法を提案し，数値実験によってその有効性を確認している．
以上の研究成果は，防犯カメラ映像の画質改善に大きく寄与するものであり，犯罪捜査における客観的な状況証拠収集に大いに貢献すると考えられる．また，申請者が自立して研究活動を行うのに必要な能力と学識を有することを証したものである．学位論文審査委員会は，本論文の審査ならびに最終試験の結果から，博士（工学）の学位を授与することを適当と認める．