(57)【要約】【課題】画質を維持しながら、撮像装置の低消費電力化、高ＳＮ化、通信帯域の削減を実現する。【解決手段】撮像システムは、複数の画素が受光した光信号を電気信号に変換する光電変換部と、電気信号を蓄積して電荷信号として保持する電荷保持部と、複数の画素の少なくとも一部に関して、かつ、連続する所定の２枚のフレームに関して、フレームごとに異なる加算サンプリング処理を行うよう制御するための加算サンプリング情報を設定する加算サンプリング情報設定部と、加算サンプリング情報にしたがって電荷信号に加算サンプリング処理を行って出力する加算サンプリング部と、加算サンプリング部から出力された出力信号を、デジタル信号に変換する変換部と、デジタル信号から、加算サンプリング情報を利用して復元画像を生成して出力する画像復元部とを備えている。【選択図】図４
2018148582.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子によって生成された電荷信号に加算サンプリング処理を行うことによって各フレーム画像の映像信号を生成するマルチプレクサと、
前記マルチプレクサによって生成された前記映像信号から、圧縮サンプリング技術を利用して各フレーム画像を復元画像として生成する画像復元回路と、
前記復元画像を出力する出力セレクタと、
前記加算サンプリング処理を制御するための制御信号を生成する制御回路であって、前記各フレーム画像毎に、前記加算サンプリング処理の加算サンプリング方法を変更する制御信号を生成する制御回路と
を備える、撮像システム。
【請求項２】
前記画像復元回路は、
これまでに復元した前記各フレーム画像の時間平均画像を保持するメモリと、
前記マルチプレクサによって生成された前記映像信号、および前記制御信号を受け取って前記制御信号に基づいて前記時間平均画像に前記加算サンプリング処理を行い、得られた信号と前記映像信号との差分を示す差分信号を生成し、さらに前記制御信号と前記差分信号とを用いて差分画像を生成して前記時間平均画像に加算することにより、前記各フレーム画像を復元画像として生成する演算回路と
を備えている、請求項１に記載の撮像システム。
【請求項３】
前記マルチプレクサによって生成された前記映像信号を利用して、ビューアに表示するための、前記電荷信号による映像信号の解像度よりも低い解像度の映像信号を生成する低解像度画像生成・表示部をさらに備える、請求項１に記載の撮像システム。
【請求項４】
録画を行うか否かの指示をユーザから受け取るユーザインターフェイス部をさらに備え、
前記ユーザインターフェイス部が前記ユーザから録画を行う指示を受け取っていた場合に、前記出力セレクタが前記復元画像を出力する、請求項１に記載の撮像システム。
【請求項５】
撮像素子を備える撮像システムにおいて利用される撮像方法であって、
前記撮像素子によって生成された電荷信号に加算サンプリング処理を行い、
各フレーム画像の映像信号を生成し、
生成された前記映像信号から、圧縮サンプリング技術を利用して各フレーム画像を復元画像として生成し、
復元画像を出力し、
前記加算サンプリング処理を制御するための制御信号であって、前記各フレーム画像毎に、前記加算サンプリング処理の加算サンプリング方法を変更する制御信号を生成する、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、圧縮センシングを用いた撮像装置に関する。
【背景技術】
【０００２】
近年、「圧縮センシング」と呼ばれる技術が開発されている。圧縮センシングとは、撮像時に複数の画素の画素値（電荷信号）を加算することによって画像の情報量を圧縮し、画像のスパース性を利用した画像復元を行う技術である（例えば、非特許文献１を参照）。上述の方式による撮像は、加算サンプリング撮像と呼ばれる。
【０００３】
通常、このような加算サンプリング撮像を行うと、画像の情報量が失われてしまうため、復元画像の画質は大きく劣化する。しかし、圧縮センシングでは、画像のスパース性を利用した復元処理を行うため、加算撮像でデータ量を減らしながらも、圧縮しない場合の画像と遜色ない画質の復元画像を得ることができる。ここで、「画像のスパース性」とは、画像をウエーブレット空間や離散コサイン（ＤＣＴ）空間などへ射影した際、多くの係数値がほぼ０になるという知見である。画像のスパース性を利用した画像復元手法として、圧縮センシングでは、Ｌ０ノルム最小化やＬ１ノルム最小化手法を利用する。
【０００４】
圧縮センシングでは、撮像素子内のアナログデジタル変換器（以下、「ＡＤＣ」と記述する。）で処理を行う以前に、単純な加算処理を行いデータ量を圧縮することが可能なため、ＡＤＣの駆動周波数を下げることが可能である。これにより、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる。
【０００５】
例えば特許文献１は、圧縮センシングの概念を利用した固体撮像素子を開示する。この固体撮像素子では、複数の画素それぞれに複数の異なる配線が接続されている。固体撮像素子は、画素群の複数の画素を、位相をずらしたタイミングで順に駆動して信号を読みだす。この構成により、追加の回路を削減し、サンプルおよびホールド回路が不要で、ノイズ増加による画質劣化、面積増加、速度低下を防止可能な固体撮像素子を実現している。
【０００６】
また、非特許文献１は、Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｃｕｒｖｅｌｅｔ  Ｔｈｒｅｓｈｏｌｄｉｎｇ法を利用することで、画像に対して、圧縮センシングを適用する方法を開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２４５９５５号公報
【非特許文献】
【０００８】
【非特許文献１】Ｊ．  Ｍａ，  “Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｃｕｒｖｅｌｅｔ  Ｔｈｒｅｓｈｏｌｄｉｎｇ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ，  ｖｏｌ．６０，  ｎｏ．１，  ｐｐ．１２６−１３６，  ２０１１．
【非特許文献２】Ｙ．  Ｏｉｋｅ  ａｎｄ  Ａ．Ｅ． Ｇａｍａｌ， “Ａ ２５６×２５６ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ΔΣ−Ｂａｓｅｄ Ｓｉｎｇｌｅ−Ｓｈｏｔ Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ”，  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ Ｃｏｎｆｅｒｅｎｃｅ  （ＩＳＳＣＣ）  Ｄｉｇ.ｏｆ  Ｔｅｃｈ. Ｐａｐｅｒｓ, ｐｐ．３８６−３８７， ２０１２．
【非特許文献３】田中利幸，“圧縮センシングの数理”，ＩＥＩＣＥ  Ｆｕｎｄａｍｅｎｔａｌｓ  Ｒｅｖｉｅｗ，ｖｏｌ．４，ｎｏ．１，ｐｐ．３９−４７，２０１０．
【非特許文献４】茨木俊秀、福島雅夫著、「情報数学講座(全15巻)第14巻 最適化の手法」共立出版株式会社、1993年7月20日初版1刷発行(P159-P164)．
【非特許文献５】Ｍ．  Ｖ．  Ａｆｏｎｓｏ，  Ｊ．  Ｍ．  Ｂｉｏｕｃａｓ−Ｄｉａｓ  ａｎｄ  Ｍ．  Ａ．  Ｔ． Ｆｉｇｕｅｉｒｅｄｏ， “Ｆａｓｔ  Ｉｍａｇｅ  Ｒｅｃｏｖｅｒｙ  Ｕｓｉｎｇ  Ｖａｒｉａｂｌｅ  Ｓｐｌｉｔｔｉｎｇ  ａｎｄ  Ｃｏｎｓｔｒａｉｎｅｄ  Ｏｐｔｉｍｉｚａｔｉｏｎ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ, Ｖｏｌ．１９，  Ｎｏ．９，  ｐｐ．２３４５−２３５６， ２０１０．
【非特許文献６】Ｃ．  Ｔｏｍａｓｉ  ａｎｄ  Ｒ．  Ｍａｎｄｕｃｈｉ， “Ｂｉｌａｔｅｒａｌ  ｆｉｌｔｅｒｉｎｇ  ｆｏｒ  ｇｒａｙ  ａｎｄ  ｃｏｌｏｒ  ｉｍａｇｅｓ”，  Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ｐｐ．８３９−８４６， １９９８．
【非特許文献７】中静真，“スパース信号表現とその画像処理応用”，映像情報メディア学会誌，Ｖｏｌ．６５，  Ｎｏ．１０，  ｐｐ．１３８１−１３８６，  ２０１１．
【非特許文献８】Ｊ. Ｚｈａｎｇ, Ｄ. Ｚｈａｏ, Ｃ. Ｚｈａｏ, Ｒ. Ｘｉｏｎｇ, Ｓ. Ｍａ, ａｎｄ Ｗ． Ｇａｏ, “Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ Ｒｅｃｏｖｅｒｙ ｖｉａ Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｓｐａｒｓｉｔｙ”，  Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  Ｄａｔａ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，  ｐｐ．  ２８７−２９６，  ２０１２．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、圧縮センシングで前提としている画像のスパース性は、一般画像では必ずしも成立しない。例えば、小物が散らかっているような、ランダム性の高い画像は、スパースになりにくい。そのため、このような画像においては、非特許文献１で開示されている手法を用いても、復元画像の画質が劣化する。そのため、復元画像の画質のさらなる向上が求められていた。
【００１０】
本願の、限定的ではない例示的なある実施形態は、圧縮センシングを利用した復元画像の画質を向上させる技術を提供する。
【課題を解決するための手段】
【００１１】
本開示のある実施の形態にかかる撮像システムは、複数の画素が受光した光信号を電気信号に変換する光電変換部と、前記電気信号を蓄積して電荷信号として保持する電荷保持部と、前記複数の画素の少なくとも一部に関して、かつ、連続する所定の２枚のフレームに関して、フレームごとに異なる加算サンプリング処理を行うよう制御するための加算サンプリング情報を設定する加算サンプリング情報設定部と、前記加算サンプリング情報にしたがって前記電荷信号に前記加算サンプリング処理を行って出力する加算サンプリング部と、前記加算サンプリング部から出力された出力信号を、デジタル信号に変換する変換部と、これまでの所定期間内に取得した複数フレームの前記デジタル信号から、前記加算サンプリング情報を利用して復元画像を生成して出力する画像復元部とを備えている。
【発明の効果】
【００１２】
本開示の一態様にかかる撮像システムによれば、フレームによって加算サンプリング情報を変更しながら加算サンプリング処理による撮像を行い、その結果得られた複数フレームの出力信号に対して、圧縮センシング技術による画像復元を処理する。フレームによって加算サンプリング情報を変更しながら加算サンプリング処理を行うため、出力信号はフ
レーム方向にもランダムなサンプリングが可能となる。よって、信号量を抑えながら、より高画質の復元画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態にかかる撮像システム１０のハードウェア構成例を示す図である。
【図２】実施の形態１にかかる撮像システム１０の構成例を示すブロック図である。
【図３】実施の形態１における符号化システム３０の構成を示すブロック図である。
【図４】実施の形態１による符号化システム３０の主要な処理の手順を示すフローチャートである。
【図５】本実施の形態１における加算サンプリング撮像部１０１と画像復元部１０３の詳細な構成を示すブロック図である。
【図６】実施の形態１における撮像装置の加算サンプリング撮像部１０１の処理の手順を示すフローチャートである。
【図７】４×４の１６画素の配置を示す図である。
【図８】（ａ）〜（ｈ）は時刻ｔ＝１における加算サンプリング処理を説明するための模式図である。
【図９】（ａ）〜（ｈ）は時刻ｔ＝２における加算サンプリング処理を説明するための模式図である。
【図１０】（ａ）〜（ｈ）は時刻ｔ＝３における加算サンプリング処理を説明するための模式図である。
【図１１】（ａ）〜（ｈ）は時刻ｔ＝４における加算サンプリング処理を説明するための模式図である。
【図１２】符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。
【図１３】符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。
【図１４】（ａ）および（ｂ）は加算サンプリング処理の特徴を説明するための模式図である。
【図１５】（ａ）および（ｂ）は加算サンプリング処理の特徴を説明するための模式図である。
【図１６】（ａ）および（ｂ）は加算サンプリング処理の特徴を説明するための模式図である。
【図１７】（ａ）および（ｂ）は加算サンプリング処理の特徴を説明するための模式図である。
【図１８】基準となる画像と、非特許文献８の画像復元手法により、１６フレームのデータに対して復元した画像と、実施の形態による処理によって復元した画像を示した図である。
【図１９】実施の形態２による符号化システム１００の構成を示すブロック図である。
【図２０】実施の形態２による符号化システム１００の主要な処理の手順を示すフローチャートである。
【図２１】加算サンプリング撮像部１０１と画像復元部１０３の詳細な構成を示すブロック図である。
【図２２】実施の形態２における撮像装置の加算サンプリング撮像部１０１と画像復元部１０３の処理の手順を示すフローチャートである。
【図２３】（ａ）〜（ｈ）は時刻ｔ＝１における加算サンプリング処理を説明するための模式図である。
【図２４】（ａ）〜（ｈ）は時刻ｔ＝２における加算サンプリング処理を説明するための模式図である。
【図２５】（ａ）〜（ｈ）は時刻ｔ＝３における加算サンプリング処理を説明するための模式図である。
【図２６】（ａ）〜（ｈ）は時刻ｔ＝４における加算サンプリング処理を説明するための模式図である。
【図２７】符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。
【図２８】符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。
【図２９】（ａ）および（ｂ）は加算サンプリング処理の２つの特徴を説明するための模式図である。
【図３０】（ａ）および（ｂ）は加算サンプリング処理の２つの特徴を説明するための模式図である。
【図３１】（ａ）および（ｂ）は加算サンプリング処理の２つの特徴を説明するための模式図である。
【図３２】（ａ）および（ｂ）は加算サンプリング処理の２つの特徴を説明するための模式図である。
【図３３】（ａ）〜（ｄ）は、差分画像を利用した復元処理を説明するための模式図である。
【図３４】加算サンプリング情報をフレームごとに固定した場合と変更した場合における、復元画像とその時間平均画像を示す模式図である。
【図３５】時間平均画像を利用した復元画像の画質を示した模式図である。
【図３６】実施の形態３における符号化システム２００の構成を示すブロック図である。
【図３７】実施の形態３における符号化システム２００の処理の手順を示すフローチャートである。
【図３８】撮像状況推定部１０６と画像復元部１０３との関係を示すブロック図である。
【図３９】実施の形態４における符号化システム３００の構成を示すブロック図である。
【図４０】実施の形態５における符号化システム４００の構成を示すブロック図である。
【図４１】実施の形態６における符号化システム５００の構成を示すブロック図である。
【図４２】実施の形態７にかかる表示制御システム６００の構成例を示すブロック図である。
【図４３】実施の形態７における表示制御システム６００の主要な処理の手順を示すフローチャートである。
【図４４】実施の形態７にかかる別の表示制御システム６０１の構成例を示すブロック図である。
【図４５】実施の形態７における別の表示制御システム６０１の主要な処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
本開示の一実施形態による撮像システムは、複数の画素が受光した光信号を電気信号に変換する光電変換部と、前記電気信号を蓄積して電荷信号として保持する電荷保持部と、前記複数の画素の少なくとも一部に関して、かつ、連続する所定の２枚のフレームに関して、フレームごとに異なる加算サンプリング処理を行うよう制御するための加算サンプリング情報を設定する加算サンプリング情報設定部と、前記加算サンプリング情報にしたがって前記電荷信号に前記加算サンプリング処理を行って出力する加算サンプリング部と、前記加算サンプリング部から出力された出力信号を、デジタル信号に変換する変換部と、
前記デジタル信号から、前記加算サンプリング情報を利用して復元画像を生成して出力する画像復元部とを備えている。
【００１５】
ある実施の形態において、前記加算サンプリング情報設定部は、前記複数の画素の全てに関して、フレームごとに異なる加算サンプリング処理を行うよう制御するための加算サンプリング情報を設定する。
【００１６】
ある実施の形態において、前記加算サンプリング情報設定部は、前記複数の画素の一部に関しては、フレームにかかわらず同じ加算サンプリング処理を行うよう制御するための加算サンプリング情報を設定する。
【００１７】
ある実施の形態において、前記画像復元部は、これまでの所定期間内に生成された復元画像の時間平均画像を作成する平均信号生成部と、前記デジタル信号と前記時間平均画像との差分を示す差分信号を生成する差分信号生成部と、前記加算サンプリング情報を利用して前記差分信号から差分画像を生成し、さらに、前記差分画像と前記時間平均画像とを用いて前記復元画像を生成する差分画像復元部とを備えている。
【００１８】
ある実施の形態において、前記加算サンプリング情報設定部は、前記加算サンプリング部において行われる前記加算サンプリング処理の方法を示す情報を、前記加算サンプリング情報として設定する。
【００１９】
ある実施の形態において、前記電荷保持部は、所定のフレーム期間毎に前記電荷信号をフレーム画像として出力し、前記加算サンプリング情報設定部は、前記フレーム画像毎に前記加算サンプリング情報を変更する。
【００２０】
ある実施の形態において、前記加算サンプリング情報設定部は、複数種類の加算サンプリング情報を切り替えて、前記フレーム画像毎に前記加算サンプリング情報を変更する。
【００２１】
ある実施の形態において、前記加算サンプリング部は、前記複数種類の加算サンプリング情報に基づいて、前記加算サンプリング処理を空間的にランダムに行う。
【００２２】
ある実施の形態において、前記加算サンプリング部は、前記複数種類の加算サンプリング情報に基づいて、前記加算サンプリング処理を時間的にランダムに行う。
【００２３】
ある実施の形態において、前記電荷信号は、前記複数の画素の各々に対応する画素信号を含んでおり、前記加算サンプリング部は、前記加算サンプリング情報に基づいて、前記複数の画素のうち、互いに近接する画素群に同時に前記加算サンプリング処理を行って１つの信号を出力する。
【００２４】
ある実施の形態において、前記撮像システムは、前記複数の画素は、複数の画素群に分類され、各画素群に対応して出力された各信号から、ビューアに表示するための、解像度が相対的に低い低解像度画像を生成する低解像度画像生成・表示部をさらに備えている。
【００２５】
ある実施の形態において、前記光電変換部において前記光信号を前記電気信号に変換したときの状況である撮像状況を推定し、推定された前記撮像状況にしたがって、前記加算サンプリング情報設定部に前記加算サンプリング情報を変更するよう指示する。
【００２６】
ある実施の形態において、前記撮像システムは、時間変化が予め定められた基準以上に激しいシーンに含まれる画像領域を検出し、前記画像領域に対する前記加算サンプリング処理に関してはサンプリング数を増やすよう、加算サンプリング情報設定部に指示する撮
像状況推定部をさらに備えている。
【００２７】
ある実施の形態において、前記撮像システムは、時間変化が予め定められた基準より低いシーンの画像領域に対する前記加算サンプリング処理に関してはサンプリング数を減らすよう、加算サンプリング情報設定部に指示する撮像状況推定部をさらに備えている。
【００２８】
本開示の他の実施の形態にかかる撮像装置は、複数の画素が受光した光信号を電気信号に変換する光電変換部と、前記電気信号を蓄積して電荷信号として保持する電荷保持部と、前記複数の画素の少なくとも一部に関して、かつ、連続する所定の２枚のフレームに関して、フレームごとに異なる加算サンプリング処理を行うよう制御するための加算サンプリング情報を設定する加算サンプリング情報設定部と、前記加算サンプリング情報にしたがって前記電荷信号に前記加算サンプリング処理を行って出力する加算サンプリング部とを備えている。
【００２９】
ある実施の形態において、前記電荷保持部は、所定のフレーム期間毎に前記電荷信号をフレーム画像として出力し、前記加算サンプリング情報設定部は、前記フレーム画像毎に前記加算サンプリング情報を設定する。
【００３０】
ある実施の形態において、前記撮像装置は、前記加算サンプリング部から出力された出力信号を、デジタル信号に変換する変換部をさらに備えている。
【００３１】
本開示のさらに他の実施の形態にかかる復号化装置は、撮像システムにおいて用いられる復号化装置であって、前記撮像システムは、複数の画素が受光した光信号を電気信号に変換する光電変換部と、前記電気信号を蓄積して電荷信号として保持する電荷保持部と、前記複数の画素の少なくとも一部に関して、かつ、連続する所定の２枚のフレームに関して、フレームごとに異なる加算サンプリング処理を行うよう加算サンプリング処理を制御するための加算サンプリング情報を設定する加算サンプリング情報設定部と、前記加算サンプリング情報にしたがって前記電荷信号に前記加算サンプリング処理を行って、各フレーム画像の映像信号を出力する加算サンプリング部と、前記加算サンプリング部から出力された前記映像信号を、デジタル信号に変換する変換部とを備えており、前記復号化装置は、前記変換部から前記デジタル信号を受け取り、かつ前記加算サンプリング情報設定部から前記加算サンプリング情報を受け取る受信部と、圧縮サンプリング技術を利用して、前記加算サンプリング情報および前記デジタル信号から、前記各フレーム画像を復元する画像復元部とを備えている。
【００３２】
ある実施の形態において、前記画像復元部は、これまでの所定期間内に生成された復元画像の時間平均画像を作成する平均信号生成部と、前記デジタル信号と前記時間平均画像との差分を示す差分信号を生成する差分信号生成部と、前記加算サンプリング情報を利用して前記差分信号から差分画像を生成し、さらに、前記差分画像と前記時間平均画像とを用いて復元画像を生成する差分画像復元部とを備えている。
【００３３】
ある実施の形態において、前記撮像システムが、所定の解像度情報を受信し、前記加算サンプリング情報設定部が、前記所定の解像度情報に基づいて前記加算サンプリング情報を設定する場合において、前記復号化装置は、前記画像復元部によって復元された前記各フレーム画像を表示するビューアの解像度に関する解像度情報を取得して送信する送信部をさらに備えている。
【００３４】
ある実施の形態において、前記復号化装置は、前記デジタル信号を利用して、ビューアに表示するための、前記電荷信号による映像信号の解像度よりも低い解像度の映像信号を生成する低解像度画像生成・表示部をさらに備えている。
【００３５】
ある実施の形態において、前記デジタル信号は、少なくとも、前記複数の画素のうち、互いに近接する画素群に前記加算サンプリング処理を行って得られた、前記各フレーム画像の前記映像信号を変換して得られた信号である。
【００３６】
ある実施の形態において、前記解像度情報によって示される前記ビューアの解像度が、予め定められた解像度よりも低い場合には、前記低解像度画像生成・表示部は、前記複数の画素のうち、互いに近接する画素群に前記加算サンプリング処理を行って得られた、前記各フレーム画像の映像信号を変換して得られたデジタル信号のみを受け取り、前記低い解像度の映像信号を生成する。
【００３７】
本開示の他の実施の形態にかかる撮像システムは、撮像素子と、前記撮像素子によって生成された電荷信号に加算サンプリング処理を行うことによって各フレーム画像の映像信号を生成するマルチプレクサと、前記マルチプレクサによって生成された前記映像信号から、圧縮サンプリング技術を利用して各フレーム画像を復元画像として生成する画像復元回路と、前記復元画像を出力する出力セレクタとを備えている。
【００３８】
ある実施の形態において、前記撮像システムは、前記加算サンプリング処理を制御するための制御信号を生成する制御回路であって、前記各フレーム画像毎に、前記加算サンプリング処理の加算サンプリング方法を変更する制御信号を生成する制御回路をさらに備えている。
【００３９】
ある実施の形態において、前記画像復元回路は、これまでに復元した前記各フレーム画像の時間平均画像を保持するメモリと、前記マルチプレクサによって生成された前記映像信号、および前記制御信号を受け取って前記制御信号に基づいて前記時間平均画像に前記加算サンプリング処理を行い、得られた信号と前記映像信号との差分を示す差分信号を生成し、さらに前記制御信号と前記差分信号とを用いて差分画像を生成して前記時間平均画像に加算することにより、前記各フレーム画像を復元画像として生成する演算回路とを備えている。
【００４０】
ある実施の形態において、前記撮像システムは、前記マルチプレクサによって生成された前記映像信号を利用して、ビューアに表示するための、前記電荷信号による映像信号の解像度よりも低い解像度の映像信号を生成する低解像度画像生成・表示部をさらに備えている。
【００４１】
ある実施の形態において、前記撮像システムは、録画を行うか否かの指示をユーザから受け取るユーザインターフェイス部をさらに備え、前記撮像システムは、前記ユーザインターフェイス部が前記ユーザから録画を行う指示を受け取っていた場合に、前記出力セレクタが前記復元画像を出力する。
【００４２】
本開示にかかる他の実施の形態である撮像方法は、撮像素子を備えた撮像システムにおいて利用される撮像方法であって、前記撮像素子によって生成された電荷信号に加算サンプリング処理を行い、各フレーム画像の映像信号を生成し、生成された前記映像信号から、圧縮サンプリング技術を利用して各フレーム画像を復元画像として生成し、復元画像を出力する。
【００４３】
本開示にかかる他の実施の形態である表示制御システムは、上述した撮像装置から、前記加算サンプリング処理が行われた前記電荷信号による複数フレームのデジタル信号、前記加算サンプリング情報を受信する受信部と、圧縮サンプリング技術を利用して、前記加算サンプリング情報および前記デジタル信号から特定されたフレームの少なくとも一部の
領域を静止画として抽出する復号化装置と、前記静止画を出力する出力部とを備えている。
【００４４】
ある実施の形態において、前記表示制御システムは、前記複数フレーム間で画像領域の変化の割合を判定する判定部をさらに備え、前記判定部による判定結果が、前記複数フレーム間で画像領域の変化の割合が所定の割合よりも小さい場合には、前記復号化装置は、前記指示によって特定されたフレームの少なくとも一部の領域を静止画として抽出する。
【００４５】
以下、本開示の概要を説明する。
【００４６】
本開示の撮像システムは圧縮センシングの技術を利用して撮像を行う。撮像システムは、複数の画素が受光した光信号を電気信号に変換する光電変換部と、電気信号を蓄積して電荷信号として保持する電荷保持部と、複数の画素の少なくとも一部に関して、かつ、連続する所定の２枚のフレームに関して、フレームごとに異なる加算サンプリング処理を行うよう制御するための加算サンプリング情報を設定する加算サンプリング情報設定部と、加算サンプリング情報にしたがって電荷信号に加算サンプリング処理を行って出力する加算サンプリング部と、加算サンプリング部から出力された出力信号を、デジタル信号に変換する変換部と、デジタル信号から、加算サンプリング情報を利用して復元画像を生成して出力する画像復元部とを備えている。
【００４７】
本開示の撮像装置は圧縮センシングの技術を利用し、複数画素を加算サンプリングすることで撮像する加算サンプリング撮像部と、加算サンプリング撮像部が撮像した情報を利用して、低解像度画像を生成・表示する低解像度画像生成・表示部と、加算サンプリング撮像部が撮像した情報を利用して画像を復元する画像復元部と、ユーザの意図を検出するためのユーザインターフェイス部と、ユーザインターフェイス部によって検出したユーザの意図に基づいて、出力画像を表示する出力部を備えた撮像装置である。
【００４８】
また、加算サンプリング撮像部は、複数の画素が受光した光信号を電気信号に変換する光電変換部と、光電変換部に蓄積された電荷を保持する電荷保持部と、加算サンプリングのサンプリング方法（加算サンプリング情報）をフレームごとに異なるように設定する加算サンプリング情報設定部と、電荷保持部が保持している電荷信号を複数の画素において加算サンプリング情報にしたがって加算処理する加算サンプリング部と、加算サンプリング部の出力信号をデジタル信号に変換するアナログデジタル変換部を備えている。さらに、画像復元部は、復元画像の時間平均画像を生成する平均信号生成部と、平均信号生成部が生成した時間平均画像を保持する平均信号保持部と、加算サンプリング情報設定部が設定した加算サンプリング情報を利用して、アナログデジタル変換部の出力信号から、平均信号保持部が保持している時間平均画像に対応する信号を差分する差分信号生成部と、差分信号から圧縮センシングの技術を利用して、画像を復元する差分画像復元部を備えている。
【００４９】
本構成によって、撮像装置は、フレームごとに加算サンプリング情報を変更しながら撮像を行うことができる。これにより、高画質の時間平均画像が作成できる。時間平均画像との差分画像信号は、フレーム間で相関のある信号成分がキャンセルされるため、一般画像信号と比較し、スパース性が高くなる。そのため、差分信号を圧縮センシングにより画像復元することで、より高画質の画像復元が可能である。さらに、加算サンプリング処理により、アナログデジタル変換器（ＡＤＣ）の駆動周波数を下げられるため、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる。
【００５０】
以下、添付の図面を参照しながら、本開示による撮像システムの実施の形態を説明する。
【００５１】
（実施の形態１）
図１は、本開示の一実施形態にかかる撮像システム１０のハードウェア構成例を示す。撮像システム１０は、撮像素子１１と、マルチプレクサ（ＭＵＸ）１２と、制御回路１３と、アナログデジタル変換器（ＡＤＣ）１４と、画像復元回路１５と、出力セレクタ１６とを備えている。
【００５２】
撮像素子１１は、複数の画素から構成される画素アレイである。撮像素子１１は、受光した光信号を電気信号に変換する。より具体的には、撮像素子１１の各画素は、光を受け、入射した光の量に応じた電荷を蓄積し、出力する。
【００５３】
ＭＵＸ１２は、複数の画素の画素値（電荷信号）を加算する処理（加算サンプリング処理）を行う。より具体的には、加算サンプリング処理とは、ある位置の画素の電荷信号に、その位置から所定の関係にある位置の画素の電荷信号をサンプリングして加算し、新たな信号を生成する処理をいう。加算サンプリング処理は、アナログの電荷信号に関して行われ、得られる信号もまたアナログの電荷信号である。本実施の形態による加算サンプリング処理の詳細は後述する。
【００５４】
制御回路１３は、マルチプレクサ１２における加算サンプリング処理を制御するための制御信号を生成してマルチプレクサ１２に出力する。この制御信号は、後述の加算サンプリング情報である。
【００５５】
ＡＤＣ１４は、加算サンプリング処理の結果得られたアナログの電荷信号をデジタルデータに変換する。ＡＤＣ１４は、例えばΔΣ変調器およびデジタルフィルタ（いずれも不図示）を直列に接続して構成されるΔΣ型ＡＤＣである。ΔΣ変調器は、アナログ信号を受け取って、想定されるサンプリングレートよりも高速でサンプリングされた１ビットのパルス波形（デジタル波形）に変換する。デジタルフィルタは、そのパルス波に帯域制限とデシメーション（間引き）を行い、想定されるサンプリングレートの多ビットのデジタルデータを出力する。
【００５６】
画像復元回路１５は、ＡＤＣ１４によって変換されたデジタルデータから、圧縮サンプリング技術を用いて撮像素子１１によって当初生成されたであろう画像を生成する。この処理を、本明細書では「画像を復元する」と呼ぶ。
【００５７】
出力セレクタ１６は、画像復元回路１５によって復元された画像の出力の可否を選択する。例えば出力セレクタ１６は、撮像を行うための撮像スイッチ（図示せず）がオフにされていれば復元された画像の出力を禁止する。または出力セレクタ１６は、撮像スイッチ（図示せず）がオンにされていれば復元された画像の出力を許可する。
【００５８】
図２は、本実施の形態にかかる撮像システム１０の構成例を示すブロック図である。撮像システム１０は、撮像装置２０と、復号化装置２とを備えている。撮像装置２０は、撮影の結果得られた画像信号を符号化して出力する。復号化装置２は、撮像装置２０から送信された、符号化された画像信号を用いて画像を復号化および復元する。
【００５９】
撮像装置２０は、光電変換部５１と、電荷保持部５２と、符号化装置１とを備えている。
【００６０】
光電変換部５１は複数の画素を有しており、各画素は、受光した光をその光量に応じた電気信号に変換する。電荷保持部５２は、光電変換部５１によって得られた電気信号を一定時間蓄積し、電荷信号として保持する。光電変換部５１はおよび電荷保持部５２は、図
１における撮像素子１１に対応する。
【００６１】
符号化装置１は、図１のマルチプレクサ１２、制御回路１３、およびＡＤＣ１４に対応する。
【００６２】
復号化装置２は、図１における画像復元回路１５、および出力セレクタ１６に対応する。
【００６３】
本開示の一態様における撮像システム１０の撮像装置２０は、圧縮センシングの手法を用いて、ＡＤ変換前の画像信号を圧縮して情報量を削減する。撮像装置２０は、アナログ信号をデジタルデータへと変換して出力する。復号化装置２はそのデジタルデータから画像を復元する。
【００６４】
圧縮処理および復元処理は、最終的に出力される画質に大きく影響するため、如何にそれらの処理を行うかが問題である。
【００６５】
圧縮処理に関しては、一部の画素に行われる加算サンプリング処理のサンプリング方法（加算サンプリング情報）をフレームによって異なるように設定し、電荷保持部が保持している電荷信号を複数の画素において加算サンプリング情報にしたがって加算処理する。
【００６６】
復元処理に関しては、これまでの所定期間内に取得した複数フレームのデジタルデータと複数フレームの加算サンプリング情報から圧縮センシングの技術を利用して、画像を復元する。
【００６７】
本開示にかかる撮像システム１０によれば、フレームによって加算サンプリング情報を変更しながら撮像を行う。撮像するフレームによって加算サンプリング情報を変更することにより、加算サンプリング情報に依存するアーチファクトをフレームによって変化させることができる。これにより、より高画質の画像復元が可能である。さらに、加算サンプリング処理により、ＡＤＣの駆動周波数を下げられるため、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる。
【００６８】
上述の説明から理解されるとおり、本実施の形態においては、符号化装置１および復号化装置２において行われる処理が主要な処理であると言える。そこで、以下では、主として、符号化装置１および復号化装置２を包含する符号化システム３０の処理を詳細に説明する。なお、後続の各実施の形態に関しても、符号化システムに注目して説明する。各実施の形態にかかる符号化システムもまた、図２に示すような撮像システムに組み込まれて実装され得る。
【００６９】
なお、図２においては撮像装置２０と復号化装置２とは別体であるが、撮像装置２０が復号化装置２を含んでもよい。ＡＤ変換前に画像を圧縮して上述の利点を少なくとも１つ得ることができれば、必ずしも符号化装置１と復号化装置２とを別個の筐体内に設ける必要はない。
【００７０】
図３は、本実施の形態による符号化システム３０の構成を示すブロック図である。また、図４は、本実施の形態による符号化システム３０の主要な処理の手順を示すフローチャートである。
【００７１】
上述のとおり符号化システム３０は、符号化装置１および復号化装置２を含む。
【００７２】
符号化装置１は、加算サンプリング撮像部１０１と、送信部１５０ａを備えている。
【００７３】
復号化装置２は、受信部１５０ｂと、画像復元部１０３と、出力部１０５を備えている。
【００７４】
符号化装置１の送信部１５０ａ、および復号化装置２の受信部１５０ｂは通信を行って、画像のデジタルデータと加算サンプリング情報とを授受する。通信は、無線または有線の通信回線（ネットワーク）を介して行われる。つまり受信部１５０ｂは通信回路として実装され得る。
【００７５】
なお、符号化装置１は、画像のデジタルデータおよび加算サンプリング情報を常にリアルタイムで復号化装置２に送信する必要はない。例えば送信部１５０ａに代えて、記録媒体を設け、その記録媒体に画像のデジタルデータおよび加算サンプリング情報を書き込んでもよい。記録媒体は符号化装置１に内蔵され、または符号化装置１の外部に設けられ得る。記録にあたっては他の圧縮符号化技術を複合的に用いてもよい。そして記録媒体から読み出された画像のデジタルデータおよび加算サンプリング情報が復号化装置２に送信されればよい。この構成例は以下の実施の形態においても同様に適用される。
【００７６】
符号化装置１および復号化装置２の各構成要素の動作を、図４を参照しながら説明する。
【００７７】
加算サンプリング撮像部１０１は、電荷保持部５２から電荷信号を受け取り、後述するフレームによって異なる加算サンプリング処理を行って、シーンを撮像する（ステップＳ１０１）。
【００７８】
送信部１５０ａは、加算サンプリング撮像部１０１が撮影した画像のデジタルデータと、加算サンプリング撮像部１０１が撮像時に利用した加算サンプリング情報とを、復号化装置２に送信する（ステップＳ１５０ａ）。
【００７９】
受信部１５０ｂは、送信部１５０ａが送信した画像のデジタルデータと、加算サンプリング撮像部１０１が撮像時に利用した加算サンプリング情報とを受信する（ステップＳ１５０ｂ）。
【００８０】
画像復元部１０３は、加算サンプリング撮像部１０１が撮像した複数フレームの加算サンプリング信号から、圧縮サンプリング技術を利用して、撮像画像を復元する（ステップＳ１０３）。
【００８１】
出力部１０５は、復元された画像を出力する（ステップＳ１０５）。
【００８２】
図５は、加算サンプリング撮像部１０１と画像復元部１０３の詳細な構成を示すブロック図である。また、図６は、本実施の形態における撮像装置の加算サンプリング撮像部１０１の処理の手順を示すフローチャートである。
【００８３】
加算サンプリング撮像部１０１は、加算サンプリング情報設定部２０３と、加算サンプリング部２０４と、アナログデジタル変換部２０５とを備えている。加算サンプリング情報設定部２０３と、加算サンプリング部２０４と、アナログデジタル変換部２０５は、それぞれ、図１の制御回路１３、ＭＵＸ１２、ＡＤＣ１４に対応する。
【００８４】
画像復元部１０３は、図１における画像復元回路１５に対応し、例えば集積回路によって実現される演算回路である。
【００８５】
以下、加算サンプリング撮像部１０１と画像復元部１０３の各構成要素を詳細に説明する。
【００８６】
まず、加算サンプリング撮像部１０１の処理を詳述する。
【００８７】
加算サンプリング情報設定部２０３は、加算サンプリング部２０４によって実行される加算サンプリング処理において、フレームによって加算される画素が異なるように、加算サンプリング情報を設定する（ステップＳ２０３）。加算サンプリング情報は、加算サンプリング部２０４が実行する処理の内容を特定するための情報である。具体的には、加算サンプリング情報は、加算サンプリング処理後の新たな出力信号の各信号値について、元の電荷信号において加算に用いるためにサンプリングした画素の位置、どの程度のゲインを与えて加算するかという画素のゲイン情報、さらに、加算した出力信号をどの順番で送信するかという順序情報である。具体例は後述する。
【００８８】
加算サンプリング部２０４は、電荷保持部５２が保持している複数の画素の電荷信号に対して、加算サンプリング情報設定部２０３が設定した加算サンプリング情報に基づいて、加算サンプリング処理を行って新たな信号を生成し出力する（ステップＳ２０４）。このとき後述するように、フレームによって加算サンプリング情報を変更することにより、復元画質を向上させることが可能になる。
【００８９】
アナログデジタル変換部２０５は、加算サンプリング部２０４で生成された信号をデジタル信号に変換する（ステップＳ２０５）。この処理は、上述のΔΣ型ＡＤＣを利用して行われてもよいし、広く知られているパイプライン型やカラム型のアナログデジタル変換器を利用して行われてもよい。
【００９０】
加算サンプリング部２０４が加算サンプリング処理を行うことによって、画像情報の情報量を圧縮することができ、アナログデジタル変換部２０５に送信する信号量、つまりアナログデジタル変換部２０５が処理すべき信号量を減らすことができる。画像復元部１０３は、加算サンプリング情報を用いることによって、圧縮された画像情報から、画像を復元することができる。
【００９１】
次に、図７、図８〜図１７を参照しながら、加算サンプリング部２０４が行う加算サンプリング処理を詳細に説明する。本明細書においては、説明の簡略化のため、４×４の１６画素に対し、８個の信号を出力する処理を例に挙げて説明する。
【００９２】
図７は、本明細書において例示する４×４の１６画素の配置を示す。図７には４×４の各画素に画素番号を付している。すなわち、４×４画素において、左上隅の画素から右方向に順に「１」「２」「３」「４」とし、同様に、次行の左端の画素から「５」「６」…とし、右下隅の画素を「１６」としている。例えば画素３０１は画素番号４の画素である。  図８〜図１１は加算サンプリング処理を説明するための模式図である。
【００９３】
図８（ａ）〜（ｈ）はそれぞれ、ｔ＝１における８個の出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。つまり、図８（ａ）〜（ｈ）の各々において番号が付された各画素は、加算サンプリング処理に用いられる画素を表している。本明細書では、図８（ａ）〜（ｈ）の各々に示されるような、加算サンプリング処理に用いられるひとまとまりの画素群を「読み出し画素群」と呼ぶ。図８（ａ）〜（ｈ）には、番号１−８がそれぞれ付された読み出し画素群３０２−３０９が示されている。なお記載の便宜上、参照符号は読み出し画素群の画素の一つのみを指し示している。以下でも同様である。
【００９４】
同様に、図９（ａ）〜（ｈ）はｔ＝２における８個の出力信号における読み出し画素群３１０−３１７を示し、図１０（ａ）〜（ｈ）はｔ＝３における８個の出力信号における読み出し画素群３１８−３２５を示し、図１１（ａ）〜（ｈ）はｔ＝４における８個の出力信号における読み出し画素群３２６−３３３を示している。
【００９５】
図８（ａ）では、画素番号１，３，１０，１２の電荷信号を読み出し、この４画素分の電荷信号を加算処理することで、ｔ＝１の第１の出力信号を生成している。同様に、図８（ｂ）では、画素番号２，８，９，１６の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第２の出力信号を生成している。図８（ｃ）では、画素番号４，５，１３，１５の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第３の出力信号を生成している。図８（ｄ）では、画素番号６，７，１１，１４の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第４の出力信号を生成している。図８（ｅ）〜（ｆ）においても同様に、画素番号１，６，１１，１６からｔ＝１の第５の出力信号を、画素番号３，８，９，１４からｔ＝１の第６の出力信号を、画素番号２，５，１２，１５からｔ＝１の第７の出力信号を、画素番号４，７，１０，１３からｔ＝１の第８の出力信号を生成している。
【００９６】
このようにして、４×４＝１６画素分の電荷信号を８個の出力信号に圧縮する。これにより、後述のアナログデジタル変換部２０５の動作速度を減少させることができるため、低消費電力化、高ＳＮ化、通信帯域の削減を実現しながら、画像を復元できる。
【００９７】
また、前述の加算サンプリング情報は、例えば、加算のためにサンプリングされた画素を「１」、サンプリングされていない画素を「０」として、図に示した画素番号順に符号化したデータとして表現する。具体的には以下のとおりである。
第１の出力信号：“１０１０  ００００  ０１０１  ００００”
第２の出力信号：“０１００  ０００１  １０００  ０００１”
第３の出力信号：“０００１  １０００  ００００  １０１０”
第４の出力信号：“００００  ０１１０  ００１０  ０１００”
第５の出力信号：“１０００  ０１００  ００１０  ０００１”
第６の出力信号：“００１０  ０００１  １０００  ０１００”
第７の出力信号：“０１００  １０００  ０００１  ００１０”
第８の出力信号：“０００１  ００１０  ０１００  １０００”
【００９８】
そこで、これらを連結すると、ｔ＝１での加算サンプリング情報は以下のとおりとなる。
“１０１０  ００００  ０１０１  ００００    ０１００  ０００１  １０００  ０００１    ０００１  １０００  ００００  １０１０    ００００  ０１１０  ００１０  ０１００    １０００  ０１００  ００１０  ０００１    ００１０  ０００１  １０００
０１００    ０１００  １０００  ０００１  ００１０    ０００１  ００１０  ０１００  １０００”
【００９９】
本明細書では、上述の数字列を「加算サンプリング情報符号化データ」または簡略化して「符号化デ―タ」と呼ぶ。なお、加算サンプリング情報の形式はここで示したものに限られない。加算のためにサンプリングされた画素の位置が分かる形式であればよい。
【０１００】
同様に、図９より、ｔ＝２での符号化データは、以下のとおりである。
“１０００  ００１０  １０００  ００１０    ０１０１  ００００  ００１０  １０００    ００００  １００１  ０００１  ０１００    ００１０  ０１００  ０１００  ０００１    ０１００  ００１０  ０００１  １０００    ０００１  １０００  ０１００
００１０    ００１０  ０１００  １０００  ０００１    １０００  ０００１  ００
１０  ０１００”
【０１０１】
図１０より、ｔ＝３での符号化データは、以下のとおりである。
“１０００  ０００１  ００１０  ０１００    ０１１０  ００００  ０１００  ００１０    ００００  １０１０  １０００  ０００１    ０００１  ０１００  ０００１  １０００    ００１０  ０００１  １０００  ０１００    １０００  ０１００  ００１０
０００１    ０００１  ００１０  ０１００  １０００    ０１００  １０００  ０００１  ００１０”
【０１０２】
図１１より、ｔ＝４での符号化データは、以下のとおりである。
“１００１  ００００  ００００  １００１    ０１００  ００１０  ０００１  ０１００    ００１０  １０００  ０１１０  ００００    ００００  ０１０１  １０００  ００１０    ０００１  １０００  ０１００  ００１０    ０１００  ００１０  ０００１
１０００    １０００  ０００１  ００１０  ０１００    ００１０  ０１００  １０００  ０００１”
【０１０３】
図１２および図１３は、このような符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。これらの図におけるテーブル番号１，２，３，４の各符号化データは、図８、図９、図１０、図１１の加算サンプリング処理にそれぞれ対応している。
【０１０４】
このように、一つの画素を複数回、読み出し、さらに複数回の加算処理を行うことで、出力信号のダイナミックレンジを上げることができるため、ノイズを低減することも可能である。このような加算サンプリング処理については、例えば、非特許文献２に記載されている。
【０１０５】
本実施の形態の符号化装置１では、加算サンプリング処理に以下の特徴を与える。すなわち、第１〜第８の各出力信号に関連する加算サンプリング処理は、フレーム毎、換言すれば、サンプリング時刻ごとに異なる。なお、読み出し画素群に含まれる各画素のサンプリングの頻度は等しい。ただし、サンプリングの頻度が等しいことは必須ではない。各画素のサンプリングの頻度が異なっていてもよい。また、全てのフレームに関して、加算サンプリング処理を異ならせる必要はない。たとえば第１フレームと第２フレームには同じサンプリング処理を行い、第３フレームには異なるサンプリング処理を行ってもよい。局所的にみて、隣接する２枚のフレーム（上述の例では第２フレームと第３フレーム）に異なる処理を行えばよい。
【０１０６】
図１４〜図１７は、本実施の形態による加算サンプリング処理の特徴を説明するための模式図である。これらの図において、図８〜図１１と同じ構成要素には、同一の符号を付し、説明を省略する。図１４〜図１７において、（ａ）はｔ＝１〜４でのサンプリング処理で読み出される第１〜第４の読み出し画素群を示し、（ｂ）はｔ＝１〜４でのサンプリング処理で読み出される第５〜第８の読み出し画素群を示している。
【０１０７】
第１〜第８の読み出し画素群に基づく各出力信号によれば、ｔ＝１〜４でサンプリング画素の位置は常に変化している。ただし、４ｘ４画素の全ての画素を必ず１回、サンプリングしており、サンプリング頻度は等しい。このように、サンプリング画素を時間的に変化させることにより、後述するように、平均信号生成部２０６で生成する時間平均画像の画質を向上させ、さらには、画像復元部１０３が復元する画像の画質も向上させることができる。また、すべての画素を等しい頻度でサンプリングすることで、撮像した情報を、もれることなく取得することができる。
【０１０８】
上述したサンプリングする画素位置は、一例に過ぎない。加算サンプリング部２０４は、サンプリングする画素位置を、空間的、時間的にできる限りランダム、かつまたは、独立になるように選択してもかまわない。このようにすることで、加算サンプリング処理による画像情報の劣化を防ぐことができ、復元画像の画質を向上できる（例えば、非特許文献３のｐｐ.４３−４４参照）。このようなランダムな加算サンプリング処理は、ランダ
ムにサンプリングされて得られた符号化データを図１２〜図１３のように事前に設定することで実現される。この場合、加算サンプリング情報設定部２０３は、フレーム毎に利用するテーブル番号を変更すればよい。
【０１０９】
再び図５を参照しながら、符号化システム３０の符号化装置２において行われる処理を説明する。符号化装置２の主要な処理は画像復元部１０３によって行われる。
【０１１０】
画像復元部１０３は、アナログデジタル変換部２０５が出力する複数フレームのデジタル信号と、加算サンプリング情報設定部２０３が設定した複数フレームの加算サンプリング情報とを利用して、デジタル信号に対応する画像を復元する。この復元処理は、複数フレームを利用した圧縮センシングで使われている、Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｓｐａｒｓｉｔｙを利用した手法（例えば非特許文献８を参照）などの公知の手法を利用すればよい。
【０１１１】
圧縮センシングにおけるサンプリングでは、入力画像が未知の場合、ランダムなサンプリングを行うことで復元画質が向上することが知られている。そのため、複数フレームを利用して画像復元処理を行う場合、フレームによって加算サンプリングを変更することにより、空間方向だけでなく時間方向にもランダムなサンプリングを実現し、復元画質を向上させる。以下、フレームによって加算サンプリングを変更することで、復元画質が向上することを説明する。
【０１１２】
図１８（ａ）〜（ｃ）は、基準となる画像と、非特許文献８の画像復元手法により、１６フレームのデータに対して復元した画像と、本実施の形態による処理によって復元した画像を示している。図１８（ａ）は正解画像、図１８（ｂ）はフレーム毎に固定の加算サンプリングをした場合の復元画像、図１８（ｃ）はフレーム毎に異なる加算サンプリングをした場合の復元画像を示している。通常では、加算サンプリング処理を行うと、正解画像に相当する撮影された画像そのものの情報は失われる。しかしながら、図１８では、評価のために、加算サンプリング処理を行わない、既知の画像を正解画像として示している。
【０１１３】
この図から、加算サンプリングをフレームによって変更すると、ＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）が２３．９１ｄＢから２７．４１ｄＢまで、３．５ｄＢ向上することがわかる。このように、本実施の形態の撮像装置では、フレーム毎に加算サンプリング情報を変更することにより、復元画像のアーチファクトを抑制し、画質を大幅に向上させることができる。
【０１１４】
以上説明したように、本実施の形態によれば、加算サンプリング情報をフレームによって変更し、複数フレームを利用した画像復元処理を行うことで、復元画質を向上させることが可能である。
【０１１５】
以上の説明では、加算サンプリング部２０４は、複数の画素データを加算するとしたが、もちろん、ゲインとして重みづけ加算するようにしてもかまわない。これは、複数の画素を加算すると、データのダイナミックレンジが増大し、アナログデジタル変換部２０５の負荷が増えることを解決することに有効である。例えば、図８のように加算サンプリングを行う際、加算後のデータのダイナミックレンジを合わせるために、正規化処理を行う
場合、重み１／４をゲインとして与えればよい。このように加算サンプリング処理にゲインを付加する場合、加算サンプリング情報にそのゲイン情報を与えるようにすればよい。
【０１１６】
なお、本明細書における撮像装置は装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した撮像装置の動作を行ってもよい。そのようなコンピュータプログラムは、例えば図４のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【０１１７】
（実施の形態２）
以下、本実施の形態にかかるシステムの構成を説明する。なお、後続の各実施の形態の説明では、既に説明した実施の形態１の構成要素と同等の構造および機能を有する構成要素には同じ参照符号を付し、その説明は適宜省略する。
【０１１８】
本実施の形態の圧縮処理では、一部の読み出し画素群に行われる加算サンプリング処理では、フレームごとに異なるサンプリング方法（加算サンプリング情報）が設定される。さらに他の一部の読み出し画素群に行われる加算サンプリング処理では、フレームによらず同じ加算サンプリング情報が設定される。つまり、時刻が変わっても同じ読み出し画素群を利用して加算サンプリング処理が行われる。
【０１１９】
復元処理に関しては、これまでの所定期間内に生成された復元画像の時間平均画像を生成し、加算サンプリング情報を利用して、アナログデジタル変換部の出力信号から、時間平均画像に対応する信号の差分を求める。そして差分信号から圧縮センシングの技術を利用して、画像を復元する。
【０１２０】
本開示にかかる撮像システムによれば、一部の読み出し画素群に関してはフレームごとに加算サンプリング情報を変更しながら撮像を行い、他の一部の読み出し画素群に関しては加算サンプリング情報を変更せずに撮像を行う。
【０１２１】
撮像するフレーム画像ごとに加算サンプリング情報を変更することにより、加算サンプリング情報に依存するアーチファクトを復元後のフレーム画像毎に変化させることができる。これにより、高画質の時間平均画像を作成できる。時間平均画像との差分画像信号は、フレーム間で相関のある信号成分がキャンセルされるため、一般画像信号と比較し、スパース性が高くなる。そのため、差分信号を圧縮センシングにより画像復元することで、より高画質の画像復元が可能である。さらに、加算サンプリング処理により、ＡＤＣの駆動周波数を下げられるため、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる。
【０１２２】
一方、撮像するフレーム画像ごとに加算サンプリング情報を変更せずに加算サンプリング処理を行うことにより、画像復元処理を行うことなしに低解像度化された画像を得ることができる。したがって、処理負荷をほとんどかけず、リアルタイムに低解像度画像を表示することが可能になる。
【０１２３】
上述の説明から理解されるとおり、本実施の形態においては、符号化装置１および復号化装置２において行われる処理が主要な処理であると言える。そこで、以下では、主として、符号化装置１および復号化装置２を包含する符号化システムの処理を詳細に説明する。なお、後続の各実施の形態に関しても、符号化システムに注目して説明するが、符号化システムは図２に示すような撮像システムに組み込まれて実装されることは本実施の形態と同じである。
【０１２４】
なお、図２においては撮像装置２０と復号化装置２とは別体であるが、撮像装置２０が復号化装置２を含んでもよい。ＡＤ変換前に画像を圧縮して上述の利点を少なくとも１つ得ることができれば、必ずしも符号化装置１と復号化装置２とを別個の装置内に設ける必要はない。
【０１２５】
図１９は、本実施の形態による符号化システム１００の構成を示すブロック図である。また、図２０は、本実施の形態による符号化システム１００の主要な処理の手順を示すフローチャートである。
【０１２６】
上述のとおり符号化システム１００は、符号化装置１および復号化装置２を含む。
【０１２７】
符号化装置１は、加算サンプリング撮像部１０１と、送信部１５０ａを備えている。
【０１２８】
復号化装置２は、受信部１５０ｂと、低解像度画像生成・表示部１０２と、画像復元部１０３と、ユーザインターフェイス部１０４と、出力部１０５を備えている。本実施の形態による復号化装置２は、実施の形態１の復号化装置に、低解像度画像生成・表示部１０２、およびユーザインターフェイス部１０４が追加されて構成されている。
【０１２９】
符号化装置１および復号化装置２の各構成要素の動作を、図２０を参照しながら説明する。実施の形態１にかかる符号化装置１および復号化装置２の動作の相違点は、追加された低解像度画像生成・表示部１０２、およびユーザインターフェイス部１０４に関している。具体的には、ステップＳ１０２およびＳ１０４の動作が追加されている。なお、図２０ではステップＳ１０３は簡略化されて記載されている。
【０１３０】
以下、追加されたステップＳ１０２およびＳ１０４の動作を説明する。
【０１３１】
低解像度画像生成・表示部１０２は、加算サンプリング撮像部１０１が撮像した信号を利用して低解像度画像を生成し、別途設けられるビューア（図示せず）に表示する（ステップＳ１０２）。例えば符号化システム１００の全体が撮像装置に実装された場合には、ビューアは、撮像装置に実装された液晶表示装置や、電子ファインダーである。撮影シーンの画角や構図、明るさ、ピントなどを調整することを目的としているため、リアルタイムでの画像出力が求められる。そのため、後述するように、低解像度画像生成・表示部１０２は、撮影画像よりも解像度が低い画像を、画像復元処理を行うことなく、リアルタイムで出力する。
【０１３２】
ユーザインターフェイス部１０４は、ユーザが録画する意図を持っているかどうかを確認し、出力部１０５の処理を切り替える（ステップＳ１０４）。これは、例えば撮像スイッチがＯｎになっているかどうかを確認すればよい。後述するように、本実施の形態の撮像システム１０は、ユーザが撮像を始める以前からバックグラウンドで撮像を行い、高画質の時間平均画像を作成する。そのため、ユーザが撮像スイッチをＯｎしていない場合でも、画像復元部１０３は復元処理を行っている。
【０１３３】
図２１は、加算サンプリング撮像部１０１と画像復元部１０３の詳細な構成を示すブロック図である。また、図２２は、本実施の形態における撮像装置の加算サンプリング撮像部１０１と画像復元部１０３の処理の手順を示すフローチャートである。
【０１３４】
図５の構成との相違点は、低解像度画像生成・表示部１０２、およびユーザインターフェイス部１０４が追加されていること、および画像復元部１０３の詳細が記載されていることである。
【０１３５】
画像復元部１０３は、平均信号生成部２０６と、平均信号保持部２０７と、差分信号生成部２０８と、差分画像復元部２０９とを備えている。画像復元部１０３は、図１における画像復元回路１５に対応する。平均信号生成部２０６、差分信号生成部２０８、および差分画像復元部２０９は、例えば集積回路によって実現される演算回路である。また平均信号保持部２０７は例えばバッファなどの記憶回路である。集積回路やバッファは、例えば一体化されてＤＳＰなどとして実装され得る。
【０１３６】
以下、加算サンプリング撮像部１０１と画像復元部１０３の各構成要素を詳細に説明する。なお、実施の形態１と共通する処理の説明は適宜省略する。
【０１３７】
まず、加算サンプリング撮像部１０１の処理を詳述する。
【０１３８】
加算サンプリング情報設定部２０３は、加算サンプリング部２０４によって実行される加算サンプリング処理において、時間ごとに加算される画素が異なるように、また、加算処理によって、低解像度画像を容易に作成できるように、加算サンプリング情報を設定する（ステップＳ２０３）。加算サンプリング情報は、加算サンプリング部２０４が実行する処理の内容を特定するための情報であり、実施の形態１で説明したとおりである。すなわち、加算サンプリング情報は、加算サンプリング処理後の新たな出力信号の各信号値について、元の電荷信号において加算に用いるためにサンプリングした画素の位置、どの程度のゲインを与えて加算するかという画素のゲイン情報、さらに、加算した出力信号をどの順番で送信するかという順序情報である。具体例は後述する。
【０１３９】
加算サンプリング部２０４は、電荷保持部５２が保持している複数の画素の電荷信号に対して、加算サンプリング情報設定部２０３が設定した加算サンプリング情報に基づいて、加算サンプリング処理を行って新たな信号を生成し出力する（ステップＳ２０４）。このとき後述するように、フレームごとに加算サンプリング情報を変更することにより、復元画質を向上させることが可能になる。
【０１４０】
次に、図２３〜図３２を参照しながら、加算サンプリング部２０４が行う加算サンプリング処理を詳細に説明する。本明細書においては、説明の簡略化のため、４×４の１６画素に対し、８個の信号を出力する処理を例に挙げて説明する。なお、画素番号の付し方は図７に関して上述した説明に従う。
【０１４１】
図２３〜図２６は加算サンプリング処理を説明するための模式図である。
【０１４２】
図２３（ａ）〜（ｈ）はそれぞれ、ｔ＝１における８個の出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。つまり、図２３（ａ）〜（ｈ）の各々において番号が付された各画素は、加算サンプリング処理に用いられる画素を表している。
【０１４３】
同様に、図２４（ａ）〜（ｈ）はｔ＝２における８個の出力信号における読み出し画素群３１０−３１７を示し、図２５（ａ）〜（ｈ）はｔ＝３における８個の出力信号における読み出し画素群３１８−３２５を示し、図２６（ａ）〜（ｈ）はｔ＝４における８個の出力信号における読み出し画素群３２６−３３３を示している。
【０１４４】
ここで、本実施の形態による加算サンプリング処理と、実施の形態１による加算サンプリング処理との主要な相違点を説明する。
【０１４５】
図２３および図２４のそれぞれの（ａ）〜（ｄ）から理解されるように、フレームが変わっても加算サンプリング処理に用いられる画素群は同じ場合がある。一方、図８および
図９のそれぞれの（ａ）〜（ｄ）によれば、実施の形態１ではフレーム時刻が変わると、加算サンプリング処理に用いられる画素群が異なっている。実施の形態１の加算サンプリング処理では、フレームが変わると画素群を変えるが、本実施の形態の加算サンプリング処理では画素群を変えない場合がある、ということを意味する。なお、図２３および図２４のそれぞれの（ｅ）〜（ｈ）から理解されるように、本実施の形態では、フレームが変わると加算サンプリング処理に用いられる画素群が異なる場合もあることに留意されたい。以下、具体的に説明する。
【０１４６】
図２３（ａ）では、画素番号１，２，５，６の電荷信号を読み出し、この４画素分の電荷信号を加算処理することで、ｔ＝１の第１の出力信号を生成している。同様に、図２３（ｂ）では、画素番号３，４，７，８の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第２の出力信号を生成している。図２３（ｃ）では、画素番号９，１０，１３，１４の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第３の出力信号を生成している。図２３（ｄ）では、画素番号１１，１２，１５，１６の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第４の出力信号を生成している。図２３（ｅ）〜（ｆ）においても同様に、画素番号１，６，１１，１６からｔ＝１の第５の出力信号を、画素番号３，８，９，１４からｔ＝１の第６の出力信号を、画素番号２，５，１２，１５からｔ＝１の第７の出力信号を、画素番号４，７，１０，１３からｔ＝１の第８の出力信号を生成している。
【０１４７】
このようにして、４×４＝１６画素分の電荷信号を８個の出力信号に圧縮する。これにより、後述のアナログデジタル変換部２０５の動作速度を減少させることができるため、低消費電力化、高ＳＮ化、通信帯域の削減を実現しながら、画像を復元できる。
【０１４８】
また、前述の加算サンプリング情報は、例えば、加算のためにサンプリングされた画素を「１」、サンプリングされていない画素を「０」として、図に示した画素番号順に符号化したデータとして表現する。具体的には以下のとおりである。
第１の出力信号：“１１００  １１００  ００００  ００００”
第２の出力信号：“００１１  ００１１  ００００  ００００”
第３の出力信号：“００００  ００００  １１００  １１００”
第４の出力信号：“００００  ００００  ００１１  ００１１”
第５の出力信号：“１０００  ０１００  ００１０  ０００１”
第６の出力信号：“００１０  ０００１  １０００  ０１００”
第７の出力信号：“０１００  １０００  ０００１  ００１０”
第８の出力信号：“０００１  ００１０  ０１００  １０００”
【０１４９】
そこで、これらを連結すると、ｔ＝１での加算サンプリング情報は以下のとおりとなる。
“１１００  １１００  ００００  ００００    ００１１  ００１１  ００００  ００００    ００００  ００００  １１００  １１００    ００００  ００００  ００１１  ００１１    １０００  ０１００  ００１０  ０００１    ００１０  ０００１  １０００
０１００    ０１００  １０００  ０００１  ００１０    ０００１  ００１０  ０１００  １０００”
【０１５０】
本明細書では、上述の数字列を「加算サンプリング情報符号化データ」または簡略化して「符号化デ―タ」と呼ぶ。なお、加算サンプリング情報の形式はここで示したものに限られない。加算のためにサンプリングされた画素の位置が分かる形式であればよい。
【０１５１】
同様に、図２４より、ｔ＝２での符号化データは、以下のとおりである。
“１１００  １１００  ００００  ００００    ００１１  ００１１  ００００  ０００
０    ００００  ００００  １１００  １１００    ００００  ００００  ００１１  ００１１    ０１００  ００１０  ０００１  １０００    ０００１  １０００  ０１００
００１０    ００１０  ０１００  １０００  ０００１    １０００  ０００１  ００１０  ０１００”
【０１５２】
図２５より、ｔ＝３での符号化データは、以下のとおりである。
“１１００  １１００  ００００  ００００    ００１１  ００１１  ００００  ００００    ００００  ００００  １１００  １１００    ００００  ００００  ００１１  ００１１    ００１０  ０００１  １０００  ０１００    １０００  ０１００  ００１０
０００１    ０００１  ００１０  ０１００  １０００    ０１００  １０００  ０００１  ００１０”
【０１５３】
図２６より、ｔ＝４での符号化データは、以下のとおりである。
“１１００  １１００  ００００  ００００    ００１１  ００１１  ００００  ００００    ００００  ００００  １１００  １１００    ００００  ００００  ００１１  ００１１    ０００１  １０００  ０１００  ００１０    ０１００  ００１０  ０００１
１０００    １０００  ０００１  ００１０  ０１００    ００１０  ０１００  １０００  ０００１”
【０１５４】
図２７および図２８は、このような符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。これらの図におけるテーブル番号１，２，３，４の各符号化データは、図２３、図２４、図２５、図２６の加算サンプリング処理にそれぞれ対応している。
【０１５５】
このように、一つの画素を複数回、読み出し、さらに複数回の加算処理を行うことで、出力信号のダイナミックレンジを上げることができるため、ノイズを低減することも可能である。このような加算サンプリング処理については、例えば、非特許文献２に記載されている。
【０１５６】
本実施の形態の符号化装置１では、加算サンプリング処理に以下の２つの特徴を与える。
（１）第１〜第４の出力信号に関連する加算サンプリング処理は、時間に関係なく固定で行われる。その読み出し画素群が復元画像の低解像度画像となるように近傍の画素が同時にサンプリングされる。
（２）第５〜８の出力信号に関連する加算サンプリング処理は、時間毎に、換言すればフレーム毎に異なるが、読み出し画素群に含まれる画素のサンプリングの頻度は等しい。
【０１５７】
図２９〜図３２は、加算サンプリング処理の２つの特徴を説明するための模式図である。これらの図において、図２３〜図２６と同じ構成要素には、同一の符号を付し、説明を省略する。図２９〜図３２において、（ａ）はｔ＝１〜４での加算サンプリング処理で読み出される第１〜第４の読み出し画素群を示し、（ｂ）はｔ＝１〜４での加算サンプリング処理で読み出される第５〜第８の読み出し画素群を示している。
【０１５８】
第１〜第４の読み出し画素群に基づく各出力信号に関しては、加算サンプリング処理により、４ｘ４画素が２x２画素相当に低解像度化されている。しかも、ｔ＝１〜４でサン
プリング画素は変化していない。そのため、低解像度画像生成・表示部１０２は、第１〜第４の出力信号に対して、画像復元処理を行うことなしにビューアに表示させることで、処理負荷をほとんどかけず、リアルタイムに低解像度画像を表示することが可能である。
【０１５９】
一方、第５〜第８の読み出し画素群に基づく各出力信号に関しては、ｔ＝１〜４でサン
プリング画素の位置は常に変化しているが、４ｘ４画素の全ての画素を必ず１回、サンプリングしており、サンプリング頻度は等しい。このように、サンプリング画素を時間的に変化させることにより、後述するように、平均信号生成部２０６で生成する時間平均画像の画質を向上させ、さらには、画像復元部１０３が復元する画像の画質も向上させることができる。
【０１６０】
もちろん、加算サンプリング部２０４は、サンプリングする画素位置を、空間的、時間的にできる限りランダム、かつまたは、独立になるように選択してもかまわない。このようにすることで、加算サンプリング処理による画像情報の劣化を防ぐことができ、復元画像の画質を向上できる（例えば、非特許文献３のｐｐ.４３−４４参照）。このようなラ
ンダムな加算サンプリング処理は、ランダムにサンプリングされて得られた符号化データを図２７〜図２８のように事前に設定することで実現される。この場合、加算サンプリング情報設定部２０３は、フレーム毎に利用するテーブル番号を変更すればよい。
【０１６１】
再び図２１および図２２を参照しながら、符号化システム１００の復号化装置２において行われる処理を説明する。復号化装置２の主要な処理は画像復元部１０３によって行われる。
【０１６２】
差分信号生成部２０８は、アナログデジタル変換部２０５が出力するデジタル信号と、後述する平均信号保持部２０７が保持している復元画像の時間的な平均画像との差分信号を計算する（ステップＳ２０６）。
【０１６３】
アナログデジタル変換部２０５が出力するデジタル信号は、加算サンプリング部２０４の出力信号に対応しているため、画像信号ではない。一方、平均信号保持部２０７に保持されている時間平均画像は、復元された画像信号である。そのため、そのまま差分処理を行って差分信号を計算することができない。そこで、差分信号生成部２０８は、時間平均画像を、加算サンプリング情報を利用して加算サンプリング処理を行った後に、差分処理を行う。この処理を詳述する。
【０１６４】
まず、説明のために、撮像画像と加算サンプリング出力信号をベクトル表記する。図７の画素番号順に撮像画像の画素値を並べた撮像画像ベクトルをｘ、第１〜第８の加算サンプリング出力信号を並べた出力信号ベクトルをｙとすると、以下の関係式が成り立つ。
【数１】
2018148582.tif 000003
【０１６５】
行列Ｓは、サンプリング行列であり、加算サンプリング情報設定部２０３が設定した加算サンプリング情報を行列表現したものである。加算サンプリング情報として図２７のテーブル番号１を利用した場合、サンプリング行列Ｓは、以下のように表現される。
【数２】
2018148582.tif 000004
【０１６６】
数１より、加算サンプリング部２０４の出力信号に対応した時間平均信号ｙａは、平均信号保持部２０７が保持している時間平均画像ｘａを利用して、次式で計算される。
【数３】
2018148582.tif 000005
【０１６７】
数３を利用することで、差分信号生成部２０８は、加算サンプリング処理されている信号y（数１）と、時間平均信号ya（数３）との差分信号(y-ya)を計算することができる。
【０１６８】
なお、平均信号保持部２０７には、数３により加算サンプリング処理した後の、デジタル化された時間平均信号を保持するようにしてもかまわない。その場合にはアナログデジタル変換部２０５が出力するデジタル信号と、当該時間平均信号との差分を容易に計算することが可能である。
【０１６９】
差分画像復元部２０９は、差分信号生成部２０８が生成した差分信号と、加算サンプリング情報設定部２０３が設定した加算サンプリング情報とを利用して、差分信号に対応する画像（差分画像）を復元する。さらに、復元されたその差分画像と平均信号保持部２０７が保持している時間平均画像との加算処理を行うことで、復元画像を生成する（ステップＳ２０７）。この復元処理は、圧縮センシングで広く使われている、Ｉｍｐｒｏｖｅｄ
Ｉｔｅｒａｔｉｖｅ  Ｃｕｒｖｅｌｅｔ  Ｔｈｒｅｓｈｏｌｄｉｎｇ法（例えば非特許文献１を参照）やアフィンスケーリング法（例えば非特許文献４を参照）、Ａｌｔｅｒｎａｔｉｎｇ  Ｄｉｒｅｃｔｉｏｎ  Ｍｅｔｈｏｄ  ｏｆ  Ｍｕｌｔｉｐｌｉｅｒｓ法（例えば非特許文献５を参照）などの公知の手法を利用すればよい。
【０１７０】
圧縮センシングでは、入力画像をある空間へ射影した際、その係数ベクトルのスパース性が高くなるほど、復元画質が向上することが知られている。すなわち、入力画像をスパースに表現できる空間を利用することが、復元画質の向上には重要である。以下、時間平均画像との差分信号である差分画像を入力画像とすることで、スパース性が高くなることを説明する。
【０１７１】
図３３（ａ）〜（ｄ）は、差分画像を利用した復元処理を説明するための模式図である。図３３（ａ）は、時刻ｔ＝１において、背景４０１の前を移動している人物（動領域）４０２を撮像した画像４０３を示す。図３３（ｂ）は、図３３（ａ）と同じシーンを時刻ｔ＝２に撮像した画像４０４を示している。
【０１７２】
図３３（ｃ）は、このように撮影した複数枚の画像から計算した時間平均画像４０５を示す。図３３（ｃ）に示される時間平均画像４０５は、図３３（ａ）および（ｂ）に示す２枚の画像のみから得られた平均画像ではなく、人物（動領域）４０２が移動を継続するさらに他の画像をも含めた平均画像を示していることに留意されたい。背景４０１は時間に依存せず、画像の同じ位置で撮像されるため、時間平均画像においても同じ位置に存在する。一方、動領域４０２は時間毎に位置が変わるため、時間平均画像では存在しない。そこで、時間平均画像を作成することで、動領域４０２は存在せず、背景４０１のみが存在する画像を作成することができる。
【０１７３】
図３３（ｄ）は、時刻ｔ＝２に撮像した画像４０４と、時間平均画像４０５との差分画像４０６を示す。図中の白い領域４０７は差分値が存在する領域である。なお図３３（ｄ）では、参照符号４０７の引出線も白く示されているが、これは記載の便宜のためである。
【０１７４】
前述のように、圧縮センシングに基づいた復元画像の画質は、画像のスパース性に大きく依存する。そのため、小さな人形や模様のある絨毯のような細かいテクスチャを復元するには不向きである。一方、時間平均画像とその差分画像を利用した場合、このような画質を上げることが難しい細かいテクスチャは背景に含まれることが多いので、差分画像には含まれない。そのため、差分画像のスパース性は高くなる。また、フレーム間で相関のある信号成分がキャンセルされるという観点からも、差分画像のスパース性は高くなる。そこで、高画質の時間平均画像を取得できれば、差分画像のみを圧縮センシングに基づいて画像復元することで、高画質の復元画像を得ることができる。
【０１７５】
しかし、このように画質を向上させるためには、高画質の時間平均画像を作成することが必要である。時間平均画像は、復元画像に時間平均処理をすることで作成するため、もし、復元画像の画質が低い場合、時間平均画像の画質も低いと考えられる。
【０１７６】
そこで、本実施の形態の撮像装置の加算サンプリング情報設定部２０３は、フレーム毎に加算サンプリング情報を変更する。この処理により、復元画像の画質が低い場合であっても、時間平均画像の画質を向上することができる。これを説明するために、入力画像を動領域と背景に分割して説明する。
【０１７７】
まず、動領域を説明する。前述のように、時間平均画像には動領域は存在しない。そのため、時間平均画像の画質は、動領域の画質に影響せず、背景領域のみに強く依存する。
【０１７８】
次に、背景領域を説明する。背景領域の復元画像は、複数フレームにわたって同じであると推測される。ところで、復元画像の画質劣化をまねくアーチファクトは、加算サンプリング処理の加算サンプリング情報に大きく影響する。つまり、加算サンプリング情報を固定して、複数フレームにわたって背景領域に加算サンプリング処理を行った場合、復元画像はフレームごとの復元画像と同様のアーチファクトをもつ。一方、加算サンプリング情報をフレーム毎に変更した場合、復元画像はフレーム毎に異なったアーチファクトをもつ。
【０１７９】
図３４は、加算サンプリング情報をフレーム毎に固定した場合と変更した場合における、復元画像とその時間平均画像を示す模式図である。本願発明者らは、フレーム０〜９の１０フレームからなるシーンを対象として加算サンプリング処理を行った後、画像を復元した。そして復元された１０枚の画像の時間平均画像を求めた。図３４では、例としてフレーム０、４および９の復元画像を示している。なお、丸で囲んだ領域は後の説明において注目する領域を示すために便宜的に付されたものであり、復元画像に含まれるものではない。
【０１８０】
図３４において、上段は加算サンプリング情報を固定して１０フレームに加算サンプリング処理を行った場合の結果を示す。中段は本実施の形態の加算サンプリング情報設定部２０３にしたがって加算サンプリング情報を毎フレーム変更して加算サンプリング処理を行った場合の結果を示す。後段は正解画像を示している。なお、図３４の下段では、評価のために加算サンプリング処理を行わない、既知の画像を正解画像として示している。
【０１８１】
上段の加算サンプリング情報固定で処理した結果では、すべてのフレームにおいて、同様のアーチファクトが存在している。そのため、時間平均画像においても、同様のアーチファクトが残っている。例えば、復元画像左上に丸で囲んだ領域には、Ｔ字型のアーチファクトがすべてのフレームの復元画像に存在し、時間平均画像にも同様のアーチファクトが残っている。一方、中段の加算サンプリング情報をフレーム毎に変更した処理結果（本実施の形態の撮像装置の処理結果）では、フレーム毎にアーチファクトが異なっている。例えば、フレーム０の復元画像では、上段の処理結果同様のＴ字型のアーチファクトが生じているが、フレーム４やフレーム９の復元画像では、このようなアーチファクトは存在しない。そのため、時間平均画像では、個々の復元画像に存在したアーチファクトは均されて低減され、本来のシーンに存在する背景のみの画像となる。その結果、画質を大幅に向上することが確認された。
【０１８２】
図３５は、このようにして求めた時間平均画像を利用した復元画像の画質を模式的に示す。この図において、横軸はフレーム番号、縦軸は復元画像と正解画像とのＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）を示している。処理フレームが進むと復元画像の画質が大幅に向上している。このように、本実施の形態の撮像装置では、フレーム毎に加算サンプリング情報を変更することにより、復元画像のアーチファクトを抑制することができるため、画質を大幅に向上させることができる。
【０１８３】
また、図３５に示したように、時間平均画像や復元画像の画質を向上させるためには、事前に複数のフレームを処理しておき、高画質の時間平均画像を作成しておくことが重要である。そこで、本実施の形態の撮像装置では、図２０のステップＳ１０４に示したように、ユーザが撮像スイッチをＯｆｆにしている状態でも撮像を行い、時間平均画像の生成処理を行うことで、素早く、高画質の画像を復元できる。
【０１８４】
再び図２１および図２２を参照しながら、符号化システム１００の復号化装置２において行われる処理を説明する。
【０１８５】
平均信号生成部２０６は、差分画像復元部２０９が復元した復元画像の時間平均画像を生成する（ステップＳ２０８）。これは、例えば、以下のＩＩＲフィルタを利用することで実現する。
【数４】
2018148582.tif 000006
【０１８６】
ただし、Ａ（ｋ）はフレームｋでの時間平均画像、Ｉ（ｋ）はフレームｋでの復元画像、Ｍは０≦Ｍ≦１を満たす正の定数である。
【０１８７】
もちろん、平均信号生成部２０６は、IIRフィルタではなく、複数のフレームメモリを
利用して、次式のFIRフィルタとして実現してもかまわない。
【数５】
2018148582.tif 000007
【０１８８】
ただし、Ｎは時間平均処理に利用するフレーム数であり、正の定数である。
【０１８９】
もちろん、平均信号生成部２０６は、公知のノイズ抑制手法を利用することにより、画質を向上させるようにしてもかまわない（例えば、非特許文献６を参照）。ノイズ抑制手法を利用することで、時間平均画像の画質を向上させることができる。
【０１９０】
平均信号保持部２０７は、平均信号生成部２０６が生成した時間平均信号を保持し（ステップＳ２０９）、差分信号生成部２０８へ時間平均信号を送信する。これは、１フレーム分の画像フレームメモリにより実現される。
【０１９１】
以上説明したように、本実施の形態によれば、加算サンプリング情報をフレーム毎に変更しながら復元画像の時間平均画像を作成し、時間平均画像との差分信号を利用して画像復元処理を行うことで、復元画質を向上させることが可能である。
【０１９２】
以上の説明では、加算サンプリング部２０４は、複数の画素データを加算するとしたが、もちろん、ゲインとして重みづけ加算するようにしてもかまわない。これは、複数の画素を加算すると、データのダイナミックレンジが増大し、アナログデジタル変換部２０５の負荷が増えることを解決することに有効である。例えば、図２３のように加算サンプリングを行う際、加算後のデータのダイナミックレンジを合わせるために、正規化処理を行う場合、重み１／４をゲインとして与えればよい。このように加算サンプリング処理にゲインを付加する場合、加算サンプリング情報にそのゲイン情報を与えるようにすればよい。
【０１９３】
また、低解像度画像生成・表示部１０２は、画像復元部１０３において、高速な画像復元処理結果をビューアに表示させるようにしてもかまわない。これは、例えば撮影画像の一部の画像のみを復元することで実現される。画像の一部のみを処理するため、画像全体を処理する場合に比べ、高速に復元画像を生成できる。これにより、遅延の少ない画像をユーザに表示することが可能である。画像のどの領域を生成・表示するかどうかは、ユーザインターフェイス部１０４によって、ユーザに選択させてもかまわないし、画面中央部でもかまわない。また、復元する画像のサイズは、ビューアの解像度を基準に設定すればよい。
【０１９４】
また、画像復元部１０３による画像復元手法は、Ｍａｔｃｈｉｎｇ  Ｐｕｒｓｕｉｔｓ法、Ｍａｔｃｈｉｎｇ  Ｐｕｒｓｕｉｔｓ  Ｄｅｎｏｉｓｉｎｇ法などの、公知の手法を利用するようにしてもかまわない（例えば、非特許文献７を参照）。
【０１９５】
また、差分信号生成部２０８は、動き検出技術を利用することにより動き補償時間平均信号を生成し、アナログデジタル変換部２０５が出力するデジタル信号と、動き補償時間平均信号との差分信号を計算するようにしてもかまわない。動き補償時間平均信号を利用することにより、撮像装置が動いている場合であっても、画質を向上させることが可能である。さらに、奥行き情報を利用することで時間平均画像のスプライト画像を生成し、背景領域のみを切り出して処理するようにしてもかまわない。
【０１９６】
（実施の形態３）
図３６は、本実施の形態における符号化システム２００の構成を示すブロック図である。また、図３７は、本実施の形態における符号化システム２００の処理の手順を示すフローチャートである。さらに、図３８は、撮像状況推定部１０６と画像復元部１０３との関係を示すブロック図である。図３６、図３７、および図３８において、図１９、図２０、図２１と同じ構成要素については同じ符号を用い、説明を省略する。
【０１９７】
本実施の形態における符号化システム２００は、復号化装置の構成に関して、実施の形態２における符号化システム１００と相違している。すなわち本実施の形態にかかる復号化装置２０２は、復号化装置２に、撮像状況推定部１０６を追加して構成されている。以下、撮像状況推定部１０６の処理を詳細に説明する。
【０１９８】
撮像状況推定部１０６は、撮像状況を推定し、推定した撮像状況に応じて、加算サンプリング情報設定部２０３は加算サンプリング情報を変更する(ステップＳ１０６)。撮像状況とは、例えば光電変換部５１において光信号を電気信号に変換したときの状況である撮像シーンを意味する。例えば撮像状況推定部１０６は、時間変化が予め定められた基準以上に激しいシーンを撮影していると推定した場合には、その時間変化が激しい画像領域については、加算サンプリング処理のサンプリング数を増やすよう、加算サンプリング情報を加算サンプリング情報設定部２０３に変更するよう指示する。また撮像状況推定部１０６が、ほとんど時間変化がないシーンなどの、時間変化が予め定められた基準よりも低いシーンを撮影していると推定した場合には、その変化がない領域については、サンプリング数を減らすよう、加算サンプリング情報を加算サンプリング情報設定部２０３に変更するよう指示する。これにより、復元画像の画質を向上させることができる。時間変化が生じない領域では、平均信号保持部２０７が保持している時間平均画像を利用することで、仮に復元画像が存在しない場合でも、高精度の画像を作成することができる。一方、時間変化が激しい領域、つまり動領域では、時間平均画像を利用することができないため、サンプリング数を増やすことで、画像復元部１０３の復元画質を向上させる。
【０１９９】
撮像状況推定部１０６が領域の時間変化を判断する手法としては、以下のように、復元画像のフレーム間差分値を利用すればよい。
【数６】
2018148582.tif 000008
【０２００】
つまり、復元画像のフレーム間差分値が閾値Ｔｈ＿ｄ以上の場合、時間変化が激しい領域と判断する。時間変化が激しいと判断された領域は、加算サンプリング情報設定部２０３により、次のフレームよりサンプリング数を増加させる。一方、時間変化が少ないと判断された領域は、加算サンプリング情報設定部２０３により、次のフレームよりサンプリング数を減少させる。
【０２０１】
もちろん、復元画像の動きベクトルを検出し、次のフレームで時間変化が激しいと予想される領域を推定することで、その領域のサンプリング数を増加させるようにしてもかまわない。
【０２０２】
もちろん、撮像状況推定部１０６は、領域の時間変化を判断するために、復元画像を利用するのではなく、低解像度画像生成・表示部１０２が生成した低解像度画像を利用してもかまわない。これは、加算サンプリング部２０４の第１〜第４の出力信号のフレーム間差分値を利用すればよい。これらの出力信号は、フレーム毎に電荷信号を加算する画素が変化しないため、領域の時間変化を推定することができる。時間変化が激しいと判断された領域では、加算サンプリング情報設定部２０３により、第５〜８の出力信号に関してサ
ンプリング数を増加させる。一方、時間変化が少ないと判断された領域は、加算サンプリング情報設定部２０３により、第５〜８の出力信号でサンプリング数を減少させる。また、時間変化が全く生じていない領域の場合、差分画像復元部２０９は時間平均画像をその領域の復元画像とすればよいため、第５〜８の出力信号を生成しないようにしてもかまわない。
【０２０３】
もちろん、撮像状況推定部１０６は、領域の時間変化を判断するために、加算サンプリング部２０４の出力信号のフレーム間での差分値を利用するようにしてもかまわない。この場合、例えば、その総和値のみを利用することにより、処理を簡素化するようにしてもかまわない。
【０２０４】
以上説明したように、実施の形態３によれば、撮像状況推定部１０６を導入することで、撮像の状況の変化を判断し、最適な加算サンプリング情報を撮像画像に応じて設定できるため、より高画質の画像復元を実現できる。
【０２０５】
（実施の形態４）
上述した実施の形態２および３の符号化システムでは、復号化装置において低解像度画像を生成し、低解像度画像が符号化装置に設けられたビューアに表示されると説明した。低解像度画像とビューアの解像度との関係についてはこれまで特に言及していなかった。しかしながら、低解像度画像の生成に当たって、ビューアの解像度を考慮することが考えられる。
【０２０６】
以下、ビューアの解像度を考慮した低解像度画像を生成できるよう、符号化装置における処理を変更する実施の形態を説明する。
【０２０７】
図３９は、本実施の形態における符号化システム３００の構成を示すブロック図である。符号化システム３００では、実施の形態２にかかる符号化システム１００に、さらに解像度情報を送受信する構成が追加されている。なお、図３９においては、図１９と同じ構成要素については同じ符号を用い、説明を省略する。
【０２０８】
符号化システム３００は、解像度情報受信部３０３ａを有する符号化装置３０１と、解像度情報送信部３０３ｂを有する復号化装置３０２とを備えている。
【０２０９】
解像度情報送信部３０３ｂは、復号化装置３０２のビューア、または復号化装置３０２に別途接続されるビューアの解像度情報を取得し、その情報をネットワークを介して、符号化装置３０１に送信する。ビューアの解像度情報は、事前にメモリ上に保存しておけばよい。解像度情報受信部３０３ａは復号化装置３０２から送信された解像度の情報を受信する。
【０２１０】
加算サンプリング情報設定部２０３は、解像度情報受信部３０３ａが受信した解像度情報を利用して、加算サンプリング情報を設定する。より具体的には、加算サンプリング情報設定部２０３は、加算サンプリング処理によって生成される映像の解像度が解像度情報受信部３０３ａによって受信された解像度に整合するよう、図２５（ａ）〜（ｄ）における第１〜第４の出力データの加算サンプリング情報を設定すればよい。
【０２１１】
このようにすることで、低解像度画像生成・表示部１０２は、ビューアの解像度に最適化された画像を表示することが可能である。
【０２１２】
なお、上述の処理の手順を示すフローチャートは省略するが、例えば図２０のステップＳ１０１の前に解像度情報の送受信を行っておき、その解像度情報に基づく加算サンプリ
ング情報をステップＳ１０１の加算サンプリングによる撮像に適用すればよい。
【０２１３】
なお、ビューアの解像度が予め定められた値以上の場合は、加算サンプリング情報設定部２０３は、図２９〜図３２に示される第１〜第４の読み出し画素群に相当する低解像度化画素群を増やし、第５〜第８の読み出し画素群に相当する時間的に変化させる画素群を減らすようにしてもよい。一方、ビューアの解像度が所定よりも低い場合には、加算サンプリング情報設定部２０３は、図２９〜図３２に示される第１〜第４の読み出し画素群に相当する低解像度化画素群を減らし、第５〜第８の読み出し画素群に相当する時間的に変化させる画素群を増やすようにしてもよい。
【０２１４】
（実施の形態５）
上述の実施の形態２〜４による撮像システムでは、復号化装置が比較的多くの構成要素を含むように構成されていた。しかしながら、復号化装置の構成を簡略化することも可能である。そこで本実施の形態では、復号化装置の構成の一部を操作装置として分離した例を説明する。
【０２１５】
図４０は、本実施の形態における符号化システム４００の構成を示すブロック図である。符号化システム４００は、符号化装置４０１と、復号化装置４０２と、操作装置４０３とを含む。
【０２１６】
符号化装置４０１は、加算サンプリング撮像部１０１と、送信部４５０ａとを備えている。操作装置４０３は、受信部４５０ｃと、低解像度画像生成・表示部１０２と、ユーザインターフェイス部１０４と、操作情報送信部４６０とを備えている。一方、復号化装置４０２は、受信部４５０ｂと、画像復元部１０３と、出力部１０５とを備えている。なお、図４０においては、図１９と同じ構成要素については同じ符号を用い、説明を省略する。
【０２１７】
符号化装置４０１の送信部４５０ａは、画像のデジタルデータと加算サンプリング情報を送信する。
【０２１８】
操作装置４０３の受信部４５０ｃは、図２９〜図３２に示される第１〜第４の読み出し画素群に相当する低解像度化画素群のデジタルデータを受信する。なお、加算サンプリング情報は不要である。リアルタイム性が要求されるため、低解像度画像化画素群のデジタルデータのみを取得できればよい。
【０２１９】
操作情報送信部４６０は、例えばユーザが録画する意図を持っているかどうかを示す操作情報を、復号化装置４０２に送信する。この処理は、例えば実施の形態２に関連する図２０のステップＳ１０４の撮像スイッチのオンまたはオフに対応する。ユーザが録画する意図を持っている場合には、図２０の撮像スイッチがオンの場合と同等に取り扱う。一方、ユーザが録画する意図を持っていない場合には、図２０の撮像スイッチがオンでない場合と同等に取り扱う。
【０２２０】
なお、上述の処理の手順を示すフローチャートは省略するが、例えば図２０のステップＳ１０１の前に解像度情報の送受信を行っておき、その解像度情報に基づく加算サンプリング情報をステップＳ１０１の加算サンプリングによる撮像に適用すればよい。
【０２２１】
復号化装置４０２の受信部４５０ｂは、符号化装置４０１の送信部４５０ａが送信した画像のデジタルデータおよび加算サンプリング情報を受信し、また操作装置４０３の操作情報送信部４６０が送信した操作情報を受信する。
【０２２２】
本実施の形態の構成から明らかなように、実施の形態２〜４にかかる復号化装置の構成は一例であり、復号化装置の構成は複数の別個の装置に分離することが可能である。
【０２２３】
（実施の形態６）
上述の実施の形態１〜５では、復号化装置の出力部による復元画像の出力先に関しては特に明示的に説明していなかった。本実施の形態では、出力先の処理の例を説明する。
【０２２４】
図４１は、本実施の形態における符号化システム５００の構成を示すブロック図である。本実施の形態における符号化システム５００は、実施の形態５による符号化システム４００に、さらに画像表示装置５０１を追加して構成されている。符号化システム４００と同じ構成要素には図４０と同じ参照符号を付し、その説明は省略する。
【０２２５】
画像表示装置５０１は、例えば液晶ディスプレイやプロジェクタである。
【０２２６】
画像表示装置５０１は、復号化信号受信部５１０と、表示部５１１とを有している。復号化信号受信部５１０は、復号化装置４０２の出力部１０５から出力された復号化信号を受信する。例えば復号化信号がデジタル信号である場合には、復号化信号受信部５１０は、無線または有線の通信回線（ネットワーク）を介して復号化信号を受信する。表示部５１１は、復号化信号から得られた画像を表示する。なお、表示される画像の解像度は、低解像度画像生成・表示部１０２によって表示される画像の解像度より高い。
【０２２７】
（実施の形態７）
本実施の形態は、本願発明者らが認識した、新たな課題に対応する構成に関する。以下では、まず始めにその課題を説明する。
【０２２８】
従来の動画圧縮技術では、フレーム間で変化のない静止領域の画素はデータを送信せず、動きのある領域のみ送信することで、圧縮率を向上させてきた。しかしながら、この方法では、ユーザが動画フレームから一枚の静止画を抜き出した場合、あるいはユーザが動画から画像の一部の静止画領域を切り出した場合に、静止画部分の画質が十分でない場合があった。
【０２２９】
本願発明者らは、動画像から静止画像を切り出す場合には、静止領域の画質を向上させることが重要である、という課題に着目した。以下に説明する表示制御方法は、この課題を解決するために本願発明者らによってなされた。本実施の形態の構成によれば、静止領域のフレーム数が増えるほど、静止領域の復元画質を向上させることが可能である。
【０２３０】
以下に、本実施の形態にかかるシステムの構成および動作を説明する。
【０２３１】
図４２は、本実施の形態にかかる表示制御システム６００の構成例を示すブロック図である。図４２において、図１９と同じ構成要素については同じ符号を用い、説明を省略する。なお、表示制御システム６００は、図１９に示す復号化装置２と併存することが可能である。
【０２３２】
表示制御システム６００は、受信部１５０ｂと、表示制御部６０１と、出力部１０５とを備えている。また、表示制御部６０１は、静止領域画質向上部６０２を備えている。表示制御部６０１は、たとえばＣＰＵや、グラフィックスプロセッサによって実現され得る。
【０２３３】
図４３は、本実施の形態７による表示制御システム６００の処理の手順を示すフローチャートである。
【０２３４】
受信部１５０ｂは、複数フレームのデータと、加算サンプリング情報を受信する（ステップＳ５０１）。前述したとおり、複数フレームのデータは、フレームに依存した加算サンプリング処理が行われた結果、得られたデータである。静止領域は、前述の撮像状況推定部１０６同様、前フレームに比べて画素値が大きく変化していない領域を静止領域と特定する。もちろん、静止領域を特定するための信号を外部から受け取るようにしてもかまわない。この信号は、たとえばユーザが動画の再生時刻を用いて入力してもよいし、予め決定された再生時刻または再生間隔に基づくタイマー等からの入力でもよい。または、指示は、ユーザがマウスやペンタブレットなどを利用して指定した静止画中の一部の領域であってもよい。
【０２３５】
静止領域画質向上部６０２は、外部から受け取った指示に基づいて、受信部１５０ｂが受信した複数フレームのデータの一部である静止領域を特定する。そして静止領域画質向上部６０２は、受信部１５０ｂが受信した複数フレームのデータを利用し、特定した静止領域の画質を向上する（ステップＳ５０２）。この処理には、実施の形態２または３の復号化装置２を利用すればよい。つまり、静止領域画質向上部６０２の構成は復号化装置２そのものであればよく、上述の静止領域に関する指示によって特定されたフレームの少なくとも一部を静止画として抽出できればよい。
【０２３６】
図３５に示したように、実施の形態２における復元画像の静止領域画質はフレーム数が増えれば増えるほど、向上する。これは、加算サンプリング情報をフレームに依存して変化させることで、フレーム間のアーチファクトの相関を低下させ、復元画質を向上させるためである。
【０２３７】
出力部１０５は、前記静止領域画質向上部６０２によって静止領域の画質を向上させた画像を出力する（ステップＳ５０３）。
【０２３８】
次に、表示制御システム６００の変形例を説明する。
【０２３９】
図４４は、表示制御システム６００の変形例である表示制御システム６１０を示す。表示制御システム６１０は、受信部１５０ｂと、低解像度画像生成・表示部１０２と、表示制御部６０１と出力部１０５とを備えている。表示制御部６０１は、画像領域変化判定部６０３を有している。画像領域変化判定部６０３は、受信部１５０ｂが受信したデータに応じて出力を切り替える。図４４において、図１９および図４２と同じ構成要素については同じ符号を用い、説明を省略する。
【０２４０】
図４５は、本実施の形態７による表示制御システム６１０の処理の手順を示すフローチャートである。図４５において、図２０、図４３と同じ構成要素については同じ符号を用い、説明を省略する。
【０２４１】
本実施形態の表示制御部６０１は、まず、画像領域変化判定部６０３によって、画像の多くの領域で、前フレームに比べて画像が大きく変化しているかどうかを判定する（ステップＳ５０４）。この判定は、前述の撮像状況推定部１０６同様、復元画像や低解像度画像生成・表示部１０２が生成した低解像度画像を利用し、数６を満たす画素の割合を利用して行えばよい。たとえば数６を満たす画素が、画像全体の所定の割合（たとえば３分の２）以上存在する場合は変化が大きく、そうでない場合は変化が少ないと判断すればよい。
【０２４２】
画像領域変化判定部６０３によって、表示画像の多くの領域が変化していると判断された場合（ステップＳ５０４でＹｅｓ）、出力部１０５は低解像度画像生成・表示部１０２
が作成した低解像度画像を出力する（ステップＳ５０５）。その理由は、画像復元を利用しても大きく画質が向上しないと想定されるためである。
【０２４３】
一方、画像領域変化判定部６０３によって、画像がほとんど変化していないと判断された場合（ステップＳ５０４でＮｏ）、静止領域画質向上部６０２は、受信部１５０ｂが受信した複数フレームのデータを利用し、このデータの一部である静止領域の画質を向上し（ステップＳ５０２）、出力部１０５は、前記静止領域画質向上部６０２によって静止領域の画質を向上させた画像を出力する（ステップＳ５０３）。
【産業上の利用可能性】
【０２４４】
本開示にかかる撮像システムは、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる圧縮センシングを利用した撮像装置において、画質を向上させるために有用である。
【符号の説明】
【０２４５】
１０１  加算サンプリング撮像部
１０２  低解像度画像生成・表示部
１０３  画像復元部
１０４  ユーザインターフェイス部
１０５  出力部
１０６  撮像状況推定部
２０１  光電変換部
２０２  電荷保持部
２０３  加算サンプリング情報設定部
２０４  加算サンプリング部
２０５  アナログデジタル変換部
２０６  平均信号生成部
２０７  平均信号保持部
２０８  差分信号生成部
２０９  差分画像復元部
【図１】
2018148582.tif 000009
【図２】
2018148582.tif 000010
【図３】
2018148582.tif 000011
【図４】
2018148582.tif 000012
【図５】
2018148582.tif 000013
【図６】
2018148582.tif 000014
【図７】
2018148582.tif 000015
【図８】
2018148582.tif 000016
【図９】
2018148582.tif 000017
【図１０】
2018148582.tif 000018
【図１１】
2018148582.tif 000019
【図１２】
2018148582.tif 000020
【図１３】
2018148582.tif 000021
【図１４】
2018148582.tif 000022
【図１５】
2018148582.tif 000023
【図１６】
2018148582.tif 000024
【図１７】
2018148582.tif 000025
【図１８】
2018148582.tif 000026
【図１９】
2018148582.tif 000027
【図２０】
2018148582.tif 000028
【図２１】
2018148582.tif 000029
【図２２】
2018148582.tif 000030
【図２３】
2018148582.tif 000031
【図２４】
2018148582.tif 000032
【図２５】
2018148582.tif 000033
【図２６】
2018148582.tif 000034
【図２７】
2018148582.tif 000035
【図２８】
2018148582.tif 000036
【図２９】
2018148582.tif 000037
【図３０】
2018148582.tif 000038
【図３１】
2018148582.tif 000039
【図３２】
2018148582.tif 000040
【図３３】
2018148582.tif 000041
【図３４】
2018148582.tif 000042
【図３５】
2018148582.tif 000043
【図３６】
2018148582.tif 000044
【図３７】
2018148582.tif 000045
【図３８】
2018148582.tif 000046
【図３９】
2018148582.tif 000047
【図４０】
2018148582.tif 000048
【図４１】
2018148582.tif 000049
【図４２】
2018148582.tif 000050
【図４３】
2018148582.tif 000051
【図４４】
2018148582.tif 000052
【図４５】
2018148582.tif 000053