(57)【要約】【課題】動画と任意タイミングの高精細静止画を取得可能な情報処理システム、撮像システム及び画像通信システム等を提供すること。【解決手段】情報処理システム５０は、受信部５０１と、推定演算部（画素値推定演算部５０５）と、画像出力部５５と、を含む。撮像システム１０は、受光単位を撮像素子１０３の複数の画素毎に設定し、複数の画素の画素値が加算された受光単位の受光値を、受光単位を重畳しながら順次画素シフトさせつつ取得し、取得した受光値による低解像フレーム画像をネットワーク２０に送信する。受信部５０１は、撮像システム１０からの低解像フレーム画像を受信する。推定演算部は、複数の低解像フレーム画像に基づいて、受光単位に含まれる各画素の画素値を推定する。画像出力部５５は、推定された画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。【選択図】      図２
2012175604.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して画像データを受信する受信部と、
受信された前記画像データに基づいて推定画像の推定演算を行う推定演算部と、
前記推定画像に基づいて出力画像を出力する画像出力部と、
を含み、
前記ネットワークを介して前記受信部に通信接続される撮像システムは、
受光値を取得する単位である受光単位を撮像素子の複数の画素毎に設定し、前記複数の画素の画素値が加算された前記受光単位の受光値を、前記受光単位を重畳しながら順次画素シフトさせつつ取得し、取得した前記受光値による低解像フレーム画像を前記ネットワークに送信し、
前記受信部は、
前記撮像システムからの前記低解像フレーム画像を前記画像データとして受信し、
前記推定演算部は、
複数の前記低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を前記推定画像の画素値として推定し、
前記画像出力部は、
前記推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を前記出力画像として出力することを特徴とする情報処理システム。
【請求項２】
請求項１において、
制御部を含み、
前記受信部は、
前記画素シフトされながら時系列的に順次読み出された前記低解像フレーム画像により構成される動画データを、前記画像データとして受信し、
前記画像出力部は、
前記時系列の中の前記制御部により指示されたタイミングにおける前記高解像フレーム画像を、静止画の前記出力画像として出力することを特徴とする情報処理システム。
【請求項３】
請求項２において、
前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、
前記推定演算部は、
前記第１、第２のポジションの受光単位の受光値の差分値を求め、
前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めることを特徴とする情報処理システム。
【請求項４】
請求項３において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値の間の関係式を前記受光単位の受光値を用いて表し、
中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする情報処理システム。
【請求項５】
請求項４において、
前記推定演算部は、
中間画素値の間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする情報処理システム。
【請求項６】
請求項２において、
制御部と、
前記動画データに基づく動画を表示部に表示する制御を行う表示制御部を含み、
前記表示制御部は、
前記動画の中の前記制御部により設定されたエリアの前記高解像フレーム画像を、前記静止画として、前記表示部に表示する制御を行うことを特徴とする情報処理システム。
【請求項７】
請求項１において、
前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、
前記推定演算部は、
前記第１、第２のポジションの受光単位の受光値の差分値を求め、
前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めることを特徴とする情報処理システム。
【請求項８】
請求項１において、
前記画像データを記録する記録部を含み、
前記受信部は、
前記画素シフトされながら時系列的に順次読み出された前記低解像フレーム画像により構成される動画データを、前記画像データとして受信し、
前記撮像システムは、
センシング対象の存在を検出する検出部を有し、前記検出部により前記センシング対象の存在が検出された場合に検出信号を前記ネットワークに送信し、
前記記録部は、
前記受信部により前記検出信号が受信された場合に、前記センシング対象の存在が検出されたタイミングを含む所定期間の前記動画データを少なくとも記録することを特徴とする情報処理システム。
【請求項９】
請求項１乃至８のいずれかに記載の情報処理システムと、
前記撮像システムと、
を含むことを特徴とする画像通信システム。
【請求項１０】
撮像素子と、
受光値を取得する単位である受光単位を前記撮像素子の複数の画素毎に設定し、前記複数の画素の画素値が加算された前記受光単位の受光値を取得する読出し制御部と、
前記受光値による低解像フレーム画像をネットワークに送信する送信部と、
を含み、
前記ネットワークを介して前記送信部に通信接続される情報処理システムは、
受信された複数の前記低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定し、前記推定した画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力し、
前記読み出し制御部は、
前記受光単位を重畳しながら順次画素シフトさせつつ前記低解像フレーム画像を取得し、
前記送信部は、
前記画素シフトされながら順次取得された複数の前記低解像フレーム画像を、前記ネットワークを介して前記情報処理システムに対して送信することを特徴とする撮像システム。
【請求項１１】
請求項１０において、
前記送信部は、
前記画素シフトされながら時系列的に順次読み出された前記低解像フレーム画像により構成される動画データを、前記ネットワークを介して前記情報処理システムに送信し、
前記情報処理システムは、
前記時系列の中の指示されたタイミングにおける前記高解像フレーム画像を静止画の前記出力画像として出力することを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、撮像システム及び画像通信システム等に関する。
【背景技術】
【０００２】
近年、安全性確保のために、各拠点にカメラを設置し、各カメラによって撮影した映像を監視センタなどのモニタにまとめて表示する監視映像表示装置の需要が高まっている。従来の監視カメラは、主にＮＴＳＣタイプの動画カメラであり、１フィールドあたりの垂直解像度は２４０ＴＶ本程度であるため、例えば車のナンバーや人物の特定が難しい。
【０００３】
特許文献１、２には、動画用カメラユニットと高精細な静止画カメラユニットが一つのカメラ筐体に構成されたハイブリッドカメラが提案されている。このハイブリッドカメラでは、１つのレンズからの光をハーフミラーで分割し、分割した光を静止画用の撮像素子と動画用の撮像素子に入射し、それぞれ静止画と動画を撮像する構成になっている。特許文献１では、外部からアラーム信号が入力された場合に静止画が撮影される。特許文献２では、動き検出機能を搭載し、被写体の動きを検出した場合に静止画が撮影される。
【０００４】
また特許文献３には、撮像素子からの読出し方法を選択することで低解像度動画と高精細静止画を撮影する監視カメラシステムが提案されている。このシステムでは、ユーザ（クライアント）の指示により動画撮影と静止画撮影を切り換える。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２３５５４号公報
【特許文献２】特開２００８−４２６９５号公報
【特許文献３】特開２００７−２２１４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
監視カメラ等の画像通信システムでは、動画中の任意タイミングの高精細静止画を取得するという課題がある。例えば、動画観察中に不審物を見つけた場合に、その不審物が写ったフレームを高精細に観察できれば利便性が向上する。
【０００７】
上述の特許文献１〜３では、動画と静止画を同時に撮影することはできない。例えば特許文献１、２では、動き検出やアラーム等で適宜データを出力するカメラユニットを切り替えることで対処しているが、周囲環境等の問題で必ずしもヒットするとは限らない。また、静止画撮影中は動画のリアルタイム性が損なわれるという問題がある。
【０００８】
また特許文献１〜３では、動画と静止画では圧縮（符号化）フォーマットが違うため、それぞれ圧縮・伸張の処理回路が必要となってしまう。
【０００９】
また特許文献１、２では、動画と静止画の２つの処理ユニットがあるため、カメラサイズが大型化し、高価となってしまう。また、動画用カメラユニットと静止画用カメラユニットを常時駆動させているため、消費電力が大きくなってしまう。
【００１０】
本発明の幾つかの態様によれば、動画と任意タイミングの高精細静止画を取得可能な情報処理システム、撮像システム及び画像通信システム等を提供できる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、ネットワークを介して画像データを受信する受信部と、受信された前記画像データに基づいて推定画像の推定演算を行う推定演算部と、前記推定画像に基づいて出力画像を出力する画像出力部と、を含み、前記ネットワークを介して前記受信部に通信接続される撮像システムは、受光値を取得する単位である受光単位を撮像素子の複数の画素毎に設定し、前記複数の画素の画素値が加算された前記受光単位の受光値を、前記受光単位を重畳しながら順次画素シフトさせつつ取得し、取得した前記受光値による低解像フレーム画像を前記ネットワークに送信し、前記受信部は、前記撮像システムからの前記低解像フレーム画像を前記画像データとして受信し、前記推定演算部は、複数の前記低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を前記推定画像の画素値として推定し、前記画像出力部は、前記推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を前記出力画像として出力する情報処理システムに関係する。
【００１２】
本発明の一態様によれば、複数の画素の画素値が加算された受光値が、受光単位を重畳しながら順次画素シフトさせつつ取得される。取得された受光値による低解像フレーム画像がネットワークに送信される。ネットワークを介して低解像フレーム画像が受信される。複数の低解像フレーム画像に基づいて、各画素の画素値が推定される。推定された画素値に基づいて高解像フレーム画像が出力される。これにより、動画と任意タイミングの高精細静止画を取得することが可能になる。
【００１３】
また本発明の一態様では、制御部を含み、前記受信部は、前記画素シフトされながら時系列的に順次読み出された前記低解像フレーム画像により構成される動画データを、前記画像データとして受信し、前記画像出力部は、前記時系列の中の前記制御部により指示されたタイミングにおける前記高解像フレーム画像を、静止画の前記出力画像として出力してもよい。
【００１４】
このようにすれば、動画撮影と静止画撮影を切り換えることなく動画を撮影できるため、静止画撮影により動画が途切れることがない。また、動画データから高精細静止画を復元できるため、任意タイミングの静止画を取得できる。
【００１５】
また本発明の一態様では、前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、前記推定演算部は、前記第１、第２のポジションの受光単位の受光値の差分値を求め、前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めてもよい。
【００１６】
このようにすれば、受光単位が重畳しながら順次画素シフトさせつつ読み出された受光値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、高解像フレーム画像の画素値推定を簡素化できる。
【００１７】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値の間の関係式を前記受光単位の受光値を用いて表し、中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００１８】
このようにすれば、受光単位が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。
【００１９】
また本発明の一態様では、前記推定演算部は、中間画素値の間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２０】
このようにすれば、評価関数の値が最小となるように中間画素値の値を決定することで、中間画素値パターンと受光値の類似性が最も高くなるように中間画素値の値を決定できる。
【００２１】
また本発明の一態様では、制御部と、前記動画データに基づく動画を表示部に表示する制御を行う表示制御部を含み、前記表示制御部は、前記動画の中の前記制御部により設定されたエリアの前記高解像フレーム画像を、前記静止画として前記表示部に表示する制御を行ってもよい。
【００２２】
このようにすれば、任意タイミングの任意エリアの高精細フレーム画像を表示できる。これにより、例えばユーザが注目する対象の画像を高精細に表示できる。
【００２３】
また本発明の一態様では、前記画像データを記録する記録部を含み、前記受信部は、前記画素シフトされながら時系列的に順次読み出された前記低解像フレーム画像により構成される動画データを、前記画像データとして受信し、前記撮像システムは、センシング対象の存在を検出する検出部を有し、前記検出部により前記センシング対象の存在が検出された場合に検出信号を前記ネットワークに送信し、前記記録部は、前記受信部により前記検出信号が受信された場合に、前記センシング対象の存在が検出されたタイミングを含む所定期間の前記動画データを少なくとも記録してもよい。
【００２４】
このようにすれば、画素シフト読み出しにより伝送データ量を低減できるため、リアルタイムに高精細画像を取得することが可能になる。これにより、センシング対象の通過状況等を動画や高精細画像で確認できるため、例えばセキュリティの向上が可能になる。
【００２５】
また本発明の他の態様は、上記のいずれかに記載の情報処理システムと、前記撮像システムと、を含む画像通信システムに関係する。
【００２６】
また本発明の他の態様は、撮像素子と、受光値を取得する単位である受光単位を前記撮像素子の複数の画素毎に設定し、前記複数の画素の画素値が加算された前記受光単位の受光値を取得する読出し制御部と、前記受光値による低解像フレーム画像をネットワークに送信する送信部と、を含み、前記ネットワークを介して前記送信部に通信接続される情報処理システムは、受信された複数の前記低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定し、前記推定した画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力し、前記読み出し制御部は、前記受光単位を重畳しながら順次画素シフトさせつつ前記低解像フレーム画像を取得し、前記送信部は、前記画素シフトされながら順次取得された複数の前記低解像フレーム画像を、前記ネットワークを介して前記情報処理システムに対して送信する撮像システムに関係する。
【００２７】
また本発明の他の態様では、前記送信部は、前記画素シフトされながら時系列的に順次読み出された前記低解像フレーム画像により構成される動画データを、前記ネットワークを介して前記情報処理システムに送信し、前記情報処理システムは、前記時系列の中の指示されたタイミングにおける前記高解像フレーム画像を静止画の前記出力画像として出力してもよい。
【図面の簡単な説明】
【００２８】
【図１】本実施形態の画像通信システムの基本構成例。
【図２】本実施形態の画像通信システムの詳細な構成例。
【図３】本実施形態が表示する表示画像例。
【図４】本実施形態が行う処理手順のフローチャートの例。
【図５】本実施形態を防犯カメラシステムに適用した場合のシステム構成例。
【図６】本実施形態を防犯カメラシステムに適用した場合の第２のシステム構成例。
【図７】本実施形態を児童見守りシステムに適用した場合のシステム構成例。
【図８】図８（Ａ）、図８（Ｂ）は、本実施形態をカプセル内視鏡システムに適用した場合のシステム構成例。
【図９】本実施形態を携帯機器システムに適用した場合のシステム構成例。
【図１０】図１０（Ａ）、図１０（Ｂ）は、本実施形態が行う処理手順の第２のフローチャートの例。
【図１１】本実施形態を内視鏡システムに適用した場合のシステム構成例。
【図１２】図１２（Ａ）、図１２（Ｂ）は、受光単位、受光値、中間画素値、推定画素値についての説明図。
【図１３】中間画素値を推定する手法についての説明図。
【図１４】中間画素値を推定する手法についての説明図。
【図１５】中間画素値を推定する手法についての説明図。
【発明を実施するための形態】
【００２９】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３０】
１．構成
図１に本実施形態の画像通信システムの基本構成例を示す。画像通信システムは、第１〜第Ｎの撮像システム１０−１〜１０−Ｎ（Ｎは自然数）と、第１〜第Ｍの情報処理システム５０−１〜５０−Ｍ（Ｍは自然数）を含む。
【００３１】
撮像システム１０−１〜１０−Ｎと情報処理システム５０−１〜５０−Ｍは、ネットワーク２０を介して通信接続される。例えば、情報処理システム５０−１〜５０−Ｍのうちの１つ（又は複数）はホストであり、撮像システム１０−１〜１０−Ｎはクライアントである。情報処理システム５０−１〜５０−Ｍは、例えばサーバ（認証サーバ、ゲームサーバ、通信サーバ、課金サーバ等）やＰＣ（パーソナルコンピュータ）、携帯処理端末等により実現できる。
【００３２】
ネットワーク２０（配信網、通信回線）は、例えばインターネットや無線ＬＡＮ等を利用した通信路であり、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮの他、電話通信網やケーブル網や無線ＬＡＮ等の通信網を含むことができる。また通信方法については有線／無線を問わない。また、撮像システム１０−１〜１０−Ｎや情報処理システム５０−１〜５０−Ｍは、ハブやルータ、モデム等を介してネットワーク２０に接続されてもよい。
【００３３】
図２に本実施形態の画像通信システムの詳細な構成例を示す。画像通信システムは、撮像システム１０と、情報処理システム５０と、表示部６０（表示装置）と、マウス７０を含む。なお、本実施形態は図２の構成に限定されず、その構成要素の一部（例えばメモリ部１０９）を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。
【００３４】
撮像システム１０は、例えばビデオカメラであり、後述する重畳シフトサンプリングにより動画を撮影し、撮影した動画をネットワーク２０に送信する。具体的には、撮像システム１０は、撮像光学系１０１（レンズ）、光学ローパスフィルタ１０２、撮像素子１０３（イメージセンサ）、重畳シフトサンプリング部１０４（読み出し制御部）、エンコード部１０５（ネットワークフォーマットエンコード部）、送信部１０６（ネットワーク送信部）、制御部１０７（システム制御部）、撮像素子駆動部１０８、メモリ部１０９、バス１１０を含む。
【００３５】
撮像光学系１０１は、被写体を結像する。光学ローパスフィルタ１０２は、例えば撮像素子１０３の解像度に対応する帯域を通過させる。撮像素子１０３は、例えばアナログ的に加算読み出し可能なＣＣＤ、ＣＭＯＳセンサにより構成される。重畳シフトサンプリング部１０４は、受光単位の設定や加算読み出しを制御し、フュージョンフレーム（fusion-frame）を取得する。例えば、撮像素子１０３の画素数は１２メガピクセルであり、フュージョンフレーム（低解像フレーム画像）の画素数は３メガピクセルである。なお本実施形態では、撮像素子１０３から全画素読み出してから加算してフュージョンフレームを取得してもよい。
【００３６】
エンコード部１０５は、ネットワーク２０の通信プロトコルに適合するフォーマットに動画データをエンコードする。送信部１０６は、ネットワーク２０に有線又は無線で接続されており、エンコードされた動画データを情報処理システム５０に送信する。制御部１０７は、撮像システム１０の各部の制御を行う。
【００３７】
情報処理システム５０は、ネットワーク２０を介して受信した動画から高精細静止画を推定する処理を行う。具体的には、情報処理システム５０は、受信部５０１、デコード部５０２、記録部５０３（データ記録部）、時間軸画素補間部５０４（補間処理部）、画素値推定演算部５０５（推定演算部）、制御部５２１、ユーザＩ／Ｆ部５２２、バス５２３、画像出力部５５、表示制御部６０５（画像合成部、画像セレクタ）を含む。
【００３８】
受信部５０１は、撮像システム１０からの動画データをネットワーク２０を介して受信する。デコード部５０２は、受信された動画データを、所定の画像フォーマットにデコードする。記録部５０３は、例えばメモリーカード等で実現され、フュージョンフレームによる動画を記録する。
【００３９】
時間軸画素補間部５０４は、フュージョンフレームの受光値の時間軸補間を行う。具体的には、第１フレームと第４フレームにおいて同一位置の受光値（例えば図１２（Ａ）のａ００）が取得される場合、その位置の受光値は第２フレームと第３フレームでは欠落している。時間軸画素補間部５０４は、その欠落した受光値を、第１フレームと第４フレームの受光値に基づいて補間により求める。画素値推定演算部５０５は、フュージョンフレームに基づいて最終推定画素値（例えば図１２（Ａ）のｖｉｊ）の推定（復元）を行う。推定処理については後述する。
【００４０】
画像出力部５５は、最終推定画素値に基づいて高解像フレーム画像やハイビジョン動画等を出力する。具体的には、画像出力部５５は、アンチエリアシングフィルタ６０１、６０２、ローパスフィルタ６０３、アンダーサンプリング部６０４を含む。
【００４１】
アンチエリアシングフィルタ６０１は、最終推定画素値をアンチエリアシング処理し、高解像静止画（例えば１２メガピクセル）を出力する。ローパスフィルタ６０３は、最終推定画素値をハイビジョンの帯域に制限する。アンダーサンプリング部６０４は、帯域制限された最終推定画素値を、ハイビジョンの画素数にアンダーサンプリングする。アンチエリアシングフィルタ６０２は、アンダーサンプリングされた画像をアンチエリアシング処理し、ハイビジョン動画（例えば２メガピクセル）を出力する。
【００４２】
なお、アンダーサンプリング部６０４によりアンダーサンプリングせずに、高解像動画（例えば１２メガピクセル）が出力されてもよい。また、撮像素子１０３がベイヤ配列の場合には、画素値推定演算部５０５はベイヤ配列の推定画素値を出力する。この場合、画像出力部５５は、推定画素値に対してデモザイキング処理を行ってＲＧＢの高解像フレーム画像を生成してもよい。
【００４３】
表示制御部６０５は、画像出力部５５からの動画や高精細静止画を表示部６０に表示する制御を行う。表示制御部６０５は、動画と高精細静止画の一方を選択して表示してもよいし、動画と高精細静止画を１画面に合成して表示してもよい。ユーザＩ／Ｆ部５２２は、ユーザの操作や指示を入力するためのインターフェースであり、例えばマウス７０やキーボード、タッチパネル、ボタン等により構成される。
【００４４】
図３に本実施形態が表示する表示画像例を示す。図３は、本実施形態を監視カメラに適用した場合の例である。図３のＡ１に示すように、通常はハイビジョン解像度の動画をモニタに表示している。高精細画像を表示させる指示がユーザから入力された場合、Ａ２に示す動画とＡ３に示す高精細静止画を１画面に表示する。Ａ４に示すように、例えばユーザが拡大表示を指示したエリアを切り出して高精細静止画として表示する。
【００４５】
以上の実施形態の情報処理システム５０は、図２に示すように、ネットワーク２０を介して画像データを受信する受信部５０１と、受信された画像データに基づいて推定画像の推定演算を行う推定演算部（画素値推定演算部５０５）と、推定画像に基づいて出力画像を出力する画像出力部５５と、を含む。
【００４６】
ネットワーク２０を介して受信部５０１に通信接続される撮像システム１０は、図１２（Ａ）等で後述するように、受光値を取得する単位である受光単位を撮像素子の複数の画素毎に設定し、複数の画素の画素値が加算された受光単位の受光値を、受光単位を重畳しながら順次画素シフトさせつつ取得する。撮像システム１０は、取得した受光値による低解像フレーム画像をネットワーク２０に送信する。
【００４７】
受信部５０１は、撮像システム１０からの低解像フレーム画像を画像データとして受信する。推定演算部（画素値推定演算部５０５）は、図１２（Ａ）等で後述するように、複数の低解像フレーム画像に基づいて、受光単位に含まれる各画素の画素値を推定画像の画素値として推定する。画像出力部５５は、推定された画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力画像（例えば高精細静止画）として出力する。
【００４８】
このようにすれば、少ないデータ量でネットワーク２０を介して動画データを伝送できる。即ち、後述する重畳シフトサンプリングと推定処理により、撮像画像データのデータ量を削減し、その削減された撮像画像データから高精細画像を復元できる。また、動画撮影と静止画撮影を切り換えることなく動画レートでリアルタイムに画像伝送を行い、動画データから事後的に任意タイミングの高精細静止画を取得できる。これにより、動画撮影と静止画撮影の切り換えが不要となり、ベストなタイミングの静止画を得ることができる。
【００４９】
また本実施形態の情報処理システム５０は、制御部５２１を含む。受信部５０１は、画素シフトされながら時系列的に順次読み出された低解像フレーム画像により構成される動画データを、画像データとして受信する。図３に示すように、画像出力部５５は、その時系列の中の制御部５２１により指示されたタイミングにおける高解像フレーム画像を、静止画の出力画像として出力する。
【００５０】
例えば本実施形態では、ユーザＩ／Ｆ５２２を介して入力されたユーザの操作内容に基づいて、制御部５２１が画素値推定演算部５０５にタイミングを指示し、画像出力部５５がそのタイミングの高精細静止画を出力する。
【００５１】
このようにすれば、動画撮影と静止画撮影を切り換えることなく動画を常時撮影でき、その動画データから高精細静止画を復元できる。これにより、画像圧縮（符号化）のフォーマットが動画データ用の一つでよくなるため、処理回路を簡素にできる。また、静止画撮影用の撮像素子が不要となるため、撮像システムのサイズの小型化とコストダウンが可能である。また、撮像素子の読出し方式により画素数を圧縮しているため、画像処理の負荷が軽くなり、消費電力を削減できる。
【００５２】
また本実施形態の情報処理システム５０は、動画データに基づく動画を表示部６０に表示する制御を行う表示制御部６０５を含む。図３のＡ３に示すように、表示制御部６０５は、動画の中の制御部５２１（狭義には注目エリア設定部）により設定されたエリアの高解像フレーム画像を、静止画として表示部６０に表示する制御を行う。
【００５３】
このようにすれば、任意タイミングの任意エリアの高精細静止画を得られるため、ユーザが注目する対象の画像を高精細に表示できる。例えば監視カメラに適用した場合、不審物や不審人物の見逃しを減らしたり、重要証拠等を詳細に観察することができる。
【００５４】
２．ソフトウェア
本実施形態では、情報処理システム５０を構成する各部をハードウェアで構成してもよいし、各部の処理をソフトウェアとして実現してもよい。例えば、撮像システム１０により取得された画像に対してＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【００５５】
情報処理システム５０の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを情報処理システム５０として用いてもよい。この場合、情報処理システム５０の各部が行う処理を実現するためのプログラム（情報処理プログラム）を予め用意し、この情報処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【００５６】
情報処理システム５０の処理をソフトウェアで実現する場合の処理手順を、図４のフローチャートを用いて説明する。図４に示すように、この処理が開始されると、撮像システム１０が画素シフト読み出しを行って動画像を撮影する（ステップＳ１）。撮像システム１０は、撮影した動画像を情報処理システム５０に伝送する（ステップＳ２）。
【００５７】
次に、情報処理システム５０は動画像を受信し（ステップＳ３）、受信した動画像を記憶する（ステップＳ４）。ユーザにより注目エリアが指示されていない場合には（ステップＳ５、ＮＯ）、ハイビジョン動画を表示部に表示する制御を行う（ステップＳ６）。ユーザにより注目エリアが指示された場合には（ステップＳ５、ＹＥＳ）、注目エリアが指示されたフレームの高精細静止画を、画素シフト読み出しされた動画像から復元する処理を行う（ステップＳ７）。次に、復元した画像から注目エリアの画像を切り出す（ステップＳ８）。切り出した画像とハイビジョン動画を合成し（ステップＳ９）、合成した表示画像を表示部に表示する制御を行う（ステップＳ１０）。撮影を継続する場合には（ステップＳ１１、ＮＯ）、撮像システム１０からの動画像を受信する（ステップＳ３）。撮影を終了する場合には（ステップＳ１１、ＹＥＳ）、処理を終了する。
【００５８】
３．防犯カメラ
図５に本実施形態を防犯カメラシステムに適用した場合のシステム構成例を示す。防犯カメラシステムは、撮像システム１０−１〜１０−６、ハブＨＣ１〜ＨＣ３、ハブＨＳ、情報処理システム５０−１〜５０−３を含む。
【００５９】
ハブＨＣ１〜ＨＣ３には、それぞれ複数の撮像システムが接続される。具体的には、撮像システム１０−１、１０−２はハブＨＣ１を介してネットワーク２０に接続される。撮像システム１０−３、１０−４はハブＨＣ２を介してネットワーク２０に接続される。撮像システム１０−５、１０−６はハブＨＣ３を介してネットワーク２０に接続される。
【００６０】
各ハブに接続された撮像システムは、それぞれ異なるエリアの撮像を行う。例えば、撮像システム１０−１、１０−２は商店街の駐車場エリアに設置され、撮像システム１０−３、１０−４は交差点エリアに設置され、撮像システム１０−５、１０−６は商店街のアーケードエリアに設置される。
【００６１】
ハブＨＳには、複数の情報処理システムが接続される。即ち、情報処理システム５０−１〜５０−３は、ハブＨＳを介してネットワーク２０に接続される。例えば、情報処理システム５０−１に駐車場エリアの画像が表示され、情報処理システム５０−２に交差点エリアの画像が表示され、情報処理システム５０−３にアーケードエリアの画像が表示される。あるいは、各情報処理システムに全撮像システムの画像が表示されてもよい。
【００６２】
図６に防犯カメラシステムの第２のシステム構成例を示す。防犯カメラシステムは、撮像システム１０−１〜１０−６、無線ＬＡＮアクセスポイントＡＣ１〜ＡＣ３、ハブＨＳ、情報処理システム５０−１〜５０−３を含む。
【００６３】
この防犯カメラシステムでは、撮像システムとネットワーク２０が無線ＬＡＮにより接続される。例えば、各撮像エリアにそれぞれ１つずつの無線ＬＡＮアクセスポイントが設置され、その無線ＬＡＮアクセスポイントに各撮像エリアに設置された撮像システムが無線通信接続される。
【００６４】
以上の実施形態によれば、防犯カメラの動画データ量を削減できる。これにより、ネットワーク２０のトラフィックを軽減したり、情報処理システム５０にストレージされるデータ量を削減できる。また、任意タイミングの高精細静止画を得られるため、不審物や不審人物の見逃しを減らしたり、重要証拠等を詳細に観察することができる。例えば図３で上述のように、不審車のナンバープレートを高精細静止画で拡大表示することが可能である。
【００６５】
４．地域児童見守りシステム
図５に本実施形態を児童見守りシステムに適用した場合のシステム構成例を示す。児童見守りシステムは、情報処理システム５０、撮像システム１０、電子タグＴＧを含む。児童見守りシステムでは、児童のランドセル等にＩＣタグを取り付け、学校内や校門、通学路途上、街中に見守りセンサを設置する。そして、児童には特別な操作をさせず、児童が何時見守りセンサの近くを通過したかや通過時の画像を保護者等に通知する。
【００６６】
具体的には、撮像システム１０は、送信部３１０、撮像部３３０、検出部３４０を含む。検出部３４０は、児童等のセンシング対象ＳＴの存在を検出する。即ち、センシング対象ＳＴは、電子タグＴＧ等の被検出装置を所持している。ＴＧとしては、ＩＣカードや携帯電話に内蔵されたタグ等、種々のものが想定される。
【００６７】
より具体的には、検出部３４０は、センシング対象ＳＴが撮像システム１０の周辺を通過したときに、電子タグＴＧと通信を行って電子タグＴＧを検出する。送信部３１０は、検出部３４０によりセンシング対象ＳＴの存在が検出された場合、その検出信号を情報処理システム５０に送信する。また送信部３１０は、検出信号を検出したときの動画像を情報処理システム５０に送信する。例えば、センシング対象ＳＴの存在が検出されている期間の動画像を送信する。あるいは、検出後の所定期間における動画像を送信してもよいし、動画像を常時送信してもよい。
【００６８】
情報処理システム５０は、サーバ３５０、携帯電話端末３６０、ＰＣ３７０を含む。サーバ３５０は、受信部３５４、記録部３５１、制御部３５２、画像処理部３５３を含む。受信部３５４は、撮像システム１０からの動画データや検出信号を受信する。記録部３５１は、受信された動画データを記憶する。制御部３５２は、サーバの各部の制御や、撮像システム１０の制御、端末からの表示要求に対する応答制御等を行う。画像処理部３５３は、受信された動画データから高精細画像を復元する処理を行う。例えば、センシング対象ＳＴの存在が検出されたタイミングの高精細静止画を復元する。あるいは、ユーザが携帯電話端末３６０やＰＣ３７０を介して指定したタイミングの高精細静止画を復元する。サーバ３５０は、動画像や復元画像を携帯電話端末３６０やＰＣ３７０にネットワーク２０を介して送信する。携帯電話端末３６０やＰＣ３７０は、受信した動画像や復元画像を表示する。
【００６９】
なお、上記では高精細静止画の復元処理をサーバ３５０が行う例を示したが、これに限定されず、例えば携帯電話端末３６０やＰＣ３７０が復元処理を行ってもよい。また、上記では１つのネットワーク２０を介して画像通信システムが通信接続される例を示したが、これに限定されない。例えば、撮像システム１０とサーバ３５０を接続するネットワークと、サーバ３５０と携帯電話端末３６０やＰＣ３７０を接続するネットワークは、別のネットワークであってもよい。
【００７０】
さて、従来のカメラシステムを用いた児童見守りシステム（例えば、特開２００７−１５７００５）では、リアルタイムに高精細画像を撮像できる複数の監視カメラを設置することは、コストやサイズ、データ量の多さから困難である。
【００７１】
この点、本実施形態の情報処理システム５０は、図７に示すように画像データを記録する記録部３５１を含む。受信部３５４は、画素シフトされながら時系列的に順次読み出された低解像フレーム画像により構成される動画データを画像データとして受信する。撮像システム１０は、センシング対象ＳＴの存在を検出する検出部３４０を有する。撮像システム１０は、検出部３４０によりセンシング対象ＳＴの存在が検出された場合に検出信号をネットワーク２０に送信する。記録部３５１は、受信部３５４により検出信号が受信された場合に、センシング対象ＳＴの存在が検出されたタイミングを含む所定期間の動画データを少なくとも記録する。
【００７２】
このようにすれば、重畳シフトサンプリングによりデータ量を低減できるため、リアルタイムに高精細画像を撮像することが可能になる。これにより、児童等の通過状況が動画や高精細画像で確認できるため、セキュリティを向上できる。また動画から静止画を復元できるため、撮像システム１０をコンパクトにしてコストを削減できる。
【００７３】
５．カプセル内視鏡システム
図８（Ａ）に本実施形態をカプセル内視鏡システムに適用した場合のカプセル部の構成例を示す。また図８（Ｂ）に本実施形態をカプセル内視鏡システムに適用した場合の画像復元ユニットの構成例を示す。
【００７４】
カプセル内視鏡システムは、被験者の消化器官等を観察するためのものである。即ち、カプセル部が被験者に飲み込まれて被験者の消化器官内を移動しつつ、この消化器官の撮影を行う。そして、カプセル部の送信機から送信された画像データがカプセル外に配された受信部で受信され、その画像データの表す画像が表示される。
【００７５】
具体的には、カプセル部（撮像システム）は、照明部２０１、２０２、撮像レンズ２０３、撮像素子２０４、Ａ／Ｄ変換部２０５、送信部２０６、アンテナ２０７、コントローラ２０８を含む。
【００７６】
撮像レンズ２０３は、照明された被写体の光学像を結像する。撮像素子２０４は、受光面を有し、撮像レンズ２０３により受光面上に結像された被写体の光学像を撮像する。送信部２０６は、撮像素子２０４から加算読み出しされたデータをアンテナ２０７を介して外部へ送信する。コントローラ２０８は、カプセル部の各部の制御を行う。これらのカプセル部の各部は、被写体の光学像を投影させるための透明窓が設けられたカプセルユニットに収納される。このカプセル部は、カプセルを飲み込むときの被験者の負担を軽減するために小型であることが望ましい。
【００７７】
画像復元ユニット（情報処理システム）は、アンテナ２２１、受信部２２０、記録部２３０（蓄積部）、画像処理部２４０、表示部２５０を含む。
【００７８】
受信部２２０は、カプセル部から送信された画像データをアンテナ２２１を介して無線受信する。受信部２２０は、例えば無線ＬＡＮによりカプセル部の送信部２０６と通信接続される。記録部２３０は、画像データを記憶（蓄積）する。画像処理部２４０は、記憶された画像データに基づいて高精細画像を復元する処理を行う。表示部２５０は、動画や復元画像を表示する。
【００７９】
なお、画像復元ユニットは、カプセル部により撮像された画像をリアルタイムに表示する構成にしてもよいし、蓄積された画像を非リアルタイムに表示する構成にしてもよい。
【００８０】
以上の実施形態によれば、カプセル部において画素値を加算して読み出すことで撮像画像のデータ量を削減できるため、カプセル部の消費電力を低減できる。データ量削減や消費電力低減により、カプセルユニット内のバッテリの小型化や、撮影枚数の増加、撮影時間の延長が可能になる。これにより、医師による病変部の見落としを抑制し、診断精度を向上できる。
【００８１】
６．携帯機器システム
図９に本実施形態を携帯機器システムに適用した場合のシステム構成例を示す。携帯機器システムは、携帯電話端末８１、デジタルカメラ８２、サーバ９０を含む。なお携帯機器は動画撮影できるものであればよく、携帯電話端末やデジタルカメラに限定されない。
【００８２】
図１０（Ａ）、図１０（Ｂ）に携帯機器システムが行う処理手順のフローチャートを示す。図１０（Ａ）に示すように、携帯機器のシャッタが押下されると画像が撮影される（ステップＳ２１）。画像をサーバ９０に記録する場合には（ステップＳ２２、ＹＥＳ）、ネットワーク２０を介して画像データをサーバ９０に送信する（ステップＳ２３）。携帯機器とネットワーク２０は、例えば３Ｇ回線を介して通信接続される。画像をサーバ９０に記録しない場合には（ステップＳ２２、ＮＯ）、画像データを携帯機器の記憶部に記憶する（ステップＳ２４）。携帯機器の画像処理部が画像データから高精細静止画を復元する処理を行い、携帯機器が復元画像を表示する（ステップＳ２５）。
【００８３】
サーバ９０は、携帯機器から伝送される画像データを受信する（ステップＳ２６）。サーバ９０は、受信された画像データを記録部に記録し（ステップＳ２７）、処理を終了する。
【００８４】
図１０（Ｂ）に示すように、ユーザにより画像呼び出し操作が行われると（ステップＳ４１）、サーバ９０に記憶された画像データがネットワーク２０を介して携帯機器に送信される（ステップＳ４２）。携帯機器は、サーバ９０からの画像データを受信する（ステップＳ４３）。受信された画像データに基づいて高精細画像を復元する処理を行い（ステップＳ４４）、復元した画像を表示部に表示する（ステップＳ４５）。なお、ステップＳ４１〜Ｓ４５の処理は、携帯電話端末８１等の携帯端末が行ってもよいし、ネットワーク２０に接続されたＰＣ等の端末が行ってもよい。
【００８５】
さて、現在のデジタルカメラあるいは携帯電話では、高精細動画を撮影できる機器が増えている。このような高精細動画を通信ネットワークで伝送する場合、そのデータ量はできるだけ少ないほうが好ましい。
【００８６】
この点、上記の実施形態によれば、撮影した画像を送信前に画素加算してデータ量を減らした上で送信するため、高精細画像を少ないデータ量で伝送することができる。これにより、ネットワークの負荷を削減できる。またサーバの記録容量や処理能力を削減することが可能になる。
【００８７】
７．内視鏡システム
図１１に本実施形態を内視鏡システムに適用した場合のシステム構成例を示す。内視鏡システムは、スコープ部４００（撮像システム）、サーバ４５０（情報処理システム）を含む。
【００８８】
スコープ部４００は、対物レンズ４０１、照明レンズ４０２、撮像素子４０３、Ａ／Ｄ変換部４０４、送信部４０５、駆動部４０６、ライトガイドファイバ４０７、光源部４０８、制御部４０９、操作部４１０を含む。このスコープ部４００の先端部は、被検体内に挿入される部分であり、樹脂材料で被覆された湾曲可能な部材で構成されている。なおスコープ部４００の先端部は、光源部４０８等が内蔵される本体部と着脱可能に構成されてもよい。
【００８９】
光源部４０８は照明光を発生する。ライトガイドファイバ４０７は、光源部４０８からの照明光をスコープ部４００の先端に導く。照明レンズ４０２は、ライトガイドファイバ４０７により導かれた光を拡散して被写体に照射する。対物レンズ４０１は、照明された被写体像を撮像素子４０３に結像する。撮像素子４０３は、結像された被写体像を撮像する。
【００９０】
駆動部４０６は、撮像素子４０３を駆動し、例えばＣＣＤ撮像素子の露光動作や読み出し動作を制御する。Ａ／Ｄ変換部４０４（広義にはアナログフロントエンド回路）は、撮像素子４０３から読み出されたアナログ信号をデジタル信号に変換する。駆動部４０６とＡ／Ｄ変換部４０４により加算画素値の読み出し制御、即ち重畳シフトサンプリングが行われる。送信部４０５は、撮像された動画をネットワーク２０に送信する。ネットワーク２０は、例えば院内有線ＬＡＮや院内無線ＬＡＮである。あるいは、ネットワーク２０は、スコープ部４００とサーバ４５０とを直接に接続するネットワークであってもよい。
【００９１】
制御部４０９は、スコープ部４００の各部の制御を行う。操作部４１０は医師がスコープ部４００を操作するためのものである。例えば、操作部４１０は、スコープ先端を沿革的に湾曲操作するためのアングルノブを含む。アングルノブが回転操作されることで、スコープ先端に固定される操作ワイヤを介してスコープ先端が所望の方向に湾曲される。また操作部４１０は、送気・送水ボタンや、吸引ボタン、シャッターボタン等の各種ボタンが設けられる。医師は、これらを操作して観察領域の観察や処置を行う。
【００９２】
サーバ４５０は、モニタ４５１、受信部４５２、画像処理部４５３、記憶部４５４を含む。受信部４５２は、スコープ部４００からの動画データを受信する。記憶部４５４は、受信された動画データを記憶する。画像処理部４５３は、受信された動画データまたは記憶された動画データに基づいて高精細静止画やハイビジョン動画を生成する。モニタ４５１は、高精細静止画やハイビジョン動画を表示する。例えば、医師はハイビジョン動画を見ながら消化管をスクリーニングし、病変部を見つけたら操作部４１０によりエリアを指定する。モニタ４５１には、指定されたエリアの高精細静止画が表示される。
【００９３】
以上の実施形態によれば、動画データを削減できるためスコープ部４００の消費電力を低減でき、例えば発熱等を軽減することが可能である。また任意タイミングの高精細静止画を取得できるため、医師が詳細観察したい注目領域があった場合にその注目領域を高精細に観察できる。
【００９４】
８．推定処理
次に、撮像システムが行う重畳シフトサンプリングと情報処理システムが行う推定処理（復元処理）について詳細に説明する。なお以下では、受光値ａ２ｉ２ｊ、ａ（２ｉ＋１）２ｊ、ａ（２ｉ＋１）（２ｊ＋１）、ａ２ｉ（２ｊ＋１）のうち受光値ａ００、ａ１０、ａ１１、ａ０１を例に説明する（ｉ，ｊは０以上の整数）。また、受光単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。また、受光値は、加算読み出しにより取得された受光値そのものであってもよく、上述の時間軸補間により補間された受光値であってもよい。
【００９５】
図１２（Ａ）、図１２（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１２（Ａ）に示すように、受光値ａ００〜ａ１１は、各フレームにおいて順次取得される。例えば、動画撮像の第１フレームにおいて受光値ａ００が取得され、第２フレームにおいて受光値ａ１０が取得され、第３フレームにおいてａ１１が取得され、第４フレームにおいて受光値ａ０１が取得される。そして第５フレームにおいて再び受光値ａ００が取得される。
【００９６】
推定処理では、受光値ａ００〜ａ１１を用いて、最終的な画素値ｖ００〜ｖ２２（推定画素値）を推定する。例えば、第１〜第４フレームの受光値により第１の高解像フレーム画像を推定し、第２〜第５フレームの受光値により第２の高解像フレーム画像を推定する。撮像素子の画素ピッチをｐとすると、画素ピッチ２ｐの受光単位により取得された低解像フレーム画像から、画素ピッチｐの撮像素子と同じ解像度（画素数）の高解像フレーム画像を推定する。
【００９７】
図１２（Ｂ）に示すように、受光値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【００９８】
まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を推定する場合を例に説明する。次の行の中間画素値ｂ０１〜ｂ２１についても同様の手法により推定される。
【００９９】
図１３に示すように、中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の受光値ａ００、ａ１０に基づいて推定される。受光値ａ００、ａ１０は下式（１）で表される。
ａ００＝ｃ１ｖ００＋ｃ２ｖ０１＋ｃ３ｖ１０＋ｃ４ｖ１１，
ａ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＋ｃ３ｖ２０＋ｃ４ｖ２１    （１）
【０１００】
ここで、ｃ１〜ｃ４は重み係数であり、例えば下式（２）である。下式（２）においてｒはｒ≧１の実数である。ｒ＝１の場合には画素値は重み付け無しで加算され、ｒ＞１の場合には重み付け加算される。加算処理は、撮像素子の読み出し回路によりアナログ的に行われてもよいし、画素値の読み出し後にデジタル的に行われてもよい。
ｃ１＝１，ｃ２＝１／ｒ，ｃ３＝１／ｒ，ｃ４＝１／ｒ２    （２）
【０１０１】
以下では、説明を簡単にするために、ｒ＝２とおき、下式（３）とする。
ｃ１＝１、ｃ２＝１／２、ｃ３＝１／２、ｃ４＝１／４    （３）
【０１０２】
下式（４）に示すようにｂ００、ｂ１０、ｂ２０を定義し、上式（３）を代入する。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｃ１ｖ２０＋ｃ２ｖ２１＝ｖ２０＋（１／２）ｖ２１    （４）
【０１０３】
次に、上式（３）、（４）を用いて上式（１）を変形すると、下式（５）が成り立つ。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１
＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
＝ｂ１０＋（１／２）ｂ２０                              （５）
【０１０４】
上式（５）において、ａ００、ａ１０に所定の係数（所定の重み係数）を掛けて差分δｉ０を取り、上式（４）を使って変形すると、下式（６）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｖ２０＋（１／４）ｖ２１−（２ｖ００＋ｖ０１）
＝（１／２）ｂ２０−２ｂ００                          （６）
【０１０５】
ｂ００を未知数とすると、下式（７）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００）    （７）
【０１０６】
このように、ｂ００を未知数（初期変数）として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ０１、ｂ０２を未知数として中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンが求められる。
【０１０７】
次に、未知数ｂ００を求める手法について説明する。図１４に示すように、重み付け重畳シフトサンプリングにより検出されるサンプリング画素値によるパターン｛ａ００，ａ１０｝と中間画素値｛ｂ００，ｂ１０，ｂ２０｝によるパターンを比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０１０８】
このとき、上式（５）に示すように、サンプリング画素値｛ａ００，ａ１０｝は、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図１４に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝の重み付けが、ｃ３＝ｃ１／２、ｃ４＝ｃ２／２であることを利用すると、下式（８）が成り立つことが分かる。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ    （８）
【０１０９】
この上式（８）による重み付けを考慮すると、下式（９）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝と中間推定画素値｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
【数１】
2012175604.tif 000003
【０１１０】
上式（９）を用いると、評価関数Ｅｊは、ｂ００を初期変数とした関数で表される。したがって、図１５に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（７）に代入し、ｂ１０，ｂ２０が求められる。なお、ｂ００が取り得る値の範囲は０≦ｂ００≦ａ００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンをｂ０１，ｂ０２を未知数として求められる。
【０１１１】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。具体的には、中間画素値｛ｂ０１，ｂ０１，ｂ０２｝と最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝の関係は、下式（１０）で表される。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｃ１ｖ０１＋ｃ２ｖ０２＝ｖ０１＋（１／２）ｖ０２    （１０）
【０１１２】
ｂ００、ｂ０１に所定の係数を掛けて差分δｊ０を求めると、下式（１１）が成り立つ。
δｊ０＝ｂ０１−２ｂ００
＝（ｖ０１＋（１／２）ｖ０２）−（２ｖ００＋ｖ０１）
＝（１／２）ｖ０２−２ｖ００                  （１１）
【０１１３】
ｖ００を未知数（初期変数）とすると、上式（１０）、（１１）を用いて、最終推定画素値ｖ０１、ｖ０２がｖ００の関数として求められる。その関数を下式（１２）に示す。
ｖ００＝（未知数），
ｖ０１＝２（ｂ００−ｖ００），
ｖ０２＝４ｖ００＋２δｊ０＝４ｖ００＋２（ｂ０１−２ｂ００）    （１２）
【０１１４】
上式（１２）の推定画素値パターン｛ｖ００，ｖ０１，ｖ０２｝と、中間画素値パターン｛ｂ００，ｂ０１｝を比較し、その誤差Ｅｉが最小になる未知数ｖ００を導出する。このとき、最終推定画素値｛ｖｉｊ，ｖ（ｉ＋１）ｊ｝の重み付けが、ｃ２＝ｃ１／２であることを利用すると、下式（１３）が成り立つ。
ｂｉｊ＝ｖｉｊ＋（１／２）ｖｉ（ｊ＋１）      ・・・  （１３）
【０１１５】
上式（１３）に示す重み付けを考慮して、パターンの比較を行う。具体的には、下式（１４）に示す評価関数Ｅｉを求める。
【数２】
2012175604.tif 000004
【０１１６】
そして、評価関数Ｅｉを最小にする未知数ｖ００（＝β）を求め、求めたｖ００を上式（１２）に代入して最終推定画素値ｖ０１、ｖ０２を求める。同様に、２列目においても、ｖ１０を未知数として最終推定画素値｛ｖ１０，ｖ１１，ｖ１２｝の組合せパターンを求める。
【０１１７】
以上によれば、図１２（Ａ）に示すように、受光値を取得する単位である受光単位（例えばａ００）を撮像素子の複数の画素（ｖ００、ｖ１０、ｖ１１、ｖ０１）毎に設定する。上式（１）に示すように、複数の画素の画素値が加算（重み付け加算、又は非重み付け加算）された受光単位の受光値を、受光単位を重畳しながら順次画素シフトさせつつ取得する。複数の低解像フレーム画像（それぞれａ００、ａ１０、ａ１１、ａ０１を含む４つの低解像フレーム画像）に基づいて、受光単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を推定する。
【０１１８】
ここで、重畳するとは、受光単位と受光単位が重なった領域を有することであり、例えば図１２（Ａ）に示すように、受光単位ａ００と受光単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１１９】
また本実施形態では、図１２（Ａ）に示すように、画素シフトにより受光単位を、第１のポジション（例えばａ００）と、第１のポジションの次の第２のポジション（ａ１０）に順次設定する。第１、第２のポジションの受光単位は重畳する。上式（６）に示すように、第１、第２のポジションの受光単位の受光値の差分値（δｉ０）を求める。図１２（Ｂ）に示すように、第１の中間画素値（ｂ００）は、第１のポジションの受光単位（ａ００）から重畳領域（ｖ１０、ｖ１１）を除いた第１の受光領域の受光値である。第２の中間画素値（ｂ２０）は、第２のポジションの受光単位（ａ１０）から重畳領域（ｖ１０、ｖ１１）を除いた第２の受光領域の受光値である。上式（７）に示すように、第１、第２の中間画素値（ｂ００、ｂ２０）の関係式を、差分値（δｉ０）を用いて表す。図１４等に示すように、その関係式を用いて第１、第２の中間画素値（ｂ００、ｂ２０）を推定する。上式（１０）〜（１４）に示すように、推定した第１の中間画素値（ｂ００）を用いて受光単位の各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【０１２０】
このようにすれば、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルタの繰り返し演算（特開２００９−１２４６２１号公報）や、初期値の設定に適当な部分を探索（特開２００８−２４３０３７号公報）する等の複雑な処理が不要となる。
【０１２１】
ここで、受光単位のポジションとは、撮像素子の受光面上での受光単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での受光単位の位置や座標のことである。また、次のポジションとは、元のポジションと位置や座標が一致しないポジションのことである。
【０１２２】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（７）に示すように、中間画素値パターンに含まれる中間画素値の間の関係式を受光単位の受光値（ａ００、ａ１０）を用いて表す。図１４に示すように、中間画素値の間の関係式で表された中間画素値パターンと受光単位の受光値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値（ｂ００、ｂ１０、ｂ２０）を決定する。
【０１２３】
このようにすれば、受光単位が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。
【０１２４】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、受光値パターンとは、推定処理に用いられる範囲の受光値のデータ列である。
【０１２５】
また本実施形態では、上式（９）に示すように、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と受光単位の受光値（ａ００、ａ１０）との誤差を表す評価関数（Ｅｊ）を求める。評価関数（Ｅｊ）の値が最小となるように中間画素値パターンに含まれる中間画素値（ｂ００、ｂ１０、ｂ２０）を決定する。
【０１２６】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特開２００８−２４３０３７号公報）が不要である。
【０１２７】
また本実施形態では、上式（１）に示すように、受光単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された受光単位の受光値（ａ００）を取得する。取得された受光単位の受光値（ａ００、ａ１０）に基づいて、受光単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０１２８】
このようにすれば、受光単位の各画素値を重み付け加算して低解像フレーム画像を取得し、取得した低解像フレーム画像から高解像フレーム画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、受光単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、受光単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む低解像フレーム画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０１２９】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像システム、情報処理システム、画像通信システム等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１３０】
１０  撮像システム、２０  ネットワーク、５０  情報処理システム、
５５  画像出力部、６０  表示部、７０  マウス、８１  携帯電話端末、
８２  デジタルカメラ、９０  サーバ、１０１  撮像光学系、
１０２  光学ローパスフィルタ、１０３  撮像素子、
１０４  重畳シフトサンプリング部、１０５  エンコード部、１０６  送信部、
１０７  制御部、１０８  撮像素子駆動部、１０９  メモリ部、１１０  バス、
２０１，２０２  照明部、２０３  撮像レンズ、２０４  撮像素子、
２０５  Ａ／Ｄ変換部、２０６  送信部、２０７  アンテナ、２０８  コントローラ、
２２０  受信部、２２１  アンテナ、２３０  記録部、２４０  画像処理部、
２５０  表示部、３１０  送信部、３３０  撮像部、３４０  検出部、
３５０  サーバ、３５１  記録部、３５２  制御部、３５３  画像処理部、
３５４  受信部、３６０  携帯電話端末、４００  スコープ部、４０１  対物レンズ、
４０２  照明レンズ、４０３  撮像素子、４０４  Ａ／Ｄ変換部、４０５  送信部、
４０６  駆動部、４０７  ライトガイドファイバ、４０８  光源部、４０９  制御部、
４１０  操作部、４５０  サーバ、４５１  モニタ、４５２  受信部、
４５３  画像処理部、４５４  記憶部、５０１  受信部、５０２  デコード部、
５０３  記録部、５０４  時間軸画素補間部、５０５  画素値推定演算部、
５２１  制御部、５２２  ユーザＩ／Ｆ部、５２３  バス、
６０１，６０２  アンチエリアシングフィルタ、６０３  ローパスフィルタ、
６０４  アンダーサンプリング部、６０５  表示制御部、
ＡＣ１〜ＡＣ３  アクセスポイント、Ｅｉ，Ｅｊ  評価関数、ＨＣ１〜ＨＣ３  ハブ、
ＨＳ  ハブ、ＳＴ  センシング対象、ＴＧ  電子タグ、ａ００〜ａ１１  受光値、
ｂ００〜ｂ２１  中間画素値、ｂ００  未知数、ｐ  画素ピッチ、
ｖ００〜ｖ２２  推定画素値、δｉ０，δｊ０  差分
【図１】
2012175604.tif 000005
【図２】
2012175604.tif 000006
【図４】
2012175604.tif 000007
【図７】
2012175604.tif 000008
【図８】
2012175604.tif 000009
【図９】
2012175604.tif 000010
【図１０】
2012175604.tif 000011
【図１１】
2012175604.tif 000012
【図１２】
2012175604.tif 000013
【図１３】
2012175604.tif 000014
【図１４】
2012175604.tif 000015
【図１５】
2012175604.tif 000016
【図３】
2012175604.tif 000017
【図５】
2012175604.tif 000018
【図６】
2012175604.tif 000019