(57)【要約】【課題】隣接する複数の画素を単位としてサンプリングして元の画像より画素数の少ない画像を送信する場合であっても信号レベルの連続性を改善できる画像処理装置を提供する。【解決手段】本発明に係る画像処理装置は、入力された画像信号からｎライン（ｎは１以上の整数）ごとに１ラインを取り出し、ｎラインごとに取り出した画像信号からそれぞれｍ系統（ｍは２以上の整数）の画像信号を生成することにより、それぞれ入力された画像信号よりも画素数が少ないｎ×ｍ系統の画像信号を生成する生成手段と、生成手段により生成されたｎ×ｍ系統の画像信号を外部装置に送信する送信手段とを備え、生成手段は、ｎラインごとに取り出した複数ラインそれぞれから隣接する所定の複数の画素を単位として周期的に画素を抽出することによりｍ系統の画像信号を生成し、ｍ系統の画像信号それぞれについて、ｎラインごとに取り出された複数ラインにおいて垂直方向に隣接するラインから抽出する画素の位置を互いに異ならせる。【選択図】図４
2016036114.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号からｎライン（ｎは１以上の整数）ごとに１ラインを取り出し、前記ｎラインごとに取り出した画像信号からそれぞれｍ系統（ｍは２以上の整数）の画像信号を生成することにより、それぞれ前記入力された画像信号よりも画素数が少ないｎ×ｍ系統の画像信号を生成する生成手段と、
前記生成手段により生成されたｎ×ｍ系統の画像信号を外部装置に送信する送信手段とを備え、
前記生成手段は、前記ｎラインごとに取り出した複数ラインそれぞれから隣接する所定の複数の画素を単位として周期的に画素を抽出することによりｍ系統の画像信号を生成し、ｍ系統の画像信号それぞれについて、前記ｎラインごとに取り出された複数ラインにおいて垂直方向に隣接するラインから抽出する画素の位置を互いに異ならせることを特徴とする画像処理装置。
【請求項２】
前記外部装置が１系統の画像信号を受信する場合、前記送信手段は、前記ｎ×ｍ系統の画像信号のうちの１系統の画像信号を前記外部装置に送信することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記送信手段は、前記ｎ×ｍ系統の画像信号を、互いに独立した伝送路を介して前記外部装置に送信することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
請求項１から３のいずれか１項における前記送信手段が送信した前記画像信号を受信する受信手段と、
１系統の前記受信した画像信号から、前記１系統の画像信号において前記入力された画像信号から削除された位置の画素を補間する補間手段とを備える受信装置を有することを特徴とする画像処理システム。
【請求項５】
入力された画像信号を、第１の方向に隣接する所定の複数の画素を単位として周期的にサンプリングすることにより複数のサブ画像信号を生成する生成手段と、
前記生成手段により生成された複数のサブ画像信号を外部装置に送信する送信手段とを備え、
前記生成手段は、前記複数のサブ画像信号それぞれにおいて前記第１の方向と直交する第２の方向に隣接する画素が、前記入力された画像信号における前記第１の方向において互いに異なる位置となるように、前記複数のサブ画像信号に含まれる画素をサンプリングすることを特徴とする画像処理装置。
【請求項６】
前記生成手段は、前記サンプリングした前記所定の複数の画素を第１の順番で前記複数のサブ画像信号に割り当てる第１の方法と、前記サンプリングした前記所定の複数の画素を前記第１の順番とは異なる第２の順番で前記複数のサブ画像信号に割り当てる第２の方法とを選択的に用いることにより、前記複数のサブ画像信号を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記外部装置が一つの前記サブ画像信号を受信する場合、前記送信手段は、前記複数の画像信号のうちの一つを前記外部装置に送信することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記送信手段は、前記複数のサブ画像信号のそれぞれを、互いに独立した伝送路を介して前記外部装置に送信することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記所定の複数の画素は、２つの画素から成り、いずれもの画素が少なくとも輝度成分を有し、少なくとも一方の画素が色差成分を有することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
請求項５から９のいずれか１項に記載の画像処理装置から前記サブ画像信号を受信する受信手段と、
一つの前記受信したサブ画像信号を用いて、前記入力された画像信号のうち、前記受信したサブ画像信号に含まれない位置の画素を補間する補間手段とを備える受信装置を有することを特徴とする画像処理システム。
【請求項１１】
生成手段が、入力された画像信号からｎライン（ｎは１以上の整数）ごとに１ラインを取り出し、前記ｎラインごとに取り出した画像信号からそれぞれｍ系統（ｍは２以上の整数）の画像信号を生成することにより、それぞれ前記入力された画像信号よりも画素数が少ないｎ×ｍ系統の画像信号を生成する生成工程と、
送信手段が、前記生成手段により生成されたｎ×ｍ系統の画像信号を外部装置に送信する送信工程とを備え、
前記生成工程では、前記ｎラインごとに取り出した複数ラインそれぞれから隣接する所定の複数の画素を単位として周期的に画素を抽出することによりｍ系統の画像信号を生成し、ｍ系統の画像信号それぞれについて、前記ｎラインごとに取り出された複数ラインにおいて垂直方向に隣接するラインから抽出する画素の位置を互いに異ならせることを特徴とする画像処理装置の制御方法。
【請求項１２】
生成手段が、入力された画像信号を、第１の方向に隣接する所定の複数の画素を単位として周期的にサンプリングすることにより複数のサブ画像信号を生成する生成工程と、
送信手段が、前記生成手段により生成された複数のサブ画像信号を外部装置に送信する送信工程とを備え、
前記生成工程では、前記複数のサブ画像信号それぞれにおいて前記第１の方向と直交する第２の方向に隣接する画素が、前記入力された画像信号における前記第１の方向において互いに異なる位置となるように、前記複数のサブ画像信号に含まれる画素をサンプリングすることを特徴とする画像処理装置の制御方法。
【請求項１３】
コンピュータを、請求項１から４または請求項５から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法ならびに画像処理システムに関する。
【背景技術】
【０００２】
従来、画像データを外部に送信するためのＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格に準拠した画像データの送信方法として、２サンプルインターリーブ方式が知られている。２サンプルインターリーブ方式は、画像データの１ラインを構成する画素を、隣接する２画素ごとに交互に２つのチャンネルに割り当てて並列に送信する方法である。通常は奇数ラインを２つのチャンネルに、偶数ラインを別の２つのチャンネルに割り当て、画像データを４チャンネルで並列に送信する（特許文献１）。受信側では、４チャンネルで分割送信された画像のうち、１チャンネルで受信した画像から、元の画像データの内容を確認することが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１３０６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の２サンプルインターリーブ方式において各チャンネルで送信される画像データは、元の画像データを、隣接する２画素を単位として離散的にサンプリングした画像である。そのため、元の画像がサンプリング方向（画素ラインの走査方向）で連続的に信号レベルが変化していた場合、サンプリングされた画像では信号レベルの変化が不連続となるという問題がある。
【０００５】
本発明はこのような従来技術の課題に鑑みてなされたものである。本発明は、隣接する複数の画素を単位としてサンプリングして元の画像より画素数の少ない画像を送信する場合であっても信号レベルの連続性を改善できる画像処理装置および制御方法ならびに画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、入力された画像信号からｎライン（ｎは１以上の整数）ごとに１ラインを取り出し、ｎラインごとに取り出した画像信号からそれぞれｍ系統（ｍは２以上の整数）の画像信号を生成することにより、それぞれ入力された画像信号よりも画素数が少ないｎ×ｍ系統の画像信号を生成する生成手段と、生成手段により生成されたｎ×ｍ系統の画像信号を外部装置に送信する送信手段とを備え、生成手段は、ｎラインごとに取り出した複数ラインそれぞれから隣接する所定の複数の画素を単位として周期的に画素を抽出することによりｍ系統の画像信号を生成し、ｍ系統の画像信号それぞれについて、ｎラインごとに取り出された複数ラインにおいて垂直方向に隣接するラインから抽出する画素の位置を互いに異ならせることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、隣接する複数の画素を単位としてサンプリングして元の画像より画素数の少ない画像を送信する場合であっても信号レベルの連続性を改善することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態１に係る画像処理システムにおける画像処理装置の一例としてのデジタルカメラおよび画像受信装置の一例としてのディスプレイの機能構成例を示すブロック図
【図２】２サンプルインターリーブ方式による画素のサンプリング例を示す図
【図３】２サンプルインターリーブ方式による画素のサンプリング方法と各画素の輝度レベルの関係を示す図
【図４】実施形態１に係るサンプルの割当処理および補間処理を模式的に示す図
【図５】実施形態１に係る割当処理および補間処理の一連の動作を示すフローチャート
【図６】実施形態２に係る画像処理システムにおける画像処理装置の一例としてのデジタルカメラおよびディスプレイの機能構成例を示すブロック図
【図７】実施形態２に係るサンプルの割当処理および補間処理を模式的に示す図
【図８】実施形態２に係る割当処理および補間処理の一連の動作を示すフローチャート
【発明を実施するための形態】
【０００９】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、画像処理システムを構成する、画像処理装置の一例としてデジタルカメラと画像受信装置の一例としてのディスプレイに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラおよびディスプレイに限らず、画像を送信または受信可能な任意の電子機器に適用可能である。また画像の送受信は、撮影時に限らず、記録した画像または映像を再生する際に実施されてもよい。本発明を適用可能な電子機器には、例えばデジタルレコーダー、携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、眼鏡型の情報端末などが含まれてよい。
【００１０】
（１  デジタルカメラ１００およびディスプレイ１１０の構成）
図１は、本実施形態の画像処理装置の一例としてのデジタルカメラ１００および画像受信装置の一例としてのディスプレイ１１０の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１１】
光学系１０１は、レンズ、シャッター、絞り等から構成され、制御部１０５の制御によって被写体からの光学像を撮像素子１０２に結像させる。
【００１２】
撮像素子１０２は、結像された被写体からの光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル画像信号（画像データ）を出力する。撮像素子１０２は、ＣＣＤ（Charge-Coupled Device）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーなどであってよい。本実施形態において撮像素子１０２は、１フレームの画素数が水平３８４０画素×垂直２１６０画素（以下４Ｋとも呼ぶ）の動画データを例えば毎秒３０フレームで順次出力する。
【００１３】
画像処理部１０３は、各フレームを構成する画像データに対していわゆる現像処理と呼ばれる画像処理を行う。現像処理には、例えばＲＧＢのオフセット調整、ゲイン調整、ベイヤー配列の補間処理、および現像ガンマ処理等が含まれる。また、撮像素子１０２から出力されたＲＧＢ形式の画像データを輝度成分（Ｙ）と色差成分（Ｃｂ、Ｃｒ）からなるＹＣＣ形式の画像データに変換し、例えば、カラーフォーマットを４：２：２とする画像データを出力する。従って、画像処理部１０３が出力する画像データは、輝度成分Ｙと色差成分Ｃｂを有する画素（サンプル）と、輝度成分Ｙと色差成分Ｃｒを有する画素（サンプル）が画素ラインの走査方向（ここでは水平方向）に隣接した構成を有する。また、画像処理部１０３は、制御部１０５の指示に応じてサンプル分割部１０４または記録部１０８に画像データを出力する。記録部１０８に画像データを出力する場合には、ＲＡＷ形式あるいは所定の圧縮形式に圧縮して記録部１０８に出力する。さらに、画像処理部１０３は、記録部１０８から読み出された画像データを入力すると、画像データが圧縮されている場合には伸張処理を行ってサンプル分割部１０４に出力する。
【００１４】
サンプル分割部１０４は、画像処理部１０３から入力した画像データを入力画像として画素をサンプリングすることで、当該入力画像を複数のサブ画像信号（サブイメージ）に分割する。本実施形態では、元の画像データを複数のチャンネルで送信するため、サンプル分割部１０４は、送信に用いるチャンネル数に等しい数のサブイメージに分割する。サンプル分割部１０４の動作の詳細については後述する。
【００１５】
送信部１０６は、サンプル分割部１０４が生成した複数のサブイメージを、例えば、ＳＤＩに準拠したシリアル・フォーマットに変換して複数のチャンネル（伝送路であってもよい）を通じて送信する。例えばデジタルカメラ１００は４つの送信部１０６を有し、生成した複数のサブイメージのそれぞれを互いに独立した４つの伝送路を介して１または複数の外部装置（例えばディスプレイ１１０）に送信することができる。
【００１６】
制御部１０５は、例えばＣＰＵあるいはＭＰＵ、ＲＯＭ、ＲＡＭなどを備え、例えばＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラ１００全体の動作を制御する。
【００１７】
操作部１０７は、スイッチやボタン、タッチパネルなどからなり、録画または再生の開始および停止を指示する操作ボタンを含む。操作部１０７に含まれるこれらのボタンは、ボタン押下によるユーザ操作を検出するとその旨を制御部１０５に通知し、制御部１０５は通知に応じて録画または再生の開始または停止を制御する。
【００１８】
記録部１０８は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。記録部１０８は、画像処理部１０３から出力された画像データの記録を制御するとともに、記録されている画像データの読出しを制御して画像処理部１０３に出力する。
【００１９】
通信用ケーブル１２０は、送信側機器であるデジタルカメラ１００と受信側機器であるディスプレイ１１０を接続するケーブルであり、例えばＢＮＣコネクタおよび同軸ケーブルからなる。通信用ケーブル１２０は、送信部１０６から送信された信号をディスプレイ１１０の受信部１１１へ送信する。
【００２０】
ディスプレイ１１０の受信部１１１は、ＳＤＩに準拠したシリアル・フォーマットからデータを復元することで、デジタルカメラ１００のサンプル分割部１０４の出力データ（サブイメージ）と同様のサンプル配置を復元する。
【００２１】
サンプル補間部１１２は、サンプル配置を復元したサブイメージのデータに対して後述する補間処理を行い、解像度を変えずに、サブイメージの画素ラインの走査方向におけるレベル変化を改善する。
【００２２】
メモリ部１１３は、サンプル補間部１１２が補間処理を行う際に画像データを一時的に記憶させる記憶部であり、例えば半導体メモリにより構成される。
【００２３】
表示部１１４は、サンプル補間部１１２により補間処理されたサブイメージを表示するディスプレイである。
【００２４】
（２  ２サンプルインターリーブ方式による送信方法の概要）
高解像度の画像データをビデオ信号伝送規格の一つであるＳＤＩに準拠して送信するために用いることのできる２サンプルインターリーブ方式について説明する。２サンプルインターリーブ方式は、画像データを２画素（サンプル）単位でサンプリングして複数の送信チャンネルに順次に割り当て送信する方法であり、各送信チャンネルでは元の画像データの縮小画像（サブイメージ）が送信される。
【００２５】
本実施形態のサンプル分割部１０４が行う、画像の分割もしくはサンプルの割り当て（マッピング）動作の具体例を説明する前に、２サンプルインターリーブ方式について、図２を用いて説明する。図２（ａ）は、カラーフォーマットがＹ：Ｃｂ：Ｃｒ＝４：２：２で、１フレームの画素数が水平３８４０画素×垂直２１６０画素の４Ｋ入力画像２０１の左上隅の一部を示している。
【００２６】
この入力画像２０１を２サンプルインターリーブ方式により４つの送信チャンネルを用いて送信するものとする。この場合図２（ｂ）に示すように、それぞれが水平１９２０画素×垂直１０８０画素となる４つのサブイメージ２１２〜２１５が１つずつ各送信チャンネルで送信されるように入力画像２０１のサンプルがチャンネルもしくはサブイメージに割り当てられる。なお、水平１９２０画素×垂直１０８０画素の画像を２Ｋとも呼ぶ。
【００２７】
サンプルの割り当ては画素ラインの走査方向に隣接する２画素を単位として行われる。隣接する２画素を単位とするのは、入力画像２０１のカラーフォーマットがＹ：Ｃｒ：Ｃｂ＝４：２：２であり、輝度成分Ｙと色差成分Ｃｂから成るサンプルと、輝度成分Ｙと色差成分Ｃｒから成るサンプルがサブイメージにおいて隣接する必要があるからである。
【００２８】
また、画素ラインあたり２チャンネルに割り当てを行い、３チャンネル目以降は別の画素ラインから割り当てを行う。従って、４チャンネルで送信を行う場合、奇数番目の画素ラインからは第１，２チャンネルに、偶数番目の画素ラインからは第３，４チャンネルにサンプルを割り当てる。このように、２サンプルインターリーブ方式では、画素ライン全体を削除する方法と、画素ラインに含まれる画素の一部を削減する方法とを組み合わせて画素数を削減し、入力画像の縮小画像であるサブイメージを生成する。なお、本発明はサブイメージを構成するサンプルの配置に特長があるため、以下ではサンプルをサブイメージに割り当てるものとして説明する。
【００２９】
従って、図２の例では、入力画像２０１の１番目の画素ラインについては、サンプル番号Ｐ１１（Ｙ，Ｃｂ）とＰ１２（Ｙ，Ｃｒ）がセットになったサンプル２０２がサブイメージ２１２に割り当てられる（マッピングされる）。そして、Ｐ２１（Ｙ，Ｃｂ）とＰ２２（Ｙ，Ｃｒ）がセットになったサンプル２０３がサブイメージ２１３に割り当てられる。同様に、Ｐ３１（Ｙ，Ｃｂ）とＰ３２（Ｙ，Ｃｒ）がセットになったサンプル２０４、Ｐ４１（Ｙ，Ｃｂ）とＰ４２（Ｙ，Ｃｒ）がセットになったサンプル２０５が、それぞれサブイメージ２１４とサブイメージ２１５に割り当てられる。つまり２ラインごとに取り出した複数ラインのそれぞれにおいて、サンプルは、隣接する複数のサンプルを１つの単位として周期的にサブイメージに割り当てられる。従って、奇数番目の画素ラインのサンプルは、サンプル番号Ｐ１ｘ（ｘ：１以上の整数）がサブイメージ２１２に、サンプル番号Ｐ２ｘがサブイメージ２１３に割り当てられる。同様に、偶数番目の画素ラインのサンプルは、サンプル番号Ｐ３ｘ（ｘ：１以上の整数）がサブイメージ２１４に、サンプル番号Ｐ４ｘがサブイメージ２１５に割り当てられる。
【００３０】
図３（ａ）は、入力画像２０１および各画素の輝度レベルを、図３（ｂ）は、入力画像２０１のうち、サブイメージ２１２に割り当てられる画素（サンプル）の配置を、図３（ｃ）は、サブイメージ２１２と各画素の輝度レベルを示している。
【００３１】
図２を参照して説明したようにして入力画像２０１のサンプルを４つのサブイメージに割り当てた場合、サブイメージ２１２には、図３（ｂ）に示すように、奇数番目の画素ラインの走査方向（水平方向）で離散的な位置のサンプルが割り当てられる。このとき、偶数番目の画素ラインから割り当てられるサンプルはなく、奇数番目の画素ラインで割り当てられるサンプルは、走査方向において同位置のサンプルである。換言すれば、走査方向と直交する方向（垂直方向）で重複する位置のサンプルが同じサブイメージに割り当てられる。
【００３２】
このような割り当てによって生成されるサブイメージ２１２は、入力画像２０１の解像度を縦１／２、横１／２に削減した縮小画像となる。各サブイメージを同様の方法で生成することにより、入力画像２０１を４つの縮小画像（分割画像）に分割することができるため、１つのサブイメージから入力画像全体の内容を把握することが可能になる。従って、入力画像の内容を確認するために送信したり表示したりするために必要なデータ量を大幅に削減することが可能になる。
【００３３】
しかしながら、サブイメージ２１２が入力画像２０１の離散的な位置の画素（サンプル）から構成されることで、次のような課題が生じる。例えば入力画像２０１の１番目の画素ラインの輝度レベルが、図３（ａ）の下段に示すように一定に変化していたとする（横軸は画素位置を、縦軸は輝度レベルを示している）。この場合、サブイメージ２１２に割り当てられるサンプル（サンプル番号Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４）に対応する画素の輝度レベル（Ｓ０１，Ｓ０２，Ｓ０５，Ｓ０６）は、Ｓ０２とＳ０５との間の輝度変化３２２が入力画像の輝度変化と大きく異なってしまう。この問題を緩和するため、サブイメージ２１２に割り当てられなかった欠損画素（サンプル番号Ｐ２１，Ｐ２２）の輝度値を求めて利用することが考えられる。しかし、サブイメージ２１２から取得可能な、欠損画素位置の周囲の画素データが少ないため、欠損画素位置の輝度の補間精度が低く、結果として輝度変化３２２の補正精度も低くなってしまうという問題が生じる。この問題は、輝度変化が連続的である方向とサンプリングの方向（画素ラインの走査方向）が一致する場合に発生する。
【００３４】
（サンプルの割当処理に係る一連の動作）
本実施形態は、サンプル分割部１０４において各サブイメージに対して割り当てるサンプルの配置を工夫することにより、このような問題を緩和することを特長とする。
【００３５】
以下では、割当処理を模式的に示す図４およびフローチャートを示す図５（ａ）を参照して、本実施形態に係るサンプル分割部１０４が制御部１０５の制御に従って実行するサンプルの割当処理の一連の動作について説明する。なお、本処理は、例えば記録部１０８に４Ｋの解像度の画像データが記録されている状態で、当該画像データに対する再生指示が操作部１０７によって検出され、当該画像データが記録部１０８を介して画像処理部１０３から出力されたところから開始される。
【００３６】
Ｓ５０１においてサンプル分割部１０４は、制御部１０５の指示に基づいて、１フレーム分の画像データ、即ち図３に示す入力画像２０１を取得する。
【００３７】
Ｓ５０２においてサンプル分割部１０４は、入力画像２０１の画素ラインごとのループ処理を行なう。サンプル分割部１０４は、入力画像２０１の１番目の画素ラインから順次処理を行い、最終画素ラインの処理を完了したと判定したときは処理をＳ５０７に進める。一方、最終画素ラインの処理を完了していないと判断した時は処理対象の画素ラインを１つ進めてＳ５０３〜Ｓ５０５の処理を繰り返す。
【００３８】
本ループ処理においてサンプル分割部１０４は、入力画像２０１の画素ラインを構成する複数の画素（サンプル）を、２サンプルインターリーブ方式によって４つのサブイメージに割り当てる。具体的にはサンプル分割部１０４は画素ラインの走査方向に隣接する２サンプルを単位として２つのサブイメージに交互に、即ち順番に割り当てる。またサンプル分割部１０４は、奇数番目の画素ラインと、偶数番目の画素ラインとで異なる２つのサブイメージにサンプルを割り当てることで、４つのサブイメージにサンプルを割り当てる。
【００３９】
図４（ａ）および（ｂ）は図３（ａ）および（ｂ）と同様に、入力画像２０１と最初のサブイメージに割り当てられるサンプルとの位置関係を示している。図３との比較から分かるように、本実施形態では、同じサブイメージにサンプルを割り当てられる複数の画素ラインにおいて、隣接する画素ラインに割り当てられるサンプルの位置が、走査方向において互いに重複しないことを特徴とする。換言すれば、同じサブイメージにサンプルを割り当てる複数の画素ラインにおいて隣接する画素ラインでは、割り当てるサンプルを、周期が等しく、位相が反転するように抽出することを特徴とする。
【００４０】
図４（ａ）および（ｂ）に示す例では、奇数番目の画素ラインのサンプルが割り当てられるサブイメージ４１０に着目すると、１番目の画素ラインでは走査方向に（４ｋ＋１）および（４ｋ＋２）番目（ｋは０以上の整数）のサンプルがサブイメージ４１０に割り当てられる。また、３番目の画素ラインでは、走査方向に（４ｋ＋３）および（４ｋ＋４）番目（ｋは０以上の整数）のサンプルがサブイメージ４１０に割り当てられる。奇数番目の画素ラインのサンプルを割り当てられる２つのサブイメージの順番が、１番目の画素ラインと、３番目の画素ラインで逆になると言うこともできる。
【００４１】
なお、図４に示すサンプル番号Ｐｍｘ〜Ｐｍｘ（ｍ＝１〜４）は、図２において上述したように、第ｍサブイメージに割り当てられ、それぞれ別のチャンネルで送信される。本実施形態の説明において、サンプル番号Ｐ１ｘに対する説明は、サンプル番号Ｐ２ｘ，Ｐ３ｘ，Ｐ４ｘのそれぞれについて同様に当てはまる。
【００４２】
以下の説明では、サンプルの割当順序が異なる２つの割り当て方式を、第１の割り当て方式および第２の割り当て方式と呼ぶ。従って、本実施形態のように１画素ラインあたり２つのサブイメージにサンプルを割り当てる方式で４つのサブイメージにサンプルを割り当てる場合、２画素ラインごとに第１の割り当て方式と第２の割り当て方式とを切り替えて実施する。
【００４３】
従って、Ｓ５０３においてサンプル分割部１０４は、処理対象の画素ラインが、入力画像２０１における（４ｎ＋１）番目もしくは（４ｎ＋２）番目の画素ラインなのか、（４ｎ＋３）番目もしくは４ｎ番目の画素ラインなのかを判定する（ｎは０以上の整数）。そして、サンプル分割部１０４は、処理対象の画素ラインが（４ｎ＋１）番目もしくは（４ｎ＋２）番目の画素ラインであれば、処理をＳ５０５に進め、画素ラインのサンプルを第１の割り当て方式により各サブイメージに割り当てる。一方、処理対象の画素ラインが（４ｎ＋３）番目もしくは４ｎ番目の画素ラインであれば、サンプル分割部１０４は処理をＳ５０４に進め、画素ラインのサンプルを第２の割り当て方式により各サブイメージに割り当てる。
【００４４】
Ｓ５０５においてサンプル分割部１０４は、第１の割り当て方式による割当処理を行う。具体的には、サンプル分割部１０４は図２に示したように、（４ｎ＋１）番目の画素ラインでは、先頭から２サンプルずつ交互に、第１、第２のサブイメージに割り当てる。また、（４ｎ＋２）番目の画素ラインでサンプル分割部１０４は、先頭から２サンプルずつ交互に、第３、第４のサブイメージに割り当てる。サンプル分割部１０４は、処理対象の画素ラインについてサンプルの割り当てを終えると本ステップの処理を終了し、再び処理をＳ５０２に戻して次の処理対象の画素ラインに対する処理を行う。
【００４５】
Ｓ５０４においてサンプル分割部１０４は、第２の割り当て方式による割当処理を行う。具体的には、サンプル分割部１０４は、（４ｎ＋３）番目の画素ラインでは、先頭から２サンプルずつ交互に、第２、第１のサブイメージに割り当てる。また、４ｎ番目の画素ラインでサンプル分割部１０４は、先頭から２サンプルずつ交互に、第４、第３のサブイメージに割り当てる。サンプル分割部１０４は、処理対象の画素ラインについてサンプルの割り当てを終えると本ステップの処理を終了し、再び処理をＳ５０２に戻して次の処理対象の画素ラインに対する処理を行う。
【００４６】
即ち、図４（ａ）に示すように、（４ｎ＋３）番目と４ｎ番目の画素ラインでは、Ｐ１ｘとＰ２ｘ、およびＰ３ｘとＰ４ｘのマッピングの順序を、第１の割り当て方式とは逆に割り当てる。例えば、（４ｎ＋３）番目の画素ラインにおいては、（４ｎ＋１）番目の画素ラインとで、Ｐ１ｘとＰ２ｘの切り替わり周期は等しいが、切り替わりの位相を反転し、Ｐ２ｘとＰ１ｘの順に繰り返すように、各サンプルを第２、第１のサブイメージに割り当てる。このように第１と第２の割り当て方式とを選択的に用いるようにすれば、第１のサブイメージにおいて、隣接する水平ラインに割り当てられたサンプルの、元の画像における水平方向の位置が重複しない。そのため、後述するように補間処理を行うことで、サンプルの存在しない位置のデータを実在するサンプルの輝度レベルを用いて補間することができ、より正確な輝度レベルを再現することが可能になる。
【００４７】
Ｓ５０７においてサンプル分割部１０４は、Ｓ５０４およびＳ５０５で行った割り当てに基づいてサブイメージを生成し、送信部１０６に出力する。この際、サンプル分割部１０４は、各サブイメージを識別するための識別情報を各サブイメージのフレームごとに付加する。なお、サブイメージの識別情報以外にも、各送信部１０６から送信される画像データの、入力画像信号２０１における画素の位置を識別できる情報を送信するようにしてもよい。
【００４８】
Ｓ５０８において送信部１０６は、通信用ケーブル１２０を介して、生成されたサブイメージを、例えばＳＤＩに準拠したシリアル・フォーマットに変換して送信する。そして、制御部１０５は、送信部１０６から送信完了の通知を受けると本処理に係る一連の動作を完了する。
【００４９】
（サンプルの補間処理に係る一連の動作）
次に、ディスプレイ１１０における補間処理に係る一連の動作について、図４および図５（ｂ）を参照して説明する。図５（ｂ）に係る一連の動作は、例えば、ディスプレイ１１０の受信部１１１がデジタルカメラ１００から画像データの受信を開始したことによって開始される。なお、以下では１つの送信チャンネルで受信した１つのサブイメージについて説明するが、他のチャンネルで受信したサブイメージについても同様に処理することができる。ただし、異なる送信チャンネルで受信した複数のサブイメージに対して以下の処理を行うことは必須ではない。
【００５０】
Ｓ５１０において受信部１１１は、ＳＤＩに準拠したシリアル・フォーマットのデータを受信し、サブイメージを復元する。受信部１１１は、復元したサブイメージのデータをサンプル補間部１１２へ出力する。また、受信部１１１は、サブイメージに付加された識別情報に基づいて、受信したサブイメージが図２（ｂ）におけるサブイメージ２１２−２１５の何れであるかを検出し、補間部１１２に知らせる。
【００５１】
Ｓ５１１においてサンプル補間部１１２は、サブイメージのデータをメモリ部１１３に格納する。
【００５２】
Ｓ５１２においてサンプル補間部１１２は、サブイメージに含まれる複数のサンプルのデータを用い、元の入力画像２０１において、これら複数のサンプルから等距離の位置におけるサンプルのデータ（欠損データ）を生成して、サンプルデータを補間する。より具体的には、サンプル補間部１１２は、図４（ｃ）に示す欠損データ４２０のように、サンプル番号Ｉ２１、Ｉ２３、Ｉ２５、Ｉ２７、Ｉ２９、Ｉ２ｂ、…のデータを生成する。サンプル補間部１１２は、図４（ｄ）に示すように、サブイメージに含まれるサンプルのうち、生成する欠損データから上下左右方向に等距離に位置するサンプル番号Ｐ１３、Ｐ１ｂ、Ｐ１５、Ｐ１７を用いて欠損データを算出する。例えば、サンプル補間部１１２は、各サンプルの輝度成分（Ｙ）を用いて、（Ｐ１３＋Ｐ１ｂ＋Ｐ１５＋Ｐ１７）／４により得られる平均値を算出する。なお、サンプル補間部１１２は、メモリ部１１３に記憶させたサンプルデータから例えば、サンプル番号Ｐ１３、Ｐ１ｂ、Ｐ１５、Ｐ１７のサンプルを指定して、サンプルデータを読み出す。このようにサンプル補間部１１２は、サブイメージに含まれるサンプルのデータを用いることで、サンプル番号Ｐ２７の位置における輝度レベルを精度良く補間したサンプル番号Ｉ２７のデータを生成することができる。なお、サンプル補間部１１２は、元の入力画像２０１からサブイメージがどのように生成されたかの情報を取得することができる。換言すれば、受信したサブイメージの各サンプルが、元の入力画像２０１におけるどの位置に対応するサンプルであるかの情報を事前に、あるいはサブイメージのデータから取得することができる。
【００５３】
Ｓ５１３においてサンプル補間部１１２は、図４（ｅ）に示すように、サンプルの補間されたデータ４４０から、サンプル番号Ｐ１２、Ｐ１４、Ｐ１６、Ｐ１ａ、Ｐ１ｃ、…を間引く。これにより、画像データの縦横比が保持され、図４（ｆ）に示すように、縦１／２、横１／２の出力４５０、つまり２Ｋ（水平１９２０画素×垂直１０８０画素）の画像が出力される。補間後の、入力画像２０１における３番目の画素ラインに対応するサブイメージの２番目の画素ラインの水平方向のサンプルの並びは、サンプル番号Ｉ２５、Ｐ１５、Ｉ２７、Ｐ１７と等間隔になる。また、サンプル補間部１１２は、例えばサンプル番号Ｐ１２の画素を間引く際に、サンプルが有する色差成分（例えばＣｂ）をＩ２１に引き継がせる。これにより、間引き後のＰ１１とＩ２１が２サンプルを構成することができる。
【００５４】
なお、図４（ａ）に示す輝度レベル４０２は、入力画像２０１の輝度変化を示しており、横軸を画素位置、縦軸を輝度レベルとする。このとき、サンプル番号Ｐ２５がＳ０１、サンプル番号Ｐ２６がＳ０２、…、サンプル番号Ｐ２８がＳ０６に対応しており、サンプル番号Ｐ２５、Ｐ２６、Ｐ１５、Ｐ１６、…と、画像の左から右にかけて、輝度レベルが一定に上昇するものとする。この入力に対する出力４５０は、図４（ｆ）の輝度変化４４２が示すように、サンプル番号Ｉ２５およびサンプル番号Ｉ２７がそれぞれ補間データであるＳ０１´およびＳ０５´を有することにより、輝度レベルの変化が隣接するサンプル間でほぼ一定となる。サンプル補間部１１２は、生成した出力４５０を表示部１１４に出力する。
【００５５】
Ｓ５１４において表示部１１４は、入力した出力４５０を表示させ、補間処理に係る一連の動作を終了する。
【００５６】
なお、本実施形態では、輝度成分と色差成分であるＹ、ＣｂとＹ、Ｃｒが隣り合う２つのサンプルを構成する場合を例に説明したが、２つのサンプルのうち、１つ目のサンプルがＹ、Ｃｂ、Ｃｒを有し、他方のサンプルがＹのみを有する構成であってもよい。このような構成であっても、補間処理において実在するサンプルを用いてＹの輝度レベルに対する補間処理を行うことができる。また、図１では、ディスプレイ１１０は、４つの送信部１０６の何れか一つからの１系統の画像データを受信し、他の送信部からの画像データを受信しない構成とした。しかし、ディスプレイ１１０が、４つの送信部１０６からの画像データをそれぞれ独立して受信するため、受信部１１１を４つ備える構成としてもよい。この場合、受信した４チャネル（４系統）の画像データを合成することにより、元の高精細な（４Ｋ）画像を取得することが可能となる。一方、表示部１１４の画素数が、大きくない（４Ｋよりも少ない）場合には、以下のように、１チャンネルの画像データを受信して補間し、表示する構成とすればよい。
【００５７】
以上説明したように本実施形態では、入力画像を複数の縮小画像に変換し、個々の縮小画像を別個の送信チャンネルを通じて送信する場合に、各縮小画像において、上下に隣接するサンプル（画素）の、入力画像における水平方向の位置が重複しないようにした。このようにすることで、受信側で縮小画像の画質、特には信号レベル変化の連続性を改善することが容易になる。
【００５８】
なお、本実施形態では、補間処理後のサブイメージを構成する画素の、入力画像における位置が、水平方向および垂直方向の両方において等間隔になるように補間する画素および間引く画素の位置を決定した。しかし、補間処理後のサブイメージを構成する画素の、入力画像における位置のばらつきが、水平方向および垂直方向の少なくとも一方について、補間処理前よりも小さくなるように補間する画素および間引く画素の位置を決定すれば本発明の効果は得られる。
【００５９】
なお、本実施形態では、２つの隣接するサンプルごとにサンプリングする例を示したが、２以上の隣接する複数の画素（画素の組）ごとにサンプリングする場合にも適用可能である。仮に隣接する３画素や４画素ごとにサンプリングを行っても、サンプルの割り当て方式を上述のようにラインごとに行えば、上述の欠損データを実在するデータから生成することができる。上述の上下左右に実在するデータを用いれば、欠損データの位置をどのような等間隔にとっても同一のライン上に実在するサンプルの輝度レベルの中間的な輝度レベルを生成することができるから、サンプル間の輝度レベルの連続性を向上させることができる。
【００６０】
なお、本実施形態では理解および説明を容易にするため、入力画像の画素数を削減して送信する方法の一例として、入力画像を複数の縮小画像に分割して複数の送信チャンネルで並列に送信する２サンプルインターリーブ方式を説明した。しかし、本発明は複数の縮小画像の生成や並列送信を行う分野に限らず、入力画像の画素数を削減して送信する任意の構成に対して適用可能である。
【００６１】
また、本実施形態では、各ラインの画素を２つのサブイメージに割り当てたが、これに限らず、１ラインの画素をｍ系統（ｍは２以上の整数）に割り当てる構成としてもよい。
【００６２】
また、本実施形態では、入力された画像データの２ラインごとに１ラインを取り出した画像を２つのサブイメージに割り当て、入力画像から４つのサブイメージを生成した。これ以外にも、入力された画像のｎライン（ｎは１以上の整数）ごとに１ラインを取り出し、入力画像からｎ×ｍ系統のサブイメージを生成する構成としてもよい。
【００６３】
（実施形態２）
次に実施形態２について説明する。実施形態１では、入力画像を４つのサブイメージに分割し、４つの送信チャンネルで個々のサブイメージを送信したが、実施形態２では、２つのサブイメージに分割し、２つの送信チャンネルで個々のサブイメージを送信する点で異なる。このため、本実施形態は割当処理および補間処理を除いて実施形態１と同一である。このため、本実施形態に係る図面で実施形態１と同一の構成については同一の符号を付し、重複する説明は省略する。以下では本実施形態に特徴的な割当処理および補間処理について重点的に説明する。なお、本実施形態においても、１つの送信チャンネルで送信するサブイメージに係る割当処理および補間処理についてのみ説明するが、他の送信チャネルで送信するサブイメージについても同様の処理を行うことができる。
【００６４】
図６は、本実施形態に係る本実施形態の画像処理装置の一例としてのデジタルカメラ６００および画像受信装置の一例としてのディスプレイ６１０の機能構成例を示すブロック図である。本実施形態では、送信部１０６の数が異なる点を除き、図１と同様の構成である。従って、以下では、本実施形態に特徴的な割当処理および補間処理について説明する。
【００６５】
（サンプルの割当処理に係る一連の動作）
まず、図７および図８を参照して、サンプル分割部６０１が制御部１０５の制御に従って実行するサンプルの割当処理について説明する。
【００６６】
図７（ａ）および（ｂ）は図４（ａ）および（ｂ）と同様に、入力画像２０１と最初のサブイメージに割り当てられるサンプルとの位置関係を示している。本実施形態では、入力画像２０１を２つのサブイメージに分割するため、例えば、サンプル番号Ｐ１ｘが第１のサブイメージに、サンプル番号Ｐ２ｘが第２のサブイメージに割り当てられる。具体的には、図７（ｂ）の７１０に示すように、入力画像２０１の奇数番目の画素ラインについては、隣接する２つのサンプルを単位として第１のサブイメージと第２のサブイメージに交互に割り当てる。また、入力画像２０１の偶数番目の画素ラインについては、奇数番目の画素ラインとは逆に、第２のサブイメージから先に割り当てる。
【００６７】
このように本実施形態では、各サブイメージが、入力画像の各画素ラインのサンプル値を有する点で実施形態１のサブイメージと異なる。しかし、各サブイメージにおいて上下に隣接するサンプルの、入力画像における水平方向の位置が重複しないように割り当てる点は共通している。従って、本実施形態においても、奇数番目の画素ラインにおけるサンプルの割り当て方式が第１の割り当て方式、偶数番目の画素ラインにおけるサンプルの割り当て方式が第２の割り当て方式に相当する。
【００６８】
図８に示すフローチャートにおいて、Ｓ５０１，Ｓ５０２は実施形態１と同様である。Ｓ８０１においてサンプル分割部６０１は、処理対象の画素ラインが、（２ｎ）番目（ｎは０以上の整数）の画素ラインであるか、（２ｎ＋１）番目の画素ラインであるかを判定する。処理対象の画素ラインが（２ｎ＋１）番目、すなわち奇数番目の画素ラインであるときは、Ｓ８０３に処理を進め、第１の割り当て方式によりサンプルをサブイメージに割り当てる。一方、処理対象の画素ラインが（２ｎ）番目、すなわち偶数番目の画素ラインであるときは、処理をＳ８０２に進めて第２の割り当て方式によりサンプルをサブイメージに割り当てる。
【００６９】
Ｓ８０３においてサンプル分割部６０１は、第１の割り当て方式による割当処理を行う。第１の割り当て方式では、画素ラインの走査方向（ここでは水平方向）に先頭から交互に第１および第２のサブイメージの順に２サンプルずつ割り当てる。サンプル分割部１０４は、１つの画素ラインにおけるサンプルの割り当てを終えると再び処理をＳ５０２に戻す。
【００７０】
Ｓ８０２においてサンプル分割部６０１は、第２の割り当て方式による割当処理を行う。第２の割り当て方式では、画素ラインの走査方向（ここでは水平方向）に先頭から交互に第２および第１のサブイメージの順に２サンプルずつ割り当てる。即ち、（２ｎ＋１）番目の画素ラインの割り当てとは逆の順序でサンプルを各サブイメージに割り当てる。サンプル分割部１０４は、処理対象の画素ラインについてのサンプルの割り当てを終えると再び処理をＳ５０２に戻す。
【００７１】
Ｓ５０７においてサンプル分割部６０１は指定されたチャンネルのサブイメージのデータを生成すると、Ｓ５０８において送信部１０６が入力したサブイメージのデータをＳＤＩに準拠したシリアル・フォーマットに変換してディスプレイ６１０に送信する。
【００７２】
（サンプルの補間処理に係る一連の動作）
次に、サンプルの補間処理に係る一連の動作について図８（ｂ）を用いて説明する。
【００７３】
Ｓ８１０においてサンプル補間部６０２は、サブイメージに含まれる複数のサンプルのデータを用いて欠損データを生成してサンプルデータの補間を行う。図７（ｃ）に示す７２０に示すように、（４ｉ＋３、２ｊ＋１）（ｉ、ｊは０以上の整数）に位置するサンプル番号Ｉ２１、Ｉ２３、Ｉ２９、Ｉ２ｂ、…の欠損データを生成する。例えば、欠損データＩ２９の生成方法は、まず、欠損データＩ２９の走査方向（右方向）に隣接するサンプル番号Ｉ２ａを生成する。図７（ｄ）に示す７３０のように、サンプル番号Ｉ２ａを生成するため、サブイメージに含まれる上下右のサンプル番号Ｐ１６、Ｐ１ｅ、Ｐ１ｂのサンプルの輝度成分（Ｙ）を用いて（Ｐ１６＋Ｐ１ｅ＋Ｐ１ｂ）／３より得られる平均値を算出する。そして、図７（ｅ）に示す７４０に示すように、欠損データＩ２９から等距離に位置するデータであるサンプル番号Ｐ１５、Ｐ１ｄ、Ｐ１ａ、Ｉ２ａの輝度成分（Ｙ）から、（Ｐ１５＋Ｐ１ｄ＋Ｐ１ａ＋Ｉ２ａ）／４により得られる平均値を算出する。
【００７４】
Ｓ８１１においてサンプル補間部６０２は、図７（ｆ）に示す７５０のように、縦横比を保持するためにサンプルを間引く処理を行う。具体的には、サンプル番号Ｐ１２、Ｐ１４、Ｐ１５、Ｐ１６、Ｐ１ａ、Ｐ１ｃ、Ｐ１ｄ、Ｐ１ｅ、…を間引く。特に偶数番目の画素ラインのサンプルを間引く点が実施形態１と異なる。これにより、出力７６０に示すような、縦１／２、横１／２のサンプル配列、つまり２Ｋの画像が出力される。補間後の水平方向のサンプルの並びは、サンプル番号Ｐ１９、Ｉ２９、Ｐ１ｂ、Ｉ２ｂと等間隔になる。なお、本実施形態においても、サンプル補間部６０２は、例えばサンプル番号Ｐ１２の画素を間引く際に、当該サンプルに有している色差成分（例えばＣｂ）をＩ２１に引き継がせる。これにより、間引き後のＰ１１とＩ２１が２サンプルを構成することができる。
【００７５】
なお、図７（ａ）に示す輝度レベル７０２は、元画像の輝度が連続的に変化する場合についての輝度変化を示しており、横軸を画素位置、縦軸を輝度レベルとする。このとき、サンプル番号Ｐ１９がＳ０１、サンプル番号Ｐ１ａがＳ０２、…、サンプル番号Ｐ１ｃがＳ０６に対応しており、サンプル番号Ｐ１９、Ｐ１ａ、Ｐ２９、Ｐ２ａ、…と、画像の左から右にかけて、輝度レベルが一定に上昇するものとする。この入力に対する出力７６０は、図７（ｇ）の輝度レベル７４２に示すように、サンプル番号Ｉ２９およびサンプル番号Ｉ２ｂがそれぞれ補間データであるＳ０３´およびＳ０７´を有することにより輝度レベルの変化が隣接するサンプル間でほぼ一定となる。サンプル補間部６０２は、生成した出力７６０を表示部１１４に出力する。
【００７６】
以上説明したように本実施形態では、入力画像を２つの縮小画像に変換して個々の縮小画像を別個の２つの送信チャンネルを通じて伝送する場合に、各縮小画像において上下に隣接するサンプルの、入力画像における水平方向の位置が重複しないようにした。このようにすることで、受信側で縮小画素の画質、特には信号レベル変化の連続性を改善することが容易になる。
【００７７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７８】
１０３…画像処理部、１０４…サンプル分割部、１０５…制御部、１０６…送信部、１１１…受信部、１１２…サンプル補間部、１１３…メモリ部、１１４…表示部
【図１】
2016036114.tif 000003
【図２】
2016036114.tif 000004
【図３】
2016036114.tif 000005
【図４】
2016036114.tif 000006
【図５】
2016036114.tif 000007
【図６】
2016036114.tif 000008
【図７】
2016036114.tif 000009
【図８】
2016036114.tif 000010