(57)【要約】【課題】ユーザにとって簡便なズーム画像表示を行うことができるようにする。【解決手段】画像処理装置１において、重要オブジェクト検出部１３は、ズーム領域の最外周であるズーム境界線上の画素と、ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、ズーム境界線上に重要なオブジェクトがあるかを判定する。ズーム領域変更処理部１４は、重要オブジェクトがズーム境界線上にあると判定された場合に、ズーム領域を決定するズームパラメータを変更する。本発明は、例えば、画像処理装置に適用できる。【選択図】図４
2008269396.tif 000002
【特許請求の範囲】
【請求項１】
原画像の所定の領域をズーム領域として拡大したズーム画像を所定の表示手段に表示させる画像処理装置において、
前記ズーム領域の最外周であるズーム境界線上の画素と、前記ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、前記ズーム境界線上に重要なオブジェクトがあるかを判定する重要オブジェクト判定手段と、
前記重要オブジェクトが前記ズーム境界線上にあると判定された場合に、前記ズーム領域を決定するズームパラメータを変更する変更手段と
を備える画像処理装置。
【請求項２】
前記オブジェクト領域判定手段は、前記ズーム境界線に対して垂直方向の隣接する画素どうしの画素値の差分絶対値が前記所定の閾値以下であるか否かを、前記ズーム境界線上の画素から外側に順に判定して、前記所定の閾値以下であると判定された回数を出力し、
前記変更手段は、前記回数に基づいて、前記ズームパラメータを変更する
請求項１に記載の画像処理装置。
【請求項３】
前記重要オブジェクトの領域は、人物の領域である
請求項１に記載の画像処理装置。
【請求項４】
前記重要オブジェクトの領域は、人工画像の領域である
請求項１に記載の画像処理装置。
【請求項５】
前記重要オブジェクトの領域は、背景以外の領域である
請求項１に記載の画像処理装置。
【請求項６】
前記ズームパラメータは、前記原画像のなかの前記ズーム領域を特定する位置パラメータ、または、ズーム倍率を表すパラメータである
請求項１に記載の画像処理装置。
【請求項７】
原画像の所定の領域をズーム領域として拡大したズーム画像を所定の表示手段に表示させる処理を行う画像処理方法において、
前記ズーム領域の最外周であるズーム境界線上の画素と、前記ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、前記ズーム境界線上に重要なオブジェクトがあるかを判定し、
前記重要オブジェクトが前記ズーム境界線上にあると判定された場合に、前記ズーム領域を決定するズームパラメータを変更する
ステップを含む画像処理方法。
【請求項８】
原画像の所定の領域をズーム領域として拡大したズーム画像を所定の表示手段に表示させる画像処理を、コンピュータに実行させるプログラムにおいて、
前記ズーム領域の最外周であるズーム境界線上の画素と、前記ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、前記ズーム境界線上に重要なオブジェクトがあるかを判定し、
前記重要オブジェクトが前記ズーム境界線上にあると判定された場合に、前記ズーム領域を決定するズームパラメータを変更する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、ユーザにとって簡便なズーム画像表示を行うことができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
モニタなどの表示画面に所定の画像を表示する場合、入力される画像信号から生成されるそのままのサイズの画像（以下、原画像と称する）を表示画面に表示させるのではなく、原画像の一部の領域を表示画面に表示させるようにする画像処理装置がある。
【０００３】
例えば、４：３のアスペクト比の原画像の上下の一部領域を削除して１６：９のアスペクト比の画像として表示画面に表示させたり、原画像の一部（所定の領域）を拡大したズーム画像を表示画面に表示させる画像処理装置などである。
【０００４】
このような画像処理装置による画像の表示では、原画像に映っているオブジェクトのうち、画像として伝える内容として重要なオブジェクトの全体が表示画面に映りきっていない、すなわち、重要なオブジェクトの一部が切れてしまうということがある。
【０００５】
そこで、例えば、４：３のアスペクト比の原画像の上下の一部領域を削除して１６：９のアスペクト比の画像として表示画面に表示させたときに、表示画面に表示されている画像を上下方向にスクロールさせることができるようにして、表示画面に表示されない４：３のアスペクト比の原画像の上下の領域を確認することができるようにしたものがある（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開平４−２６６２８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、表示されている画像をその都度スクロールしたり、拡大した画像の倍率をその都度変更する操作が煩わしいという問題があった。また、重要な情報のすべてが表示画面に表示されず、ユーザが不快に感じることがあった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、ユーザにとって簡便なズーム画像表示を行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の画像処理装置は、原画像の所定の領域をズーム領域として拡大したズーム画像を所定の表示手段に表示させる画像処理装置において、前記ズーム領域の最外周であるズーム境界線上の画素と、前記ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、前記ズーム境界線上に重要なオブジェクトがあるかを判定する重要オブジェクト判定手段と、前記重要オブジェクトが前記ズーム境界線上にあると判定された場合に、前記ズーム領域を決定するズームパラメータを変更する変更手段とを備える。
【００１０】
前記オブジェクト領域判定手段には、前記ズーム境界線に対して垂直方向の隣接する画素どうしの画素値の差分絶対値が前記所定の閾値以下であるか否かを、前記ズーム境界線上の画素から外側に順に判定して、前記所定の閾値以下であると判定された回数を出力させ、前記変更手段には、前記回数に基づいて、前記ズームパラメータを変更させることができる。
【００１１】
本発明の一側面の画像処理方法は、原画像の所定の領域をズーム領域として拡大したズーム画像を所定の表示手段に表示させる処理を行う画像処理方法において、前記ズーム領域の最外周であるズーム境界線上の画素と、前記ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、前記ズーム境界線上に重要なオブジェクトがあるかを判定し、前記重要オブジェクトが前記ズーム境界線上にあると判定された場合に、前記ズーム領域を決定するズームパラメータを変更するステップを含む。
【００１２】
本発明の一側面のプログラムは、原画像の所定の領域をズーム領域として拡大したズーム画像を所定の表示手段に表示させる画像処理を、コンピュータに実行させるプログラムにおいて、前記ズーム領域の最外周であるズーム境界線上の画素と、前記ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、前記ズーム境界線上に重要なオブジェクトがあるかを判定し、前記重要オブジェクトが前記ズーム境界線上にあると判定された場合に、前記ズーム領域を決定するズームパラメータを変更するステップを含む処理をコンピュータに実行させる。
【００１３】
本発明の一側面においては、ズーム領域の最外周であるズーム境界線上の画素と、ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、ズーム境界線上に重要なオブジェクトがあるかが判定され、重要オブジェクトがズーム境界線上にあると判定された場合に、ズーム領域を決定するズームパラメータが変更される。
【発明の効果】
【００１４】
本発明の一側面によれば、ユーザにとって簡便なズーム画像表示を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１６】
本発明の一側面の画像処理装置は、原画像の所定の領域をズーム領域として拡大したズーム画像を所定の表示手段に表示させる画像処理装置（例えば、図４の画像処理装置１）において、前記ズーム領域の最外周であるズーム境界線上の画素と、前記ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、前記ズーム境界線上に重要なオブジェクトがあるかを判定する重要オブジェクト判定手段（例えば、図４の重要オブジェクト検出部１３）と、前記重要オブジェクトが前記ズーム境界線上にあると判定された場合に、前記ズーム領域を決定するズームパラメータを変更する変更手段（例えば、図４のズーム領域変更処理部１４）とを備える。
【００１７】
本発明の一側面の画像処理方法またはプログラムは、原画像の所定の領域をズーム領域として拡大したズーム画像を所定の表示手段に表示させる処理を行う画像処理方法、または前記処理をコンピュータに実行させるプログラムにおいて、前記ズーム領域の最外周であるズーム境界線上の画素と、前記ズーム境界線に対して垂直方向の外側に隣接する画素との画素値の差分絶対値が所定の閾値以下であるかを判定することにより、前記ズーム境界線上に重要なオブジェクトがあるかを判定し（例えば、図７のステップＳ１５）、前記重要オブジェクトが前記ズーム境界線上にあると判定された場合に、前記ズーム領域を決定するズームパラメータを変更する（例えば、図７のステップＳ１９）ステップを含む。
【００１８】
以下、図を参照して、本発明の実施の形態について説明する。
【００１９】
初めに、図１乃至図３を参照して、本発明を適用した画像処理装置（図４を参照して後述する画像処理装置１）が実行する処理の概要について説明する。
【００２０】
図１は、画像処理装置１によるズーム処理を説明する図である。
【００２１】
画像処理装置１は、入力される画像信号から生成される原画像P1の一部の領域Q1を、所定の倍率（ズーム倍率）で表示装置の表示画面と同一サイズに拡大し、その結果得られるズーム画像R1を、表示画面に表示させる。なお、原画像P1のサイズは、表示画面のサイズと同一サイズである。
【００２２】
あるタイミングにおいて、表示されている画像のシーンが変わり、例えば、図２に示される原画像P2が画像処理装置に供給されたとする。原画像P2には、オブジェクトOBJが映っている。オブジェクトOBJは、例えば、所定の人物であり、網模様がその頭部部分を表している。また、図２において、一点鎖線で示される領域Q1は、図１で示した領域Q1と同一の領域であるが、後述する領域Q2との重なりを防ぐため、若干拡大して示してある。
【００２３】
図２に示される原画像P2が画像処理装置に供給された場合、これまでの領域Q1の画像をそのまま拡大して表示画面に表示させていたのでは、オブジェクトOBJが中途半端に途切れた状態であるので、視聴するユーザには分かりにくい画像となり、ズームが逆効果となる。
【００２４】
そこで、画像処理装置１は、原画像P2が画像信号として供給された場合、ズーム領域を、これまでの領域Q1から、垂直方向（図面上下方向）に所定量移動させた領域Q2に変更し、図２右側に示されるように、領域Q2を拡大したズーム画像R2を表示画面に表示させる。
【００２５】
または、画像処理装置１は、図３に示されるように、ズーム倍率を変更（拡大）して、領域Q1をオブジェクトOBJが収まる領域Q３に変更し、図３右側に示されるように、領域Q３を拡大したズーム画像R3を表示画面に表示させる。
【００２６】
図４は、画像処理装置１の一実施の形態の構成例を示すブロック図である。
【００２７】
画像処理装置１は、操作入力部１１、画像入力部１２、重要オブジェクト検出部１３、ズーム領域変更処理部１４、フレームメモリ１５、ズーム処理部１６、および画像出力部１７により構成されている。この画像処理装置１は、例えば、テレビジョン受像機、ハードディスクやDVD(Digital Versatile Disc)等の記録媒体に画像を記録および再生する記録再生装置などに相当し、外部から受信した画像信号または内部に記録されている画像信号に基づく画像を、所定の表示部に表示することができる。
【００２８】
操作入力部１１は、例えば、赤外線通信などにより画像処理装置１本体から離れた位置から画像処理装置１の動作を指令するリモートコマンダ、または、画像処理装置１に備えられた、ユーザの操作を受け付ける操作ボタンに対応し、ユーザの操作に対応する操作信号を重要オブジェクト検出部１３またはズーム処理部１６に供給する。例えば、操作入力部１１は、ズームを実行する操作ボタンが操作された場合、ズームの倍率を表すパラメータ、または、ズーム領域を特定する位置指定パラメータなどを表すズーム信号を重要オブジェクト検出部１３およびズーム処理部１６に供給する。この位置指定パラメータは、ズーム領域の中心位置と長さ、または、ズーム領域の対角座標値などとすることができる。
【００２９】
画像入力部１２は、地上波、衛星波などのテレビジョン放送信号を受信するチューナ、または、外部装置から画像信号を入力させる外部入力端子などに対応し、受信または入力された画像信号を重要オブジェクト検出部１３およびフレームメモリ１５に供給する。なお、以下では、画像入力部１２が出力する画像信号からそのまま得られる画像を原画像と称する。
【００３０】
重要オブジェクト検出部１３は、操作入力部１１から供給されるズーム信号に基づいて、画像入力部１２から供給される原画像に対してズーム領域を特定する。ここで特定されたズーム領域の最外周が、所定の表示装置の表示画面に表示されるズーム画像とそれ以外を区別するズーム境界線となる。
【００３１】
重要オブジェクト検出部１３は、ズーム境界線上に重要なオブジェクト（以下、重要オブジェクトと称する）があるかを判定する。より具体的には、重要オブジェクト検出部１３は、ズーム境界線上の各画素を注目画素に設定し、注目画素についてオブジェクト連続性検出処理を実行することにより、ズーム境界線上に架かる重要オブジェクトを検出する。オブジェクト連続性検出処理は、図６を参照して後述するように、ズーム境界線に対して垂直方向の隣接する画素どうしの画素値の差分絶対値が所定の閾値ε1以下であるか否かを、ズーム境界線上の画素（即ち、注目画素）から順に判定する処理である。
【００３２】
なお、重要オブジェクトは、例えば、原画像中の、人物が映っている領域である人物領域、緊急ニュースや応募宛先などを知らせるテロップまたはフリップなどに対応する領域である人工画像領域、前景および背景などで構成される原画像の背景領域以外の領域（背景以外領域）とすることができる。
【００３３】
ズーム領域変更処理部１４は、重要オブジェクト検出部１３からの検出結果に基づいて、ズーム領域の変更が必要であると判定された場合、操作入力部１１からズーム処理部１６に供給されているズーム信号に代わる、ズーム領域を変更するためのズーム信号をズーム処理部１６に供給する。
【００３４】
ここで、ズーム領域の変更が必要であると判定される場合とは、図５Ａに示されるように、重要オブジェクトがズーム領域から切れている場合であり、ズーム領域の変更が必要ないと判定される場合には、図５Ｂに示されるように、重要オブジェクトがズーム領域内に収まっている（ズーム領域から切れていない）場合である。重要オブジェクトがズーム領域に収まっている場合には、ズーム領域変更処理部１４からズーム処理部１６にはズーム信号は供給されない。従って、ユーザの操作に対応したズーム領域が継続して表示画面に表示される。
【００３５】
図４に戻り、フレームメモリ１５は、画像入力部１２から供給される原画像を一時的に保持し、後段のズーム処理部１６への原画像の供給を所定時間だけ遅延させる。具体的には、フレームメモリ１５は、重要オブジェクト検出部１３において重要オブジェクトの判定が行われ、ズーム領域の変更が必要である場合に、変更後のズーム領域に対応するズーム信号がズーム領域変更処理部１４からズーム処理部１６に供給されるまでの間、画像入力部１２からの原画像を遅延させる。
【００３６】
ズーム処理部１６は、フレームメモリ１５から供給される原画像に対して、操作入力部１１またはズーム領域変更処理部１４から供給されるズーム信号に基づいてズーム領域を決定し、そのズーム領域を表示装置の表示画面と同一サイズに拡大したズーム画像として、画像出力部１７に供給する。
【００３７】
画像出力部１７は、CRT（Cathode Ray Tube）ディスプレイ、LCD(Liquid Crystal Display)などの表示装置、または、外部の表示装置に画像信号を出力する外部出力端子などに対応し、ズーム処理部１６から供給されるズーム画像を表示または出力する。
【００３８】
以上のように構成される画像処理装置１では、ユーザの操作に基づいてズーム領域が設定されるが、入力される原画像のなかの重要オブジェクトがズーム領域から切れて表示画面に表示されている場合には、重要オブジェクトがズーム領域から切れないようにズーム領域が変更される。
【００３９】
次に、図６を参照して、重要オブジェクト検出部１３によるオブジェクト連続性検出処理について説明する。
【００４０】
図６は、縦×横がａ，ｂ，ｃの３列×１乃至７の７列の計２１画素からなる、原画像のなかの所定の領域を示している。
【００４１】
図６では、影を付して示されている画素が重要オブジェクト領域の画素を表している。また、影を付して示される複数の画素どうしは、画素値がほぼ同一で後述する閾値ε1以下であり、影を付していない画素の画素値とは大きく異なる。換言すれば、影を付している画素と、影を付していない画素との画素値の差分絶対値は、所定の閾値ε1より大きい。
【００４２】
また、ズーム領域の画素は、図示しない図面下側の画素からｃ列までとなっており、従って、矩形のズーム領域の上側のズーム境界線Ｌはｃ列である。換言すれば、ズーム領域の最外周の画素列がｃ列である。図６では、便宜的に、ズーム境界線Ｌをｂ列とｃ列の間に示してある。
【００４３】
オブジェクト連続性検出処理では、重要オブジェクト検出部１３は、最初に、ズーム境界線上の所定の画素を、処理対象の画素として注目する注目画素に設定する。例えば、ｃ列および第２列の画素（以下、適宜、画素ｃ２というように、列番号で画素を記述する）が注目画素に設定される。また、重要オブジェクト検出部１３は、現在のズーム領域からの重要オブジェクトのはみ出し量を計算するカウンタ（変数）を“０”に初期化する。
【００４４】
次に、重要オブジェクト検出部１３は、注目画素ｃ２を基準画素とし、ズーム境界線Ｌに対して垂直方向に基準画素ｃ２と隣接する画素であって、ズーム領域より外側の画素ｂ２と、基準画素との画素値の差分絶対値を計算する。そして、重要オブジェクト検出部１３は、基準画素と画素ｂ２との画素値の差分絶対値が所定の閾値ε1以下であるかどうかを判定し、差分絶対値が所定の閾値ε1より大きいと判定された場合、重要オブジェクト検出部１３は、注目画素ｃ２を基点とするオブジェクト連続性の検出を終了し、差分絶対値が所定の閾値ε1以下であると判定された場合、いま基準画素ｃ２と比較されている画素ｂ２を次の基準画素とし同様の処理を繰り返す。
【００４５】
基準画素ｃ２と画素ｂ２との画素値の差分絶対値は、図６に示されるように、閾値ε1より大きいので、現在のカウンタの値が注目画素ｃ２についての検出結果として、ズーム領域変更処理部１４に供給され、注目画素ｃ２についてのオブジェクト連続性の検出は終了される。注目画素ｃ２についてズーム領域変更処理部１４に供給されるカウンタの値（カウンタ出力値）は“０”である。
【００４６】
次に、まだ注目画素とされていないズーム境界線Ｌ上の画素が注目画素に設定される。例えば、画素ｃ３が注目画素に設定される。そして、重要オブジェクト検出部１３は、注目画素ｃ３を基準画素とし、基準画素ｃ３とズーム境界線Ｌに対して垂直方向に隣接する画素であって、ズーム領域より外側の画素ｂ３との、画素値の差分絶対値が所定の閾値ε1以下であるかどうかを判定する。
【００４７】
判定した結果、基準画素ｃ３と、その外側の画素ｂ３との画素値の差分絶対値は、所定の閾値ε1以下であるので、重要オブジェクト検出部１３は、先ほど基準画素ｃ３と比較された画素ｂ３を次の基準画素に設定するとともに、カウンタを１だけカウントアップして“１”にする。そして、重要オブジェクト検出部１３は、ズーム境界線Ｌに対して垂直方向に基準画素ｂ３と隣接する画素であって、ズーム領域より外側の画素ａ３との、画素値の差分絶対値が所定の閾値ε1以下であるかどうかを判定する。
【００４８】
判定した結果、基準画素ｂ３と、その外側の画素ａ３との画素値の差分絶対値は、所定の閾値ε1より大きいので、重要オブジェクト検出部１３は、カウンタの値をズーム領域変更処理部１４に供給し、注目画素ｃ３を基点とするオブジェクト連続性の検出を終了する。ここでズーム領域変更処理部１４に供給されるカウンタ出力値は、“１”となる。
【００４９】
以上のようにして同様に、画素ｃ４，ｃ５，ｃ６，ｃ７・・・といように、ズーム境界線上のすべての画素が注目画素に設定され、その注目画素を基点としたオブジェクト連続性の検出が行われ、その結果としてのカウンタ出力値がズーム領域変更処理部１４に供給される。このカウンタ出力値は、画素値の差分絶対値が所定の閾値ε1以下と判定された回数を表す。
【００５０】
従って、ズーム領域変更処理部１４では、重要オブジェクト検出部１３から供給されるカウンタ出力値の最大値を見れば、ズーム境界線を上下左右の４方向それぞれにどれだけ移動または拡大すればよいかが判る。
【００５１】
次に、図７のフローチャートを参照して、ズーム領域中の重要オブジェクトの配置に応じてズーム領域を変更するズーム領域変更処理について説明する。なお、この処理前には、ユーザの操作により、所定のズーム領域が既に設定されているものとする。
【００５２】
初めに、ステップＳ１１において、ユーザによって終了操作がなされたかが判定される。ステップＳ１１で、終了操作がなされたと判定された場合、ズーム領域変更処理は終了する。
【００５３】
一方、終了操作がなされていないと判定された場合、処理はステップＳ１２に進み、重要オブジェクト検出部１３は、ズーム境界線上の所定の画素を、処理対象の画素として注目する注目画素に設定する。
【００５４】
ステップＳ１３において、重要オブジェクト検出部１３は、注目画素が重要オブジェクトの画素であるか否かを判定する重要オブジェクト判定処理を実行する。この処理の詳細は、図８乃至図１０を参照して説明するが、例えば、注目画素が、上述した人物領域、人工画像領域、または背景以外領域の画素であるか否かを判定することにより、注目画素が重要オブジェクトの画素であるか否かを判定する。
【００５５】
ステップＳ１４において、重要オブジェクト検出部１３は、重要オブジェクト判定処理において注目画素が重要オブジェクトの画素であると判定されたかを判定し、重要オブジェクトの画素ではないと判定された場合、ステップＳ１５の処理はスキップされる。
【００５６】
一方、ステップＳ１４で、重要オブジェクト判定処理において注目画素が重要オブジェクトの画素であると判定されていた場合、処理はステップＳ１５に進み、重要オブジェクト検出部１３は、注目画素について図６を参照して説明したオブジェクト連続性検出処理を実行する。これにより、注目画素についての、ズーム境界線に対して垂直方向でズーム領域から外方向の重要オブジェクトのはみだし量（カウンタ出力値）が求められ、ズーム領域変更処理部１４に供給される。
【００５７】
ステップＳ１６において、重要オブジェクト検出部１３は、ズーム境界線上のすべての画素を注目画素としたかを判定する。ステップＳ１６で、ズーム境界線上のすべての画素をまだ注目画素としていない、即ち、ズーム境界線上のすべての画素についてのカウンタ出力値をまだ求めていない場合、処理はステップＳ１２に戻り、ステップＳ１２乃至Ｓ１６の処理が繰り返し実行される。これにより、まだ注目画素とされていないズーム境界線上の画素が注目画素に設定され、その設定された注目画素についてのカウンタ出力値がズーム領域変更処理部１４に供給される。
【００５８】
一方、ステップＳ１６で、ズーム境界線上のすべての画素を注目画素としたと判定された場合、ステップＳ１７において、ズーム領域変更処理部１４は、重要オブジェクト検出部１３から供給された、ズーム境界線上の全ての画素のカウンタ出力値がゼロであるかを判定する。
【００５９】
ステップＳ１７で、全ての画素のカウンタ出力値がゼロであると判定された場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。ズーム境界線上の全ての画素のカウンタ出力値がゼロである場合とは、即ち、重要オブジェクトがズーム境界線上に架かっていない（重要オブジェクトが切れていない）場合である。このような場合には、ユーザの操作により設定されているズーム領域を変更する必要がないので、処理はステップＳ１１に戻る。
【００６０】
一方、ステップＳ１７で、全ての画素のカウンタ出力値がゼロではないと判定された場合、ステップＳ１８において、ズーム領域変更処理部１４は、重要オブジェクト検出部１３から供給されたズーム境界線上の全ての画素のカウンタ出力値の最大値を求める。
【００６１】
ステップＳ１９において、ズーム領域変更処理部１４は、ステップＳ１８で計算された最大値に基づいて、ズーム領域を変更する。即ち、ズーム領域変更処理部１４は、ステップＳ１８で計算された最大値に基づいて、重要オブジェクトが切れないようなズーム領域に対応するズーム信号をズーム処理部１６に供給し、ズーム処理部１６は、そのズーム信号に基づいてズーム領域を決定し、ズーム画像として画像出力部１７に供給する。
【００６２】
より具体的には、ズーム領域変更処理部１４は、ステップＳ１８で計算された最大値に基づいて、図２を参照して説明したように重要オブジェクトがはみだしている方向にズーム領域を、その大きさを変更せず、重要オブジェクトが切れないように（最大値分だけ）移動させる。あるいは、ズーム領域変更処理部１４は、ステップＳ１８で計算された最大値に基づいて、重要オブジェクトが切れないように（最大値分だけ）、図３を参照して説明したようにズーム倍率を変更する。
【００６３】
なお、ズーム境界線上の全ての画素のカウンタ出力値に基づいて、図２を参照して説明したように所定の方向にズーム領域を移動させた場合、移動後に、移動方向と反対方向のズーム境界線に重要オブジェクトが架かることが考えられる。例えば、図２に示した例では、重要オブジェクトが上側のズーム境界線に架かり、重要オブジェクトが切れているので、ズーム領域を上方向に（領域Q1から領域Q2に）移動させるが、移動後に、重要オブジェクトが下側のズーム境界線に架かり、重要オブジェクトが切れてしまうことが考えられる。このようなことを防止するためには、移動後にも再度、オブジェクト連続性検出処理をズーム境界線上の全画素、または、少なくとも移動方向と反対方向のズーム境界線上の画素について実行し、重要オブジェクトが切れていないことを確認するようにさせることができる。
【００６４】
そして、確認後、移動後に重要オブジェクトが切れていた場合には、ズーム倍率を変更することにより、重要オブジェクトが切れないように再度ズーム領域を変更する、または、ズーム領域の移動を取りやめ、ズーム倍率によるズーム領域の変更に切り替える、などを行うことができる。なお、ズーム領域変更処理部１４は、必要に応じて、重要オブジェクト検出部１３から、原画像またはズーム領域についての情報を取得することが可能である。
【００６５】
図７のズーム領域変更処理は、ズーム画像の表示が解除されるまで、繰り返し実行される。
【００６６】
次に、図８は、人物領域を重要オブジェクトとする場合の、図７のステップＳ１３における重要オブジェクト判定処理を示している。
【００６７】
初めに、ステップＳ３１において、重要オブジェクト検出部１３は、注目画素の画素値が肌色を表す画素値であるかを判定する。
【００６８】
ステップＳ３１で、注目画素の画素値が肌色を表す画素値であると判定された場合、処理はステップＳ３２に進み、重要オブジェクト検出部１３は、注目画素は重要オブジェクトの画素であると判定し、図７のズーム領域変更処理に戻る。
【００６９】
一方、ステップＳ３１で、注目画素の画素値が肌色を表す画素値ではないと判定された場合、処理はステップＳ３３に進み、重要オブジェクト検出部１３は、注目画素は重要オブジェクトの画素ではないと判定し、図７のズーム領域変更処理に戻る。
【００７０】
図９は、背景以外領域を重要オブジェクトとする場合の、図７のステップＳ１３における重要オブジェクト判定処理を示している。
【００７１】
初めに、ステップＳ５１において、重要オブジェクト検出部１３は、画像入力部１２から供給された原画像と、図示せぬ内部メモリに記憶されている１フレーム前の原画像との、画素値の差分絶対値を計算する。
【００７２】
ステップＳ５２において、重要オブジェクト検出部１３は、計算された差分絶対値が所定の閾値ε2以下であるかを判定する。
【００７３】
ステップＳ５２で、差分絶対値が所定の閾値ε2以下であると判定された場合、処理はステップＳ５３に進み、重要オブジェクト検出部１３は、注目画素は重要オブジェクトの画素であると判定し、図７のズーム領域変更処理に戻る。
【００７４】
一方、ステップＳ５２で、差分絶対値が所定の閾値ε2より大きいと判定された場合、処理はステップＳ５４に進み、重要オブジェクト検出部１３は、注目画素は重要オブジェクトの画素ではないと判定し、図７のズーム領域変更処理に戻る。
【００７５】
図１０は、人工画像領域を重要オブジェクトとする場合の、図７のステップＳ１３における重要オブジェクト判定処理を示している。
【００７６】
初めに、ステップＳ７１において、重要オブジェクト検出部１３は、注目画素から垂直方向にＮ（＞０）ライン前までの画素の標準偏差を計算する。テロップやフリップなどが画像として表示されている場合、その領域には同一色（例えば、白色）の画素が多く存在するはずである。従って、注目画素の周辺画素の画素値のバラつき（標準偏差）が所定の閾値ε3以下である場合に、その注目画素は重要オブジェクトとしての人工画像領域の画素であると判定することができる。なお、注目画素周辺の画素値のばらつきを調べればよいので、標準偏差の計算対象の画素は、注目画素からＮライン前までの画素ではなく、例えば、注目画素を中心とするｍ×ｍ画素の領域などであってもよい。
【００７７】
ステップＳ７２において、重要オブジェクト検出部１３は、計算された標準偏差が所定の閾値ε3以下であるかを判定する。
【００７８】
ステップＳ７２で、標準偏差が所定の閾値ε3以下であると判定された場合、処理はステップＳ７３に進み、重要オブジェクト検出部１３は、注目画素は重要オブジェクトの画素であると判定し、図７のズーム領域変更処理に戻る。
【００７９】
一方、ステップＳ７２で、差分絶対値が所定の閾値ε3より大きいと判定された場合、処理はステップＳ７４に進み、重要オブジェクト検出部１３は、注目画素は重要オブジェクトの画素ではないと判定し、図７のズーム領域変更処理に戻る。
【００８０】
注目画素が重要オブジェクトの画素であるかどうかの判定は、上述した図８乃至図１０のいずれか１つを採用しても良いし、複数採用してもよい。また、人物領域、人工画像領域、または背景以外領域とは異なる他の基準により、重要オブジェクトの画素であるか否かを判定してもよい。
【００８１】
次に、図１１のフローチャートを参照して、図７のステップＳ１５におけるオブジェクト連続性検出処理について説明する。
【００８２】
初めに、ステップＳ９１において、重要オブジェクト検出部１３は、注目画素を基準画素に設定するとともに、ステップＳ９２において、重要オブジェクトのはみ出し量を計算するカウンタを“０”に初期化する。
【００８３】
ステップＳ９３において、重要オブジェクト検出部１３は、ズーム境界線Ｌに対して垂直方向で基準画素より外側の画素と基準画素との画素値の差分絶対値を計算する。
【００８４】
ステップＳ９４において、重要オブジェクト検出部１３は、計算された差分絶対値が所定の閾値ε1以下であるかを判定する。
【００８５】
ステップＳ９４で、差分絶対値が所定の閾値ε1より大きいと判定された場合、処理はステップＳ９８に進む。
【００８６】
一方、ステップＳ９４で、差分絶対値が所定の閾値ε1以下であると判定された場合、処理はステップＳ９５に進み、重要オブジェクト検出部１３は、カウンタを１だけカウントアップする。
【００８７】
ステップＳ９６において、重要オブジェクト検出部１３は、基準画素と比較された外側の画素をこれまでの基準画素に代わる新たな基準画素に設定する。
【００８８】
ステップＳ９７において、重要オブジェクト検出部１３は、原画像の画像端まで処理したか、即ち、ステップＳ９６で設定された新たな基準画素が原画像の端（最も外側）の画素であるかを判定する。
【００８９】
ステップＳ９７で、まだ原画像の画像端まで処理していないと判定された場合、処理はステップＳ９３に戻り、新たな基準画素に対してステップＳ９３乃至Ｓ９７の処理が実行される。
【００９０】
一方、ステップＳ９７で、原画像の画像端まで処理したと判定された場合、処理はステップＳ９８に進み、重要オブジェクト検出部１３は、注目画素に対するオブジェクト連続性の検出結果として、カウンタの値（カウンタ出力値）をズーム領域変更処理部１４に供給して、図７のズーム領域変更処理に戻る。
【００９１】
以上のように、画像処理装置１によるズーム領域変更処理によれば、ユーザの操作によって原画像の所定の領域が拡大され、ズーム画像として画面に表示されている場合であって、重要オブジェクトがズーム領域から切れている場合に、重要オブジェクトが切れないようにズーム領域を変更して画面に表示させるので、ユーザは、ズーム領域の変更操作を行う必要がなく、また、重量な情報がズーム領域から欠けて、重要な情報を見逃したり、重要な情報の全体が見えず、不快に感じることがない。即ち、ユーザにとって簡便なズーム画像表示を行うことができる。
【００９２】
なお、画像処理装置１がズーム領域変更処理によりズーム領域を変更する前のズーム領域は、ユーザが操作入力部１１を操作することにより設定されたものでも、ズーム領域変更処理により設定されたものでもよい。
【００９３】
図１２は、重要オブジェクトを符号化データから検出するようにした、ズーム領域変更処理のフローチャートである。即ち、図１２は、画像処理装置１によるその他のズーム領域変更処理を示すフローチャートである。
【００９４】
初めに、ステップＳ１１１において、重要オブジェクト検出部１３は、符号化データから、オブジェクトの領域についての情報を取得する。
【００９５】
ステップＳ１１２において、重要オブジェクト検出部１３は、取得されたオブジェクト毎に重要度を推定し、重要オブジェクトを決定する。重要オブジェクト検出部１３は、上述した例と同様に、画素値が肌色を表す値の画素であるかなどに基づいて、重要度を推定する。
【００９６】
ステップＳ１１３において、ズーム領域変更処理部１４は、ステップＳ１１２で決定された重要オブジェクトがズーム境界線上に架かっているかを判定する。ステップＳ１１３で、重要オブジェクトがズーム境界線上に架かっていないと判定された場合、処理は終了する。
【００９７】
一方、ステップＳ１１３で、重要オブジェクトがズーム境界線上に架かっていると判定された場合、処理はステップＳ１１４に進み、ズーム領域変更処理部１４は、重要オブジェクトが切れないようにズーム領域を変更する。即ち、ズーム領域変更処理部１４は、重要オブジェクトが切れないように変更したズーム領域に対応するズーム信号をズーム処理部１６に供給する。ズーム処理部１６は、そのズーム信号に基づいてズーム領域を決定し、ズーム画像として画像出力部１７に供給して、処理は終了する。
【００９８】
このように、符号化データから重要オブジェクトについての情報を取得することができる場合には、その情報に基づいて、重要オブジェクトが切れないようにズーム領域を変更することができる。
【００９９】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１００】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１０１】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１０２】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１２１を駆動するドライブ１１０が接続されている。
【０１０３】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０４】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１２１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１０５】
そして、プログラムは、リムーバブルメディア１２１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１０６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１０７】
また、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０８】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１０９】
【図１】本発明を適用した画像処理装置によるズーム処理について説明する図である。
【図２】本発明を適用した画像処理装置によるズーム位置の変更処理について説明する図である。
【図３】本発明を適用した画像処理装置によるズーム倍率の変更処理について説明する図である。
【図４】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図５】重要オブジェクトが切れている状態を説明する図である。
【図６】オブジェクト連続性検出処理について説明する図である。
【図７】画像処理装置によるズーム領域変更処理について説明するフローチャートである。
【図８】人物領域を重要オブジェクトとした場合の重要オブジェクト判定処理について説明するフローチャートである。
【図９】背景以外領域を重要オブジェクトとした場合の重要オブジェクト判定処理について説明するフローチャートである。
【図１０】人工画像領域を重要オブジェクトとした場合の重要オブジェクト判定処理について説明するフローチャートである。
【図１１】オブジェクト連続性検出処理について説明するフローチャートである。
【図１２】その他のズーム領域変更処理について説明するフローチャートである。
【図１３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０１１０】
１  画像処理装置，  １３  重要オブジェクト検出部，  １４  ズーム領域変更処理部
【図１】
2008269396.tif 000003
【図２】
2008269396.tif 000004
【図３】
2008269396.tif 000005
【図４】
2008269396.tif 000006
【図５】
2008269396.tif 000007
【図６】
2008269396.tif 000008
【図７】
2008269396.tif 000009
【図８】
2008269396.tif 000010
【図９】
2008269396.tif 000011
【図１０】
2008269396.tif 000012
【図１１】
2008269396.tif 000013
【図１２】
2008269396.tif 000014
【図１３】
2008269396.tif 000015