(57)【要約】【課題】より確実に静止領域画像を記憶する。【解決手段】テレビジョン受像機１１では、動き検出部２５は、入力画像から動き部分を検出し、画像切り出し部２４Ａは、検出された動き部分に関する情報から、入力画像の静止部分を求め、連なる静止部分の集合である静止領域の画像である静止領域画像を入力画像から切り出し、画像蓄積部２９は、切り出された静止領域画像を記憶する。本発明は、例えば、テレビジョン受像機に適用できる。【選択図】図１
2009118296.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の静止部分を検出する検出手段と、
連なる前記静止部分の集合である静止領域の画像である静止領域画像を前記入力画像から切り出す画像切り出し手段と、
前記画像切り出し手段により切り出された前記静止領域画像を記憶する記憶手段と
を備える情報処理装置。
【請求項２】
ユーザによる操作を受け付ける受付手段と、
前記受付手段により受け付けられた前記操作に基づいて、前記記憶手段に記憶された前記静止領域画像を、画像を表示する表示手段に表示させる表示制御手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項３】
前記記憶手段は、前記静止領域画像を、その前記静止領域画像が記憶された時刻に関する時刻情報と対応付けて記憶し、
前記表示制御手段は、前記静止領域画像を、その前記静止領域画像に対応する前記時刻情報に基づいて、前記表示手段に表示する
請求項２に記載の情報処理装置。
【請求項４】
入力画像の静止部分を検出する検出ステップと、
連なる前記静止部分の集合である静止領域の画像である静止領域画像を前記入力画像から切り出す画像切り出しステップと、
前記画像切り出しステップの処理により切り出された前記静止領域画像を記憶手段に記憶する記憶ステップと
を含む情報処理方法。
【請求項５】
入力画像の静止部分を検出する検出ステップと、
連なる前記静止部分の集合である静止領域の画像である静止領域画像を前記入力画像から切り出す画像切り出しステップと、
前記画像切り出しステップの処理により切り出された前記静止領域画像を記憶手段に記憶する記憶ステップと
を含む情報処理をコンピュータに実行させるプログラム
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置及び方法、並びにプログラムに関し、特に、例えば、より確実に静止領域画像を記憶することができるようにする情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
テレビジョン受像機等において、表示画面に表示された画像に映っているフリップ内の情報等といった画像の静止領域内に映っている情報を残しておくためにその静止領域画像を記憶する機能が求められている。
【０００３】
静止領域画像を記憶する機能としては、例えば、表示画面に表示された画像を、ユーザによるリモートコマンダ等の操作に基づいてフレーム単位で記憶する機能や、画像全体の静止している静止画像を、自動的にフレーム単位で検出して記憶する機能がある（例えば、特許文献１参照）。
【特許文献１】特開2000-188734号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した表示画面に表示された画像をユーザ操作に基づいてフレーム単位で記憶する機能では、ユーザ操作の時点で表示画面に表示されている画像が内部のメモリに記憶される。したがって、ユーザは、記憶させたい情報が画面に表示されている間に素早くリモートコマンダを操作したり、手元にリモートコマンダが無いときには移動して操作パネルを操作したりする必要があるので、記憶させたい情報を取り逃してしまうことが多かった。
【０００５】
また上述した静止画像を自動的にフレーム単位で検出して記憶する機能では、有用な情報が映っている画像が静止画像である場合にはその情報を記憶することができるが、有用な情報が映っている画像が一部に動きのある画像である場合にはその画像は静止画像として検出されないのでその情報を取り逃してしまう。
【０００６】
このように、従来の機能では、有用な情報が映っている可能性のある静止領域画像を確実に記憶することはできなかった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、例えば、より確実に静止領域画像を記憶することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の情報処理装置は、入力画像の静止部分を検出する検出手段と、連なる前記静止部分の集合である静止領域の画像である静止領域画像を前記入力画像から切り出す画像切り出し手段と、前記画像切り出し手段により切り出された前記静止領域画像を記憶する記憶手段とを備える。
【０００９】
本発明の一側面の情報処理装置には、ユーザによる操作を受け付ける受付手段と、前記受付手段により受け付けられた前記操作に基づいて、前記記憶手段に記憶された前記静止領域画像を、画像を表示する表示手段に表示させる表示制御手段とをさらに設けることができる。
【００１０】
本発明の一側面の情報処理方法またはプログラムは、入力画像の静止部分を検出する検出ステップと、連なる前記静止部分の集合である静止領域の画像である静止領域画像を前記入力画像から切り出す画像切り出しステップと、前記画像切り出しステップの処理により切り出された前記静止領域画像を記憶手段に記憶する記憶ステップとを含む情報処理方法または情報処理をコンピュータに実行させるプログラム。
【００１１】
本発明の一側面においては、入力画像の静止部分が検出され、連なる前記静止部分の集合である静止領域の画像である静止領域画像が前記入力画像から切り出され、切り出された前記静止領域画像が記憶される。
【発明の効果】
【００１２】
本発明の一側面によれば、例えば、より確実に静止領域画像を記憶することができる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１４】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００１５】
図１は、本発明を適用したテレビジョン受像機１１の構成例を示す図である。
【００１６】
テレビジョン受像機１１は、例えば図示せぬ放送局から送信された地上アナログ放送や地上ディジタル放送等の放送波を受信し、それに対応する所定の放送番組の画像を表示する。テレビジョン受像機１１はまた、リモートコマンダ１２や操作パネル２７で受け付けられたユーザ操作に基づいて各種の処理を行う。
【００１７】
例えば、テレビジョン受像機１１は、受信した放送波に対応する所定の放送番組の画像から静止領域画像を切り出して記憶するとともに、記憶した静止領域画像を表示する画像記憶表示処理を行う。なお、この画像記憶表示処理の詳細については図２を参照して後述する。
【００１８】
リモートコマンダ１２は、ユーザによる操作を受け付け、その操作に対応する赤外線や無線電波等をテレビジョン受像機１１に送信する。
【００１９】
テレビジョン受像機１１の内部構成例について説明する。
【００２０】
テレビジョン受像機１１は、アンテナ２１、チューナ２２、デコーダ２３、画像信号処理部２４、動き検出部２５、受光部２６、操作パネル２７、マイクロコントローラ２８、画像蓄積部２９、表示制御部３０、及び画像表示装置３１から構成される。
【００２１】
アンテナ２１は、図示せぬ放送局から送信された放送波を受信し、その放送波に対応する放送信号をチューナ２２に供給する。
【００２２】
チューナ２２は、アンテナ２１から供給される放送信号に選局や復調等の処理を施し、その結果得られる画像信号をデコーダ２３に供給する。
【００２３】
デコーダ２３は、チューナ２２から供給される画像信号を復号（デコード）し、その結果得られる復号された画像信号を画像信号処理部２４に供給する。
【００２４】
画像信号処理部２４は、マイクロコントローラ２８から供給される制御信号に従って、デコーダ２３から供給される画像信号を、フレーム単位で動き検出部２５及び表示制御部３０に供給する。
【００２５】
画像信号処理部２４はまた、画像切り出し部２４Ａを有して構成される。画像切り出し部２４Ａは、動き検出部２５から供給される時刻ｔのフレーム（以下、第tフレームと称する）の動き情報に基づいて、第tフレームの静止部分を特定し、連なる静止部分の集合である静止領域を抽出し、その静止領域画像を第tフレームの画像から切り出して画像蓄積部２９に供給する。
【００２６】
動き検出部２５は、マイクロコントローラ２８から供給される制御信号に従って、画像信号処理部２４から供給される時刻ｔより1つ前の時刻ｔ−１のフレーム（以下、第t-1フレームと称する）と第tフレームの画像に所定の処理（後述する）を施すことにより第tフレームの画像の動き部分を検出し、その動き部分に関する（第tフレームの）動き情報を画像信号処理部２４に供給する。
【００２７】
受光部２６は、リモートコマンダ１２から送信される赤外線や無線電波等を受光することによりリモートコマンダ１２で受け付けられた操作に対応する操作信号を得てマイクロコントローラ２８に供給する。
【００２８】
操作パネル２７は、例えばタッチパネル等で構成され、ユーザによる操作を受けつけ、その操作に対応する操作信号をマイクロコントローラ２８に供給する。
【００２９】
マイクロコントローラ２８は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)等から構成され、例えばROMに記憶しているプログラムを実行することにより、テレビジョン受像機１１の各部の制御を行う。例えば、マイクロコントローラ２８は、受光部２６または操作パネル２７から供給される操作信号に基づいて、画像蓄積部２９に記憶された静止領域画像を画像表示装置３１に表示させるための制御信号を表示制御部３０に供給する。
【００３０】
画像蓄積部２９は、画像信号処理部２４から供給される静止領域画像を、例えばその静止領域画像が記憶された時刻に関する時刻情報と対応付けて記憶する。
【００３１】
表示制御部３０は、画像信号処理部２４から供給される第tフレームの画像に所定の処理を施すことにより、画像表示装置３１に表示するための画像データを生成して画像表示装置３１に供給する。表示制御部３０はまた、マイクロコントローラ２８から供給される制御信号に基づいて、画像蓄積部２９から静止領域画像を読み出し、その静止領域画像を画像表示装置３１に表示させるための画像データを生成して画像表示装置３１に供給する。
【００３２】
画像表示装置３１は、表示制御部３０から供給される画像データに対応する画像を表示する。
【００３３】
次に、図２のフローチャートを参照して画像記憶表示処理におけるテレビジョン受像機１１の動作を説明する。
【００３４】
画像記憶表示処理は、例えば、テレビジョン受像機１１の電源がオンされると開始される。
【００３５】
ステップＳ１において、動き検出部２５は、マイクロコントローラ２８から供給される制御信号に従って、画像信号処理部２４から供給される第tフレームの画像と第t-1フレームの画像に所定の処理を施すことにより第tフレームの画像の動き部分を検出し、その動き部分に関する動き情報を画像信号処理部２４に供給する。
【００３６】
具体的には、例えば、動き検出部２５は、画像信号処理部２４から供給された第tフレーム及び第t-1フレームの同じ画素どうしの画素値の差分絶対値を算出し、その差分絶対値が所定の値以上である場合にその画素が動き部分であると判定してその旨の動き情報を画像信号処理部２４に供給する。
【００３７】
なおこの動き部分の検出はこの方法に限らず、例えば第tフレームの画像の分割された各ブロックに対して第t-1フレームの画像を用いたブロックマッチングを行い、その結果得られる第tフレームの動きベクトルに基づいてブロック単位で動き部分か否かを判定してその旨の動き情報を画像信号処理部２４に供給するようにしてもよい。
【００３８】
ステップＳ２において、画像信号処理部２４の画像切り出し部２４Ａは、動き検出部２５から供給される動き情報に基づいて、第tフレームの静止部分を特定し、連なる静止部分の集合である静止領域を抽出し、その静止領域画像を第tフレームの画像から切り出して画像蓄積部２９に供給する。
【００３９】
具体的には、例えば、画像切り出し部２４Ａは、動き検出部２５から供給される動き情報に基づいて、第tフレームの動き部分に対応する画素値が1、それ以外の画素値が0の２値画像を生成し、静止部分（画素値が0の画素）を特定して、その２値画像に対して例えばモルフォロジ演算を行うことで連なる静止部分（画素値が0の画素）の集合である静止領域を抽出する。
【００４０】
モルフォロジ演算では、画像を操作するための所定の画素から構成される構造要素を用いた、領域の縮小を行う演算であるエロージョン(erosion)と、領域の拡大を行う演算であるディレーション(dilation)の２種類の演算が行われる（例えば、「川内貴志，牧之内顕文.“モルフォロジ演算を用いた領域画像の分類” 第16回データ工学ワークショップ（DEWS 2005），2005.3」参照）。
【００４１】
エロージョンでは、例えば図３（Ａ）に示すように、構造要素Ｂを構成する（図中黒い）画素のそれぞれについて、原点対する各画素の方向に画像Ａを平行移動し、全ての平行移動後の画像Ａに存在する画素が残っている画像Ｃが求められ、ディレーションでは、例えば図３（Ｂ）に示すように、構造要素Ｂを構成する画素のそれぞれについて、原点に対する各画素の方向に画像Ａを平行移動し、少なくとも１つの平行移動後の画像Ａに存在する画素が残っている画像Ｄが求められる。なお、エロージョンを行った後に同じ構造要素を用いてディレーションを行うことをオープニング（opening）と称する。
【００４２】
この例では、静止領域は、上述した２値画像に対して、モルフォロジ演算のオープニングを行うことで抽出される。
【００４３】
なお、構造要素には、図３（Ａ）及び（Ｂ）に示した構造要素Ｂに限らず、任意のものを用いることができる。
【００４４】
ステップＳ３において、画像蓄積部２９は、画像切り出し部２４Ａから供給される第tフレームの静止領域画像を、例えば記憶する時刻に関する時刻情報と対応付けて記憶（蓄積）する。
【００４５】
ステップＳ４において、マイクロコントローラ２８は、受光部２６または操作パネル２７から供給される操作信号に基づいて、所定の制御信号を表示制御部３０に供給する。表示制御部３０は、マイクロコントローラ２８から供給される制御信号に基づいて、画像蓄積部２９に記憶された所定の静止領域画像を読み出し、その静止領域画像を画像表示装置３１に供給して表示させる。このようにして、マイクロコントローラ２８は、操作信号に基づいて、画像蓄積部２９に記憶された静止領域画像を画像表示装置３１に表示させる。
【００４６】
具体的には、例えば、マイクロコントローラ２８は、所定の操作信号に基づいて、画像蓄積部２９に記憶された所定数の静止領域画像を一覧表示させたり、ある静止領域画像を表示させた状態で、所定の操作信号に基づいてその静止領域画像の次に新しい（または古い）静止領域画像を表示させたりする。
【００４７】
以上のように、テレビジョン受像機１１は、第tフレームの画像中に静止部分が現れたことを自動的に検出することにより、長時間にわたる画像信号の中から何らかの有用な情報が映っている可能性のある静止領域画像を選択的に記憶するようにしたので、前述したようなフレーム単位で画像を記憶する従来機能に比べて、より確実に静止領域画像を記憶することができる。その結果、例えば、ユーザがフリップ内の情報等の画像の一部に映っている情報を記憶させたいような場合でも、その情報を取り逃してしまうことを防ぐことができる。
【００４８】
さらにテレビジョン受像機１１は、ユーザによる操作を受け付け、その操作に基づいて、自動的に記憶した静止領域画像を表示することができる。その結果、ユーザはいちいち画像を記憶させる指示を行わなくても表示の指示を行うだけで過去に遡った情報を表示させることができる。
【００４９】
なお、上述した例では、画像記憶表示処理は、テレビジョン受像機１１の電源がオンされると開始されるようにしたが、その他、例えば、リモートコマンダ１２または操作パネル２７で画像記憶表示処理の開始を指示する所定のユーザ操作が受け付けられると開始されるようにしてもよい。
【００５０】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００５１】
図４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００５２】
コンピュータにおいて、CPU５１，ROM（Read Only Memory）５２，RAM（Random Access Memory）５３は、バス５４により相互に接続されている。
【００５３】
バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウス、マイクロホンなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６１を駆動するドライブ６０が接続されている。
【００５４】
以上のように構成されるコンピュータでは、CPU５１が、例えば、記憶部５８に記憶されているプログラムを、入出力インタフェース５５及びバス５４を介して、RAM５３にロードして実行することにより、上述した一連の処理が行われる。
【００５５】
コンピュータ（CPU５１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００５６】
そして、プログラムは、リムーバブルメディア６１をドライブ６０に装着することにより、入出力インタフェース５５を介して、記憶部５８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５９で受信し、記憶部５８にインストールすることができる。その他、プログラムは、ROM５２や記憶部５８に、あらかじめインストールしておくことができる。
【００５７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００５８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００５９】
【図１】テレビジョン受像機１１の構成例を示す図である。
【図２】画像記憶表示処理におけるテレビジョン受像機１１の動作を示すフローチャートである。
【図３】モルフォロジ演算を説明するための図である。
【図４】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【００６０】
１１  テレビジョン受像機，  １２  リモートコマンダ，  ２１  アンテナ，  ２２  チューナ，  ２３  デコーダ，  ２４  画像信号処理部，  ２４Ａ  画像切り出し部，  ２５  動き検出部，  ２６  受光部，  ２７  操作パネル，  ２８  マイクロコントローラ，  ２９  画像蓄積部，  ３０  表示制御部，  ３１  画像表示装置，  ５１  CPU，  ５２  ROM，  ５３  RAM，  ５４  バス，  ５５  入出力インタフェース，  ５６  入力部，  ５７  出力部，  ５８  記憶部，  ５９  通信部，  ６０  ドライブ，  ６１  リムーバブルメディア
【図１】
2009118296.tif 000003
【図２】
2009118296.tif 000004
【図３】
2009118296.tif 000005
【図４】
2009118296.tif 000006