(57)【要約】      （修正有）【課題】画像を領域分割する際、顔または人体などのオブジェクトが別々の領域に分割された場合でも、それらの領域を同一領域に結合する。【解決手段】画像および分割情報の入力を受け付ける入力手段と、分割情報を用いて画像を複数の領域に分割する領域分割手段と、画像に写っているオブジェクトを検出するオブジェクト検出手段と、前記オブジェクトが複数領域にまたがって存在するかを判定する判定手段と、前記オブジェクトが複数領域にまたがって存在する場合、それらの領域を結合する領域結合手段を有する。【選択図】図８
2017117030.tif 000002
【特許請求の範囲】
【請求項１】
画像および分割情報の入力を受け付ける入力手段と、
分割情報を用いて画像を複数の領域に分割する領域分割手段と、
画像に写っているオブジェクトを検出するオブジェクト検出手段と、
前記オブジェクトが複数領域にまたがって存在するかを判定する判定手段と、
前記オブジェクトが複数領域にまたがって存在する場合、それらの領域を結合する領域結合手段を有する画像処理装置。
【請求項２】
前記分割情報とは、画素値情報、距離情報、熱情報のいずれかであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクトとは、顔、人体のいずれかであることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、前記領域結合手段が結合した領域を、もとの複数領域に分離する領域分離手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記オブジェクトが複数領域にまたがって存在する場合に、ユーザがそれらの複数領域を結合するかどうかを指示する指示手段を有し、前記領域結合手段は、ユーザが前記指示手段を用いて複数領域の結合を指示した場合に、それらの領域を結合することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、第一のモードと第二のモードを有し、前記画像処理装置が第一のモードにある場合は、ユーザが前記指示手段を用いて複数領域の結合を指示した場合に、それらの領域を結合し、前記画像処理装置が第二のモードにある場合は、ユーザが前記指示手段を用いて複数領域の結合を指示せずとも、それらの領域を結合することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記分割情報とは距離情報であり、前記画像処理装置は、前記領域結合手段によって結合された領域の距離情報を再計算する距離情報再計算手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記距離情報再計算手段は、結合された領域に含まれる各画素における距離の平均を、該領域の距離情報とすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記距離情報再計算手段は、結合された領域に含まれるオブジェクトの中心にあたる画素の距離情報を、該領域の距離情報とすることを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記距離情報再計算手段は、結合された領域に含まれるオブジェクトが顔の場合は眼に相当する画素の距離情報を、該領域の距離情報とし、結合された領域に含まれるオブジェクトが人体の場合は顔に相当する画素の距離情報を、該領域の距離情報とすることを特徴とする請求項７に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像分割処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来技術として、入力画像を、分割情報に基づいて複数の領域に分割する技術が存在する。分割情報として、画素値情報、距離情報、赤外線による熱情報などが考えられる。
【０００３】
一方、入力画像を、画素値情報をもとにしたエッジ検出処理などによって領域分割した後に、入力画像上で離散的に分布し、かつ領域内の画像の特徴がそれぞれ類似する複数の領域を結合する技術が存在する（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−６３３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術は、入力画像に写っているオブジェクトを検出しているわけではなく、各領域内の画像の特徴（たとえば色成分ヒストグラム）をマッチングさせることで、類似する特徴を持つ領域を結合している。そのため、領域内の画像の特徴が異なる場合、それらの領域を結合することができない。
【０００６】
特許文献１において、薔薇の花を撮影した入力画像に対して、エッジ検出処理を用いて領域分割する例が開示されている。特許文献１では、薔薇の花弁がそれぞれ別個の領域に分割されるが、それらの領域は特徴（色成分ヒストグラム）が類似しているため、結合し、薔薇の花として抽出可能である。
【０００７】
しかし、この方法では、薔薇の茎や葉は特徴が類似していないため、結合することができない。
【０００８】
さらに、分割情報として、エッジ検出処理などに使用するための画素値情報以外の情報（距離情報など）を使用する場合を考える。ある人物を撮影した入力画像から、人物が写っている領域を切り出したい場合がある。
【０００９】
しかし、その人物が手のひらを前に突き出していると、手のひらとそれ以外の部分（顔や服など）で距離情報が異なるため、別の領域として分割されることがある。そして、特許文献１に係る技術では、手のひらと服で特徴が異なると、これらを結合することができない。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明に係る動画を再生可能な画像再生装置は、
動画中の任意のフレームをユーザが指定する指定手段と、指定されたフレームに対応する、ＲＡＷ動画中のフレームを現像する現像手段と、現像したフレームの位置を記憶する現像フレーム位置記憶手段と、動画を再生する再生手段と、動画再生時に、再生しているフレームの位置を表示する再生位置表示手段と、動画再生時に、前記現像フレーム位置記憶手段が記憶しているフレーム位置を表示する現像フレーム位置表示手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明に係る動画を再生可能な画像再生装置によれば、入力画像に写っているオブジェクトが別々の領域に分割された場合でも、それらの領域を同一領域に結合することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１における、画像再生装置のブロック図
【図２】本発明における、入力画像と衝立を表示する場合の画面例
【図３】本発明における、入力画像と衝立を表示し、衝立を操作して画像処理を行う場合の画面例
【図４】実施例１で使用する入力画像と距離画像
【図５】図４に示す入力画像を、距離情報に基づいて領域分割した様子を表す図
【図６】図５に示す領域ＡとＢを結合し、ひとつの領域ａとする様子を表す図
【図７】実施例１における、画像処理装置の画面例（ＵＩ）
【図８】実施例１における、画像処理装置の領域結合処理について説明するフローチャート
【図９】実施例１における、処理８０３の詳細を説明するフローチャート
【図１０】実施例１における、処理に使用する表を表す図
【図１１】実施例２で使用する入力画像と距離画像
【図１２】実施例２における、画像処理装置の領域結合処理について説明するフローチャート
【図１３】実施例２における、処理１２０４の詳細を説明するフローチャート
【図１４】実施例２における、処理に使用する表を表す図
【図１５】実施例２における、処理１２０６の詳細を説明するフローチャート
【図１６】実施例３における、画像処理装置の画面例（ＵＩ）
【図１７】実施例３における、処理８０４の詳細を説明するフローチャート
【図１８】実施例４における、画像処理装置の画面例（ＵＩ）
【図１９】実施例４における、画像処理装置の領域結合処理について説明するフローチャート
【図２０】実施例４における、ユーザがアイコン１８０１を操作したときの、画像処理装置の動作を表すフローチャート
【図２１】実施例４における処理に使用する表を表す図
【発明を実施するための形態】
【００１３】
以下、本発明にかかる実施例を、図面を参照して詳細に説明する。
【実施例１】
【００１４】
図１は本実施例における、画像再生装置のブロック図である。
【００１５】
１００は画像再生装置であるＰＣである。１０１はＣＰＵである。１０２はＲＡＭである。１０３はＲＯＭであり、サーバの起動プログラム（ＢＩＯＳ）が記録されている。この起動プログラムは、サーバ起動時にＲＡＭ１０２に読み込まれ、ＣＰＵ１０１によって実行される。１０４は操作部であり、キーボードやマウスなどである。１０５は表示部であり、画像やグラフィカルユーザインタフェース（ＧＵＩ）を表示するためのモニタやタッチモニタである。１０６は通信部であり、インターネットや無線ＬＡＮ、ＵＳＢケーブルなどを介して他の機器と通信する。１０７は二次記録装置であり、画像再生装置の制御プログラムが記録されている。ユーザが制御プログラム実行を指示すると、ＣＰＵ１０１が二次記録装置１０７内の制御プログラムを逐次ＲＡＭ１０２に読み込み、実行する。そして１０８は、１０１〜１０６が情報をやり取りする際に用いるバスである。
【００１６】
まず、距離情報を用いて画像を分割したい理由について説明する。
【００１７】
図２は入力画像および「衝立」を表示する画像処理装置の画面例（ＵＩ）である。ここで言う衝立とは、入力画像を距離情報に基づいて画像分割し、撮影位置から近い順に配置したものである。
【００１８】
左側の画面について説明する。入力画像と距離画像は、距離画像を撮影可能なデジタルカメラなどの撮影装置によって撮影されたものである。ヒストグラムは、入力画像の画素数を距離画像の距離情報に基づいてマッピングした分布図である。次に、右側の画面について表示する。カメラアイコンは、視点を示す印である。カメラアイコンから放射状に引かれている線は、衝立をどこで作成するかを決めるための境界線である。この配置位置は、距離情報に基づいて配置される。カメラアイコンは、視点の位置を示すほかに、このアイコンを操作することで画角を変更する機能を持つ。このとき、カメラアイコン（視点）の位置に応じて、主被写体の大きさが一定となるような画角が設定される。スライダは、画角を設定するための操作部材である。このスライダでズーム（焦点距離）を変更すると、主被写体の大きさが一定となるような視点位置が設定される。
【００１９】
図３は本実施例における入力画像と衝立を表示し、衝立を操作して画像処理を行う場合の画面例である。
【００２０】
左側の画面において、右側の手前の衝立が選択されているものとする。次に、この状態で衝立画面のスライダの位置をドラッグなどの操作で変更する。すると、右側の画面のように、選択された衝立の大きさは変更せずに、それ以外の衝立の大きさを変更できる。この例の場合、後ろの衝立が手前に迫ってくるような画像処理が実行される。それに伴って、衝立画面の後ろの衝立がズームアップするだけではなく、入力画像の後ろの背景も連動して更新される。このような画像処理を行うには、入力画像を距離情報に基づいて分割する必要がある。
【００２１】
図４は本実施例で使用する入力画像と距離画像である。
【００２２】
この画像では、人物が一人写っており、背景に家が写っている。また、人物は手のひらを前に突き出している。そのため、距離画像においては、人物の手のひらとそれ以外の部分とでは、距離情報が異なっている。
【００２３】
図５は図４に示す入力画像を、距離情報に基づいてＡ〜Ｄに領域分割した様子を表す図である。
【００２４】
図に示すように、人物の手のひらとそれ以外の部分とが、別々の領域（ＡとＢ）に分割されている。しかし、ユーザによっては、人物と手のひらが別領域に分割され、それらの位置関係や大小関係が変化するのは好ましくないと感じる場合がある。そこで、本発明は、図６に示すように、領域ＡとＢを結合し、ひとつの領域ａとすることを目的とする。
【００２５】
図７は本実施例における、画像処理装置の画面例（ＵＩ）である。
【００２６】
画面左下には、「開く」と「保存」の２つのボタンが表示される。ユーザが「開く」ボタンをクリックすると、ファイルオープンダイアログ（図示せず）を表示する。ユーザが画像ファイルを指定すると、そのファイルを二次記録装置１０７からＲＡＭ１０２に読みこむ。このとき、ひとつの画像ファイルが入力画像と距離画像を含んでいてもよいし、別個のファイルとなっていてもよい。画面左上に読みこんだ入力画像を表示し、画面右側には、図２で示したような衝立を表示する。ここで、画像処理装置は、先ほど図５〜６を用いて説明した処理を行い、領域ＡとＢを自動的に結合するが、この処理については図８のフローチャートを用いて後述する。ユーザが、スライダなどを操作すると、画像処理を実行し、処理結果を、入力画像を表示していた部分に表示する。ユーザが「保存」ボタンをクリックすると、ファイルオープンダイアログ（図示せず）を表示し、ユーザにファイル名を入力させた後、処理結果を画像ファイルとして二次記録装置１０７に保存する。
【００２７】
次に、図８のフローチャートを用いて、領域ＡとＢを自動的に結合する処理について説明する。
【００２８】
画像処理装置が入力画像と距離画像を読み込むと、まず８０１で距離情報に基づいて入力画像を分割する。この処理は公知であるので、詳細は省略する。
【００２９】
８０２に進み、入力画像内の最大のオブジェクトを検出する。オブジェクト検出のアルゴリズムとしては、公知の技術である顔検出、人体検出、物体検出などの手法が利用できる。最大のオブジェクトを検出する代わりに、もっとも前方にあるオブジェクトを検出してもよいし、入力画像の中心に近いオブジェクトを検出してもよいし、これらの方式の組み合わせでもよい。
【００３０】
８０３に進み、８０２で検出したオブジェクトが、分割後のどの領域に存在しているかを調べる。この処理については、図９を用いて後述する。
【００３１】
８０４に進み、オブジェクトが複数の領域にまたがっている場合は、それらの領域を結合する。
【００３２】
８０５に進み、複数の領域を結合した場合は、結合後の領域の距離情報を再計算する。この処理を行う理由として、視点位置を変えるなどの画像処理を行うに当たって、視点位置から領域までの距離が定まっている必要があるからである。再計算の処理方法としては、結合された領域に含まれる各画素における距離の平均を該領域の距離情報としてもよいし、結合された領域に含まれるオブジェクトの中心にあたる画素の距離情報を該領域の距離情報としてもよい。あるいは、結合された領域に含まれるオブジェクトが顔の場合は眼に相当する画素の距離情報を該領域の距離情報とし、結合された領域に含まれるオブジェクトが人体の場合は顔に相当する画素の距離情報を該領域の距離情報としてもよい。以上で、処理を終了する。
【００３３】
図９は処理８０３の詳細を説明するフローチャートである。
【００３４】
まず９０１で、オブジェクトを構成する各画素Ｐについてループする。
【００３５】
９０２で、画素Ｐが存在する領域について、図１０に示す表１００１に印をつける。たとえば、Ｐが図４の入力画像の手のひらを構成する画素であれば、領域Ａにあたる行に印を付けるし、Ｐが顔や胴体を構成する画素であれば、領域Ｂにあたる行に印を付ける。
【００３６】
９０３は、ループの終端である。このように、処理８０３を実行すると、表１００１のような表が完成する。
【００３７】
９０４に進み、結合すべき領域を決定する。具体的には、表１００１に書かれている領域Ａ〜Ｄのうち、印が付いている領域ＡとＢを結合すべきということが判定できる。
【００３８】
９０５に進み、結合結果を表１００２に記載する（「結合後の領域」列に情報を書き込む）。以上で、処理を終了する。
【００３９】
以上の説明では、画像を分割するための分割情報として距離情報を使用したが、他にも、画素値情報を使用する（画素の色によって分割する、エッジを検出し、エッジに沿って分割するなど）手法も考えられる。あるいは、赤外線を使用して被写体の温度を検出し、温度に応じて分割する手法も考えられる。
【００４０】
以上に示すように、本実施例によれば、入力画像に写っているオブジェクトが別々の領域に分割された場合でも、それらの領域を同一領域に結合することができるという効果がある。
【００４１】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００４２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４３】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ＿ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【００４４】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００４５】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【実施例２】
【００４６】
実施例１における画像処理装置は、入力画像に写っているオブジェクトのうち、ひとつのオブジェクトに着目し、そのオブジェクトが別々の領域に分割されている場合に、それらの領域を同一領域に結合するという処理を行うものであった。
【００４７】
しかし、場合によっては、複数のオブジェクトに対して、同様の処理を行いたい場合がある。たとえば、図１１に示すような入力画像および距離画像について考える。これらの入力画像は、１１０１の被写体を撮影したものである。ここでは、距離に応じて、領域Ａ〜Ｄに画像分割されているが、あるオブジェクト（人体）は領域ＡおよびＢにまたがっており、もうひとつのオブジェクトは領域ＢおよびＣにまたがっている。そこで、本実施例に係る画像処理装置は、領域Ａ〜Ｃをひとつの領域にまとめる処理を実行する。
【００４８】
本実施例に係る画像処理装置のブロック図は、実施例１と同じであるので説明を省略する。また、ＵＩも実施例１と同じであるので説明を省略する。
【００４９】
次に、図１２のフローチャートを用いて、領域Ａ〜Ｃを自動的に結合する処理について説明する。
【００５０】
画像処理装置が入力画像と距離画像を読み込むと、まず１２０１で距離情報に基づいて入力画像をＡ〜Ｄに分割する。
【００５１】
１２０２に進み、入力画像内の各オブジェクトを検出する。オブジェクト検出のアルゴリズムとしては、公知の技術である顔検出、人体検出、物体検出などの手法が利用できる。
【００５２】
１２０３に進み、ループを開始する。ループする回数は、１２０２で検出したオブジェクト数である。
【００５３】
１２０４で、ｎ番目のオブジェクトが、領域Ａ〜Ｄのどの領域に存在しているかを調べる。この処理については、図１３を用いて後述する。
【００５４】
１２０５に進み、ループを終了する。
【００５５】
１２０６に進み、オブジェクトが複数の領域にまたがっている場合は、それらの領域を結合する。この処理については、図１５を用いて後述する。１２０７に進み、複数の領域を結合した場合は、結合後の領域の距離情報を再計算する。
【００５６】
図１３は処理１２０４の詳細を記述するフローチャートである。
【００５７】
まず１３０１で、オブジェクトを構成する各画素Ｐについてループする。１３０２で、画素Ｐが存在する領域について、図１４に示す表に印をつける。実施例１と異なるのは、オブジェクトごとに、異なる列に印を付けることである。１３０３は、ループの終端である。以上で、処理を終了する。
【００５８】
図１５は処理１２０６の詳細を記述するフローチャートである。
【００５９】
まず１５０１で、１４０２に示す表を作成する。
【００６０】
１５０２に進み、ループを開始する。ループの回数は、１２０２で検出したオブジェクト数である。１５０３に進み、ｎ番目のオブジェクトが複数領域にまたがっているかを判定する。またがっていなければ１５０５に進む。またがっていれば１５０４に進み、表１４０２を更新する。たとえば、図１１に示した入力画像および距離画像であれば、まず手前に写っている人物が１番目のオブジェクトとして検出されるので、表１４０２を表１４０３のように更新する（「オブジェクトがまたがる領域」列に情報を追記する）。次のループで、奥に写っている人物が２番目のオブジェクトとして検出されるので、表１４０３をさらに表１４０４のように更新する（「オブジェクトがまたがる領域」列に情報を追記する）。
【００６１】
１５０５に進み、ループを終了する。
【００６２】
１５０６に進み、結合すべき領域を決定する。表１４０４を参照し、「オブジェクトがまたがる領域」列に情報が書かれていれば、それらの領域を結合すべきということが分かる。
【００６３】
１５０７に進み、結合結果を表１４０４に追記する（「結合後の領域」列に情報を書き込む）。以上で、処理を終了する。
【００６４】
以上に示すように、本実施例によれば、入力画像に写っている複数のオブジェクトが別々の領域に分割された場合でも、それらの領域を同一領域に結合することができるという効果がある。
【００６５】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００６６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６７】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ＿ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【００６８】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００６９】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【実施例３】
【００７０】
実施例１における画像処理装置は、入力画像に写っているオブジェクトが別々の領域に分割されている場合に、それらの領域を自動的に同一領域に結合するという処理を行うものであった。しかし、結合を自動で行うのではなく、結合するかどうかをユーザに問い合わせ、その結果に基づいて結合するかしないかを決定する方が好ましい場合もある。そこで、本実施例に係る画像処理装置は、入力画像に写っているオブジェクトが別々の領域に分割された場合でも、それらの領域を同一領域に結合する操作をユーザが容易に為すことができる処理を実行するものである。
【００７１】
本実施例に係る画像処理装置のブロック図は、実施例１と同じであるので説明を省略する。
【００７２】
図１６は本実施例における、画像処理装置の画面例である。ここでは、図７に示した実施例１に係る画像処理装置の画面例との差異について説明する。
【００７３】
画像処理装置は、画面右側に、図２で示したような衝立を表示する。ここで、画像処理装置は、オブジェクトが複数領域にまたがっていることを検出すれば、それらの領域を囲う枠１６０１と、ダイアログ１６０２を表示する。ダイアログには、「領域を結合しますか」というメッセージを表示し、ユーザに入力を促す。ユーザが「はい」を選択すれば、枠およびダイアログを消去し、それらの領域を結合する。ユーザが「いいえ」を選択すれば、枠およびダイアログを消去する。
【００７４】
次に、本実施例に係る画像処理装置の動作について説明する。
【００７５】
まず、本実施例に係る画像処理の主な動作は、図８を用いて説明した、実施例１に係る画像処理装置の動作と同じなので、説明は省略する。
【００７６】
図１７は図８の処理８０４の詳細を説明するフローチャートである。
【００７７】
１７０１で、表１００１を参照し、入力画像中最大のオブジェクトが複数の領域にまたがっているかを判定する。またがっていなければ処理を終了する。またがっていれば１７０２に進み、枠とダイアログを表示する。
【００７８】
１７０３に進み、ユーザが「はい」を選択したかどうかを判定する。「はい」を選択したと判定すれば、１７０４に進み、オブジェクトがまたがっている領域を結合した後、１７０５に進み、結合結果を表１００２に記入する。
【００７９】
１７０４および１７０５の処理は、実施例１で説明した処理９０４および９０５と同じである。１７０６に進み、枠とダイアログを消去する。以上で処理を終了する。一方、１７０３において、ユーザが「いいえ」を選択したと判定すれば、１７０６に進む。
【００８０】
以上で処理を終了する。
【００８１】
以上に示すように、本実施例によれば、入力画像に写っているオブジェクトが別々の領域に分割された場合でも、それらの領域を同一領域に結合する操作を、ユーザが容易に為すことができるという効果がある。
【００８２】
なお、画像処理装置の他の実装として、実施例１および本実施例で説明した処理を共に備えてもよい。つまり、画像処理の目的に応じて、画像処理装置は２種類のモードを持ち、第１のモードでは本実施例に示す処理（ユーザの指示を待って複数領域を結合する）を行い、第２のモードでは実施例１に示す処理（自動的に複数領域を結合する）を行うようにしてもよい。
【００８３】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８４】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ＿ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【００８５】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００８６】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【実施例４】
【００８７】
実施例１における画像処理装置は、入力画像に写っているオブジェクトが別々の領域に分割されている場合に、それらの領域を同一領域に結合するという処理を行うものであった。しかし、結合処理が自動で行われるため、ユーザの期待に反して領域結合を行ってしまう可能性がある。本実施例では、結合された領域を簡便な操作で分離し、結合前の状態に戻す画像処理装置について述べる。本実施例に係る画像処理装置のブロック図は、実施例１と同じであるので説明を省略する。
【００８８】
図１８は本実施例における、画像処理装置の画面例である。ここでは、図７に示した実施例１に係る画像処理装置の画面例との差異について説明する。
【００８９】
画像処理装置は、画面右側に、図２で示したような衝立を表示する。ここで、画像処理装置は、複数領域を結合した場合、１８０１に示すようなアイコンを表示する。ユーザがこのアイコンを操作すると、結合した領域を結合前の状態に戻す。
【００９０】
次に、本実施例に係る画像処理装置の動作について、図１９および図２０のフローチャートを用いて説明する。
【００９１】
画像処理装置が入力画像と距離画像を読み込むと、まず１９０１で距離情報に基づいて入力画像を分割する。
【００９２】
１９０２に進み、入力画像内の最大のオブジェクトを検出する。
【００９３】
１９０３に進み、１９０２で検出したオブジェクトが、分割後のどの領域に存在しているかを調べる。この処理については、実施例１における８０３の処理と同一であるので、詳細は省略する（結合結果を、図２１記載の表２１０１のように記録しておく）。この処理の結果、１９０４に進み、オブジェクトが複数の領域にまたがっている場合は、それらの領域を結合する。
【００９４】
１９０５に進み、複数の領域を結合した場合は、結合後の領域の距離情報を再計算する。
【００９５】
１９０６に進み、結合した領域に、１８０１に示すアイコンを表示する。
【００９６】
一方、図２０はユーザがアイコン１８０１を操作したときの、画像処理装置の動作を表すフローチャートである。
【００９７】
２００１で、ユーザがアイコン１８０１を操作して、統合した領域の分離指示を出したかどうかを判定する。ユーザが指示していなければ２００１に戻る。ユーザが分離を指示すれば２００２に進む。ここでは、表２１０１を参照し、指示があった領域が「結合後の領域」列に書かれている行を調べる。たとえば、図１８に示した例であれば、最前面の領域であるａが、「結合後の領域」列に書かれている行を調べることになる。
【００９８】
２００３に進み、該当行の、「オブジェクトがまたがる領域」列を参照し、結合前の領域に分離する。たとえば、図１８に示した例であれば、領域ＡおよびＢに分離する。実際の処理としては、結合前に領域ＡおよびＢの情報を記録しておき、それを読みだしてきてもよいし、領域ａを、距離画像に従って分離し直してもよい。２００４に進み、表２１０１を、２１０２のように更新する。以上で処理を終了する。
【００９９】
以上に示すように、本実施例によれば、入力画像に写っているオブジェクトが別々の領域に分割された場合でも、それらの領域を同一領域に結合できる画像処理装置において、ユーザの気に入らない結合が行われても、容易に結合前の状態に戻すことができるという効果がある。
【０１００】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０１】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ＿ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【０１０２】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１０３】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【０１０４】
１００  画像再生装置、１０１  ＣＰＵ、１０２  ＲＡＭ、１０３  ＲＯＭ
【図１】
2017117030.tif 000003
【図２】
2017117030.tif 000004
【図３】
2017117030.tif 000005
【図４】
2017117030.tif 000006
【図５】
2017117030.tif 000007
【図６】
2017117030.tif 000008
【図７】
2017117030.tif 000009
【図８】
2017117030.tif 000010
【図９】
2017117030.tif 000011
【図１０】
2017117030.tif 000012
【図１１】
2017117030.tif 000013
【図１２】
2017117030.tif 000014
【図１３】
2017117030.tif 000015
【図１４】
2017117030.tif 000016
【図１５】
2017117030.tif 000017
【図１６】
2017117030.tif 000018
【図１７】
2017117030.tif 000019
【図１８】
2017117030.tif 000020
【図１９】
2017117030.tif 000021
【図２０】
2017117030.tif 000022
【図２１】
2017117030.tif 000023