(57)【要約】【課題】画像情報の欠損を減らしながら、被写体の形状を変形することなくアスペクト比の変更を行う。【解決手段】伸張可能線探索処理部５３は、静止画及び動画の被写体を横断しない線分である伸張可能線を算出する。伸張可能範囲探索処理部５４は、静止画及び動画の被写体に影響しない伸張可能範囲を算出する。伸張処理部５５は、算出された伸張可能線と算出された伸張可能範囲とを用いて、被写体を変形させることなく、静止画及び動画の拡大及び縮小を行うことによってアスペクト比の変更を行う。これにより、画像情報の欠損を減らしながら、被写体の形状を変形することなくアスペクト比の変更を行うことが可能となる。【選択図】  図５
2008199171.tif 000002
【特許請求の範囲】
【請求項１】
伸張可能線算出部と、伸張可能範囲算出部と、伸張処理部とを備え、
静止画及び動画の被写体の形を変形させることなくアスペクト比を変更することを特徴とする映像処理装置。
【請求項２】
前記伸張可能線算出部は、静止画及び動画の被写体を横断しない線分である伸張可能線を算出することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記伸張可能範囲算出部は、静止画及び動画の被写体に影響しない伸張可能範囲を算出することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記伸張処理部は、前記伸張可能線算出部で算出された伸張可能線と前記伸張可能範囲算出部で算出された伸張可能範囲とを用いて、被写体を変形させることなく、静止画及び動画の拡大及び縮小を行うことによってアスペクト比の変更を行うことを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記伸張可能線算出部は、水平方向、鉛直方向、又は傾斜方向のうち少なくともいずれかにおいて、前記伸張可能線を探索することを特徴とする請求項２〜４のいずれか１項に記載の映像処理装置。
【請求項６】
前記伸張可能範囲算出部は、前記伸張可能範囲の探索にシードフィルアルゴリズムを用いることを特徴とする請求項３〜５のいずれか１項に記載の映像処理装置。
【請求項７】
前記伸張可能範囲算出部は、前記伸張可能範囲を、階調を落とすことによって特定することを特徴とする請求項３〜５のいずれか１項に記載の映像処理装置。
【請求項８】
静止画及び動画のアスペクト比を変更するための映像処理方法であって、
静止画及び動画の被写体を横断しない線分である伸張可能線を算出する伸張可能線算出ステップと、
静止画及び動画の被写体に影響しない伸張可能範囲を算出する伸張可能範囲算出ステップと、
算出された前記伸張可能線と算出された前記伸張可能範囲とを用いて、被写体を変形させることなく静止画及び動画の拡大及び縮小を行うことによってアスペクト比の変更を行う伸張ステップとを有することを特徴とする映像処理方法。
【請求項９】
静止画及び動画のアスペクト比を変更するためのコンピュータプログラムであって、
静止画及び動画の被写体を横断しない線分である伸張可能線を算出する伸張可能線算出ステップと、
静止画及び動画の被写体に影響しない伸張可能範囲を算出する伸張可能範囲算出ステップと、
算出された前記伸張可能線と算出された前記伸張可能範囲とを用いて、被写体を変形させることなく静止画及び動画の拡大及び縮小を行うことによってアスペクト比の変更を行う伸張ステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画及び動画に関する処理をするデジタルカメラやデジタルカムコーダーなどの映像処理装置に関する。
【背景技術】
【０００２】
静止画や動画を扱うデジタルカメラやデジタルカムコーダーなどの機器が家庭やオフィスなどに多く普及している。そして、このような機器において撮像した映像を液晶テレビやプラズマテレビなどに表示し、静止画や動画を閲覧することが一般的になっている。また、静止画や動画を紙などに印刷することも一般的になってきている。
【０００３】
【特許文献１】特開平０５−１３７１２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
これらの機器による映像を表示する際に、アスペクト比が大きな問題になっている。この問題は、静止画や動画の表示装置である液晶テレビやプラズマテレビなどがワイドテレビとしてアスペクト比が１６：９等になっているのに対し、映像ソースのデータのアスペクト比が４：３等になっているために生ずる。このような比率の違いを、静止画や動画に加工を加えることによって回避する技術が存在する。
【０００５】
例えば、特許文献１（ソニーブロードキャウト・アンド・コミュニケーションズ)によれば、アスペクト比の変更を表示画像の走査線信号の加工によって可能にしている。
【０００６】
他の例としては、図１０（ａ）に示される元画像１０１（アスペクト比４：３）を、クリッピングすることによって、図１０（ｂ）に示される変換画像１０２（アスペクト比１６：９）に変更をする方法もある。
【０００７】
この場合においては、被写体の形状は変形しないものの、クリッピングでカットされた部分の映像データは、捨て去られることになる。つまり、画像情報を削る対価との引き換えにアスペクト比を変更している。
【０００８】
また、別の例として、図１１（ａ）に示される元画像１１１（アスペクト比４：３）を、画像全体を変形させることによって、図１１（ｂ）に示される変換画像１１２（アスペクト比１６：９）に変更する方法もある。
【０００９】
この場合においては、図１０で示した例の場合と比べて欠落する画像情報がない代わりに、被写体の形状が変形するという現象が発生してしまう。
【００１０】
そこで、本発明は、画像情報の欠損を減らしながら、被写体の形状を変形することなくアスペクト比の変更を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の映像処理装置は、伸張可能線算出部と、伸張可能範囲算出部と、伸張処理部とを備え、静止画及び動画の被写体の形を変形させることなくアスペクト比を変更することを特徴とする。
また、本発明の映像処理方法は、静止画及び動画のアスペクト比を変更するための映像処理方法であって、静止画及び動画の被写体を横断しない線分である伸張可能線を算出する伸張可能線算出ステップと、静止画及び動画の被写体に影響しない伸張可能範囲を算出する伸張可能範囲算出ステップと、算出された前記伸張可能線と算出された前記伸張可能範囲とを用いて、被写体を変形させることなく静止画及び動画の拡大及び縮小を行うことによってアスペクト比の変更を行う伸張ステップとを有することを特徴とする。
また、本発明のコンピュータプログラムは、静止画及び動画のアスペクト比を変更するためのコンピュータプログラムであって、静止画及び動画の被写体を横断しない線分である伸張可能線を算出する伸張可能線算出ステップと、静止画及び動画の被写体に影響しない伸張可能範囲を算出する伸張可能範囲算出ステップと、算出された前記伸張可能線と算出された前記伸張可能範囲とを用いて、被写体を変形させることなく静止画及び動画の拡大及び縮小を行うことによってアスペクト比の変更を行う伸張ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画像情報の欠損を減らしながら、被写体の形状を変形することなくアスペクト比の変更を行うことが可能となる。
【発明を実施するための最良の形態】
【００１３】
本発明は、静止画及び動画のアスペクト比の変更に関するものである。以下、本発明の実施の形態を図面を基に説明する。
【００１４】
図１は、元となる画像データである元画像データ１１から生成される事前データ処理の概要を説明するための図である。その概要は、元画像データ１１に２つの画像処理を行ったものを前提にしてアスペクト比の変更にともなう画像の伸張を行う場所の特定を行うものである。
【００１５】
そのうちの１つは、伸張可能線探索処理画像１２に対して行われる伸張可能線探索処理による伸張可能線探索である。この伸張可能線とは、画面のＸ軸方向、もしくは、Ｙ軸方向の右から左、もしくは上から下に対して、写真に写っている被写体にぶつかることなく引くことの出来る線を示している。
【００１６】
伸張可能線探索処理画像１２に示されるように、この伸張可能線は、元画像データ１１に輪郭抽出処理を行った画像をベースに算出される。
【００１７】
輪郭抽出処理によって、写真内に写っている被写体を認識することが可能になる。この輪郭抽出した線をまたがないような左端から右端への線、もしくは、上端から下端までの線を算出することで、伸張可能線とする。
【００１８】
このような手法によって算出された伸張可能線は、写真に写っている被写体を避けて通る線になっている、すなわち被写体を横断しないという特徴を持っている。そのため、この伸張可能線を基準とすることで、被写体に影響を与えずに、アスペクト比を変更する画像の伸張を行うことができる。
【００１９】
そして、もう１つが、伸張可能範囲探索処理画像１３に対して行われる伸張可能範囲探索処理による伸張可能範囲探索である。この伸張可能範囲とは、伸張可能線の周辺の類似色が広がる範囲を示している。
【００２０】
伸張可能範囲探索処理画像１３に示されるように、この伸張可能範囲は、元画像データ１１に階調低減処理を行った画像をベースに算出される。階調低減処理によって、写真に写っている色の範囲を簡単に認識することが可能になる。伸張可能線を中心として、その伸張可能線上の色と類似色の部分がどの程度広がっているかを得ることが出来る。そのため、伸張可能範囲内で、アスペクト比変更のための画像伸張処理を行うことで、写真の被写体に影響を与えずに、アスペクト比の変更が可能になる。
【００２１】
図２は、伸張可能線の探索方法を説明するための図(Ｘ方向)である。元画像データ１１から生成された輪郭抽出処理画像は、伸張可能線探索処理画像１２のようになっている。
【００２２】
この輪郭抽出処理は、既知の方法を取ることで可能となる。具体的には、隣接画素との差分を画像化すると、伸張可能線探索処理画像１２のような画像が得られる。
【００２３】
実際の探索は、Ｙ軸方向の基点である最も上からサーチを行う。図２の場合は、Ｙ軸方向へのサーチ(上端から下端まで)をＸ方向（左端から右端）で繰り返しサーチを行っている。
【００２４】
線分２２は、上端から始まっているが途中で、隣接した輪郭と衝突を行うため、下端まで達することが出来ない。このため、伸張可能線としては、採用されない。そのため、線分２３〜２５に示されるように、Ｘ軸方向に、左端から右端まで繰り返し探索されるが、発見されることがなく終了する。そのため、Ｘ方向に関しては、伸張可能線が発見出来ずに終了する。
【００２５】
そして、Ｙ軸方向に対しての探索を行う。図３は、伸張可能線の検索をＹ軸方向に行っていることを示す図である。
【００２６】
Ｙ軸方向に対しての探索に関しても、輪郭抽出した伸張可能線探索処理画像１２に対して実施される。探索は、上端から下端まで繰り返し、Ｘ軸方向に探索が行われる。
【００２７】
線分３２は、左端から始まった探索が、右端まで、輪郭の線を横切ることなく到達が可能である。このため、線分３２は、伸張可能線として、記録される。しかし、図２と同様に、線分３３及び線分３４に関しては、検索の途中で、輪郭線と衝突をするため、伸張可能線としては採用されない。以上の結果を持って、線分３２を伸張可能線として認識をする。
【００２８】
図４は、伸張可能範囲の検索を示している図である。伸張可能範囲の探索は、元画像データ１１の階調を低減させた伸張可能範囲探索処理画像１３を元にして算出される。階調を低減化した画像の特徴は、近傍点での類似色を、同一色にする効果がある。そのため、階調を低減化した画像での同一色の広がりは、元データの画像の類似色の広がりに相当する。この性質を用いて、伸張可能範囲の探索をしている。
【００２９】
実際の演算は、図３で得られた伸張可能線を基準に行われる。図４で示される伸張可能範囲探索処理画像１３は、階調低減化処理によって得られた画像に線分３２で示される伸張可能線を基準に、シードフィルアルゴリズムを用いて、同一色の範囲４１及び４２を特定した図である。
【００３０】
こうして得られる伸張可能範囲は、写真の中に写る被写体へ影響を与えない上端から下端（左端から右端）につながる同一類似色の範囲であるという特徴を持っている。この特徴の部分の画像は、写真としては、同一近似色が広がる場合などが多い。例を挙げると、壁や空、海などの大きな色変化を伴わない背景などを示していることが多い。
【００３１】
つまり、写真の中に写っている被写体には影響は少なく、かつ、変形しても人間の視覚に影響を与えににくい範囲だと言える。そのため、この伸張可能範囲内での静止画や動画の画像の伸張によるアスペクト比の変更は、被写体に対して形の変更をすることなくアスペクト比の変更が可能になる。
【００３２】
図５は、本発明に係る処理をソフトウェア（コンピュータプログラム）により実行する映像処理装置の内部構成を示す図である。５１〜５６は映像処理装置が有する構成要素であり、５７〜６０は、各構成要素が参照するデータを示している。以下、処理の流れを説明する。
【００３３】
まず、入力部５１によって元になる画像データの入力を行う。この画像データは、デジタルデータであれば、データ形式は特に問わない。
【００３４】
こうして入力された画像データは、計算用画像処理部５２によって、前述の図２と図３で示した伸張可能線探索処理画像（輪郭抽出処理画像）５７と図４で示した伸張可能範囲探索処理画像(階調低減化処理画像)５９として算出される。それぞれの画像は、元画像データを輪郭抽出処理と階調低減化処理によって得られる画像データである。この手法に関しては、既に一般的であり、特にどのような輪郭抽出処理及び階調低減化処理を用いても構わない。
【００３５】
上記２つの画像データが生成されると、伸張可能線探索処理部５３によって、伸張可能線の探索が行われる。
【００３６】
伸張可能線探索処理部５３（伸張可能線算出部）では、計算用画像処理部５２によって算出された伸張可能線探索処理画像５７を用いて伸張可能線が算出される。算出された伸張可能線は、伸張線ベクトル情報５８として記録される。
【００３７】
そして、次に伸張可能範囲探索処理部５４（伸張可能範囲算出部）によって、伸張可能範囲の探索が行われる。伸張可能範囲探索処理部５４では、計算用画像処理部５２によって算出された伸張可能範囲探索処理画像５９を用いて伸張可能範囲が算出される。算出された伸張可能範囲は、伸張範囲情報６０として記録される。この時点で、画像の伸張に関してのデータの準備が完了をする。
【００３８】
そして、伸張処理部５５は、得られた伸張線ベクトル情報５８と伸張範囲情報６０とを用いて、画像の伸張を行うことによって、出力部５６により画像の出力が行われる。
【００３９】
以上の説明は処理全体の概要である。以降、各処理部についてのフローチャートに関して図６〜図９を用いて説明をする。
【００４０】
図６は、計算用画像処理部５２のフローチャートを示している。計算用画像処理部５２の処理の開始は、ステップＳ６０１から行われる。ステップＳ６０２では、伸張可能線探索処理部５３で必要となる伸張可能線探索処理画像（輪郭抽出画像）５７を算出する。この輪郭抽出画像の生成には、既存の方法を用いることが出来る。本実施形態では、隣り合う画素の差分を取る方法を用いている。その他、１ピクセルずらしてＸＯＲ演算をする方法など、輪郭の抽出が可能なアルゴリズムならばどのような方法を用いても構わない。
【００４１】
次に、ステップＳ６０３では、伸張可能範囲探索処理部画像(階調低減化処理画像)５９の算出を行っている。この伸張可能範囲探索処理画像５９は、ほぼ類似している色がどの範囲で分布しているかがわかる画像処理方法ならば、どのような手段を用いても構わない。本実施形態では、画像の階調を落とすフィルタを行うことによって、近接する画素の類似色の分布を得ることが可能となる。
【００４２】
以上のようにして、伸張可能線探索処理画像５７と伸張可能範囲探索処理画像５９とを得ることが可能となる。
【００４３】
図７は、伸張可能線探索処理部５３のフローチャートを示している。伸張可能線探索処理部５３の処理の開始は、ステップＳ７０１から開始される。
【００４４】
ステップＳ７０２では、伸張可能線の探索を、伸張可能線探索処理画像５７に対して行う。更に、伸張可能線の探索は、Ｘ軸方向とＹ軸方向の２方向に関して探索が実施される。本実施形態ではどちらも行っている。図７のフローチャートに関しては、Ｘ軸方向のみに関して説明をしているが、実際には、Ｘ軸方向（水平方向）及びＹ軸方向（鉛直方向）に探索を行っている。また、更に斜め方向（傾斜方向）に関しても探索を行っても構わない。ステップＳ７０２でＸ軸方向の探索を行う場合、Ｘ座標が０から画像最大幅までループが実施される。このループカウンターをＸＸとする。
【００４５】
ステップＳ７０３では、成功フラグの初期化をする。この成功フラグは、実際に伸張可能線をサーチする際に、サーチに成功した場合に、この成功フラグをＯＮにすることで、伸張可能線探索が成功したことを示す。もし、全てのループを行った場合に、成功フラグがＯＦＦだった場合は、アスペクト比の変更が困難であるとし、異常終了をする。
【００４６】
こうして決まったＸ座標ＸＸに関して、ステップＳ７０４からＹ軸方向に関しての探索をするために、０から画像最大幅までループを行って探索を行う。このときのＹ座標のカウンタをＹＹとする。
【００４７】
次にステップＳ７０５では、衝突カウンタの初期化を行う。この衝突カウンタは、探索可能線をサーチする際に、輪郭線にぶつかる回数を記録するものである。この衝突カウンタがある許容値（本実施形態では１０回とする）を超えた場合に、そのＸ座標ＸＸでの伸張可能線の探索は不可能と判断をする。
【００４８】
次にステップＳ７０６では、伸張可能線を座標(ｘｘ，ｙｙ)での衝突判定を行う。この衝突は輪郭線に対して衝突しているかどうかを判定する。ここで判断されたかどうかに関する論理は、ステップＳ７０９の分岐に使用される。
【００４９】
次に、ステップＳ７０９にて衝突カウンタの数が、許容値を超えたかどうかの判定を実施する。もし、許容値を超えたとすると、ＸＸの値をインクリメントしてループを再び行う(ステップＳ７１５)。
【００５０】
このループ（ステップＳ７１５）のループが終了するということは、伸張可能線を探索出来なかったことを示す。そのため異常終了（ステップＳ７１６）となって処理を終了する。
【００５１】
次に、先ほどのステップ７０６で判定された伸張可能線の探索の論理をステップＳ７０９で分岐を行う。もし、輪郭線との衝突があった場合は、ＸＸの値を乱数を用いて多少上下させる（ステップＳ７０７）。
【００５２】
そして、衝突カウンタのインクリメントを行って(ステップ７０８)、ステップＳ７０６の処理に戻る。ここでＸＸの値を上下させる理由は、直線では、探索可能線がサーチ出来なくても、多少なり線分の方向を変えることで、伸張可能線を導き出す可能性があることからである。そして、輪郭と衝突した場合に、ステップＳ７０６で行われる座標を動かした上で、もう一度衝突判定を行う。
【００５３】
こうして、ステップ７１１でＹ軸方向の探索を行っていき、正常にステップＳ７０４のループが終了すると、ステップＳ７１２で成功フラグをＯＮにする。つまり、成功フラグがＯＮになることは、伸張可能線の探索に成功したことを示す。
【００５４】
そのため、ステップＳ７１３にて、探索された伸張線ベクトル情報を記録し、ステップＳ７１４で正常終了を行い、慎重可能線探索処理を終える。
【００５５】
図８は、伸張可能範囲探索処理部５４のフローチャートを示している。伸張可能範囲探索は、伸張可能範囲探索処理画像５９（図５）に対して行われる処理である。伸張可能範囲探索処理部５４のフローは、ステップＳ８０１から開始される。
【００５６】
次にステップＳ８０２にて伸張ベクトル線情報を取得する。この伸張ベクトル情報は、図７で示される伸張可能線探索処理によって導かれた伸張可能な線分に関する情報である。
【００５７】
次に、この伸張ベクトル線上の全ての点に関して、ステップＳ８０３において、シードフィルアルゴリズムを用いて、類似色の範囲を導き出している。シードフィルアルゴリズムは、ある画像上の一点を含む同一色の範囲を検索するためのアルゴリズムである。このアルゴリズムを用いることで、伸張可能範囲探索処理画像上の伸張可能ベクトルを含む類似色の範囲を計算することが可能となる。そして、ステップＳ８０４にて、この範囲を伸張範囲情報として、記録を行う。つまり、伸張範囲情報６０として記録を行う。そして伸張可能範囲探索処理部の処理を終了する。
【００５８】
本実施形態では、シードフィルアルゴリズムを用いて類似色の範囲の特定を行ったが、同様の結果を導けるのであれば他の方法を用いても構わない。
【００５９】
図９は、伸張処理部５５のフローチャートを示している。伸張処理部５５による処理は、ステップＳ９０１から開始される。
【００６０】
ステップＳ９０２で、伸張ベクトル情報を取得する。そして、ステップＳ９０３にて伸張範囲情報を取得する。
【００６１】
そして、ステップＳ９０４にて、この２つの情報、伸張ベクトル情報と伸張範囲情報を用いて画像の伸張処理を行う。
【００６２】
画像の伸張は、伸張ベクトル情報を伸張の範囲の中心とし、画像の縮小拡大による画像の変形を伸張範囲情報で示される領域内の部分を用いて画像の縮小・拡大を実施する。
【００６３】
このようにして、希望するアスペクト比になるように拡大率・縮小率が決定され、元データの拡大・縮小処理を行う。
【００６４】
以上のような処理を行うことで、画像に写っている被写体（オブジェクト）の形が変形しないようにしながら、動画・静止画のアスペクト比の変更が可能になる。
【００６５】
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。
【００６６】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６７】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６８】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。
【００６９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。
【図面の簡単な説明】
【００７０】
【図１】本発明において、元画像データから事前データを作成する処理を説明するための図である。
【図２】本発明における伸張可能線の検索（Ｘ方向）を説明するための図である。
【図３】本発明における伸張可能線の検索（Ｙ方向）を説明するための図である。
【図４】本発明における伸張可能範囲の検索を説明するための図である。
【図５】本発明の情報処理装置におけるソフトウェアの処理の流れを説明するための図である。
【図６】本発明に係る計算用画像処理部の処理を説明するためのフローチャートである。
【図７】本発明に係る伸張可能線探索部の処理を説明するためのフローチャートである。
【図８】本発明に係る伸張可能範囲探索処理部の処理を説明するためのフローチャートである。
【図９】本発明に係る伸張処理部の処理を説明するためのフローチャートである。
【図１０】クリッピングによるアスペクト比変換を示す図である。
【図１１】画像の伸張によるアスペクト比変換を示す図である。
【符号の説明】
【００７１】
５２  計算用画像処理部
５３  伸張可能線探索処理部
５４  伸張可能範囲探索処理部
５５  伸張処理部
【図１】
2008199171.tif 000003
【図２】
2008199171.tif 000004
【図３】
2008199171.tif 000005
【図４】
2008199171.tif 000006
【図５】
2008199171.tif 000007
【図６】
2008199171.tif 000008
【図７】
2008199171.tif 000009
【図８】
2008199171.tif 000010
【図９】
2008199171.tif 000011
【図１０】
2008199171.tif 000012
【図１１】
2008199171.tif 000013