(57)【要約】【課題】高フレームレートの小サイズの画像を、低フレームレートの大サイズの画像と同等の大きさ（撮影領域）に変換するための技術を提供する。【解決手段】本発明に係る画像処理装置は、第１サイズの画像のフレームと、前記第１サイズよりも小さい第２サイズの画像のフレームとを含む動画像を取得する取得手段と、前記第２サイズの画像のサイズを、当該第２サイズの画像よりも前に存在する第１サイズの画像と、当該第２サイズの画像よりも後に存在する第１サイズの画像とを用いて、前記第１サイズに変換する変換手段と、を有することを特徴とする。【選択図】図５
2010135883.tif 000002
【特許請求の範囲】
【請求項１】
第１サイズの画像のフレームと、前記第１サイズよりも小さい第２サイズの画像のフレームとを含む動画像を取得する取得手段と、
前記第２サイズの画像のサイズを、当該第２サイズの画像よりも前に存在する第１サイズの画像と、当該第２サイズの画像よりも後に存在する第１サイズの画像とを用いて、前記第１サイズに変換する変換手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記変換手段は、
前記第２サイズの画像よりも前に存在する複数の第１サイズの画像のうち、当該第２サイズの画像に最も近い画像と、
当該第２サイズの画像よりも後に存在する複数の第１サイズの画像のうち、当該第２サイズの画像に最も近い画像と、
を用いて、当該第２サイズの画像のサイズを第１サイズに変換する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２サイズの画像は、前記第１サイズの画像の一部の領域に対応する画像であり、
前記変換手段は、前記第２サイズの画像の外側の領域に対応する画像を、当該第２サイズの画像よりも前に存在する第１サイズの画像と、当該第２サイズの画像よりも後に存在する第１サイズの画像とを用いて生成し、当該第２サイズの画像に合成する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記変換手段は、前記第２サイズの画像よりも前に存在する第１サイズの画像と、当該第２サイズの画像よりも後に存在する第１サイズの画像とを重み付け補間することにより、当該第２サイズの画像の外側の領域に対応する画像を生成し、
前記重みは、変換対象である第２サイズの画像に近い画像ほど大きい
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記変換手段は、当該第２サイズの画像と前記外側の領域に対応する画像との境界をぼかす処理を行う
ことを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記動画像は、第１のフレームレートを有する前記第１サイズの画像の複数のフレームと、前記第１のフレームレートより大きい第２のフレームレートを有する前記第２サイズの画像の複数のフレームとを含む
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
第１サイズの画像のフレームと、前記第１サイズよりも小さい第２サイズの画像のフレームとを含む動画像を取得するステップと、
前記第２サイズの画像のサイズを、当該第２サイズの画像よりも前に存在する第１サイズの画像と、当該第２サイズの画像よりも後に存在する第１サイズの画像とを用いて、前記第１サイズに変換するステップと、
を含むことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
技術の進歩に伴い、高フレームレートで動画像を撮影することが可能になってきた。高速撮影、即ち、高フレームレートの動画像の撮影に関する技術は、例えば、特許文献１に開示されている。また、近年、高速撮影が可能な撮像装置が市販されるようになり、身近に高速撮影が行えるようになってきている。
【０００３】
高速撮影が可能な撮像装置では、一般的に、撮像する際のフレームレートを変更することが可能である。
【０００４】
【特許文献１】特開２００４−１４０６４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像装置には物理的制限があるため、フレームレートを高くするほど１フレームあたりのデータ量を少なくしなければならない。物理的制限は、例えば、記録媒体への記録スピード、画像処理のスピード、撮像素子からの情報の読み出しスピードなどによる制限である。
【０００６】
そのため、鮮明な動画像を撮影しようとすると、１フレームの画像のサイズは、フレームレートを高くするほど小さくなってしまう。具体的には、撮影される範囲（撮影領域）が、フレームレートを高くするほど狭くなってしまう。それにより、フレームレートを高くすると、動画像の内容を把握し難くなってしまうという問題がある。例えば、撮影対象物が撮影領域に入りきらなくなり、動画像が何を撮影したものなのかを把握し難くなってしまうという問題がある。
【０００７】
そこで本発明は、高フレームレートの小サイズの画像を、低フレームレートの大サイズの画像と同等の大きさ（撮影領域）に変換するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、
第１サイズの画像のフレームと、前記第１サイズよりも小さい第２サイズの画像のフレームとを含む動画像を取得する取得手段と、
前記第２サイズの画像のサイズを、当該第２サイズの画像よりも前に存在する第１サイズの画像と、当該第２サイズの画像よりも後に存在する第１サイズの画像とを用いて、前記第１サイズに変換する変換手段と、
を有することを特徴とする。
【０００９】
本発明に係る画像処理装置の制御方法は、
第１サイズの画像のフレームと、前記第１サイズよりも小さい第２サイズの画像のフレームとを含む動画像を取得するステップと、
前記第２サイズの画像のサイズを、当該第２サイズの画像よりも前に存在する第１サイズの画像と、当該第２サイズの画像よりも後に存在する第１サイズの画像とを用いて、前記第１サイズに変換するステップと、
を含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、高フレームレートの小サイズの画像を、低フレームレートの大サイズの画像と同等の大きさ（撮影領域）に変換するための技術を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本実施形態に係る画像処理装置について説明する。図１は、本実施形態に係る画像処理装置１００の機能・構成の一例を示すブロック図である。なお、本実施形態では、画像処理装置１００が、デジタルカメラ、デジタルビデオカメラ、携帯電話などの撮像機能を有する装置に適用された場合について説明する。
【００１２】
１０１は画像処理装置１００内の各機能の制御や、各種画像処理、各種演算を行う演算制御部である。演算制御部１０１は、例えば、ＣＰＵとＲＡＭ（またはＲＯＭ）、あるいは、これらと同一の機能を有するマイコンなどの集積回路などで構成することができる。
【００１３】
１０２は動画像の撮影を行う撮像部である。撮像部１０２はレンズ、ＣＣＤやＣＭＯＳ等の撮像素子、および、その制御回路で構成される。
【００１４】
１０３は音声の入力（音声入力処理）を行う音声入力部である。音声入力部１０３はマイクロフォンとその制御回路で構成されている。
【００１５】
１０４は撮影された動画像の表示（表示処理）を行う表示部である。表示部１０４は電子放出素子を有する表示パネル、液晶パネル、プラズマパネル、有機ＥＬパネルなどの表示パネルとその制御回路で構成されている。
【００１６】
１０５は音声入力部１０３から入力された音声を再生・出力する音声再生部である。音声再生部１０５はスピーカーや外部音声出力機構、およびその制御回路などで構成されている。
【００１７】
１０６は撮影された動画像や入力された音声などを記録する記録部である。記録部１０６はフラッシュメモリやハードディスクなどの不揮発性メモリデバイスによって構成される。なお、記録部１０６、即ち不揮発性メモリデバイスは画像処理装置１００から取り外し可能であることが望ましい。
【００１８】
１０７は画像処理装置１００をネットワークに接続するための通信部である。通信部１０７はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子やＬＡＮ（Ｌｏｃａｌ 
Ａｒｅａ Ｎｅｔｗｏｒｋ）端子およびその処理回路などで構成される。通信部１０７は
、撮影した画像を外部に送信するためなどに用いられる。
【００１９】
１０８は画像処理装置１００を操作するための操作部である。操作部１０８はボタンや十字キーなどで構成される。
【００２０】
次に、本実施形態に係る画像処理装置で扱われる動画像について説明する。
【００２１】
図３は本実施形態に係る画像処理装置で撮影される動画像のフレームの一例を示す図である。本実施形態では、第１サイズの画像のフレームと、第１サイズよりも小さい第２サイズの画像のフレームとを含む動画像が撮影されるものとする。また、フレームレートは画像サイズに依存するものとする。具体的には、画像サイズが小さいものほどフレームレートが高いものとする。本実施形態では、動画像には、第１のフレームレートを有する第１サイズの画像の複数のフレームと、第１のフレームレートより高い第２のフレームレー
トを有する第２サイズの画像の複数のフレームとが含まれているものとする。
【００２２】
例えば、第１サイズは６４０×４８０ピクセル、第２サイズは３２０×２４０ピクセルなどが考えられるが、具体的なサイズは特に制限されるものではない。
【００２３】
第２サイズの画像の中心と、第１サイズの画像の中心は互いに一致することが望ましいが、それらは一致していなくてもよい。高フレームレートの動画像の撮影において、第２サイズの画像に撮影対象物の主要な部分が含まれることが望ましい。なお、第１サイズの画像は、撮像部１０２が撮影可能な範囲と同じまたはそれより狭い領域の画像である。また、本実施形態では、第２サイズの画像は、第１サイズの画像の一部の領域に対応する画像とする。
【００２４】
次に、図２を用いて、本実施形態に係る画像処理装置の撮影時（動画像の撮影時）の処理の流れの一例について説明する。図２は本実施形態に係る画像処理装置の撮影時の処理の流れの一例を示すフローチャートである。
【００２５】
まず、ステップＳ２０１で、演算制御部１０１が第１サイズと第２サイズを撮像部１０２に対して設定する。設定値はあらかじめ決められていてもよいし、ユーザーが操作部１０８を通して設定値を決定してもよい。本実施形態では、第２サイズは第１サイズの１／ａのサイズとする。そして、ステップＳ２０２に移る。
【００２６】
ステップＳ２０２では、演算制御部１０１が、撮影する動画像における、第１サイズの画像のフレームと、第２サイズの画像のフレームとの割合を設定する。本実施形態では、動画像は、第１サイズの画像と、第２サイズの画像とが互いに繰り返し撮影されたものとする。ステップ２０２では、例えば、１枚の第１サイズの画像に対して、何枚の第２サイズの画像を撮影するかを設定する。設定値はあらかじめ決められていてもよいし、ユーザーが操作部１０８を通して設定値を決定してもよい。本実施形態では、１枚の第１サイズの画像に対して、ｃ枚の第２サイズの画像を撮影するものとする。即ち、１枚の第１サイズの画像→１枚目の第２サイズの画像→・・・→ｃ枚目の第２サイズの画像→１枚の第１サイズの画像→・・・という動画像が撮影されるものとする。そして、ステップＳ２０３に移る。
【００２７】
ステップＳ２０３では、演算制御部１０１が、撮影する動画像のフレームレートを設定する。設定値はａとｃの値に基づいて求められるフレームレートの最大値ｄ（フレーム/
秒）であってもよいし、ユーザーが操作部１０８を通してｄ以下の任意の値を設定値として決定してもよい。
【００２８】
フレームレートの最大値ｄは次のようにして算出することが出来る。
【００２９】
第１サイズの画像のデータ量をＸビット、画像処理装置１００の最大処理速度をＳビット/秒とすると、フレームレートの最大値ｄは、
ｄ＝（Ｓ（１＋ｃ））／（（１＋ｃ／ａ）Ｘ）・・・・・（式１）
となる。
【００３０】
全てのフレームが第１サイズの画像であった場合のフレームレートの最大値をｂ（フレーム／秒）とすると、ｂ＝Ｓ／Ｘとなるため、式１は、
ｄ＝ｂ（１＋ｃ）／（１＋ｃ／ａ）・・・・・（式２）
と表すことも出来る。
【００３１】
例えば、ｂ＝４００（フレーム／秒）、ａ＝３（即ち、第２サイズの画像のデータ量が第１サイズの画像のデータ量の１／３）とする。また、ｃ＝３（即ち、第１サイズの画像→第２サイズの画像→第２サイズの画像→第２サイズの画像→第１サイズの画像→第２サイズの画像→第２サイズの画像→第２サイズの画像→・・・という動画像を撮影する）とする。その場合は、式２より、ｄ＝８００となる。即ち、最大で１／８００秒ごとに撮影を行ったものとみなすことができる（実際には、第１サイズの画像を撮影するには１／８００秒より長い時間を要し、第２サイズの画像は１／８００秒より短い時間で撮影できる）。
【００３２】
このフレームレートで１秒間撮影を行うと、第１サイズの画像を計２００枚、第２サイズの画像を計６００枚撮影することになる。第２サイズの画像のデータ量は第１サイズの画像のデータ量の１／３であるため、第２サイズの画像６００枚分のデータ量は第１サイズの画像２００枚分に相当する。即ち、全データ量は、第１サイズの画像４００枚分のデータ量に相当する。これは、全てのフレームが第１サイズの画像であった場合のフレームレートの最大値ｂ＝４００（フレーム／秒）で１秒間撮影を行ったときに得られるフレーム数（データ量）と等しい。つまり、ａとｃの値を変化させることによりｄの値は変化するが、単位時間あたりに処理しているデータ量は一定である。
【００３３】
次に、ステップＳ２０４の処理が行われる。ステップＳ２０４では、動画像の撮影が開始される。そして、ステップＳ２０５に移る。
【００３４】
ステップＳ２０５では、第１サイズの画像が１枚撮影される。撮影された画像のデータは、撮像部１０２から演算制御部１０１へと送られ、現像処理や高画質化処理が必要に応じて行われる。そして、データは演算制御部１０１から記録部１０６へと送信され、保存される。なお、動画像の撮影と同時に音声を音声入力部１０３から取り込み、取り込んだ音声を記録部１０６に保存するようにしてもよい。
【００３５】
次に、ステップＳ２０６の処理が行われる。ステップＳ２０６では、演算制御部１０１が整数ｎを０に設定する。整数ｎは第２サイズの画像の撮影枚数を意味する。そして、ステップＳ２０７に移る。
【００３６】
ステップＳ２０７では、第２サイズの画像が１枚撮影される。撮影された画像のデータは、撮像部１０２から演算制御部１０１へと送られ、現像処理や高画質化処理が必要に応じて行われる。そして、データは演算制御部１０１から記録部１０６へと送信され、保存される。このとき、演算制御部１０１は整数ｎの値を１つ増加させる。そして、ステップＳ２０８に移る。
【００３７】
ステップＳ２０８では、演算制御部１０１が、ｎがステップＳ２０２で設定したｃと一致しているかを判断する。一致した場合（ステップＳ２０８：ＹＥＳ）には、ステップＳ２０９に移り、一致していない場合（ステップＳ２０８：ＮＯ）には、ステップＳ２０７に戻る。
【００３８】
ステップＳ２０９では、演算制御部１０１が、操作部１０８を通じて、ユーザーが撮影を終了するための操作を行ったか否か（撮影終了指示が出されたか否か）を判断する。撮影終了指示が出ていた場合（ステップＳ２０９：ＹＥＳ）には本フローを終了し、撮影終了指示が出ていない場合（ステップＳ２０９：ＮＯ）にはステップＳ２０５に戻る。
【００３９】
次に、図４を用いて、本実施形態に係る画像処理装置の再生時の処理の流れ（動画像を取得し再生する際の処理の流れ）の一例について説明する。図４は本実施形態に係る画像処理装置の再生時の処理の流れの一例を示すフローチャートである。
【００４０】
まず、ステップＳ４０１で、第１サイズの画像が１枚表示される。具体的には、記録部１０６に保存されているデータから該当する画像のデータが演算制御部１０１へと送られ、演算制御部１０１内のメモリに蓄えられる。そして、演算制御部１０１は、当該データを表示部１０４へと送り、表示させる。なお、演算制御部１０１は、必要に応じて高画質化処理を行う。そして、ステップＳ４０２に移る。
【００４１】
ステップＳ４０２では、演算制御部１０１が、直前に表示した画像（第１サイズの画像）から時系列的に見て次の第１サイズの画像を記録部１０６から読み込み、演算制御部１０１内のメモリに蓄える。ここで読み込まれた第１サイズの画像はステップＳ４０８やＳ４０５で用いられる。
【００４２】
次に、ステップＳ４０３に移る。ステップＳ４０３では、直前に表示した画像（現在表示中の画像）から時系列的に見て一つ後の画像（次画像）を表示するための処理を開始し、ステップＳ４０４に移る。
【００４３】
ステップＳ４０４では、演算制御部１０１が次画像のサイズが第１サイズか第２サイズかの判断を行う。次画像のサイズが第１サイズである場合（ステップＳ４０４：ＹＥＳ）には、ステップＳ４０５に移り、次画像のサイズが第２サイズである場合（ステップＳ４０４：ＮＯ）には、ステップＳ４０７に移る。
【００４４】
ステップＳ４０５では、演算制御部１０１が、当該次画像のデータを表示部１０４へと送り、表示させる。そして、ステップＳ４０６に移る。なお、次画像のサイズが第１サイズである場合には、当該次画像は、ステップＳ４０２またはステップＳ４０６で取得されているため、改めて次画像を取得することはしなくてよい。
【００４５】
ステップＳ４０６では、時系列的に見て次の第１サイズの画像を記録部１０６から読み込み、演算制御部１０１内のメモリに蓄える。そして、ステップＳ４１０に移る。
【００４６】
ステップＳ４０７では、演算制御部１０１が、次画像（第２サイズの画像）のデータを記録部１０６から読み込み、演算制御部１０１内のメモリに蓄える。そして、ステップＳ４０８に移る。
【００４７】
ステップＳ４０８では、演算制御部１０１が、ステップＳ４０７で取得した画像（次画像；第２サイズの画像）のサイズを第１サイズに変換する。変換方法の詳細については後で詳しく説明する。
【００４８】
（ステップＳ４０８の）次に、ステップＳ４０９で、演算制御部１０１が、ステップＳ４０８でサイズ変換処理が施された画像のデータを表示部１０４へと送り、当該サイズ変換処理が施された画像を表示させる。そして、ステップＳ４１０に移る。
【００４９】
ステップＳ４１０では、演算制御部１０１が、操作部１０８を通じて、ユーザーが再生を終了するための操作を行ったか否か（再生終了指示が出されたか否か）を判断する。再生終了指示が出ていた場合（ステップＳ４１０：ＹＥＳ）には本フローを終了し、再生終了指示が出ていない場合（ステップＳ４１０：ＮＯ）にはステップＳ４０３に戻る。
【００５０】
なお、本フローチャートにおいて、画像の表示と同期させて、記録部１０６に記録され
ている音声のデータを、音声再生部１０５を通じて出力するようにしてもよい。
【００５１】
次に、ステップＳ４０８のサイズ変換処理の方法の一例について、図５を用いて詳しく説明する。本実施形態では、第２サイズの画像のサイズを、当該第２サイズの画像よりも前に存在する第１サイズの画像と、当該第２サイズの画像よりも後に存在する第１サイズの画像とを用いて、第１サイズに変換する。
【００５２】
図５は、撮影された動画像内の連続するフレームを時系列順に並べたものの一例を示す図である。図５の例では、時系列で早いものから順にフレーム番号１，２，３，４，５，６の６つのフレームを示している。フレーム番号１と５が第１サイズの画像である。フレーム番号２，３，４，６が第２サイズの画像である。
【００５３】
ステップＳ４０８において、次画像がフレーム番号２の画像であったとする。そのとき、フレーム番号１と５の画像は、それぞれ、ステップＳ４０１，Ｓ４０２，Ｓ４０６のいずれかの処理により、演算制御部１０１内のメモリに蓄えられている。第１サイズの画像に対し、フレーム番号２の画像（第２サイズの画像；変換対象の画像）は、画像の外側の領域（斜線で示される領域；斜線領域）が欠けている。本実施形態では、この斜線領域を、変換対象の画像よりも前に存在する第１サイズの画像と、変換対象の画像よりも後に存在する第１サイズの画像とを用いて生成し、変換対象の画像に合成する。
【００５４】
具体的には、変換対象の画像よりも前に存在する第１サイズの画像として、変換対象の画像よりも前に存在する複数の第１サイズの画像のうち、変換対象の画像に最も近い画像（変換対象がフレーム番号２の画像である場合、フレーム番号１の画像）を用いる。変換対象の画像よりも後に存在する変換対象の画像として、変換対象の画像よりも後に存在する複数の第１サイズの画像のうち、変換対象の画像に最も近い画像（変換対象がフレーム番号２の画像である場合、フレーム番号５の画像）を用いる。そのような画像を用いることにより、変換対象の画像から時間的に大きく離れた画像を用いるよりも、より正確な画像を生成することができる。
【００５５】
なお、当該斜線領域の画像の生成は、各種フレーム補間技術を用いて行えばよい。例えば、フレーム間の動きベクトルを用いたフレーム補間方法を用いることが好適である。具体的には、変換対象（補間対象）がフレーム番号２の画像である場合、まず、フレーム番号１の画像内で、位置（選択位置）と領域（例えば画面の左上から横Ｘ、縦Ｙの位置にある画素を中心とした、５画素×５画素の領域；選択領域）を選択する（選択処理）。次に、フレーム番号５の画像の選択位置を中心とした領域（例えば画面の左上から横Ｘ±３０、縦Ｙ±３０の領域）内から、画像マッチングにより選択領域の画像に対応する画像の領域を探索し（探索処理）、選択領域の画像の動きベクトルを算出する。上記選択処理と探索処理を繰り返すことにより、各選択領域の画像の動きベクトルを算出し、当該算出結果（動きベクトル）に基づいて、斜線領域を生成すればよい。
【００５６】
また、本実施形態では、斜線領域の画像を生成するために、変換対象の画像よりも前に存在する第１サイズの画像と、変換対象の画像よりも後に存在する第１サイズの画像とを重み付け補間する。一般的に、時間的に近い画像の方が、時間的に離れている画像よりも互いに類似している。そのため、変換対象の画像に近いほど重みを大きくすればよい。具体的には、フレーム番号２のフレームはフレーム番号５のフレームよりもフレーム番号１のフレームに時間的に近いため、フレーム番号５の画像よりもフレーム番号１の画像の重みを大きすることにより、フレーム番号１の画像の影響を強すればよい。フレーム番号１のフレームは、フレーム番号２のフレームの１つ前のフレームであり、フレーム番号５のフレームは、フレーム番号２のフレームの３つ後のフレームである。そこで、例えば、フレーム番号１の画像の重みとフレーム番号５の画像の重みの比を３：１（変換対象のフレ
ームまでのフレーム数の逆比）とすればよい。それにより、重み付けをしない場合に比べ、より正確な画像を生成することができる。
【００５７】
また、変換対象の画像を用いて、当該変換対象の画像と生成された斜線領域の画像との境界を補正してもよい。例えば、変換対象の画像を用いて、そのような境界を目立ちにくくなるような処理（境界付近の画素値をスムージングすることにより境界を目立たなくする）を行えばよい。具体的には、境界近傍の画素に平均値フィルタを適用して画素値を補正することができる。それにより、サイズが変換された画像を違和感の無い画像とすることができる。
【００５８】
また、補間処理を行ったフレームのデータを記録部１０６に記録するようにしても良い。
【００５９】
以上述べたように、本実施形態に係る画像処理装置では、動画像中の小さいサイズの画像（第２サイズの画像）のサイズを、当該第２サイズの画像の前後に存在する第１サイズの画像を用いて、第１サイズに変換する。それにより、高フレームレートの小サイズの画像を、低フレームレートの大サイズの画像と同等の大きさ（撮影領域）に変換することが可能となる。
【００６０】
なお、本実施形態では、撮影処理と再生処理を同一の装置で行う構成としたが、撮影処理は他の装置（デジタルカメラやデジタルビデオカメラなどの撮像装置、携帯電話など）で行ってもよい。本実施形態に係る画像処理装置は、そのような他の装置から、記録されている動画像を取得してもよい。動画像の取得は、記録媒体を介して取得してもよいし、ネットワークを介して通信部１０７で取得してもよい。
【００６１】
また、音声や動画像を再生する機能も、外部の装置（外付けのスピーカーやテレビジョン装置などの表示装置）が備えていてもよい。本実施形態に係る画像処理装置は、動画像のデータの取得、変換、出力を行えればよい。即ち、本実施形態に係る画像処理装置は、演算制御部を備えていればよい。
【００６２】
なお、本実施形態では、第１サイズと第２サイズの画像のフレームを含む動画像を取得する場合について説明したが、動画像に含まれるフレームの画像サイズは２種類に限らない。３種類であってもよいし、５種類であってもよい。動画像に含まれるフレームの画像サイズの種類に限らず、小さいサイズの画像をより大きなサイズの画像に変換することができる。
【００６３】
なお、本実施形態では、変換対象の画像に最も近い第１サイズの画像を用いて、画像のサイズ変換を行うものとしたが、変換対象の画像に２番目や３番目に近い第１サイズの画像を用いてもよい。変換対象の画像の前側と後側とで用いる画像の選択の条件を異ならせてもよい。例えば、変換対象の画像の前側で２番目に近い第１サイズの画像と、変換対象の画像の後側で３番目に近い第１サイズの画像とを用いてもよい。変換対象の画像よりも前に存在する第１サイズの画像と、変換対象の画像よりも後に存在する第１サイズの画像とを用いていればよい。
【００６４】
なお、変換対象の画像よりも前に存在する第１サイズの画像と、変換対象の画像よりも後に存在する第１サイズの画像とを重み付け補間する際の重みの比は、変換対象のフレームまでのフレーム数の逆比でなくてもよいし、重み付けをしなくてもよい。例えば、図５の例では、フレーム番号１の画像の重みとフレーム番号５の画像の重みの比を１：１（重み付けなし）としてもよい。フレーム番号１の画像の重みとフレーム番号５の画像の重みの比を５：２としてもよい。変換対象の画像に近いほど重みを大きくすれば、重み付けを
しない場合に比べ、より正確な画像を生成することができる。
【図面の簡単な説明】
【００６５】
【図１】本実施形態に係る画像処理装置の機能・構成の一例を示すブロック図である。
【図２】本実施形態に係る画像処理装置の撮影時の処理の流れの一例を示すフローチャートである。
【図３】本実施形態に係る画像処理装置で撮影される動画像のフレームの一例を示す図である。
【図４】本実施形態に係る画像処理装置の再生時の処理の流れの一例を示すフローチャートである。
【図５】撮影された動画像内の連続するフレームを時系列順に並べたものの一例を示す図である。
【符号の説明】
【００６６】
１００  画像処理装置
１０１  演算制御部
１０２  撮像部
１０３  音声入力部
１０４  表示部
１０５  音声再生部
１０６  記録部
１０７  通信部
１０８  操作部
【図１】
2010135883.tif 000003
【図２】
2010135883.tif 000004
【図３】
2010135883.tif 000005
【図４】
2010135883.tif 000006
【図５】
2010135883.tif 000007