(57)【要約】【課題】ユーザーが認識していない時間軸上に連続する複数の画像フレームを使って、画像処理していた場合、注目する画像フレームを静止画ファイルとして抜き出してしまうと、画像処理に使う他フレームとの関連が切れてしまい、再度抜き出した静止画ファイルに対し、画像調整を行う場合に同じ結果が得られない問題があった。【解決手段】複数の画像フレームで構成されるファイルに対して、注目する画像フレームに対し、抜出し操作が行われた場合には、複数枚画像処理情報の有無に応じて参照する画像フレームの情報を関連付けて静止画ファイルとして記録する画像処理装置。【選択図】図６
2019057862.tif 000002
【特許請求の範囲】
【請求項１】
時間軸上に連続する複数の画像フレームを１つのファイルとして記録する第一のファイル記録手段と
前記ファイルを構成する第一の画像フレームに対して、第一の画像フレームとは時間軸上に異なる少なくとも１つ以上の第二の画像フレームを用いて画像処理を行う複数枚画像処理手段と、
第一の画像フレームを画像処理する際に第二の画像フレームを使用することを示す情報を第一および第二の画像フレームを内包する第一のファイルに関連付けて記録する複数枚画像処理情報記録手段と、
前記ファイルを構成する第一の画像フレームに対し、抜出し操作が行われた場合には、複数枚画像処理情報の有無に応じて第二の画像フレームの情報を第一の画像フレームに関連付けて残す第二のファイル記録手段と
を有することを特徴とする画像処理装置
【請求項２】
前記画像フレームは撮像素子からの入力信号に対して圧縮処理以外の画像処理を施さずに記録した画像データであることを特徴とする請求項１に記載の画像処理装置
【請求項３】
前記第二のファイル記録手段において残す第二の画像フレームの情報は第二の画像フレームを画像解析して第一の画像フレームを画像処理する上で必要な情報のみを残すことを特徴とする請求項１に記載の画像処理装置
【請求項４】
前記第二のファイル記録手段において残す第二の画像フレームのフレーム数は、第一の画像フレームで調整可能な画像処理の内容に応じて決定することを特徴とする請求項１に記載の画像処理装置
【請求項５】
前記第一のファイルに内包される第二の画像フレームを削除する操作が行われた場合には第二の画像フレームを画像解析して第一の画像フレームを画像処理する上で必要な情報のみを残すことを特徴とする請求項１に記載の画像処理装置
【請求項６】
時間軸上に連続する複数の画像フレームを１つのファイルとして記録する第一のファイル記録ステップと
前記ファイルを構成する第一の画像フレームに対して、第一の画像フレームとは時間軸上に異なる少なくとも１つ以上の第二の画像フレームを用いて画像処理を行う複数枚画像処理ステップと、
第一の画像フレームを画像処理する際に第二の画像フレームを使用することを示す情報を第一および第二の画像フレームを内包する第一のファイルに関連付けて記録する複数枚画像処理情報記録ステップと、
前記ファイルを構成する第一の画像フレームに対し、抜出し操作が行われた場合には、複数枚画像処理情報の有無に応じて第二の画像フレームの情報を第一の画像フレームに関連付けて残す第二のファイル記録ステップと
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連写もしくは動画ファイルから静止画ファイルを生成する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
動画ファイルから静止画を抽出して静止画ファイルとして保存する際に、動画ファイルと対応するフォルダを生成して、前記フォルダに前記動画から抽出して生成した静止画ファイルを記録する情報処理装置がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４６７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１は注目する画像フレームに対して、ユーザーが認識していない時間軸上に連続する複数の画像フレームを使って、画像処理していた場合、注目する画像フレームを静止画ファイルとして抜き出してしまうと、画像処理に使う他フレームとの関連が切れてしまい、再度抜き出した静止画ファイルに対し、画像調整を行う場合に同じ結果が得られない問題があった。
【課題を解決するための手段】
【０００５】
時間軸上に連続する複数の画像フレームを１つのファイルとして記録する第一のファイル記録手段と
前記ファイルを構成する第一の画像フレームに対して、第一の画像フレームとは時間軸上に異なる少なくとも１つ以上の第二の画像フレームを用いて画像処理を行う複数枚画像処理手段と、
第一の画像フレームを画像処理する際に第二の画像フレームを使用することを示す情報を第一および第二の画像フレームを内包する第一のファイルに関連付けて記録する複数枚画像処理情報記録手段と、
前記ファイルを構成する第一の画像フレームに対し、抜出し操作が行われた場合には、複数枚画像処理情報の有無に応じて第二の画像フレームの情報を第一の画像フレームに関連付けて残す第二のファイル記録手段と
を有することを特徴とする画像処理装置。
【発明の効果】
【０００６】
複数の画像フレームで構成されるファイルの注目する画像フレームに対して、ユーザーが認識していない時間軸上に連続する複数の画像フレームを使って画像処理していた場合、注目する画像フレームを静止画ファイルとして抜き出した後に、画像調整を行っても同じ結果が得られる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係る画像処理装置として動作するパーソナルコンピュータを示すブロック図である。
【図２】本発明の一実施形態に係る画像処理装置のユーザーインターフェイスの一例である。
【図３】本発明の一実施形態に係る画像処理装置において扱う連写ファイルのファイル構成概念図である。
【図４】本発明の一実施形態に係る画像処理装置における画像処理の工程を示すフローチャート図である。
【図５】本発明の一実施形態に係る画像処理装置における複数枚画像処理の工程を示すフローチャート図である。
【図６】本発明の一実施形態に係る画像処理装置における静止画ファイル抽出処理の工程を示すフローチャート図である。
【図７】本発明の一実施形態に係る画像処理装置におけるフレーム抽出処理の概念図である。
【図８】本発明の一実施形態に係る画像処理装置における静止画ファイルのファイル構成概念図である。
【発明を実施するための形態】
【０００８】
[実施例１]
本実施例において、複数の画像フレームを使ったノイズリダクション処理を行い、注目する画像フレームを静止画ファイルとして抜き出す時に、参照するフレームを付帯して残す画像処理装置について、説明する。
【０００９】
本実施例における画像処理装置では、デジタルスチルカメラ等で撮影され生成された静止画、動画、連写ファイルを扱うものとする。デジタルスチルカメラにおいて固体撮像素子を用いて光学像を読み込み、アナログデジタル変換して電気的な画像データを生成し、圧縮処理を除く画像処理をほとんどせずに記録された画像データを以降ＲＡＷデータと記す。
【００１０】
静止画ファイル内には本体となる静止画データが１つであるものとする。動画ファイル、連写ファイルにおいては、時間軸上に異なる連続した複数の静止画データが内包されているものとする。動画ファイルと連写ファイルを構成する、個々の静止画データを静止画フレームと記載する。動画ファイルと連写ファイルの違いは、音声データの有無であり、動画ファイルには音声データが含まれているものとし、連写ファイルは音声データが含まれていないものとする。
【００１１】
本実施例において、動画ファイルにおける音声データは処理の対象としないため、発明のポイントを明確にするために、動画ファイルも含めて連写ファイルと表現するものとする。本実施例における連写ファイルは１秒２４フレーム以上の動画相当の高速連写を想定するものとする。本実施例における画像処理装置では、連写ファイルを構成する個々の静止画フレームはＲＡＷデータであるものとし、解凍処理、画素補間処理、色調整処理、シャープネス処理等の一連の画像処理を行った後に、表示可能な画像データとなる。ＲＡＷデータはカラーフィルタにより色信号がモザイク状になっている場合がある。
【００１２】
その場合、赤の色信号のみしかない画素、緑の色信号のみしかない画素、青の色信号のみしかない画素でＲＡＷデータは構成される。その場合に赤の色信号のみしかない画素に対して、緑の色信号と青の色信号を隣接する各色の画素を用いて補う。緑の色信号のみしかない画素、青の色信号しかない箇所についても同様である。この処理を以降、画素補間と記す。前記ＲＡＷデータに対する一連の画像処理を以降現像処理と記す。
【００１３】
まず、本実施形態の画像処理装置として動作するパーソナルコンピュータについて説明する。
【００１４】
図１は本発明の一実施形態に係る画像処理装置として動作するパーソナルコンピュータを示すブロック図である。パーソナルコンピュータにおいて所定の制御プログラムを実行することにより以下に説明する画像処理を実現し、画像処理装置として機能する。
【００１５】
図１において、１０１は本装置全体の制御を司るＣＰＵである。１０２はＣＰＵ１０１の動作処理手順（例えばコンピュータの立ち上げ処理や基本入出力処理等のプログラム）を記憶しているＲＯＭである。１０３はＲＡＭであり、ＣＰＵ１０１のメインメモリとして機能する。ＲＡＭ１０３には後述の処理を実現するための制御プログラムを含む各種プログラムがハードディスクドライブ１０５等からロードされＣＰＵ１０１によって実行される。また、ＲＡＭ１０３はＣＰＵ１０１が各種処理を実行する際のワークエリアを提供する。
１０４はディスプレイでありＣＰＵ１０１の制御下で各種表示を行なう。１０５はハードディスクドライブ（以下、ＨＤＤ）を示し、アプリケーションプログラムやデータ、ライブラリなどの保存及び読み込み用に用いられる。１０６はポインティングデバイスやキーボード等の入力装置である。１０７は記憶媒体装着ユニット（メディアドライブ）であり、着脱可能な記憶媒体を装着し、デジタルスチルカメラで撮影され記憶されたデータを読み出すことを可能とする。１０８はネットワークインターフェイスであり、通信回線１１０を介してコンピュータネットワーク１１１と接続される。このネットワークインターフェイス１０８により通信可能な機器からデータを送受信する。１０９は上述した各ユニット間を接続するシステムバス（アドレスバス、データバスおよび制御バスからなる）である。
【００１６】
本実施形態の画像処理装置において、処理対象とする画像データは、ＨＤＤ１０５に保存されているものとする。
【００１７】
図２は、本発明の一実施形態に係る画像処理装置のユーザーインターフェイスの一例である。図２を用いて、ユーザーが注目する画像フレームに対して画質を調整する操作を行い、静止画ファイルとして保存する方法について、説明する。
【００１８】
２０１は、静止画や動画や複数の静止画フレームで構成される連写ファイルなどが存在するフォルダを指定するためのフォルダ選択メニューである。ユーザーがこのメニューを選択した場合には、標準的なＯＳのフォルダ指定ダイアログを表示し、ユーザーが所望のフォルダを選択するものとする。そして、ユーザーが選択したフォルダ内に静止画や動画や連写ファイルが存在する場合には、各ファイルを読み込み、後述のサムネイルエリア２０２に個々のファイルに対応する縮小画像をファイル名順に表示する。
【００１９】
２０２は、サムネイルエリアはフォルダ選択メニューにおいてユーザーが指定したフォルダに含まれる静止画、動画、連写ファイルに対応する縮小画像をファイル名順に表示するエリアである。このサムネイル表示エリアにおいて、ユーザーが所望の縮小画像をマウス等のポインティングデバイスで押下した場合には、そのファイルが選択されたものと判定し、ファイル内の画像データを読み込み後述のプレビューエリア２１２に表示する
２０３は、フォーカス枠である。ユーザーが前述の方法で選択したファイルを示す枠である。フォルダ選択メニューでフォルダ内のファイルを読み込んだ直後は、先頭のファイルが選択されているものとする。
【００２０】
２０４から２０６は、個々のファイルに対応する縮小画像の一例である。連写ファイルの場合には先頭の静止画フレームの縮小画像が表示されているものとする。２０７から２１１までと２１３の操作部材は、連写ファイルが選択された場合にのみ表示し、連写ファイルの再生位置の決定や、所望の静止画フレームの切り出し指示をする際に使用する。
【００２１】
２０７は、先頭フレーム指定ボタンである。サムネイルエリア２０２で連写ファイルが選択された場合にのみ表示する。プレビューエリア２１２で連写ファイルを再生している際に、先頭フレーム指定ボタン２０７をユーザーが押下した場合、ＣＰＵ１０１はユーザーから先頭フレームを指定する指示があったものと判定し、再生位置を先頭フレームまで戻す。
【００２２】
２０８は、再生／一時停止トグルボタンである。サムネイルエリア２０２で連写ファイルが選択された場合にのみ表示する。ユーザーが再生／一時停止トグルボタン２０８を押下するとＣＰＵ１０１はユーザーから再生指示があったものと判定し、時間軸方向に連写ファイルを構成する静止画フレームを順次表示する。そしてボタンの表示を右矢印から縦線二本の表示へと切り換える。再生中に再度ボタンが押下された場合には、ＣＰＵ１０１はユーザーから一時停止指示があったものと判定し、再生を中断し、押下された位置の静止画フレームの表示を維持する。
【００２３】
２０９は、最後尾フレーム指定ボタンである。サムネイルエリア２０２で連写ファイルが選択された場合にのみ表示する。プレビューエリア２１２で連写ファイルを再生している際に、最後尾フレーム指定ボタン２０９をユーザーが押下した場合、ＣＰＵ１０１はユーザーから最後尾フレームを指定する指示があったものと判定し、再生位置を最後尾フレームまで進める。
【００２４】
２１０は、再生位置ツマミである。連写ファイルについて、時間軸上のどの位置の静止画フレームを表示するか指定するつまみである。２１１は、再生スライダである。連写ファイルの先頭フレームから最後尾フレームまでの撮影時間を等間隔にスライダ上に対応付ける。
【００２５】
連写ファイルをユーザーが選択し、再生／一時停止トグルボタン２０８押下により再生を開始した場合、連写ファイルのフレームを時間軸上に連続してプレビューエリア２１２に再生する。それと共に、再生中のフレームの時間軸上の位置に連動して、再生位置ツマミ２１０を右方向に移動する。ユーザーが再生位置ツマミ２１０をマウス等のポインティングデバイスでドラッグした場合には、ＣＰＵ１０１は再生位置変更操作があったと判定し、再生スライダ２１１上の指定された再生位置に対応する静止画フレームをプレビューエリア２１２に表示する。
【００２６】
２１２は、プレビューエリアである。サムネイルエリア２０２でユーザーが選択したファイルが静止画ファイルの場合には、静止画ファイル内を解析し、本体となる画像データを表示する。サムネイルエリア２０２でユーザーが選択したファイルが連写ファイルの場合には、ファイルを解析し先頭の静止画フレームを表示する。そして、２０７から２１０の操作部材における操作に応じて、対応する時間軸上の位置の静止画フレームを表示する。
【００２７】
２１３は、静止画フレーム切り出しボタンである。ユーザーが静止画フレーム切り出しボタン２１３を押下した場合、ＣＰＵ１０１は、プレビューエリア２１２に表示中の静止画フレームを静止画ファイルとして切り出す操作があったものと判定し、選択中の連写ファイルから静止画フレームを抜き出すと共に、再生や現像処理に必要な情報を付帯して、静止画ファイルを生成する。連写ファイルから静止画ファイルを生成する方法の詳細は後述する。
【００２８】
２１４から２２０まではユーザーがプレビューエリア２１２に表示中の静止画ファイルもしくは連写ファイル内の静止画フレームに対して、画質を変更するための部材である。２１９と２２０の部材でユーザーが操作した場合には、ＣＰＵ１０１は各種画質調整処理を時間軸上に連続した複数の静止画フレームを参照して行う。
【００２９】
２１４は、ホワイトバランスリストボックスである。リストボックスの右側の下矢印ボタンを押下するとＣＰＵ１０１は、ユーザーが光源変更をしようとしているものと判定し、光源の名称を列挙して表示する。光源は太陽光、日陰、くもり、蛍光灯であるものとする。ホワイトバランス処理とは、被写体像が蛍光灯下で撮影されていた場合に、蛍光灯下の灰色等の無彩色が、無彩色になるようにＲＧＢ値に係数をかけて色味を調整する処理である。光源をユーザーが選択した場合、その光源と撮影時の被写体像から係数を算出し、現像処理の中で全体の色味を変更する。
【００３０】
２１５は、明るさ調整スライダである。スライダ上のツマミをユーザーがドラッグすると、ＣＰＵ１０１はユーザーが画像の明るさを調整しようとしているものと判定し、現像処理の中で明るさを変更する。右方向へドラッグされた場合には、平均輝度が明るくなるように、左方向へドラッグされた場合には平均輝度が暗くなるように現像するものとする。
【００３１】
２１６は、コントラスト調整スライダである。スライダ上のツマミをユーザーがドラッグすると、ＣＰＵ１０１はユーザーが画像のコントラストを調整しようとしているものと判定し、現像処理の中でコントラストを変更する。右方向へドラッグされた場合には、コントラストが高くなるように、左方向へドラッグされた場合にはコントラストが低くなるように現像するものとする。
【００３２】
２１７は、色濃さ調整スライダである。スライダ上のツマミをユーザーがドラッグすると、ＣＰＵ１０１はユーザーが画像の色濃さを調整しようとしているものと判定し、現像処理の中で色濃さを変更する。右方向へドラッグされた場合には、色濃さが濃くなるように、左方向へドラッグされた場合には色濃さが薄くなるように現像するものとする。
【００３３】
２１８は、シャープネス調整スライダである。スライダ上のツマミをユーザーがドラッグすると、ＣＰＵ１０１はユーザーが画像のシャープネスを調整しようとしているものと判定し、現像処理の中でエッジ強調処理の強度を変更する。右方向へドラッグされた場合には、エッジが強調されるように、左方向へドラッグされた場合には、エッジが強調されないように現像するものとする。
【００３４】
２１９は、ノイズリダクション調整スライダである。スライダ上のツマミをユーザーがドラッグすると、ＣＰＵ１０１はユーザーが画像のノイズを除去しようとしているものと判定し、現像処理の中でノイズを除去する。複数の静止画フレームを用いたノイズ除去の処理フローについては後述する。
【００３５】
２２０は、ブラー付与調整スライダである。スライダ上のツマミをユーザーがドラッグすると、ＣＰＵ１０１はユーザーが画像に動く物体に発生するブレ効果を付与    しようとしているものと判定し、複数の静止画フレームを用いて現像処理の中でブラーを付与する。
【００３６】
２２１は、終了ボタンである。ユーザーがマウスなどのポインティングデバイスで終了ボタン２２１を押下した場合、ＣＰＵ１０１はユーザーから画像処理装置の終了操作があったものと判定して、一連の処理を終了する。
【００３７】
図３は、本発明の一実施形態に係る画像処理装置において扱う連写ファイルのファイル構成概念図である。
【００３８】
３０１は、ファイルヘッダ領域である。ファイルを構成する静止画フレームがフレーム間圧縮されて格納されているか１秒間のフレーム数はいくつかなど、ファイルを再生や操作する際に必要な情報を記憶する。本実施例においては、静止画フレームはフレーム間圧縮されておらず、ＲＡＷデータが各フレームで個別に圧縮されているものとする。また、１秒２４フレーム記録されているものとする。
【００３９】
３０２は、撮影時情報領域である。時間軸で変わる情報ではなく、撮影開始時に決まる情報が保持されているものとする。本実施例においては、撮影機器の機種名や撮影者や撮影開始時の時刻などが記憶されているものとする。
【００４０】
３０３は、一覧表示用縮小画像である。先頭の静止画フレームの縮小画像データを記録する領域である。この縮小画像データを前述のサムネイルエリア２０２に表示する。２０３は縮小画像の表示の一例である。
【００４１】
３０４から３０６は、連写ファイルを構成する静止画フレームである。１秒間で撮像した２４フレームが連続して記録されているものとする。
【００４２】
３０７は、音声記録領域である。本実施例においては静止画フレーム３０４から３０６に対応する音声データが記録されているものとする。
【００４３】
３０８から３１０は、メタデータ記録領域である。各静止画フレームを撮影する時に被写体に応じて変化するシャッタースピードや絞りやＩＳＯ感度や焦点距離や推定光源や手ブレ補正値等のメタデータを保持する。前記値はデジタルスチルカメラ内で撮影時に数フレーム前の被写体像から、対象となる静止画フレーム撮影時点の被写体像が一番好ましく撮像もしくは画像処理するように算出された値である。手ブレ補正値は撮影者の手ブレを緩和するように画像データを幾何学変形するための値である。ＣＰＵ１０１は撮像装置に内蔵されているジャイロから取得した情報によりカメラ姿勢を推定し手ブレ補正値を算出する。静止画フレーム３０４に対応するメタデータは３０８に、静止画フレーム３０５に対応するメタデータは３０９に静止画フレーム３０６に対応するメタデータは３１０に記録するものとする。
【００４４】
３１１から３１３は、３０４から３０６と同様に静止画フレームである。３１４は、３０７と同様に音声記録領域である。３１５から３１７は、３０８から３１０と同様にメタデータ記録領域である。３１７以降も、１秒毎にひとつの塊として、静止画フレーム、音声記録領域、メタデータ記録領域の順番で撮影期間中の映像が記録されているものとする。
【００４５】
３１８は、画像処理パラメータのヘッダ領域であり、３１９以降の画像処理パラメータ群の始まりを示すと共に、画像処理パラメータがどの画像処理装置において設定されたかの情報を保持する。
【００４６】
３１９は、フレーム情報領域である。本実施例における画像処理装置において、調整対象となった静止画フレーム数と各フレームを一意に特定する情報と各フレームに対応する画像処理パラメータのデータがどこに存在するかの所在を保持する。
【００４７】
３２０から３２１までは、静止画フレーム画像処理パラメータ領域である。各静止画フレームの画像処理パラメータを保持する領域である。図２におけるホワイトバランスリストボックス２１４からブラー付与スライダ２２０まででユーザーが選択した設定を値に対応付けて保持する。ユーザーが調整対象とした静止画フレームに関連する画像処理パラメータのみを記録し、調整対象とされていない静止画フレームについては、記録しないものとする。
【００４８】
３２２は、画像処理パラメータのフッタ領域である。画像処理パラメータ群の終わりを示すと共に、画像処理パラメータフッタ領域３２２と画像処理パラメータ領域３２０から３２１までと画像処理パラメータヘッダ領域３１８の各データサイズを保持する。３２３は、ファイルフッタ領域である。ファイル全体の最後のデータであることを示す。
【００４９】
本実施例における画像処理装置において、撮影直後の状態では、パラメータヘッダ領域３１８からパラメータフッタ領域３２２までに示す情報は無く、ユーザーが画像処理装置において調整をした時に初めて記録するものとする。
【００５０】
図４は、本発明の一実施形態に係る画像処理装置における画像処理の工程を示すフローチャート図である。図２、図３および図４を用いて、連写ファイルを構成する静止画フレームに対する画像処理方法について、説明する。
【００５１】
図４に示す処理は、サムネイルエリア２０２でユーザーが連写ファイルを選択した後に動作するものとする。
【００５２】
ステップＳ４０１にて、ＣＰＵ１０１はユーザーによってフレーム選択操作が行われたか否かを判定する。フレーム選択操作とは、再生位置ツマミ２０１をドラッグする操作である。フレーム選択操作が行われたと判定した場合には、ステップＳ４０２へと進む。フレーム選択操作が行われていないと判定した場合には、一連の処理を終了し、プレビューエリア２１２の表示を更新しないものとする。
【００５３】
ステップＳ４０２にて、ＣＰＵ１０１はフレーム情報領域３１９のデータを参照する。ステップＳ４０３にて、ＣＰＵ１０１はフレーム情報領域３１９のデータ内にユーザーが選択した静止画フレームに対応する画像処理パラメータが有るか否かを判定する。以降、ユーザーが選択した静止画フレームを対象フレームと記す。有ると判定した場合には、ステップＳ４０５へと進む。ないと判定した場合には、ステップＳ４０４へと進む。フレーム情報領域３１９自体が記録されていない場合にも、対象フレームに対応する画像処理パラメータはないと判定するものとする。
【００５４】
ステップＳ４０４にて、ＣＰＵ１０１は対象フレームに対応するメタデータから画像処理パラメータを決定し、ＲＡＭ１０３に保持する。静止画フレーム３０４が対象フレームである場合、メタデータは３０８であり、静止画フレーム３１３が対象フレームである場合、メタデータは３１７である。ユーザーが撮影前にホワイトバランス、明るさ、コントラスト、色濃さ等を撮像装置で設定している場合には、その設定に準じて、画像処理パラメータを決定する。設定していない場合において、撮像装置が撮影時に算出した推定光源が太陽光であった場合には、ホワイトバランスの値は太陽光とする。他のパラメータに関しては、所定の値とする。本実施例においては所定の値を０とする。
【００５５】
ステップＳ４０５にて、ＣＰＵ１０１は対象フレームの画像処理パラメータを読み込む。対象フレームの画像処理パラメータはフレーム情報領域３１９のデータから所在を特定しＲＡＭ１０３に読み込む。
【００５６】
ステップＳ４０６にて、ＣＰＵ１０１はユーザーが画質調整したか否かを判定する。２１４から２２０までの部材において操作が有った場合には、画質調整したと判定する。操作が場合には、画質調整していないと判定する。画質調整したと判定した場合には、ステップＳ４０７へと進む。画質調整していないと判定した場合には、ステップＳ４０８へと進む。
【００５７】
ステップＳ４０７にて、ＣＰＵ１０１はＲＡＭ１０３内の画質処理パラメータをユーザーから指定された値に更新する。
【００５８】
ステップＳ４０８にて、ＣＰＵ１０１は画像処理パラメータの中に、複数枚を参照して画像処理必要なパラメータが指定されているか否かを判定する。複数枚処理が必要なパラメータがあると判定した場合には、ステップＳ４０９へと進む。複数枚処理が必要なパラメータがないと判定した場合には、ステップＳ４１２へと進む。
【００５９】
ステップＳ４０９にて、ＣＰＵ１０１は対象フレームと画像処理パラメータから参照フレームを算出する。本実施例においてノイズリダクションの値が２となっていた場合には、対象フレームを基準として時間軸の前方向に２フレーム、順方向に２フレーム合計４フレームを参照するものとする。ノイズリダクションの値が５となっていた場合には、対象フレームを基準として時間軸の前方向に５フレーム、順方向に５フレーム合計１０フレームを参照するものとする。
【００６０】
ステップＳ４１０にて、ＣＰＵ１０１は対象フレームに対応する画像処理情報領域に画像処理パラメータおよび参照フレームを記録する。フレーム情報領域３１９の調整対象となった静止画フレームの中に対象フレームが存在する場合には、対象フレームに対応する画像処理情報領域内のデータを更新する。フレーム情報領域３１９の調整対象となった静止画フレームの中に対象フレームが存在しないようであれば、フレーム情報領域の調整対象となった静止画フレーム数をカウントアップし、対象フレームを調整対象となった静止画フレームとして追加して記録すると共に、パラメータフッタ領域の前に対応する画像処理パラメータを挿入し、パラメータヘッダ領域３１８、フレーム情報領域３１９、パラメータフッタ領域３２２、ファイルフッタ領域３２３に不整合が起こらないようにデータサイズや所在の情報を更新する。
【００６１】
ステップＳ４１１にて、ＣＰＵ１０１は画像パラメータと参照フレームの情報に基づき複数枚画像処理を行う。複数枚画像処理に関しては後述する。
【００６２】
ステップＳ４１２にて、ＣＰＵ１０１は対象フレームに対応する画像処理領域に画像処理パラメータを記録する。フレーム情報領域３１９の調整対象となった静止画フレーム中に対象フレームが存在する場合と存在しない場合の処理は、ステップＳ４１０と同様である。
【００６３】
ステップＳ４１３にて、ＣＰＵ１０１は画像処理パラメータに基づき単数枚画像処理を行う。本実施例において単数枚画像処理とは前述の現像処理とする。
【００６４】
ステップＳ４１４にて、ＣＰＵ１０１はステップＳ４１１もしくはステップＳ４１３の画像処理結果の画像データを用いてプレビューエリア２１２の表示を更新する。
【００６５】
図５は、本発明の一実施形態に係る画像処理装置における複数枚画像処理の工程を示すフローチャート図である。図５を用いて、ステップＳ４１１の処理の詳細を説明する。本実施例においては複数のフレームの情報を用いてノイズを除去する処理を例に説明をする。
【００６６】
ステップＳ５００にて、ＣＰＵ１０１はＲＡＭ１０３から参照フレームの情報と画像処理パラメータを読み込む。参照フレームの情報とは、参照フレームの数および対象フレームから前後何フレーム目を参照するかの情報である。参照フレームは対象フレームと比較して時間軸上に前に位置するフレームから順番に後述するＳ５０６にて読み込むものとする。
【００６７】
ステップＳ５０１にて、ＣＰＵ１０１は対象フレームの画像データをファイルからＲＡＭ１０３へ読み込む。本実施例においてはランレングス圧縮されたＲＡＷデータであるものとする。ステップＳ５０２にて、ＣＰＵ１０１はファイルヘッダ領域３０１に記録されている圧縮方法の情報に基づいて、ＲＡＭ１０３内の画像データを解凍し、解凍後の画像データをＲＡＭ１０３に保持する。本実施例ではＲＡＷデータであるものとする。ステップＳ５３０にて、ＣＰＵ１０１は対象フレームのＲＡＷデータに対して画素補間をする。
【００６８】
ステップＳ５０３にて、ＣＰＵ１０１は手ブレ補正値に基づいて、手ブレによる画像データの位置ずれを補正するために画像データを幾何学変形する。そして結果の画像データとしてＲＡＭ１０３内に保持する。ステップＳ５０４にて、ＣＰＵ１０１はカウンタｉに０を代入する。カウンタｉは以降のステップＳ５０５からＳ５１０の処理を参照フレーム数分繰り返すためのカウンタである。ステップＳ５０５にて、ＣＰＵ１０１はｉが参照フレーム数よりも少ないか否かを判定する。少ないと判定した場合には、ステップＳ５０６へ進む
ステップＳ５０６にて、ＣＰＵ１０１はＳ５０１と同様にｉ番目の参照フレームの画像データをファイルからＲＡＭ１０３へ読み込む。ステップＳ５０７にて、ＣＰＵ１０１はＳ５０２と同様にＲＡＭ１０３内の画像データを解凍し、解凍後の画像データをＲＡＭ１０３に保持する。本実施例ではＲＡＷデータであるものとする。ステップＳ５３０にて、ＣＰＵ１０１はｉ番目の参照フレームのＲＡＷデータに対して画素補間をする。ステップＳ５０８にて、ＣＰＵ１０１はＳ５０３と同様に位置を補正するために幾何学変形を行う。そして、結果の画像データをＲＡＭ１０３内に保持する。
【００６９】
ステップＳ５０９にて、ＣＰＵ１０１はＳ５０３にてＲＡＭ１０３に記憶した位置合わせ済みの対象フレームの画像データとＳ５０８で出力した画像データについて差分をとり、差分が所定の値未満の場合、動かない領域として、ｉ番目の参照フレームと対応づけて、記憶する。ステップＳ５１０にて、ＣＰＵ１０１はカウンタｉをインクリメントする。そして、ステップＳ５０５へ戻る。ステップＳ５１１にて、ＣＰＵ１０１は対象フレームの各画素についてＳ５１４からＳ５１６までの画像処理を行うためのカウンタｔＸとｔＹに０を代入する。ｔＸは横方向に参照画素を変更するためのカウンタであり、ｔＹは縦方向に参照画素を変更するためのカウンタとする。
【００７０】
ステップＳ５１２にて、ＣＰＵ１０１はｔＹが対象フレームの高さの画素数と比較して小さいか否かを判定する。ｔＹの方が小さいと判定した場合ステップＳ５１３へと進む。ｔＹが高さの画素数以上だった場合、ＣＰＵ１０１は縦方向の走査が終わったものと判定し、ステップＳ５１４へと進む。ステップＳ５１３にて、ＣＰＵ１０１はｔＸが対象フレームの幅の画素数と比較して小さいか否かを判定する。ｔＸの方が小さいと判定した場合ステップＳ５１５へと進む。ｔＹが高さの画素数以上だった場合、ＣＰＵ１０１は横方向の走査が終わったものと判定し、ステップＳ５１８へと進む。
【００７１】
ステップＳ５１４にて、ＣＰＵ１０１は対象フレームを構成する各画素について、参照フレームと比較して動かない領域だったか否かを判定する。ＣＰＵ１０１が動かない領域だったと判定した場合には、ステップＳ５１５へと進む。動かない領域ではないと判定した場合には、ステップＳ５１６へと進む。
【００７２】
ステップＳ５１５にて、ＣＰＵ１０１は動かないと判定した領域について、対象となる画素を中心とし周辺画素を含む所定の範囲と各参照フレームの近傍の領域の画素を用いてパターンマッチングをし、同様のパターンがあるか否かを判定する。同様のパターンがあると判定した場合には、ステップＳ５１６へ進む。同様のパターンがないと判定した場合には、ステップＳ５１７へと進む。
【００７３】
ステップＳ５１６にて、ＣＰＵ１０１は対象フレームの画素と同じパターンと判定された参照フレームの画素とを合成する。参照フレームのうち３枚に同じパターンがあると判定した場合には、対象フレームと参照フレーム３枚の同じパターンの箇所の画素の平均値を対象画素の出力結果とする。
【００７４】
ステップＳ５１７にて、ＣＰＵ１０１は対象フレームの画素および周囲の画素を使って平滑化する。本実施例においては、メディアンフィルタを用いるものとする。フィルタを施した後の画素値を対象画素の出力結果とする。
【００７５】
ステップＳ５１８にて、ＣＰＵ１０１は横方向の走査を行うカウンタｔＸをインクリメントする。ステップＳ５１９にて、ＣＰＵ１０１は横方向の走査を行うカウンタｔＸに０を代入する。ステップＳ５２０にて、ＣＰＵ１０１は縦方向の走査を行うカウンタｔＹをインクリメントする。ステップＳ５２１にて、ＣＰＵ１０１は対象フレームの画像データについて対応するメタデータを参照してホワイトバランス処理を行う。
【００７６】
ステップＳ５２２にて、ＣＰＵ１０１は対象フレームの画像データについて対応するメタデータを参照して色調整処理を行う。ステップＳ５２３にて、ＣＰＵ１０１は対象フレームの画像データについて対応するメタデータを参照して輝度調整処理を行う。ステップＳ５２４にて、ＣＰＵ１０１は対象フレームの画像データについて対応するメタデータを参照してエッジ強調処理を行う。
【００７７】
図６は、本発明の一実施形態に係る画像処理装置における静止画ファイル抽出処理の工程を示すフローチャート図である。図６に示す処理は、サムネイルエリア２０２でユーザーが連写ファイルを選択した後に動作するものとする。
【００７８】
ステップＳ６０１にて、ＣＰＵ１０１はユーザーがフレーム抽出操作を行ったか否かを判定する。ユーザーが静止画フレーム切り出しボタン２１３を押下した場合、フレーム抽出操作があったものとする。フレーム抽出操作を行ったと判定した場合、ステップＳ６０２に進む。フレーム抽出操作がなかったと判定した場合、処理を終了する。
ステップＳ６０２にて、ＣＰＵ１０１は対象フレームに対応する画像処理パラメータを連写ファイル内から探す。ステップＳ６０３にて、ＣＰＵ１０１は対象フレームに対応する画像処理パラメータが有るか否かを判定する。画像処理パラメータがあると判定した場合には、ステップＳ６０４へと進む。ないと判定した場合には、ステップＳ６０７へと進む。
ステップＳ６０４にて、ＣＰＵ１０１は対象フレームに関連づけられた画像処理パラメータをＲＡＭ１０３へ読み込み保持する。
【００７９】
ステップＳ６０５にて、ＣＰＵ１０１は対象フレームの画像処理パラメータ内に複数枚画像処理に関するパラメータがあるか否かを判定する。有ると判定した場合には、ステップＳ６０６へと進む。ないと判定した場合には、ステップＳ６０７へと進む。本実施例においては、ノイズリダクションとブラー付与に対して、０以外のパラメータが設定されていた場合には、複数枚画像処理があると判定する。
【００８０】
ステップＳ６０６にて、ＣＰＵ１０１は対象フレームを複数枚画像処理する上で必要となる参照フレームの画像データおよびメタデータをＲＡＭ１０３へ記憶する。参照フレームが複数ある場合には、画像データおよびメタデータを１セットとして複数ＲＡＭ１０３へ記憶する。
【００８１】
ステップＳ６０７にて、ＣＰＵ１０１は対象フレームの撮影時情報、画像データおよびメタデータをＲＡＭ１０３へ記憶する。ステップＳ６０９にて、ＣＰＵ１０１はＲＡＭ１０３に保持している対象フレームの画像データおよびメタデータを用いて縮小画像を生成する。対象フレームを現像処理した後、縮小することにより縮小画像を生成する。ステップＳ６０９にて、ＣＰＵ１０１はＲＡＭ１０３に記憶したデータを単数の画像ファイルとして、記録媒体に記録する。本実施例においてはＨＤＤ１０５に記録するものとする。
【００８２】
図７は、本発明の一実施形態に係る画像処理装置におけるフレーム抽出処理の概念図である。
【００８３】
７０１は、連写ファイルである。本実施例において、１から３００までの静止画フレームで構成されているものとする。７０２は、先頭から数えて８番目の静止画フレームである。７０３から７０６までも、７０２同様９番目から１２番目までの静止画フレームである。
【００８４】
７０４が１０番目のフレームで、７０２，７０３，７０５，７０６のフレームを画像処理のために参照しているものとする。ユーザーが７０４をプレビューエリア２１２で表示している時に、静止画フレーム切り出しボタン２１３を押下した場合、前述の静止画ファイル抽出処理を実行し、７１２に示す通り、参照フレームおよび対象フレームを内包したファイルを生成する。
【００８５】
７０７から７１１は、７０２から７０６の静止画フレームと対応している。また、対象フレームおよび参照フレームの解凍や画像処理のためにメタデータや画像処理パラメータが必要となるため、静止画ファイル７１２には、メタデータや画像処理パラメータも内包する。
【００８６】
図８は、本発明の一実施形態に係る画像処理装置における静止画ファイルのファイル構成概念図である。前述の静止画ファイル抽出処理を経て作成されるファイルである。
【００８７】
８０１は、ファイルヘッダ領域である。ファイルを構成する静止画フレームが圧縮されているかなど、ファイルを再生や操作する際に必要な情報を記憶する。８０２は、主となる静止画フレームが撮影された時刻や撮影機器の機種名や撮影者などが記憶されているものとする。静止画抽出処理の際にステップＳ６０７にて記憶し、ステップＳ６０９でファイルに記録した情報である。８０３は、一覧表示用縮小画像である。静止画抽出処理の際にステップＳ６０８にて生成し、ステップＳ６０９でファイルに記録した情報である。
【００８８】
８０４は、主となる静止画フレームの画像データである。静止画抽出処理の際にステップＳ６０７にて記憶し、ステップＳ６０９でファイルに記録した情報である。８０５から８０８は、複数枚画像処理の際に参照するフレームの画像データである。静止画抽出処理の際にステップＳ６０６にて記憶し、ステップＳ６０９でファイルに記録した情報である。８０９は、主となる静止画フレームのメタデータである。静止画抽出処理の際にステップＳ６０７にて記憶し、ステップＳ６０９でファイルに記録した情報である。
【００８９】
８１０から８１３は、複数枚画像処理の際に参照するフレームのメタデータである。静止画抽出処理の際にステップＳ６０６にて記憶し、ステップＳ６０９でファイルに記録した情報である。８１４は、画像処理パラメータのヘッダ領域であり、画像処理パラメータの始まりを示すと共に、画像処理パラメータがどの画像処理装置において設定されたかの情報を保持する。
【００９０】
８１５は、画像処理パラメータ領域である。静止画抽出処理の際にステップＳ６０４にて記憶し、ステップＳ６０９でファイルに記録した情報である。８１６は、画像処理パラメータのフッタ領域である。画像処理パラメータ群の終わりを示すと共に、画像処理パラメータフッタ領域８１６と画像処理パラメータ領域８１５と画像処理パラメータヘッダ領域８１４の各データサイズを保持する。８１７は、ファイルフッタ領域である。ファイル全体の最後のデータであることを示す。
【００９１】
図８に示す静止画ファイルを用いて複数枚画像処理する方法について、図５を用いて説明する。前述の図５の説明において、連写ファイルに対する処理と同じ処理については、説明を割愛し、違う処理を行うステップのみ説明を行う。
【００９２】
ステップＳ５００にて、ＣＰＵ１０１はＲＡＭ１０３から参照フレームの情報と画像処理パラメータを読み込む。図８に示す静止画ファイルにおいては、主となる静止画フレーム以外はすべて参照フレームであるため、主となる静止画フレーム以外の参照フレーム８０５から８０８をＲＡＭ１０３へ読み込む。ステップＳ５０１にて、ＣＰＵ１０１は主となるフレームの画像データ８０４をファイルからＲＡＭ１０３へ読み込む。本実施例においてはランレングス圧縮されたＲＡＷデータであるものとする。
【００９３】
ステップＳ５０２にて、ＣＰＵ１０１はファイルヘッダ領域８０１に記録されている圧縮方法の情報に基づいて、ＲＡＭ１０３内の画像データを解凍し、解凍後の画像データをＲＡＭ１０３に保持する。本実施例ではＲＡＷデータであるものとする。以降の処理については、図５の説明で前述した処理と同様である。
【００９４】
本実施例においては、複数枚画像処理としてノイズリダクションを例に説明を行ったが、低輝度から高輝度まで広い階調を残すようなハイダイナミックレンジ処理や動く被写体のスピード感を表現するブラー付与などの画像処理でも同様である。焦点距離を変えながらブラケット撮影し、奥行きのある主被写体に合焦しているような効果を得る画像処理でも同様である。奥行きのある主被写体に合焦している画像は、通常の撮影よりも被写界深度が深い画像となる。
【００９５】
本実施例においては、参照フレームのフレーム数は、ノイズリダクションのパラメータに応じて決めたが、対象となる画像フレームで調整可能な画像処理の内容に応じて変えてもよい。例えばノイズリダクションの効果を一番強める処理のために時間軸の前後５フレームずつ参照が必要で、ブラー付与のために前後１０フレームずつ必要ならば、参照フレーム数が多い方に合わせて１０フレームずつ残しても良い。静止画ファイル抽出時に前後３フレームずつ参照していたとして、ノイズリダクションの効果を一番強める場合、前後５フレームずつ参照が必要である際には、前後５フレームずつ残すと良い。そうすることにより、静止画ファイル抽出後にノイズリダクションの効果を強める方向にパラメータを変更した場合、所望の効果を得ることができる。
【００９６】
本実施例では対象フレームに時間軸上連続する前後のフレームを参照フレームとしたが、画像処理内容に応じて、１２フレーム前と２４フレーム前のフレームを参照してもよいし、等間隔に前後フレームを参照するのではなく、近傍の撮影時の条件が異なるフレームを参照してもよい。撮影時の条件とは露出や焦点距離などの条件である。露出を段階的に変えながら連写した場合には、露出がアンダーの場合には、高輝度部分の階調が残り、露出がオーバーの場合には、低輝度部分の階調が残る。その特性を活かし、低輝度から高輝度まで被写体の領域毎に階調が残るように合成して画像データを生成することができる。その際に、主となるフレームに関しては、ユーザーが所望のフレームを選択できるため、ユーザーが所望するフレームに対して、１フレームでは画像データとして残っていない高輝度もしくは低輝度部分の階調を広げることができる。
【００９７】
本実施例において、参照フレームの画像データについて、静止画ファイル抽出時に全部残すものとして説明したが、複数枚画像処理に必要な最低限のデータのみ残してもよい。ノイズリダクションを例にすると、本実施例のノイズリダクションではステップＳ５０９において算出した動かない領域のみをステップＳ５１５およびＳ５１６で参照する。そのため、静止画ファイル抽出処理において、参照フレームの一面の画像データを残すのではなく、動かない領域のみの画像データを残してもよい。そうすることにより、静止画ファイル抽出時に静止画ファイルのデータサイズを削減することができる。
【００９８】
ノイズリダクションのみならず、他の複数枚画像処理でも同様である。ハイダイナミックレンジ処理の際には階調が残っている部分のみ残せばよいし、ブラー付与の場合には、動く被写体像の周辺部分のみ残せばよい。深い被写界深度の画像を得たい場合には、複数フレームの合焦している領域部分のみ残せばよい。
【００９９】
本実施例における連写ファイルに対して、参照フレームをユーザーが意識せずに削除操作をしてしまう場合がある。その場合には、フレーム情報領域３１９および画像処理パラメータ領域３２０から３２１までを参照し、削除操作対象が参照フレームだった場合には、前述のように画像処理に必要な情報のみを残せばよい。そうすることによりフレーム削除操作後も、ユーザーが所望するフレームに対して複数枚画像処理を行うことができる。
【０１００】
尚、本実施例においてＲＡＷデータを画像処理の対象として説明したが、連写ファイルないし動画ファイルを構成する静止画フレームが、ＢＭＰやＴＩＦ等の現像処理済みの画像データの場合でも、元となる画像データを直接改変せずに画像処理を行えば、同様の効果を得ることができる。
【０１０１】
本発明によれば、静止画ファイルとして抜き出しても、再度調整した時に画質の劣化なく前回と同じ結果が得られる。加えて、元となる動画ファイルないし元となる連写ファイルが消去されたり、抽出後の静止画ファイルと関連が切れたりしても、画像処理した場合に、同じ結果が得られる。
【符号の説明】
【０１０２】
１０１・・ＣＰＵ、１０２・・ＲＯＭ、１０３・・ＲＡＭ、１０４・・ディスプレイ、１０５・・ハードディスクドライブ、１０６・・入力装置、１０７・・記憶媒体装着ユニット、１０８・・ネットワークインターフェイス、１０９・・システムバス
【図１】
2019057862.tif 000003
【図２】
2019057862.tif 000004
【図３】
2019057862.tif 000005
【図４】
2019057862.tif 000006
【図５】
2019057862.tif 000007
【図６】
2019057862.tif 000008
【図７】
2019057862.tif 000009
【図８】
2019057862.tif 000010