(57)【要約】      （修正有）【課題】動画の記録時間に応じて選抜の基準となる閾値又は選抜時間を変更することで、動画に応じた適切な選抜区間設定が可能となり、ユーザに快適な動画再生が可能な画像処理装置を提供する。【解決手段】所定のフレーム間隔で撮影し映像を生成する撮影手段と、撮影時の撮像情報を記録する記録手段と、映像の撮像情報を用いて動画を評価する評価手段と、評価手段によって得られた評価値が所定の閾値を越えている区間を選抜する選抜手段とを持ち、取得した動画の撮影時間に応じて、閾値を変更する閾値変更手段を持つ。【選択図】図１
2020120210.tif 000002
【特許請求の範囲】
【請求項１】
所定のフレーム間隔で撮影し映像を生成する撮影手段と、
撮影時の撮像情報を記録する記録手段と、
前記映像と撮像情報を用いて動画を評価する評価手段（Ｓ２０５）と、
前記評価手段によって得られた評価値が所定の閾値を越えている区間を選抜する選抜手段（Ｓ２０７）と、を持ち、
取得した動画の撮影時間に応じて、前記閾値を変更する閾値変更手段（Ｓ２１０）を持つことを特徴とする撮像装置。
【請求項２】
閾値変更手段とは、動画の撮影時間が長いほど選抜閾値を高く設定することを特徴とする請求項１に記載の撮像装置（Ｓ２１０）。
【請求項３】
選抜区間の始点または終点に移動することを特徴とする請求項１に記載の撮像装置（Ｓ２１３）。
【請求項４】
撮影時間の長い動画においても長期間の選抜がされる場合、選抜区間を所定の割合で分割することを特徴とする請求項１に記載の撮像装置（Ｓ２１２）。
【請求項５】
分割された区間の始点または終点に移動する移動手段を持つことを特徴とする請求項４に記載の撮像装置（Ｓ２１３）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の再生技術に関し、動画データの中から再生する区間を選抜する技術に関する。
【背景技術】
【０００２】
従来、静止画や動画を記録媒体に記録するとともに、記録媒体に記録された静止画や動画を再生することができるデジタルカメラが知られている。このようなデジタルカメラにおいて、記録媒体に長時間撮影された動画が記録されている場合、冗長な部分を多く含んでいるため、全てを閲覧するには時間がかかってしまうという問題があった。
【０００３】
このような問題を鑑み、たとえば動画から重要なシーンだけを選抜し、ハイライト再生する技術が提案されている。特許文献１では、サッカーなどの試合の動画において、重要なシーンを音声の大小で判別し、所定のパワーを越えるシーンを抜粋し、ハイライト再生するものである。
【０００４】
本件では、動画を評価する際に、顔検出情報および画面差分情報を用いて評価値算出を行っている。この評価値算出に関して、例えば、図４（ａ）においては、顔サイズが大きいほど画像評価値が高くなり、図４（ｂ）においては、顔位置が画像中心に位置しているほど画像評価値が高くなる。また、図４（Ｃ）に示すように、画面内の変動量を検知し、その量が大きいほど高評価としている。変動量に関しては、画面を複数の輝度ブロックに分割し、時系列的に差分とり、その総和を変動量としている。これらをかけあわせた総評価値が所定の閾値を越えた部分をハイライトと判定し、選抜区間として表示する（図５）。
【０００５】
また、図３に示すように動画再生におけるプログレスバーにおいて、ハイライト箇所を選抜区間として表示する。また、デジタルカメラの操作により、選抜区間の先頭にジャンプすることで冗長区間をスキップすることも想定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２６７３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のように、条件に該当する区間を全て選抜してしまうと、長時間の撮影などでは、冗長な部分をも選抜してしまう可能性がある。例えば、図６のように車が横切る瞬間を撮影したスナップ動画において、その変動が検知可能な閾値に設定されていたとして、その閾値を図７の結婚式のような見どころが多く発生するかつ長い動画にそのまま適用した場合、多数のハイライト区間が選抜されることとなり、結果、動画の閲覧に時間がかかってしまい、再生品質が低下するという問題があった。
【０００８】
本発明は、これを省み、動画の記録時間に応じて選抜の基準となる閾値または選抜時間を変更することで、動画に応じた適切な選抜区間設定が可能となり、ユーザーに快適な動画再生が可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る撮像装置は、
所定のフレーム間隔で撮影し映像を生成する撮影手段（図１−１１６）と、
撮影時の撮像情報を記録する記録手段（図１−１１６）と、
前記映像と撮像情報を用いて動画を評価する評価手段（Ｓ２０５）と、
前記評価手段によって得られた評価値が所定の閾値を越えている区間を選抜する選抜手段（Ｓ２０７）と、を持ち、
取得した動画の撮影時間に応じて、前記閾値を変更する閾値変更手段（Ｓ２１０）を持つことを特徴とする。
【発明の効果】
【００１０】
本発明に係る撮像装置によれば、動画再生において、動画の長短を問わず、冗長区間を適切にスキップすることが可能となり、快適な動画再生が可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態におけるブロック図
【図２】処理フロー
【図３】動画再生時に表示される選抜区間を示した図
【図４−１】画像選抜における評価値算出例
【図４−２】画像選抜における評価値算出例
【図５】画像選抜における閾値を示した図
【図６】短編動画における選抜区間と各コマの動作を示した図
【図７】長編動画における選抜区間と各コマの動作を示した図
【図８】本発明における撮影時間に応じた選抜閾値設定を示した図
【図９】本発明の効果を示した図
【図１０】長編動画にて高評価が継続する動画を示した図
【図１１】画面内変動を検知する手段を示した図
【図１２】カメラ本体の動作検知要素を示した図
【図１３】長編動画にて高評価が継続する動画における選抜区間を示した図
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【００１３】
図１は、本発明の実施形態に係る画像処理装置の機能構成を示すブロック図となる。
【実施例１】
【００１４】
図１を参照して、本発明の第１の実施例による、撮像装置の構成および処理の流れについて説明する。
【００１５】
［撮像装置の構成］
操作部１０１は、本デジタルカメラの操作者が本デジタルカメラに対して各種の指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１の中には、シャッタースイッチや、タッチセンサ（表示装置をタッチすることで操作が可能となるもの）も含む。
【００１６】
制御部１０２は、同図に示す各部の動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。
【００１７】
センサ部１０３は、レンズ１０８ａ、メカ機構１０９ａを介して入射される光を受け、その光量に応じた電荷を出力するものである。
【００１８】
Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。
【００１９】
画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、Ａ／Ｄ変換部１０４から受けたデジタル画像信号を、ＹＵＶ画像信号に変換して出力する。
【００２０】
画像処理部１０５から得られた画像信号を用い、被写体検出部１１５にて被写体の検出を行う。
【００２１】
また、画像処理部１０５にて得られた画像信号や被写体検出部１１５で得られた被写体情報およびユーザー設定などの撮影情報を撮影情報作成部１１６にてまとめる。
【００２２】
表示部１０７は、液晶画面などにより構成されている。
【００２３】
外部接続部１１４から外部モニタに接続すれば、液晶画面を外部モニタに表示することが可能となる。
【００２４】
ＡＦ処理部１０８は画像処理部によって得られた画像をもとにレンズ１０８ａを制御し、ピントを合わせる。
【００２５】
ＡＥ処理部１０９は画像処理部によって作成された画像から適正輝度との差分を算出し、
メカ機構１０９ａを制御する。
【００２６】
ＥＦ処理部１１０では、発光判断がされた場合に被写体が適正となりうる光量をフラッシュ部１１１に発光させる。
【００２７】
エンコーダー部１１２は、出力されたデジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力するものである。
【００２８】
また、ここでは撮影情報部１１７より受けた撮影情報を画像データのヘッダへと書き込む作業も行う。
【００２９】
画像記録部１１３は、エンコーダー部１１２から受けたフォーマット変換済みの画像データを、本デジタルカメラ内の不図示のメモリや、本デジタルカメラに挿入されている外部メモリなどに記録する処理を行う。
【００３０】
動画評価部１１７では、撮影情報を用いて動画の評価を行う。動画評価部にて得られた評価値は、ハイライト選抜部１１８に渡され、高評価部分を各動画の撮影時間に応じて選抜する。決定された選抜区間は、表示部１０７に渡され、図３に示すようにプログレスバー上にハイライト区間として表示される。
【００３１】
チャプタジャンプ設定部１１９では、制御部１０２にてユーザーからのジャンプ指示を受け、表示部に通達する。
【００３２】
外部接続部１１４は、表示部からの出力を外部モニタなどの出力機器に出力する。
【００３３】
次に、本発明における撮像装置を用いての撮影操作、および再生操作を行う場合の処理の流れを説明する。
【００３４】
［処理の流れ］
先ず、本デジタルカメラの操作者が、操作部１０１に含まれている電源スイッチをオンにすると、制御部１０２はこれを検知し、本デジタルカメラを構成する各部に電源を供給する。本デジタルカメラを構成する各部に電源が供給されるとシャッターが開くので、センサ部１０３には、カメラ前面に配置されたレンズ１０８ａ、露出機構１０９ｂを介して光が入光することになる。センサに溜まった電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。
【００３５】
Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。
【００３６】
画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種画像処理を行い、処理済みのデジタル画像信号を出力する。
得られた画像信号は制御部を介して、ＡＥ処理部へとフィードバックされ、適正露出への収束制御を行う。
【００３７】
また、得られた画像を用い、被写体検出部１１５で被写体の検出を行い、顔情報（サイズ、位置、顔角度）を取得する。取得した顔情報を用いてＡＦ処理部にて撮影者の顔までの距離情報も取得する。
【００３８】
制御部１０２が信号ＳＷ１なる信号の通知をシャッタースイッチから受けると、この時点における画像情報を用いＡＦ、ＡＥ処理を行い、撮影に最適なピントおよび露出設定条件を取得する。
【００３９】
ＳＷ２信号を制御部が受信し、本撮影に移行した場合、レンズ、露出機構を介してセンサ部に入った光による電荷を読み出し、Ａ／Ｄ変換部にアナログ画像信号として出力する。
なお画像処理部から出力された画像から現在の輝度値を検出し、所定の閾値よりも暗いと判断された場合、ＥＦ処理部にて発光判断が下され、フラッシュ部にて本発光処理が行われる。
【００４０】
Ａ／Ｄ変換部は、センサ部から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。画像処理部はデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。
【００４１】
画像処理部１０５から出力されたデジタル信号はエンコーダー部１１２にてＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３は、フォーマット変換された画像データを所定のメモリに記録する処理を行う。また、ここで得られた被写体情報や表情などの画像情報を撮影情報作成部１１７にてまとめ、撮影画像のヘッダ領域に画像記録と同時に書き込む。
【００４２】
次に、メモリーカード内に置かれている動画をハイライト選抜再生させる場合、制御部からの指示を動画評価部１１７が受け、撮影情報を抽出、評価、分類し、最終区間選抜を行う。
【００４３】
なおここでの動画評価開始から区間選抜までの詳細なフローは後ほど述べることとする。ここで選抜された区間は、動画再生時に表示されるプログレスバー上に重畳して表示される。また、外部モニタに接続することで、表示部の画像は外部モニタ上でも再生可能となる。
【００４４】
次に、上記における画像選抜処理のフローを説明する。
【００４５】
図２は、上記制御の詳細フローチャートである。
【００４６】
［詳細フロー］
まず電源Ｏｎしたのち、制御部から再生画面に移動し、再生させたい動画を選択する（ステップＳ２０１、Ｓ２０２）。
【００４７】
選択された動画を再生実行したのち、動画に記録された撮影情報を読み込む（ステップＳ２０３、Ｓ２０４）。
【００４８】
取得した撮影情報を用いて評価値を算出する（ステップＳ２０５）。ここで用いる撮影情報としては、顔サイズ、顔位置、画面内変動、ジャイロ変動、焦点距離変動を用いている。
この評価値算出に関して、例えば、図４−１の（ａ）においては、顔サイズが大きいほど画像評価値が高くなり、図４−１の（ｂ）においては、顔位置が画像中心に位置しているほど画像評価値が高くなる。
【００４９】
また図４−１の（ｃ）に示すように、画面変動が大きいほど高評価とし、選抜を行う。画面変動の検知手段としては、画面をブロック分割し、時系列的にならんだ動画像の輝度差分を検出し、その変動量から算出する（図１１）。
【００５０】
また、ジャイロ変動は図１２に示すようにカメラ本体の動作を検知する情報（Ｐｉｔｃｈ，Ｙａｗ，Ｒｏｌｌ）から、その角速度総和を変動量とし、この値が少ないほど安定していると判断し高評価とする（図４−２の（ｄ））。
【００５１】
またズーム変動に関しては焦点距離の変動を検知しており、ズーム変化が行われた直後の時間経過によって評価値を算出している。このズーム変動停止からの時間が短いほど高評価としている（図４−２の（ｅ））。
【００５２】
上記によって得られた各評価値Ｗｅｉｇｈｔ１〜５を掛け合わせて最終評価値を算出する（ステップＳ２０６）。
【００５３】
この最終評価値を、図５に示すように閾値と比較し、これを上回っている区間をハイライトフレームと分類する（ステップＳ２０７）。
【００５４】
次に、選抜されたハイライト区間の全体に対する割合を算出し、その割合が７０％未満の場合は動画の最大時間に応じたハイライト選抜時間を算出し、再度フレーム分類する（ステップＳ２０８〜２１１）。これにより、図８に示すように、短い撮影時間であるスナップ動画に関しては、短時間に適した閾値でワンアクションの区間が抜粋される。また、結婚式のような見どころの多い長編動画に関しては、閾値が高めに設定されることで、図７のようにハイライト区間が乱立するような事態を避け、図９に示すように撮影時間に応じて適切にハイライト区間が選抜される。また、本件では、この閾値を選抜時間総和に置き換えることも可能とする。
【００５５】
選抜されたハイライト区間の割合が７０％以上の場合は、全体的に高評価ではあるがユーザーが動画再生する際の再生品質を考慮し、所定割合でハイライト区間を分割する（図１０、１３）。本件では、５分割で表示しているが、選抜区間の長さによってその割合を変更してもよい（ステップＳ２１２）。
【００５６】
得られた選抜区間の情報をもとに、プログレスバー上に選抜区間の表示を行う（ステップＳ２１３）。
【００５７】
本件では、撮像装置からの操作により、表示された選抜区間の先頭にスキップすることを想定している。
【符号の説明】
【００５８】
１０１  操作部、１０２  制御部、１０３  センサ部、１０４  Ａ／Ｄ変換部、
１０５  前面画像処理部、１０６  ブロック積分算出部、１０７  表示部、
１０８  ＡＦ処理部、１０８ａレンズ、１０９  ＡＥ処理部、１０９ａ  メカ機構、
１１０  ＥＦ処理部、１１１  フラッシュ部、１１２  エンコーダー部、
１１３  画像記録部、１１４  外部接続部、１１５  被写体検出部、
１１６  撮影情報作成部、１１７  動画評価部、１１８  ハイライト選抜部、
１１９  チャプタジャンプ設定部
【図１】
2020120210.tif 000003
【図２】
2020120210.tif 000004
【図３】
2020120210.tif 000005
【図４−１】
2020120210.tif 000006
【図４−２】
2020120210.tif 000007
【図５】
2020120210.tif 000008
【図６】
2020120210.tif 000009
【図７】
2020120210.tif 000010
【図８】
2020120210.tif 000011
【図９】
2020120210.tif 000012
【図１０】
2020120210.tif 000013
【図１１】
2020120210.tif 000014
【図１２】
2020120210.tif 000015
【図１３】
2020120210.tif 000016