(57)【要約】【課題】解像度やフレームレートが異なる複数の動画像を容易に管理できる画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法を提供する。【解決手段】表示系作成回路２は、動画像のソース作成時に各フレームと一緒に解像度、フレームレートの値が記録しておけば、再生時にその情報を装置が得ることによって各種表示機能を発現し、また、動画像ソースに解像度、フレームレートの詳細な情報が保存されていなければ、再生する前に多くの時間分のデコードを行い計算して情報を作成する。【選択図】図１
2006254366.tif 000002
【特許請求の範囲】
【請求項１】
動画像を再生処理可能が画像処理装置であって、
再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する情報を出力する作成回路と、
上記作成回路により出力された情報を少なくとも一部に表示する表示部と
を有する画像処理装置。
【請求項２】
記憶部を有し、
上記作成回路は、動画像のソース作成時に当該動画像ソースに解像度、および／またはフレームレートに関する情報がある場合には、各フレームと共に当該解像度、および／またはフレームレートの値を上記記憶部に記憶しておき、上記表示部に記憶部の情報に基づく解像度、および／フレームレートの表示情報を作成して上記表示部に出力する
請求項１記載の画像処理装置。
【請求項３】
上記作成回路は、動画像のソース作成時に当該動画像ソースに解像度、および／またはフレームレートに関する情報が無いには、複数の動画像データに基づいて、解像度、および／フレームレートの表示情報を作成して上記表示部に出力する
請求項１記載の画像処理装置。
【請求項４】
上記作成回路は、動画像の時間的な動きヒストグラムを算出し、当該動きヒストグラム情報に基づいて、再生すべきフレームレートを自動的に決定し、決定されたレートに応じた画像データを作成する
請求項１記載の画像処理装置。
【請求項５】
上記作成回路は、動画像の時間的な動きヒストグラムを算出し、当該動きヒストグラム情報に基づいて、再生すべきフレームレートを自動的に決定し、適応的にフレームレートを変更していく
請求項１記載の画像処理装置。
【請求項６】
上記作成回路は、動きヒストグラムを上記表示部に表示する
請求項１または２記載の画像処理装置。
【請求項７】
上記作成回路は、通常画像および解像度、フレームレートが一定でない動画像上に、時間的に前後する複数のフレームをサムネイル化して上記表示部に表示する
請求項１記載の画像処理装置。
【請求項８】
上記作成回路は、サムネイル化された前後フレームを選択し、対応画像を主画像として通常画像および解度、フレームレートが一定でない動画像の再生を再開する
請求項７記載の画像処理装置。
【請求項９】
上記作成回路は、通常画像および解像度、および／またはフレームレートが一定でない動画像再生・表示中に、当該主画像に添付するサムネイル画像を作成する
請求項１記載の画像処理装置。
【請求項１０】
上記作成回路は、通常画像と当該画像に符合する解像度、および／またはフレームレートが一定でない動画像データを画像バッファから取り出し、画像合成後に上記表示部に送出する
請求項１記載の画像処理装置。
【請求項１１】
上記作成回路は、上記表示部に解像度、および／またはフレームレートが一定でない動画像の再生状況を通知するための情報を表示する
請求項１記載の画像処理装置。
【請求項１２】
上記作成回路は、上記表示部に、解像度、および／またはフレームレートが一定でない動画像の解像度、フレームレートの変化区間を時間的に表示する
請求項１記載の画像処理装置。
【請求項１３】
上記作成回路は、通常時間軸フレームおよび高フレームレート動画像の簡易的な閲覧・再生のための選択手段を提示するように表示する
請求項１記載の画像処理装置。
【請求項１４】
上記作成回路は、録画された各フレームを、異なる間隔の通常時間軸、詳細な時間軸に分割し、選択させるように上記表示部に表示する
請求項１記載の画像処理装置。
【請求項１５】
上記作成回路は、動画像内のフレームを異なる間隔の時間軸で一度に上記表示部に表示する
請求項１記載の画像処理装置。
【請求項１６】
上記作成回路は、上記表示部に動画像内のフレームを時間軸情報を付加して複数表示する
請求項１記載の画像処理装置。
【請求項１７】
上記作成回路は、上記表示部に動画像内のフレームをフレームの特徴で並べて一度に表示する
請求項１記載の画像処理装置。
【請求項１８】
フレームレート、解像度が一定でない動画像を撮影、再生できるカメラシステムであって、
動画像を再生処理可能が画像処理装置を有し、
上記画像処理装置は、
再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する情報を出力する作成回路と、
上記作成回路により出力された情報を少なくとも一部に表示する表示部と、を含む
カメラシステム。
【請求項１９】
フレームレート、解像度が一定でない動画像を保存、再生できるビデオシステムであって、
動画像を再生処理可能が画像処理装置を有し、
上記画像処理装置は、
再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する情報を出力する作成回路と、
上記作成回路により出力された情報を少なくとも一部に表示する表示部と、を含む
ビデオシステム。
【請求項２０】
フレームレート、解像度が一定でない動画像をクライアントからのリクエストに応じて保存、配信できるネットワークデータシステムであって、
動画像を再生処理可能が画像処理装置を有し、
上記画像処理装置は、
再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する情報を出力する作成回路と、
上記作成回路により出力された情報を少なくとも一部に表示する表示部と、を含む
ネットワークデータシステム。
【請求項２１】
動画像を再生処理可能が画像処理方法であって、
再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、
当該求めた解像度、および／またはフレームレートに関する情報を出力し、
出力された情報を表示部の少なくとも一部に表示する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を処理する画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法に関するものである。
【背景技術】
【０００２】
動画像を処理する技術として、たとえば特許文献１に開示された「画像処理方法」、あるいは特許文献２に開示された「画像再生装置」が提案されている。
【０００３】
特許文献１に開示されている「画像処理方法」は、異なるフレームレートで撮影された動画像が混在する画像データの再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）するように構成されている。
【０００４】
また、特許文献２に開示されている「画像再生装置」は、動画データの中からユーザが所望のコマを容易に検索でき、指定したコマの位置から動画を再生することができるように構成されている。
【特許文献１】特開２００４−２２１９９９号公報
【特許文献２】特開２００４−２４７８９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、メモリ、ストレージ量の増大、回路の処理速度の向上により、より多くの詳細な動画像を扱える装置が増えているが、使用者がその動画像を整理、選択するのは難しくなってきている。
【０００６】
上述したように、特許文献１に開示されている「画像処理方法」は、異なるフレームレートで撮影された動画像が混在する画像データの再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）すること」を課題としているが再生することのみが目的となっており、その方法を実装した装置を使用した際に使用者には動画像のフレームレートを判別することが困難である。
そのため、複数の動画像を管理するのが困難である。また、「異なるフレームレートで撮影された動画像」であって解像度も異なる動画像が混在している場合には最適ではない。
【０００７】
そして、一般に動画像を扱う装置では一度に多くのものを扱い、動画像自体も多くの情報を含む。そのため、それらから所望の情報を得るのは困難である。
上述したように、特許文献２に開示された「画像再生装置」は、「動画データの中からユーザが所望のコマを容易に検索でき、指定したコマの位置から動画を再生することができる画像再生装置を提供する」ことを課題としているが、「複数のダイジェストコマが時系列順に配列」とあり時系列であるため情報の並び順に制限がある。
まだ時系列順であると画像の特徴を十分に抽出した順番ではないため、使用者が所望の画像にたどりつくまで時間がかかってしまう。
【０００８】
本発明は、解像度やフレームレートが異なる複数の動画像を容易に管理できる画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点は、動画像を再生処理可能が画像処理装置であって、再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する情報を出力する作成回路と、上記作成回路により出力された情報を少なくとも一部に表示する表示部とを有する。
【００１０】
好適には、記憶部を有し、上記作成回路は、動画像のソース作成時に当該動画像ソースに解像度、および／またはフレームレートに関する情報がある場合には、各フレームと共に当該解像度、および／またはフレームレートの値を上記記憶部に記憶しておき、上記表示部に記憶部の情報に基づく解像度、および／フレームレートの表示情報を作成して上記表示部に出力する。
【００１１】
好適には、上記作成回路は、動画像のソース作成時に当該動画像ソースに解像度、および／またはフレームレートに関する情報が無いには、複数の動画像データに基づいて、解像度、および／フレームレートの表示情報を作成して上記表示部に出力する。
【００１２】
本発明の第２の観点は、フレームレート、解像度が一定でない動画像を撮影、再生できるカメラシステムであって、動画像を再生処理可能が画像処理装置を有し、上記画像処理装置は、再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する情報を出力する作成回路と、上記作成回路により出力された情報を少なくとも一部に表示する表示部と、を含む。
【００１３】
本発明の第３の観点は、フレームレート、解像度が一定でない動画像を保存、再生できるビデオシステムであって、動画像を再生処理可能が画像処理装置を有し、上記画像処理装置は、再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する情報を出力する作成回路と、上記作成回路により出力された情報を少なくとも一部に表示する表示部と、を含む。
【００１４】
本発明の第４の観点は、フレームレート、解像度が一定でない動画像をクライアントからのリクエストに応じて保存、配信できるネットワークデータシステムであって、動画像を再生処理可能が画像処理装置を有し、上記画像処理装置は、再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する情報を出力する作成回路と、上記作成回路により出力された情報を少なくとも一部に表示する表示部と、を含む。
【００１５】
本発明の第５の観点は、動画像を再生処理可能が画像処理方法であって、再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する情報を出力し、出力された情報を表示部の少なくとも一部に表示する。
【発明の効果】
【００１６】
本発明によれば、解像度やフレームレートが異なる複数の動画像を容易に管理でき、解像度およびフレームレートが可変の動画像をより簡易に作成することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態を図面に関連付けて説明する。
【００１８】
＜第１の実施形態＞
図１は、本実施形態に係る画像処理装置を示す構成図である。
【００１９】
本画像処理装置１は、図１に示すように、表示系作成回路２、および表示デバイス３を、主構成要素として有している。
【００２０】
画像処理装置１における表示系作成回路２は、以下の機能を有している。
１）動画像の時間的な動きヒストグラムを算出・表示する機能、
２）動きヒストグラム情報を参考に、再生すべきフレームレートを自動的に決定し、決定されたレートに応じた画像データを作成する機能、
３）動きヒストグラム情報を参考に、再生すべきフレームレートを自動的に決定し、次々適応的にレートを変更していく制御・表示機能、
４）動きヒストグラム情報を表示デバイス３によりユーザに公開し、最適なフレームレート設定をユーザに推奨する機能、
５）通常画像および解像度、フレームレートが一定でない動画像上に、時間的に前後する複数のフレームをサムネイル化して表示する機能、
６）サムネイル化された前後フレームを選択し、対応画像を主画像として通常画像および解度、フレームレートが一定でない動画像の再生を再開する機能、
７）通常画像および解像度、フレームレートが一定でない動画像再生・表示中に、その主画像に添付するサムネイル画像を作成する機能、
８）通常画像とそれに符合する解像度、フレームレートが一定でない動画像データを画像バッファから取り出し、画像合成後に表示装置に送出する機能、
９）解像度、フレームレートが一定でない動画像の再生状況をユーザに通知するための各種情報を表示する機能、
１０）解像度、フレームレートが一定でない動画像の解像度、フレームレートの変化区間を時間的に表示する機能、およびユーザによりその区間を指定可能とする機能、
１１）解像度、フレームレートが一定でない動画像において解像度、フレームレートがいつ変化するかを通知する機能、および通知情報を事前に入手するためのデータ保存する機能、
１２）通常時間軸フレームおよび高フレームレート動画像の簡易的な閲覧・再生のための選択手段をユーザに提示する表示機能、
１３）録画された各フレームを、異なる間隔の通常時間軸、詳細な時間軸に分割し、選択させる表示機能、
１４）動画像内のフレームを異なる間隔の時間軸で一度に画面に表示する機能、
１５）動画像内のフレームを時間軸情報を付加して複数表示する機能、
１６）動画像内のフレームを輝度、色、動きなどのフレームの特徴で並べて一度に画面に表示する機能、
１７）いくつかの通常動画像、および、解像度、フレームレートが一定でない動画像をファイル情報をもとに選択する機能、および
１８）いくつかの通常動画像、および、解像度、フレームレートの一定でない動画像を簡単に操作可能とする機能、
を含んで構成される。
【００２１】
このような機能を併せ持つ表示系作成回路２は、フレームレート、および／または解像度が一定でない動画像を作成、再生できる回路としての機能を有することになる。
【００２２】
以下、表示系作成回路２の具体的な構成および上記各機能に基づく表示デバイス３への表示例等を説明する。また、フレームレート、および／または解像度が一定でない動画像を撮影、再生できるカメラシステム、フレームレート、および／または解像度が一定でない動画像を保存、再生できるビデオシステム、並びに、フレームレート、および／または解像度が一定でない動画像をクライアントからのリクエストに応じて保存、配信できるネットワークデータシステムおよびそれを使用したネットワークサービスについて、順を追って説明する。
【００２３】
まず、表示系作成回路２の具体的な構成および機能について説明する。
【００２４】
表示系作成回路２は、動画像のソース作成時に各フレームと一緒に解像度、フレームレートの値が記録してあれば、再生時にその情報を装置が得ることによって上記の各機能（後で詳細に説明する表示方法）を実現できる。
また、表示系作成回路２は、動画像ソースに解像度、フレームレートの詳細な情報が保存されていなければ、再生する前に多くの時間分のデコードを行い計算して情報を作成する。
【００２５】
表示系作成回路２は、図１に示すように、デコーダ２１、ＣＰＵ２２、表示作成演算回路２３、表示デバイスインターフェース２４、メモリコントローラ２５、内蔵記憶素子２６、ストレージインターフェース２７が、バス２８により接続されて構成されている。
【００２６】
デコーダ２１は、動画像ソースから再生用のフレーム画像、動画像の情報を作成する。
ＣＰＵ２２は、デコーダ２１、表示作成演算回路２３や回路全体を制御する。
メモリコントローラ２５は、メモリへの動画像ソース、作業領域アクセス用に使用される。
内蔵記憶素子２６は、作業領域アクセス用に使用される。
ストレージインターフェース２７は、動画像ソースのあるストレージへのアクセス用に使用される。
【００２７】
表示作成演算回路２３は、制御回路２３１、画像の拡大縮小機能（エンジン）２３２、描画エンジン２３３、演算機能（エンジン）２３４、およびメモリ操作機能（回路）２３５を有しており、後で、図３から図１３に関連付けて説明するような表示、グラフ、縮小画像を作成することができる。
また、表示作成演算回路２３は、画像の拡大縮小機能、演算機能、メモリ操作機能を有することから、デコーダ２１でデコードした画像からフレームレート、解像度変換を動的に変更して出力用の画像を作成することもできる。
【００２８】
表示デバイスインターフェース２４は、出力用の画像と表示作成演算回路２３で作成された表示、グラフ、縮小画像を合成して表示デバイス３の表示画面に出力する。
【００２９】
表示系作成回路２の動作例について説明する。
まず、デコーダ２１でメモリ、ストレージ上にある動画像ソースをデコードして画像を作成する。その際に必要な解像度、フレームレート情報が動画像ソース上になければＣＰＵ２２からデコーダ２１に指示を出して続けて複数枚デコードしてメモリ、内部記憶素子２６上に書き込む。
それらの画像から表示作成演算回路２４が、解像度、フレームレート情報を計算して求める。続けて、必要に応じて表示作成演算回路２４が表示、グラフ、縮小画像を作成して、メモリ、内部記憶素子２６に書き込む。
それらとデコーダ後の画像を表示デバイスインターフェース２４で合成して表示デバイス３に出力する。
【００３０】
図２は、そのときの表示作成演算回路とデコーダの動作例を示すフローチャートである。
図２において、動画像ソースに基づいて解像度、フレーム情報があるか否かを判定する（ＳＴ１，ＳＴ２）。
情報がない場合は１フレームデコードして（ＳＴ３）、必要枚数有るか否かを判定する（ＳＴ４）。必要枚数あると複数フレーム画像として、解像度、フレームレート情報を作成する（ＳＴ５，ＳＴ６）。
そして、複数フレーム表示するか否かを判定し（ＳＴ７）、複数フレーム表示する場合は、縮小画像を作成し（ＳＴ８）、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
ステップＳＴ７で複数フレーム表示しないと判定すると、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
ステップＳＴ２において、解像度、フレーム情報がないと判定すると、複数フレーム表示するか否かを判定する（ＳＴ１１）。
表示する場合は、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
複数フレーム表示しない場合は、１フレームデコードして（ＳＴ１２）、必要枚数あるか否かを判定する（ＳＴ１３）。そして、必要枚数ある場合には複数フレーム画像として（ＳＴ１４）、縮小画像を作成し（ＳＴ８）、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
【００３１】
図１の回路を使用することによって、解像度、フレームレートが一定ではない動画像ソースをデコード、再生することができるだけでなく、従来と異なり動画像ソースの解像度、フレームレートの情報をフレーム単位でリアルタイムに瞬時に得ることができる。
【００３２】
フレームレート、解像度などが一定でない動画像を見ているときに使用者は実際に見ている動画像のフレームレート、解像度など情報を判断することができない。
そこで、図１の画像処理装置１を適用することにより、その情報を画面にグラフ、記号、文字、数字で表示デバイス３に表示することによって情報を示す。その表示例を以下に示す。
【００３３】
図３は、表示デバイス３の通常の表示画面であって、画面３０１に画像３０２と情報を示す表示情報３０３が出力されている。
【００３４】
図４は、通常時の画面に加えて再生中の動画像のフレームレート、解像度を表示させている表示例を示す図である。
図４の例においては、図３の通常時の画面に加えて現在再生中の動画像のフレームレート、解像度を意味する表示情報３０４が出力されている。表示３０４は記号、図でも構わない。これによって現在再生中のフレームレート、解像度、それらが変化したタイミングを使用者は知ることができる。
【００３５】
図５は、通常の画面に比較して表示色を変えて表示している例を示す図である。
図５の例においては、図３の通常時の画面と比較して表示情報３０５の色が（たとえば黒から赤に）変わっている。
新しく表示を出力しなくても表示の色、大きさを変更することによってフレームレート、解像度の変化したことを示すことができる。これによって、フレームレート、解像度、それらが変化したことを使用者は知ることができる。
【００３６】
図６は、通常時の画面に加えて解像度、フレームレートが変化することを示す表示情報の表示例を示す図である。
図６の例においては、図３の画面に加えてこれから解像度、フレームレートが変化することを示す表示情報３０６を出力している。
これは、現在の解像度、フレームレートがどのくらいの時間続くか、または新しい解像度、フレームレートにいつ変化するのかという情報を使用者に示す。これによって、使用者はフレームレート、解像度が変化するタイミングを知ることができる。
【００３７】
図７は、図３の画面に加えて解像度、フレームレートが変化してから経過した時間を表示させている表示例を示す図である。
図７の例においては、図３の画面に加えて解像度、フレームレートが変化してから経過した時間の表示情報３０７を表示している。
これによって、使用者は解像度、フレームレートが変化してからの経過時間を知ることができる。
【００３８】
図８は、動画像ソースの情報を示すグラフを追加して表示している例を示す図である。
図８の例においては、通常の画面に動画像ソースの情報を示すグラフ３０８を追加して出力している。
これは元の動画像の中にタグを付加しておくことによって実現している。
【００３９】
図９は、表示されるグラフ３０８の詳細を示す図である。
グラフ全体３０８は動画像ソース全体もしくはその部分の時間ごとの情報を意味している。
アイコン３０８１は現在画面に再生中の場面がグラフ３０８の中でどのくらいの時間にあるか示している。
局所グラフ３０８２、３０８３は色を変えることで動画像ソースの中で解像度、フレームレートが異なる部分があることを示している。
このグラフは水平方向でも垂直方向でも向きはかまわない。このグラフを表示することによって、図８の例においては、現在再生中の解像度、フレームレートと動画像ソース中の解像度、フレームレートを確認することができる。
【００４０】
図１０は、動画像の動き量をグラフにした表示情報を追加した表示例を示す図である。
図１０の例においては、動画像の動き量をグラフにした表示情報３０９を追加して出力している。
動き量のグラフの例としては動画像の各ピクセルごとに前後の画像とどれくらい動きかあるかを計算した動き量をグラフにして表示する。
動き量を横軸にして縦軸をピクセル数にすると画面全体の動き量を知ることができる。または、横軸を画面のX軸またはY軸の値にして、縦軸を横軸の値ごとの動き量の合計値にする。この表示を動きヒストグラムと呼ぶ。これによって画面の動きの方向の度合いを使用者は知ることができる。MPEG1,2,4では各ピクセルの前のフレームとの移動量を動きベクトルと呼び使用している。動きヒストグラムの実現例としてはこれを用いたものが挙げられる。
【００４１】
図１１は、画面に再生している動画像の現在のフレームまたはそれ以外のフレームを小さいサイズで画面上に複数追加して表示している例を示す図である。
図１１の例においては、画面に再生している動画像の現在のフレームまたはそれ以外のフレームを小さいサイズで画面上に複数３１０を追加して出力している。
たとえば、現在、再生している画面は現在のフレーム３１１のように枠の色を変える、またはサイズを変更してわかりやすく表示する。フレーム３１０，３１１の表示は動画像が再生をしていくにつれて更新していく。フレーム情報３１２で各フレーム３１０，３１１の時間、そのフレームが何フレーム目か、解像度、フレームレートなどの情報を同時に表示する。
停止中にもこれらは出力してフレーム３１０から選択することによって、再生する場面を動画像ソースから選ぶことができる。この方法は動画像の再生中だけでなく、停止中、編集中にも動画像ソースの情報を使用者が得るために使用できる。
【００４２】
図１２は、図１１のフレーム表示３１０のグラフ表示の例を示す図である。
まず、３２１で示すように片方の方向に向かってフレームが表示される。この場合、表示されているフレームは1フレームごとでなくても構わない。フレーム３２２，３２３の間に実際には８フレーム存在して、３２３，３２４のフレームの間には３フレーム存在するというように均等ではないフレーム間隔で表示することもできる。
大きな変化のあるフレームだけ表示するようにすれば短時間で動画像の動きの流れを表示することができる。表示されているフレーム間の間隔が不均等なので、３２５のように、さらに細かい時間でフレームを操作したい場合は次の操作を行う。
あるフレーム、たとえば３２３を選択すると３２１の方向とは別の方向にフレーム３２２のように細かい時間単位でフレーム３２３，３２４間のフレームが表示できる。
また、縮小されたフレームを時間順で並べて表示するだけでなく、輝度順、色の近いもの、動きの近いものという区分けで並べて表示することもできる。その際も３２５のように、時間が表示されているので動画像内での位置が容易に把握できる。
このような表示を利用してフレームを選択した後に、使用者は削除したり、再生することができる。この機能を使用することによって、動画像全体の情報を使用者は短い時間で得ることができる。
【００４３】
図４、図５、図６、図７、図８、図１０、図１１の実現例は排他的ではなく組み合わせて図１３のようにも使用するし、一つも使用しないことも可能である。
再生時に元の動画像ソースの解像度、フレームレートと装置で再生中のフレームレートが異なる場合は両方を上記の方法を使用して表示することも可能である。また、動画像の再生中だけでなく停止、編集中にもこれらの方法は使用できる。
【００４４】
上記の方法で再生、編集する動画像のデータの構成例を図１４、図１５に示す。図１４の場合は各フレーム３３１ごとに解像度、フレームレート、時間、フレーム番号、チャプター番号などを対応付けする。全てのフレームに対して全ての種類の情報がある必要は無い。情報がない場合には装置、使用者が付近のフレームからそのフレームの情報を推測することができる。
図１５の場合は、複数のフレーム３３１の情報３３２をまとめて記録する。情報を一箇所見るだけで複数のフレームの情報を全て見ることができる。図１４、図１５の形式は複合してしようしても良い。
【００４５】
これらの方法によって得た解像度、フレームレート、動き量を元に、動画像の再生、保存時に動画像の解像度、フレームレートを最適な値に選択することが可能になる。
【００４６】
図１６は、本実施形態の画像処理装置を適用し各表示機能を有するカメラシステムの構成例を示すブロック図である。
【００４７】
このカメラシステム１００は、光学系１０１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ１０２、アナログ信号処理部１０３、アナログ／デジタル（Ａ／Ｄ）コンバータ１０４、デジタル信号処理部１０５、画像圧縮伸長部１０６、表示作成演算回路１０７、表示装置インターフェース１０８、表示装置１０９、画像メモリ１１０、制御ＣＰＵ１１１、操作デバイス１１２、ヒューマンインターフェース１１３、ストレージインターフェース１１４、および外部保存用メモリ１１５を有している。
表示作成演算回路１０７は図１の回路２３と同様の機能を有し、表示装置インターフェース１０７は図１の表示デバイスインターフェース２４と同様の機能を有し、表示装置１０９は図１の表示デバイス３に相当する。また、制御ＣＰＵ１１１も図１のＣＰＵ２２の制御機能を併せ持つ。
【００４８】
また、画像圧縮伸長部１０６は、デコーダの機能だけでなく、カメラの信号などの複数の動画像から圧縮信号処理をして動画像ソースを作成するエンコード機能も持っている。動画像の撮影、ストレージへの保存、再生を行うことができる。
【００４９】
動画像ソースを作成するときは、まず、イメージセンサ１０２でレンズ１０１を通して入射した被写体の像を光を電気信号に変えて取り込む。その信号を、アナログ信号処理部１０３、ADコンバータ１０４、デジタル信号処理部１０５を通して画像信号に変換する。その画像信号を画像圧縮伸長部１０６でエンコードして動画像ソースを作成する。
この処理をすることによって、このカメラシステム１００は、フレームレート、サイズが一定ではない動画像ソースを作成することができる。
作成された動画像ソースはストレージインターフェース１１４を通してメモリ１１５に保存される。
エンコード時に制御CPU１１１、デジタル信号処理部１０５を使用してフレーム単位の解像度、フレームレートの情報を動画像ソースに付加すれば、デコード時にそれらの情報を計算する必要は無くなる。
再生したい動画像ソースにそれらの情報が無いときには図15の方法を使用して表示、グラフなどを作成する。
また、動画像の解像度、フレームレート動き量などの情報を元に、動画像の作成時、再生時にカメラシステム自体が自律的に動画像の解像度、フレームレートを再調整することも可能である。
【００５０】
このカメラシステムで撮影した動画像は解像度、フレームレートが一定でなくても、従来より容易に再生、使用者への情報の表示を行える。また、もとの動画像に情報が無い場合でも使用者は瞬時にフレーム単位の情報を得て、容易にシーン選択、再生方法の変更、編集を行うことができる。
【００５１】
図１７は、本実施形態の画像処理装置を適用し各表示機能を有するビデオシステムの構成例を示すブロック図である。
【００５２】
このビデオシステム２００は、アンテナ２０１、チューナー２０２、アナログ信号処理部２０３、アナログ／デジタル（Ａ／Ｄ）コンバータ２０４、デジタル信号処理部２０５、画像圧縮伸長部２０６、表示作成演算回路２０７、表示装置インターフェース２０８、表示装置２０９、音声圧縮伸長部２１０、画像メモリ２１１、制御ＣＰＵ２１２、操作デバイス２１３、ヒューマンインターフェース２１４、ストレージインターフェース１１５、および外部保存用メモリ２１６を有している。
表示作成演算回路２０７は図１の回路２３と同様の機能を有し、表示装置インターフェース２０７は図１の表示デバイスインターフェース２４と同様の機能を有し、表示装置２０９は図１の表示デバイス３に相当する。また、制御ＣＰＵ２１２も図１のＣＰＵ２２の制御機能を併せ持つ。
【００５３】
このビデオシステム２００は、エンコード、デコード機能を持ち、アンテナ、ライン入力、LANなどから入力された信号、ストレージ上に保存された動画像ソースを処理して再生、出力することができる。また、再生するだけでなく、入力されてきた信号、動画像をエンコードしてストレージに保存することもできる。
【００５４】
動画像ソースを保存するときは、アンテナ２０１、入力端子から入力されてきた信号をビデオシステム内で変換してデジタル信号処理部２０５を通して画像信号に変換する。その画像信号を画像圧縮伸長部２０６でエンコードして動画像ソースを作成する。
この処理をすることによって、このビデオシステム２００は、フレームレート、サイズが一定ではない動画像ソースを作成することができる。
作成された動画像ソースはストレージインターフェース２１５を通してメモリ２１５に保存される。エンコード時に制御CPU２１２、デジタル信号処理部２０５を使用してフレーム単位の解像度、フレームレートの情報を動画像ソースに付加すれば、デコード時にそれらの情報を計算する必要は無くなる。再生したい動画像ソースにそれらの情報が無いときには図２の手順を使用して表示、グラフなどを作成する。
それらの情報は出力端子以外にもシステムに接続された表示装置２０９に画像とは別に表示することも可能である。
また、動画像の解像度、フレームレート動き量などの情報を元に、動画像の作成時、再生時にビデオシステム自体が自律的に動画像の解像度、フレームレートを再調整することも可能である。
【００５５】
このビデオシステム２００で保存した動画像は解像度、フレームレートが一定でなくても、従来より容易に他のビデオシステムでも再生でき、使用者への情報の表示を行える。それらの情報の表示を表示装置２０９に出力することにより画面出力を変更せずに情報を表示できる。
また、もとの動画像に情報が無い場合でも使用者は瞬時にフレーム単位の情報を得て、容易にシーン選択、再生方法の変更、編集を行うことができる。したがって、従来よりも扱えるビデオの互換性が高くなる。
【００５６】
図１８は、本実施形態の画像処理装置を適用し各表示機能を有するネットワークデータシステムの構成例を示すブロック図である。
【００５７】
このネットワークデータシステム４００は、画像入力部４０１、暗号回路４０２、ネットワーク処理部４０３、暗号回路４０４、ネットワーク処理部４０５、デジタル信号処理部４０６、画像圧縮伸長部４０７、表示作成演算回路４０８、画像メモリ４０９、制御ＣＰＵ４１０、ストレージインターフェース４１１、および外部保存用メモリ４１２を有している。
表示作成演算回路４０８は図１の回路２３と同様の機能を有している。また、制御ＣＰＵ４１０も図１のＣＰＵ２２の制御機能を併せ持つ。
【００５８】
このネットワークデータシステム４００は、クライアントからの要望に応じて、ビデオや情報の配信を行えるサーバーとして機能可能である。エンコード、デコード機能を持ち、ネットワーク上のクライアントから発信された信号をストレージ上に保存したり、ストレージ上に保存された動画像ソースを処理してクライアントに配信することができる。また、クライアントからのビデオ、情報を処理後、もしくは元のままで別のクライアントに配信することも可能である。
【００５９】
動画像ソースを保存するときは、クライアントのリクエストに応じて、クライアントから送信されたデータ、入力端子から取り込んだ信号をネットワーク処理部４０３、画像入力部４０１、デジタル信号処理部４０６でまず処理する。
画像圧縮伸長部４０７でエンコードして動画像ソースにするか、そのままの状態でストレージインターフェース４１１を通してメモリ４１２に保存する。その際に、動画像の解像度、フレームレートを情報を演算して一緒に保存しておくことも可能である。
クライアントに送信するときは、クライアントのリクエストに応じて、画像圧縮伸長部４０７でデコードした動画像ソース、それに解像度、フレーム情報を付加したもの、解像度、フレーム情報だけ、表示作成回路４０８で動画像に表示を加えたもの、デコード前の動画像ソースなどを送ることができる。
また、動画像の解像度、フレームレート動き量などの情報を元に、動画像の作成時、デコード時、配信時にビデオシステム自体が自律的に動画像の解像度、フレームレートを再調整することも可能である。
クライアントとの送受信の際、暗号回路４０４を使用して暗号化して送受信することも可能である。
このようなネットワークデータシステム４００を使用することにより、遠隔地から動画像の再生、保存、管理が容易にできる。
【００６０】
解像度、フレームレート、ファイルサイズ、作成日時、作成者などの情報を使用することによりいくつかの動画像、静止画のデータを短時間で複数を選別して管理することができる。それらの条件を指定して、該当するものだけを削除または保存したり、逆に該当しないものだけをだけを削除、保存することによってシステム内の動画像、静止画のデータの管理の利便性が向上する。
【００６１】
図１９は、以上の方法を実現するフローチャート例である。ステップＳＴ２１からＳＴ３０までの処理の概要は以下のとおりである。
【００６２】
まず、システム内のデータを管理するのに使用したい情報の項目を選択する。解像度、フレームレート、ファイルサイズ、作成日時、作成者が項目の例にあたる。
その後、それらに該当させる具体的な値を指定する。作成日時だと「今日」、「2004年12月23日」などが例にあたる。
その後、「<」、「==」などの比較演算子を指定する。ここまでで「フレームレートが240fps以下」などの条件を作成することができる。
そして、他の条件と組み合わせたいときは「||」、「&&」などの論理演算子を指定する。そうすることによって、「フレームレートが240fps以下かつ、昨日以前に作成された」という条件を指定できる。
これらを繰り返していって操作の条件を指定する。
その後、その条件に当てはまるもの全てに対して、削除、保存、コピー、サムネール作成などの処理を行う。この操作はファイル単位だけでなく、動画像のフレーム単位でも行える。
【００６３】
以上の方法を、前述したカメラシステム１００、ビデオシステム２００、ネットワークデータシステム４００に実装することにより、多くのデータを一括して短時間で操作できる。
【００６４】
以上詳細に説明したように、本実施形態によれば、以下の効果を得ることができる。
1)解像度、フレームレートが一定でない動画像を保存が容易になる。
2)解像度、フレームレートが一定でない動画像を観賞が容易になる。
3)解像度、フレームレートが一定でない動画像を撮影が容易になる。
4)解像度、フレームレートが一定でない動画像の編集が容易になる。
5)解像度、フレームレートが一定でない動画を大量に管理することが容易になる。
6)いままでより動画像、静止画の管理が容易になるため一つの動画像を用途別に解像度、フレームレートを変更して保存しておく必要が無くなる。
7)静止画、動画の詳細な情報の確認が容易になる。
【図面の簡単な説明】
【００６５】
【図１】本実施形態に係る画像処理装置を示す構成図である。
【図２】図１の表示作成演算回路とデコーダの動作例を示すフローチャートである。
【図３】表示デバイスの通常の表示画面を示す図である。
【図４】通常時の画面に加えて再生中の動画像のフレームレート、解像度を表示させている表示例を示す図である。
【図５】通常の画面に比較して表示色を変えて表示している例を示す図である。
【図６】通常時の画面に加えて解像度、フレームレートが変化することを示す表示情報の表示例を示す図である。
【図７】図３の画面に加えて解像度、フレームレートが変化してから経過した時間を表示させている表示例を示す図である。
【図８】動画像ソースの情報を示すグラフを追加して表示している例を示す図である。
【図９】表示されるグラフの詳細を示す図である。
【図１０】動画像の動き量をグラフにした表示情報を追加した表示例を示す図である。
【図１１】画面に再生している動画像の現在のフレームまたはそれ以外のフレームを小さいサイズで画面上に複数追加して表示している例を示す図である。
【図１２】図１１のフレーム表示のグラフ表示の例を示す図である。
【図１３】図４、図５、図６、図７、図８、図１０、図１１の実現例のいくつかを組み合わせた表示例を示す図である。
【図１４】再生、編集する動画像のデータの構成例を示す図である。
【図１５】再生、編集する動画像のデータの構成例を示す図である。
【図１６】本実施形態の画像処理装置を適用し各表示機能を有するカメラシステムの構成例を示すブロック図である。
【図１７】本実施形態の画像処理装置を適用し各表示機能を有するビデオシステムの構成例を示すブロック図である。
【図１８】本実施形態の画像処理装置を適用し各表示機能を有するネットワークデータシステムの構成例を示すブロック図である。
【図１９】動画像、静止画のデータを短時間で複数を選別して管理する方法を示すフローチャートである。
【符号の説明】
【００６６】
１・・・画像処理装置、２・・・表示系作成回路、２１・・・デコーダ、２２・・・
ＣＰＵ、２３・・・表示作成演算回路、２４・・・表示デバイスインターフェース、２５・・・メモリコントローラ、２６・・・内蔵記憶素子、２７・・・ストレージインターフェース、３・・・表示デバイス、１００・・・カメラシステム、２００・・・ビデオシステム、４００・・・ネットワークデータシステム。
【図１】
2006254366.tif 000003
【図２】
2006254366.tif 000004
【図３】
2006254366.tif 000005
【図４】
2006254366.tif 000006
【図５】
2006254366.tif 000007
【図６】
2006254366.tif 000008
【図７】
2006254366.tif 000009
【図８】
2006254366.tif 000010
【図９】
2006254366.tif 000011
【図１０】
2006254366.tif 000012
【図１１】
2006254366.tif 000013
【図１２】
2006254366.tif 000014
【図１３】
2006254366.tif 000015
【図１４】
2006254366.tif 000016
【図１５】
2006254366.tif 000017
【図１６】
2006254366.tif 000018
【図１７】
2006254366.tif 000019
【図１８】
2006254366.tif 000020
【図１９】
2006254366.tif 000021