(57)【特許請求の範囲】
【請求項１】
記録媒体に入力されている動画と静止画とを読み出して出力する画像入出力装置であって、
動画と静止画とを画面を分割して表示するための表示手段と、
前記表示手段に表示された動画または静止画のいずれかを指定するための指定手段とを含み、
前記表示手段は、動画と静止画とを分割した状態のまま動画をコマ送り状態で表示するための手段を含み、前記表示手段は、動画が指定されると、指定された動画が撮像された時刻を中心として時間軸で相前後する一連の縮小画像を複数の分割画面に表示するための手段を含む、画像入出力装置。
【請求項２】
前記表示手段は、前記記録媒体に記録されている音声データあるいは文字データの有無に応じたマークを分割画面ごとに表示するための手段を含む、請求項１に記載の画像入出力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、記録媒体に入力されている静止画や動画を区別して表示や検索をする画像入出力装置に関する。
【０００２】
【従来の技術】
近年、デジタル画像が多く使われるようになってきており、大量のデジタル画像データをハードディスク、ＭＤ、ＭＯなどの記録媒体に蓄積したり、蓄積してある画像データを読み出して表示する必要が出てきている。
【０００３】
例えば、電子ファイル装置において、大量の画像をスキャナで読み取り記録媒体に画像データを蓄積した場合、検索時においてはオリジナルの画像データ（原画像）を縮小した画像データ（縮小画像）の一覧を表示し、ユーザがマウスなどを操作して所望の原画像に対応した縮小画像を選択することにより、所望の画像データを得ることができる。
【０００４】
また、動画の表示に関しては、画面を分割して動画を表示する技術が、特開平８−７０４３０号公報や特開平８−３３５３８７号公報で開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、動画と静止画とを同じ装置で管理する場合には、静止画の枚数が増大した場合や動画の場合には検索時間が増大する上、これまでの装置はいづれかの画像管理を目的としており、静止画と動画の表示や検索を統一して行うことが困難であるという問題がある。
【０００６】
本発明の目的は、上記問題点に鑑みてなされたものであり、記録媒体上の動画と静止画とを直感的に表示や検索のできる画像入出力装置を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１に記載の画像入出力装置は、記録媒体に入力されている動画と静止画とを読み出して出力する画像入出力装置であって、動画と静止画とを画面を分割して表示するための表示手段と、表示手段に表示された動画または静止画のいずれかを指定するための指定手段とを含み、表示手段は、動画と静止画とを分割した状態のまま動画をコマ送り状態で表示するための手段を含み、表示手段は、動画が指定されると、指定された動画が撮像された時刻を中心として時間軸で相前後する一連の縮小画像を複数の分割画面に表示するための手段を含む。
【０００９】
請求項２に記載の画像入出力装置は、請求項１に記載の画像入出力装置において、表示手段は、記録媒体に記録されている音声データあるいは文字データの有無に応じたマークを分割画面ごとに表示するための手段を含む。
【００１１】
【発明の実施の形態】
図１に、本発明の画像入出力装置を動画と静止画を撮ることのできる電子カメラに適用した場合の実施の形態を示す。装置全体を制御する制御手段としてのＣＰＵ１、各種処理をＣＰＵ１が実行するプログラムや文字データ発生のための辞書を記憶するＲＯＭ２、一時的にプログラムやデータを記憶するＲＡＭ３、操作ボタンやペンやマウスやトラックボールやキーボード（ＬＣＤディスプレイ７の画面上に表示されるキーボードも含む）等により操作指示や文字データの入力を行う操作手段としての操作部４、ＣＣＤとその駆動回路からなる撮像手段としての入力部５、表示指示により駆動されるＬＣＤ制御回路６、ＬＣＤ制御回路６により所望の表示画面を出力するＬＣＤディスプレイ７、ディスク９の再生や記録または消去を行う記録手段または再生手段としてのディスクドライブ８、入力部５により撮像された静止画及び動画、さらに必要に応じて音声や文字データを記録する記録媒体としてのディスク９、ディスク９と同様なデータを記録できる記録媒体としてのＩＣカード１０、撮像時あるいは撮像時とは別に音声を録音するマイク１１、ディスク９の再生時に再生された音声を出力するスピーカ１２で構成されている。なお、記録媒体としてはディスク９でもＩＣカード１０でも同様であるので、ディスク９の場合について以下説明する。
【００１２】
操作部４からの撮像指示により撮像を開始し、図２に示すように、撮像時には、ＣＰＵ１は入力部５から入力された原画像から所定の手順により画素数を減らして縮小画像を作成し、縮小画像及び原画像に撮像時間を付けてディスク９に記録する。本装置の場合は、操作部４の指示により静止画と動画の双方を撮像することができ、原画像が静止画の場合は、原画像に対応した縮小画像を１枚作成する。原画像が動画の場合には、静止画の時系列で構成されているので、それぞれに対応した複数枚の縮小画像を作成する。なお、撮像時には、ＬＣＤディスプレイ７を撮像モニタとして用いる。
【００１３】
図３に、記録を行ったディスク９のファイル構造を示す。ディスク９の内周側から外周側に向かって、各ファイルの位置情報がまとめて記録されているＴＯＣ（Ｔａｂｌｅ  ｏｆ  Ｃｏｎｔｅｎｔｓ）３１、静止画か動画かの区別をする識別子等が記録されるタイムスタンプＤＢ（データベース）ファイル３２、原画像から作成した縮小画像が記録されている縮小画像データファイル３３、静止画または動画の原画像が記録されている原画像データファイル３４、マイク１１から入力された音声データが記録された音声データファイル３５で構成されている。
【００１４】
図４に、タイムスタンプＤＢファイル３２の構成を示す。このタイムスタンプＤＢファイル３２は、ヘッダーとデータで構成され、データの中にはタイムスタンプ数（Ｎ個）及びタイムスタンプ情報が記録される。このタイムスタンプ情報は、画像の撮像順に付与されたタイムスタンプ番号、領域ごとの番号を示すイメージ番号、ＣＰＵ１により付与される撮像時間を示すタイムスタンプ、操作部４により入力される文字データの有無を示す識別子としてのファイル名４１、静止画か動画を区別する識別子としてのインデックス枚数４２、及び音声データの有無を示す識別子としての音声データ番号４３から構成される。この音声データ番号４３は、原画像に付加された音声データのアドレスであり、音声データが付加されていない場合には音声データ番号として００ｈが入っている。
【００１５】
本実施の形態でのインデックス枚数４２は縮小画像の枚数を用いている。インデックス枚数４２は、静止画においては１枚、動画においては時系列の縮小画像数に対応した２枚以上となる。インデックス枚数として原画像の枚数を用いてもよいが、画像の再生時にディスクドライブ８の光学ヘッドでアクセスするのは内周側からであり、ＴＯＣ３１に近い縮小画像を用いる方が高速アクセスできるので望ましい。
【００１６】
図５に、タイムスタンプ情報と動画及び静止画の縮小画像との対応関係を模式的に示す。ここで、タイムスタンプ番号ごとに縮小画像Ｓ（ｎ）があり、静止画では１枚そのものであり、動画では先頭の縮小画像である。
【００１７】
まず、図６を用いて本発明のＬＣＤディスプレイ７分割表示の全体動作を説明する。
操作部４の指示により検索モードにすると、ディスクドライブ８の光学ヘッドでアクセスして縮小画像を再生して、ディスク９の記録内容の中から操作部４で指示した所定の縮小画像をＬＣＤディスプレイ７上の表示領域１〜１６に図６（ａ）に示す態様で表示する。この表示態様では、静止画は１枚表示した状態を維持し、動画はコマ送りで一連の時系列の画像を表示する。従って、ユーザは、画像の動きの有無で静止画か動画かを区別できる。なお、静止画か動画かに応じて画像をネガポジ反転させて表示する、あるいは三角と四角のように異なるマークを各画像の一部領域に表示する、のようにして区別してもよい。
【００１８】
次に、図６（ａ）の表示状態に対して、ユーザが操作部４により表示画面上に注視点を入力する（静止画か動画を選択する）ことによって、入力された注視点の座標をＣＰＵ１が検知して対応する画像の種類に応じて画面分割数等の表示態様を変更して、入力された注視点の縮小画像を強調するように表示する。
【００１９】
即ち、指定された画像が静止画の場合、図６（ｂ）に示すように、それに対応した原画像の１／４の大きさの縮小画像７を含む縮小画像を表示領域１〜１０に表示し、指定された画像が動画の場合、図６（ｃ）に示すように、指定された動画の縮小画像を中心として時間軸で相前後する一連の縮小画像を表示領域４〜６にコマ送り表示する。このように、静止画あるいは動画が指定されると、画面分割数等が変化して表示されるので、注目画像の検索をより直感的にすることができる。なお、本実施の形態の場合、直感的な検索のために、図６（ａ）の全体の表示領域の位置と面積は、図６（ｂ）〜図６（ｄ）の画面分割等が行われても変化しないように表示している。
【００２０】
さらに、図６（ｂ）の表示状態に対して操作部４により注視点を表示領域７に入力することによって、ディスクドライブ８の光学ヘッドでアクセスして静止画の原画像を再生して図６（ｄ）に示す原画像が表示される。なお、図示しないが、図６（ｄ）と同様にして、図６（ｃ）の表示状態に対して表示領域４〜６のいづれかに操作部４により注視点を入力することによって、指定された動画を中心として時間軸で相前後する一連の原画像がコマ送りで表示される。
【００２１】
また、図６（ｂ）の表示状態に対して操作部４により注視点を表示領域１０に入力することによって、図６（ｃ）の表示状態になり、逆に図６（ｃ）の表示状態に対して操作部４により注視点を表示領域１に入力することによって、図６（ｂ）の表示状態になる。
【００２２】
次に、図７〜図１０を用いて上記分割表示動作を説明する。
まず、図７のフローチャートを用いて、図６（ａ）の１６分割表示の動作を詳細に説明する。
【００２３】
ＣＰＵ１は、先ずステップＳ１において、タイムスタンプ番号ｎ、コマ送り用変数ｆ（ｍ）を初期化する。ただし、分割表示される画像は最大で１６枚であるから、ｍは１以上１６以下とする。
【００２４】
ステップＳ２において、ｙ軸方向の表示領域を指定する変数ｊ、表示領域番号ｍに０を入力する。さらに、ステップＳ３において、ｘ軸方向の表示領域を指定する変数ｉに０を入力する。
【００２５】
ステップＳ４において、タイムスタンプ番号ｎ、表示領域番号ｍに各々１を加え、ステップＳ５において、タイムスタンプ番号ｎが総数Ｎ以下か否かの判断を行う。ＮＯである場合は、ステップＳ１９へジャンプする。ＹＥＳである場合は、ステップＳ６において、左上を始点とする画面座標上の点（ＸＭ／４×ｉ，ＹＭ／４×ｊ）と点（ＸＭ／４×（ｉ＋１），ＹＭ／４×（ｊ＋１））を対角とする矩形内に縮小画像Ｓ（ｎ）＋ｆ（ｍ）を表示する。
【００２６】
ステップＳ７において、ＣＰＵ１は、次に表示する縮小画像があるか否かをインデックス枚数から１枚減算して１以下となるかどうかチェックする。１以下の場合はステップＳ９へ進む。１以上の場合は、ステップＳ８でｆ（ｍ）に１を加えることによって現在表示されている縮小画像の次の縮小画像をコマ送り表示する。
【００２７】
次に、ステップＳ９において、ＣＰＵ１は画面ｘ軸方向の表示領域を指定する変数ｉが３、すなわち所定の表示領域が右端へ到達しているかどうかを判断し、ＮＯである場合は、ステップＳ１０においてｉに１を加え、次の表示領域に進み、さらに再びステップＳ４へ戻って上記の処理をｉが３になるまで繰り返す。ステップＳ９においてＹＥＳである場合は、ステップＳ１１へ進み、画面ｙ軸方向の表示領域を指定する変数ｊに１を加えることによって表示領域を改行する。さらに、ステップＳ１２においてｊが４である場合、ページは１６分割画面全て表示されたことになるから、操作部４からの「次頁キー」入力をチェックする。ｊが４でない場合は、再びステップＳ３へ戻り、上記の処理を繰り返す。
【００２８】
次に、ステップＳ１３においてステップＳ２からステップＳ１３までの間に「次頁キー」が入力された場合はステップＳ１８へ進む。「次頁キー」が入力されなかった場合は、ステップＳ１４で操作部４からの「前頁キー」の入力をチェックする。「前頁キー」が入力された場合にはステップＳ１５においてタイムスタンプ番号を前頁先頭に戻す。さらにステップＳ１６において該タイムスタンプ番号が０以上である場合は、ステップＳ１８へ進む。ＮＯである場合は、ＣＰＵ１は、該ページ以前のページに表示すべき縮小画像は存在しないと判断するから、ステップＳ１７においてタイムスタンプ番号を更新して再び現在のページのタイムスタンプ番号に戻す。ステップＳ１８では変数ｆ（ｍ）を０に更新し、再びステップＳ２へ戻って上記の動作を繰り返す。
【００２９】
ステップＳ１４において、「前頁キー」が入力されなかった場合は、ステップＳ１９において注視点入力をチェックする。ＹＥＳである場合は図８へ進む。ＮＯである場合は、ステップＳ２０において画面左上のタイムスタンプ番号に更新して再びステップＳ２へ戻り、上記の動作を繰り返す。
【００３０】
次に、操作部４からの注視点の入力により画面上の座標を入力して、注視点座標に対応する縮小画像を表示するまでの判断の流れを図８に示すフローチャートを用いて説明する。
まず、ステップＳ１において、ユーザーは操作部４から注視点座標（ｘｘ，ｙｙ）を入力する。これを受けてＣＰＵ１は、ステップＳ２において、タイムスタンプ番号ｎを図６（ａ）の分割画面上の表示領域１に対するタイムスタンプ番号（ｎ−ｍ）に更新する。さらに、ステップＳ３において変数ｆ（ｍ）を０に、ステップＳ４においてｊを０、表示領域番号ｍを０に、ステップＳ５においてｉを０に初期化する。
【００３１】
ステップＳ６、ステップＳ７、ステップＳ８において、ＣＰＵ１は、入力された注視点座標（ｘｘ，ｙｙ）がどの表示領域にあるかを認識して、ステップＳ９においてｎ＋ｍ番目の縮小画像が指定されたと判断した場合、ステップＳ１０へ進み、タイムスタンプ番号ｎをｎ＋ｍに更新する。さらにステップＳ１１でインデックス枚数Ｉ（ｎ）が１か否かを比較し、ＹＥＳである場合は静止画と判断して、図９のフローチャートへ進み分割数を変更して１３分割表示を行う。ＮＯである場合は動画と判断して図１０のフローチャートへ進み９分割表示をする。
【００３２】
ステップＳ６、ステップＳ７、ステップＳ８において、縮小画像が指定されなかったと判断した場合はステップＳ１４へ進む。該ステップにおいて表示領域番号ｍをｍ＋１に更新し、ステップＳ１５においてｉが３であればステップＳ１７に進み、ステップＳ１５においてｉが３、すなわち最右段に達していない場合は、ステップＳ１６においてｉに１を加えて、ステップＳ６へ戻り上述の動作を繰り返す。
【００３３】
ステップＳ１７では、ｊに１を加えてチェック領域を改行し、ステップＳ１８でｊが３、すなわち最下段の行である場合には、ステップＳ３へ戻って、上記の動作を繰り返す。ステップＳ１８においてｊが３でない場合にはステップＳ１９に進んでｊに１を加えステップＳ５へ戻り上述の動作を繰り返す。
【００３４】
図８のステップＳ１２で指定された縮小画像が静止画と判断された場合に、１３分割表示動作について図９のフローチャートを用いて説明する。
まず、ステップＳ１において、図６（ｂ）の分割画面上の所定の表示領域１〜６にＳ（ｎ−６）…Ｓ（ｎ−１）を表示する。次に、ステップＳ２において、固定座標（０，ＹＭ／４）と（ＸＭ／２，３ＸＭ／４）を対角とする矩形内に縮小画像Ｓ（ｎ）を表示する。さらに、ステップＳ３において、図６（ｂ）の分割画面上の所定の表示領域８〜１３に、Ｓ（ｎ＋１）…Ｓ（ｎ＋６）を表示する。
【００３５】
図８のステップＳ１２で指定された縮小画像が動画と判断された場合に、９分割表示動作について図１０のフローチャートを用いて説明する。
まず、ステップＳ１において、ユーザーによって指定された縮小画像以外の前後に連続する縮小画像を、各々所定の表示領域に表示する。つまり、図６（ｃ）の分割画面に示すように、所定の表示領域１、２、３には、縮小画像Ｓ（ｎ−３）、Ｓ（ｎ−２）、Ｓ（ｎ−１）を、表示領域７、８、９には、Ｓ（ｎ＋１）、Ｓ（ｎ＋２）、Ｓ（ｎ＋３）を表示する。次に、ステップＳ２において動画のシーンを表す変数ｉｍ、及びステップＳ３においてｘ軸方向の表示領域を指定する変数ｉｉをそれぞれ０に初期化する。
【００３６】
次に、ステップＳ４において、ＣＰＵ１は、動画のシーンに対応する縮小画像列を時間軸方向で等分割した、複数の縮小画像列を別々の表示領域に表示するために、点（ＸＭ／３×ｉｉ，ＹＭ／３）と点（ＸＭ／３×（ｉｉ＋１），２ＹＭ／３）を対角とする矩形内に、Ｓ（ｎ）＋ｉｍ＋（Ｉ（ｎ）／３）×ｉｉを表示する。ステップＳ５においてｉｉが３、すなわち画面右端に到達しているか否かをチェックし、ＹＥＳであればステップＳ７へ進み、ＮＯであればステップＳ６でｉｉに１を加えてステップＳ４へ戻り、次の表示領域について再び上記の処理を繰り返す。
【００３７】
ステップＳ７では、指定された縮小画像の動画のシーンｉｍとこれに対応したインデックス枚数Ｉ（ｎ）／３に等しいか否かの比較を行い、ＹＥＳであれば処理を終了する。ＮＯであればステップＳ８へ進みｉｍに１を加えてステップＳ３へ戻り、次のシーンについても上述の処理を繰り返す。
【００３８】
次に、図１１に、音声データまたは文字データの有無に応じた図６（ｃ）の別の表示形態を示す。このような表示形態を行うには、タイムスタンプＤＢファイルのファイル名４１と音声データ番号４３の内容の有無をＣＰＵ１が判断することにより実現でき、大量の画像に対して表示や検索を直感的で容易に行うことができる。この図６（ｃ）の一覧表示画面において、静止画と動画のタイムスタンプ情報をチェックして対応する文字データがある場合は，ファイル名４１の内容を表示領域中の所定位置に表示し、音声データがある場合は、それを示す図形（本実施の形態では波形の矩形図形）で表示領域中の所定位置に表示する。ここで、音声データが付加されていない場合は図形表示を行わず、また、タイムスタンプ情報のファイル名がない場合は文字表示を行わない。なお、音声データまたは文字データの有無に応じた表示マークは、上記実施の形態に限らず、音声データまたは文字データの有無が区別できるマークであればよい。さらに、図６（ａ）、（ｂ）、（ｄ）にも同様に音声データまたは文字データの有無が区別できるマークを表示しても良い。
【００３９】
上述した実施の形態では、記録や再生を行うことのできる電子カメラに適用した場合を説明したが、上述した表示や検索をコンピュータ装置により表示装置あるいは検索装置として実現することもでき、さらには、上述した表示や検索を行う機能を備えたプログラムをフロッピーディスクやＣＤＲＯＭのような記録媒体に記録しておいて、適宜インストールして用いても良い。
【００４０】
【発明の効果】
以上のように、本発明の画像入出力装置によれば、検索したい画像の種類に応じて分割画像数等の表示態様が変更されるので、記録媒体の内容を直感的に把握でき、ユーザが所望する画像を検索し易くすることができる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像入出力装置のブロック図である。
【図２】原画像と縮小画像の関係を示す図である。
【図３】本実施の形態に係るディスクのデータ構造を説明するための図である。
【図４】本実施の形態に係るタイムスタンプＤＢファイルの詳細を示す図である。
【図５】本実施の形態に係るタイムスタンプ情報と縮小画像との対応関係を示す図である。
【図６】本実施の形態に係る各種分割表示の動作例を示す図である。
【図７】１６分割表示を説明するためのフローチャートである。
【図８】指定された縮小画像の表示判断を説明するためのフローチャートである。
【図９】１３分割表示を説明するためのフローチャートである。
【図１０】９分割表示を説明するためのフローチャートである。
【図１１】本実施の形態に係る他の表示例を示す図である。
【符号の説明】
１  ＣＰＵ
２  ＲＯＭ
３  ＲＡＭ
４  操作部
５  入力部
６  ＬＣＤ制御回路
７  ＬＣＤディスプレイ
８  ディスクドライブ
９  ディスク
１０  ＩＣカード
【図１】
0003547950.tif 000002
【図２】
0003547950.tif 000003
【図３】
0003547950.tif 000004
【図４】
0003547950.tif 000005
【図５】
0003547950.tif 000006
【図６】
0003547950.tif 000007
【図７】
0003547950.tif 000008
【図８】
0003547950.tif 000009
【図９】
0003547950.tif 000010
【図１０】
0003547950.tif 000011
【図１１】
0003547950.tif 000012