(57)【要約】【課題】ストーリーボード・ウィンドウ上で、プログラム全体のストーリーだけでなく、各クリップ内のストーリーも容易に確認できるようにする。【解決手段】編集装置に、（ａ）モニタ画面を通じて入力された操作指示に従い、処理対象データに対する信号処理を実行する信号処理部と、（ｂ）ストーリーボード・ウィンドウに表示する各クリップを構成する複数時点のサムネイル画像を保持する記憶部と、（ｃ）ストーリーボード・ウィンドウに、各クリップを構成する複数時点のサムネイル画像を一組の状態で表示する表示制御部とを搭載する。【選択図】図３
2005354664.tif 000002
【特許請求の範囲】
【請求項１】
ストーリーボード・ウィンドウに、各クリップを代表するサムネイル画像をストーリー順に並べて示す画像表示方法であって、
各クリップに対応する表示領域に、当該クリップを構成する複数時点のサムネイル画像を一組の状態で表示する
ことを特徴とする画像表示方法。
【請求項２】
請求項１に記載の画像表示方法であって、
前記複数時点の少なくとも一つは、ユーザーにより選択された任意の時点である
ことを特徴とする画像表示方法。
【請求項３】
請求項１に記載の画像表示方法であって、
前記複数時点の少なくとも一つは、シーンの変換点である
ことを特徴とする画像表示方法。
【請求項４】
請求項１に記載の画像表示方法であって、
前記複数時点は、クリップの先頭から等間隔に与えられる
ことを特徴とする画像表示方法。
【請求項５】
請求項４に記載の画像表示方法であって、
前記複数時点に対応するサムネイル画像の表示内容を、タイムライン・ウィンドウ上の対応クリップに対する編集操作に連動して自動的に更新する
ことを特徴とする画像表示方法。
【請求項６】
請求項１に記載の画像表示方法であって、
前記各クリップに対応する表示領域は、２つのサムネイル画像間に、それぞれの時間差に応じた線幅の境界線を配置する
ことを特徴とする画像表示方法。
【請求項７】
請求項１に記載の画像表示方法であって、
前記各クリップに対応する表示領域は、２つのサムネイル画像を、それぞれの時間差に応じた長さだけ離して配置する
ことを特徴とする画像表示方法。
【請求項８】
請求項１に記載の画像表示方法であって、
前記各クリップに対応する表示領域は、２つのサムネイル画像の境界線に、それぞれの時間差に対応する色を付けて表示する
ことを特徴とする画像表示方法。
【請求項９】
請求項１に記載の画像表示方法であって、
編集位置に対応するサムネイル画像の表示領域を、他の表示領域と区別可能に表示する処理
を有することを特徴とする画像表示方法。
【請求項１０】
請求項９に記載の画像表示方法であって、
編集位置に対応するサムネイル画像の外枠を、太枠で表示する
ことを特徴とする画像表示方法。
【請求項１１】
請求項９に記載の画像表示方法であって、
編集位置に対応するサムネイル画像の外枠を、編集内容に応じた色で表示する
ことを特徴とする画像表示方法。
【請求項１２】
請求項１に記載の画像表示方法であって、
編集位置に対応するサムネイル画像の表示領域を、編集内容に応じた表示形式で表示する処理
を有することを特徴とする画像表示方法。
【請求項１３】
請求項１２に記載の画像表示方法であって、
編集位置に対応するサムネイル画像の外枠を、編集内容に応じた色で表示する
ことを特徴とする画像表示方法。
【請求項１４】
ストーリーボード・ウィンドウに、各クリップを代表するサムネイル画像をストーリー順に並べて示す画像表示方法であって、
各クリップに対応する表示領域に、
各クリップを構成する複数時点のサムネイル画像を一組として表示する第１のインターフェース画面と、各クリップを代表する１つのサムネイル画像を表示する第２のインターフェース画面とを選択的に表示する
ことを特徴とする画像表示方法。
【請求項１５】
請求項１４に記載の画像表示方法であって、
前記第２のインターフェース画面は、前記第１のインターフェース画面への切替後に表示されるサムネイル画像の数を表す表示領域を有する
ことを特徴とする画像表示方法。
【請求項１６】
請求項１４に記載の画像表示方法であって、
前記第２のインターフェース画面は、前記第１のインターフェース画面への切替を指示する操作ボタン領域を有する
ことを特徴とする画像表示方法。
【請求項１７】
請求項１４に記載の画像表示方法であって、
前記第１のインターフェース画面は、前記第２のインターフェース画面への切替を指示する操作ボタン領域を有する
ことを特徴とする画像表示方法。
【請求項１８】
ストーリーボード・ウィンドウの各クリップを構成する複数時点のサムネイル画像を保持する記憶部と、
ストーリーボード・ウィンドウに、各クリップを構成する複数時点のサムネイル画像を一組の状態で表示する表示制御部と
を有することを特徴とする画像処理装置。
【請求項１９】
ストーリーボード・ウィンドウに表示される各クリップを構成する複数時点のサムネイル画像を保持する記憶部と、
各クリップに対応する表示領域に、各クリップを構成する複数時点のサムネイル画像を一組として表示する第１のインターフェース画面と、各クリップを代表する１つのサムネイル画像を表示する第２のインターフェース画面とを選択的に表示する表示制御部と
を有することを特徴とする画像処理装置。
【請求項２０】
コンピュータに、
操作指示に従い、ストーリーボード・ウィンドウをモニタ画面上に表示させる処理と、
ストーリーボード・ウィンドウに、各クリップを構成する複数時点のサムネイル画像を一組の状態で表示させる処理と
を実行させることを特徴とするプログラム。
【請求項２１】
コンピュータに、
操作指示に従い、ストーリーボード・ウィンドウをモニタ画面上に表示する処理と、
各クリップに対応する表示領域に、各クリップを構成する複数時点のサムネイル画像を一組として表示する第１のインターフェース画面と、各クリップを代表する１つのサムネイル画像を表示する第２のインターフェース画面とを選択的に表示する
を実行させることを特徴とするプログラム。
【請求項２２】
請求項２０又は２１に記載のプログラムを記録した
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
１つの発明は、編集装置で使用するユーザー・インターフェースの一つであるストーリーボード・ウィンドウの表示方法（画像表示方法）に関する。また１つの発明は、同表示方法を実現する画像処理装置に関する。
また１つの発明は、同表示方法を実行するプログラムに関する。また１つの発明は、同プログラムを格納する記録媒体に関する。
【背景技術】
【０００２】
図１に、ビデオ編集用のグラフィカル・ユーザー・インターフェース（以下「ＧＵＩ」という。）の画面例を示す。編集画面には、何種類かのウィンドウ画面が用意されている。例えば、モニタ・ウィンドウ１、ストーリーボード・ウィンドウ３、タイムライン・ウィンドウ５である。
モニタ・ウィンドウ１は、映像素材（クリップ）の取り込み、プレビュー、編集作業、編集結果の確認などに用いられる表示領域である。モニタ・ウィンドウ１は、ソース画面１Ａと、プログラム画面１Ｂとを有している。
ソース画面１Ａは、クリップの取り込みやプレビュー等に使用される。一方、プログラム画面１Ｂは、クリップやプログラム（例えば、複数のクリップを再生順に並べたもの）の編集作業、編集結果の確認等に用いられる。
なお、ユーザーの選択により、ソース画面とプログラム画面の一方だけを表示することもできる。
【０００３】
ストーリーボード・ウィンドウ３は、プログラムのストーリーを作成するのに用いられる表示領域である。この表示領域は、各クリップの代表フレーム３Ａ（通常、クリップのイン点フレーム）の表示に使用される。
ユーザーは、各クリップに対応するフレームの選択作業と配列順序の決定作業を通じて、プログラムのストーリーを創作することができる。なお、各クリップに対応する代表フレームは１つである。
タイムライン・ウィンドウ５は、プログラムの編集作業に用いられる表示領域である。また、タイムライン・ウィンドウ５は、各クリップに対するトランジション効果やトラック同士の合成をプログラム全体で確認するのに用いられる。
タイムライン・ウィンドウ５は、タイムライン５Ａと、ビデオトラック５Ｂと、オーディオトラック５Ｃとを有している。
タイムライン・ウィンドウ５は、時間の流れを画面の左から右として表現する。従って、各トラックに配列されたクリップは、左側から順番に再生される。
なお、タイムライン・ウィンドウ５にクリップを配置する方法には、モニタ・ウィンドウ１のクリップをドラッグ・アンド・ドロップ操作で個別に行う方法の他、ストーリーボード・ウィンドウ３から一括して行う方法がある。
【０００４】
タイムライン・ウィンドウ５には、選択された縮尺でタイムライン５Ａが表示されるため、各トラックには、縮尺に応じた長さで各クリップが表示される。すなわち、サイズの大きいクリップは相対的に長く、サイズの小さいクリップは相対的に短く表示される。
図２に、タイムライン・ウィンドウ５に用意される各トラックの表示形式の例を示す。
例えば、図２（Ａ）の表示形式が選択された場合、各クリップにはファイル名のみが表示される。
また例えば、図２（Ｂ）の表示形式が選択された場合、各クリップには代表フレーム（通常は、先頭フレーム）とファイル名が表示される。
また例えば、図２（Ｃ）の表示形式が選択された場合、各クリップにはイン点フレームと、アウト点フレームと、ファイル名とが表示される。
【特許文献１】特開平１１−１４６３３８号公報
【特許文献２】特開平１１−２８４９５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述のように、ストーリーボード・ウィンドウ３には、代表フレームだけが再生順に配列される。このため、ストーリーボード・ウィンドウ３は、ストーリーの概略を把握するのには、使い勝手の良いユーザー・インターフェースである。
ただし、ストーリーボード・ウィンドウ３に表示される代表フレームは、１つのクリップに対して１つに限られている。このため、１つのクリップ内に複数のシーンが含まれる場合には、代表フレームから把握したストーリーと、実際の再生内容との間にずれが生じる可能性がある。
なお、ビデオトラック５Ｂには、前述のように、１つのクリップに複数の代表フレームを表示できる表示形式が用意されている。しかし、その表示サイズは、タイムライン５Ａの縮尺やクリップ長に依存する。このため、縮尺が小さい場合やクリップ長が短い場合には、表示面積が非常に小さくなり、内容の確認が著しく困難になる問題がある。
【課題を解決するための手段】
【０００６】
発明者らは、以上の技術的課題に着目し、以下の技術手法を提案する。
すなわち、各クリップを代表するサムネイル画像をストーリー順に並べて示すストーリーボード・ウィンドウの表示方法として、各クリップに対応する表示領域に、当該クリップを構成する複数時点のサムネイル画像を一組の状態で表示する手法を提案する。
なお、各サムネイル画像は、クリップの長さとは無関係に、同じサイズで表示される。
【発明の効果】
【０００７】
発明に係る技術の採用により、プログラム全体のストーリーと同時に、各クリップ内のストーリーも一度に確認することができる。これにより、プログラム全体のストーリーをより正確に把握できる。
【発明を実施するための最良の形態】
【０００８】
以下、発明に係る技術手法を採用する画像処理装置の実施形態例を説明する。
なお、本明細書で特に図示又は記載していない部分には、当該技術分野の周知又は公知技術を適用する。
また以下に説明する実施形態は、発明の一つの実施形態であって、これらに限定されない。
【０００９】
（Ａ）ＧＵＩ画面例１
（１）ストーリーの確認が容易なストーリーボード画面例
以下、プログラム全体だけでなくクリップ内のストーリーも容易に確認できるストーリーボード・ウィンドウの画面例を説明する。
各実施例は、１つのクリップに対して複数のサムネイル画像を表示できる点で共通する。
【００１０】
（１−１）実施例１
図３に、ストーリーボード・ウィンドウ１１の表示例を示す。図３は、ストーリーボード・ウィンドウ１１に、各クリップに対応する表示領域１３を再生順に並べた表示例を示している。因みに、再生方向は、左から右である。
図３に示す３つの表示領域１３は、それぞれクリップＡ、クリップＢ、クリップＣに対応する。１つの表示領域１３は、タイトル欄（例えば、ファイル名）１３Ａと、サムネイル欄１３Ｂとで構成されている。
サムネイル欄１３Ｂは、各クリップに対応する複数時点のサムネイル画像を再生順に表示する領域である。因みに、再生方向は、上から下である。例えば、クリップＡに対応するサムネイル欄１３Ｂの場合、サムネイル画像Ａ１、Ａ２…ＡＮの順番に再生される。
サムネイル欄１３Ｂに表示する画像数は、クリップ毎に与えることができる。図３の場合、クリップＡに対応するサムネイル画像の数をＮ（Ｎは、２以上の自然数）、クリップＢに対応するサムネイル画像の数をＭ（Ｍは、２以上の自然数）、クリップＣに対応するサムネイル画像の数をＬ（Ｌは、２以上の自然数）とする。もっとも、全てのクリップの画像数は同じでも良い。すなわち、Ｎ＝Ｍ＝Ｌでも良い。例えば、画像数は、２又は３に統一しても良い。
【００１１】
各サムネイル画像は、対応するクリップのサイズにかかわらず同じ大きさで表示される。このため、全てのクリップのサムネイル画像を同一条件で確認することができる。すなわち、サイズの小さいクリップも、サイズの大きいクリップも、サムネイル画像の大きさは同じになる。
これは、ストーリーボード・ウィンドウ３がクリップの内容を把握するのに優れる理由の一つである。このストーリーボード・ウィンドウ３を用いれば、各クリップの内容だけでなく、プログラム全体のストーリーも容易に把握できる。
因みに、ビデオトラック５Ｂにサムネイル画像を表示する場合、サイズの小さいクリップのサムネイル画像は、極端に圧縮されて視認性が著しく低下することがある。
また、サムネイル画像の一つをポインタその他で指定すると、当該サムネイル画像の前後の一定期間をプレビュー再生する機能を搭載することが望ましい。再生画像は、プログラム画面１Ｂに表示する。この機能の搭載により、ユーザーは確認したい領域に即座にジャンプして内容を確認できる。
【００１２】
（１−２）実施例２
前述したように、各クリップに対応するサムネイル欄１３Ｂには、各クリップを構成する複数時点のサムネイル画像が一組の状態で表示される。この実施例では、ユーザーが任意に特定した複数時点のサムネイル画像が表示されるものとする。
図４に、この場合の表示例を示す。なお、図４は、サムネイル画像の登録数が２つの場合である。
ここで、図４（Ａ）は、クリップＡに対応するサムネイル欄１３Ｂの表示例を示している。一方、図４（Ｂ）は、サムネイル画像Ａ１、Ａ２が対応するクリップ内の位置（時点情報）ｔ１、ｔ２を示している。
例えば、図４（Ｂ）の位置は、編集時に記録されたインデックス・マークが付されたフレーム位置を示している。また例えば、図４（Ｂ）の位置は、収録時に記録されたインデックス・マークが付されたフレーム位置を示している。
【００１３】
かかるサムネイル画像は、クリップの内容や主題を適切に表現している。従って、ユーザーの特定した任意の時点のサムネイル画像を複数表示することにより、クリップの内容をより正確に把握することができる。さらには、プログラム全体のストーリー展開もより正確に予測することができる。
なお、サムネイル画像Ａ１及びＡ２の特定は、ポインティングデバイスその他のユーザー・インターフェースを用いて入力することが可能である。例えば、操作ボタン、キーボード、マウス、スライダーペンを用いて入力可能である。
また、２つのサムネイル画像のうち一方は、固定時点のサムネイル画像でも良い。例えば、図５に示すように、２つのうち一方を、イン点フレームに対応するサムネイル画像としても良い。また例えば、２つのうち一方を、アウト点フレームとすることもできる。
【００１４】
なお、図５（Ａ）は、クリップＡに対応するサムネイル欄１３Ｂの表示例を示している。一方、図５（Ｂ）は、サムネイル画像Ａ１、Ａ２が対応するクリップ内の位置（時点情報）を示している。
さらに、イン点フレームとアウト点フレームを組み合わせることもできる。図６は、サムネイル画像を３つ表示する場合の表示例である。ここで、図６（Ａ）は、クリップＡに対応するサムネイル欄１３Ｂの表示例を示している。一方、図６（Ｂ）は、サムネイル画像Ａ１、Ａ２、Ａ３が対応するクリップ内の位置（時点情報）を示している。
この例のように、ユーザーの選択した任意のサムネイル画像の他に、イン点フレームやアウト点フレームを表示すれば、他のクリップとの接続関係も容易に把握できる。
【００１５】
（１−３）実施例３
この実施例では、サムネイル画像として、シーンの変化点を自動的に抽出して表示する場合について説明する。
図７に、この場合の表示例を示す。なお、図７は、１つのクリップが、シーンの連続性がない３つのサブクリップで構成される場合について表している。画像の編集作業では、短いクリップを接続して１つのクリップとして扱うことが良くある。この場合、１つのサムネイル画像だけで、クリップの内容を正確に把握することは困難である。
ここで、図７（Ａ）は、クリップＡに対応するサムネイル欄１３Ｂの表示例を示している。
一方、図７（Ｂ）は、サムネイル画像Ａ１、Ａ２、Ａ３が対応するクリップ内の位置（時点情報）を示している。図７（Ｂ）に示すように、サムネイル画像Ａ１、Ａ２、Ａ３はそれぞれ、各サブクリップのイン点に対応するサムネイル画像である。
【００１６】
かかる表示方式を選択すれば、クリップ内のシーンチェンジを網羅的に抽出できる。因みに、１番目のサブクリップＡ１のイン点は、クリップ全体のイン点と一致する。従って、図７（Ａ）では、１番目のサムネイル画像をイン点のみで示し、２番目以降のサムネイル画像をシーンチェンジ点で示している。
なお、シーンチェンジの自動検出には、既存の技術を適用する。例えば、圧縮符号化されたデータであれば、フレームのデータサイズが指定した値以上に大きくなった場合、そのフレームでシーンが変換したものと判断する手法を適用できる。また例えば、全ピクセルの明るさが指定した値以上変動した場合、そのフレームでシーンが変換したものと判断する手法を適用できる。
また、検出された全てのシーンチェンジを表示すると、表示数が非常に多くなる可能性がある。この場合には、検出されたシーンチェンジの一部だけを表示するのが望ましい。例えば、複数個に１つの割合で表示されるように、検出されたシーンチェンジを間引いて表示しても良い。
【００１７】
（１−４）実施例４
この実施例では、サムネイル画像をクリップの先頭から等間隔に抽出して表示する場合について説明する。
図８に、この場合の表示例を示す。なお、図８は、１つのクリップから４つのサムネイル画像を抽出して表示する場合について表している。
ここで、図８（Ａ）は、クリップＡに対応するサムネイル欄１３Ｂの表示例を示している。一方、図８（Ｂ）は、サムネイル画像Ａ１、Ａ２、Ａ３、Ａ４が対応するクリップ内の位置（時点情報）を示している。
かかる表示方式を選択しても、クリップ内の内容を網羅的に抽出できる。結果として、クリップの内容をより正確に把握することができる。
なお、サムネイル画像の自動抽出時に使用する時間間隔ｔは、予め設定されているものとする。もっとも、時間間隔ｔは、ユーザーが自由に設定できることが望ましい。
また、この表示方式の選択時には、タイムライン・ウィンドウ５の編集動作に連動してサムネイル画像が自動更新されることが望ましい。
【００１８】
図９に、その表示例を示す。なお、クリップの再生方向は左から右方向として表している。図９（Ａ）は、タイムライン・ウィンドウ５における編集作業前の状態を表している。
ここで、図９（Ｂ）は、アウト点の位置を前方にシフトし、クリップ全体の長さを短縮した状態を表している。図９（Ｃ）は、イン点の位置を後方にシフトし、クリップ全体の長さを短縮した状態を表している。また、図９（Ｄ）は、イン点とアウト点の位置を共に前方にシフトし、全体としてクリップ全体の長さを短縮した場合を示す。
クリップのイン点フレームが変更されることで、クリップの先頭から等間隔に抽出されるフレームの位置も変動することが分かる。また、クリップの長さの変更により、抽出されるサムネイル画像の数も変動することが分かる。
このように、タイムライン・ウィンドウ５の編集結果がサムネイル欄１３Ｂの表示内容に反映されるようにすることで、各クリップ内の表示内容を正確に把握できる。
もっとも、この自動更新機能は、ユーザーの選択により、その実行又は停止が切り替えられることが望ましい。
【００１９】
（１−５）実施例５
この実施例では、固定時点のサムネイル画像を表示する場合について説明する。
図１０に、この場合の表示例を示す。なお、図１０は、イン点フレームとアウト点フレームの２つの固定時点を表示する場合について表している。
ここで、図１０（Ａ）は、クリップＡに対応するサムネイル欄１３Ｂの表示例である。一方、図１０（Ｂ）は、サムネイル画像Ａ１、Ａ２が対応するクリップ内の位置（時点情報）を示している。
この表示方式を選択する場合、プログラム全体のストーリーだけでなく、クリップ間の接続関係も同時に確認できる。
例えば、クリップＡのアウト点に対応するサムネイル画像と、クリップＢのイン点に対応するサムネイル画像との間で視線を移動させれば、クリップＡとＢの接続関係を確認することができる。なお、この表示を前述した他の表示形式と組み合わせても良い。
【００２０】
（１−６）実施例６
この実施例では、サムネイル欄１３Ｂに表示される２つのサムネイル画像間に、それぞれの時間差に応じた線幅の境界線を表示する場合について説明する。
図１１に、この場合の表示例を示す。この実施例では、ユーザーが任意に特定した３つのサムネイル画像が表示されている場合について説明する。
ここで、図１１（Ａ）は、クリップＡに対応するサムネイル欄１３Ｂの表示例である。
一方、図１１（Ｂ）は、サムネイル画像Ａ１、Ａ２、Ａ３が対応するクリップ内の位置（時点情報）を示している。
図１１（Ａ）には、サムネイル画像Ａ１とＡ２との間に、線幅Ｗ１の境界線１５Ａが表示されている。また、サムネイル画像Ａ２とＡ３の間に、線幅Ｗ２の境界線１５Ｂが表示されている。
線幅Ｗ１は、サムネイル画像Ａ１とＡ２の時間差Ｔ１に対応する。一方、線幅Ｗ２は、サムネイル画像Ａ２とＡ３の時間差Ｔ２に対応する。
ここで、線幅Ｗと時間差Ｔとの対応関係は、比例関係を基本とする。すなわち、時間差Ｔが大きいほど、線幅Ｗも大きくなることを基本とする。この比例関係は、サムネイル欄１３Ｂの表示からサムネイル画像間の時間差を推測する上でも望ましい。
【００２１】
ただし、単純に比例関係を適用したのでは、線幅が非常に広くなる可能性がある。これでは、線幅を表示するための領域が非常に広くなってしまう。
そこで、時間差Ｔを対数関数の変数として与え、線幅Ｗを対数変換値として定義しても良い。このようにすれば、時間差Ｔが小さい領域の分解能は大きく、時間差Ｔが大きい領域の分解能を小さくすることができる。
これとは反対に、時間差Ｔの大きい領域の分解能が必要な場合には、時間差Ｔを指数関数の変数として与え、線幅Ｗを指数変換値として定義しても良い。
勿論、時間差Ｔと線幅Ｗを対応付ける関数は、これらに限るものではない。
かかる表示形式の採用により、クリップ内のストーリーだけでなく、サムネイル画像間の時間差も同時に確認することができる。この表示形式は、前述した他の表示形式と組み合わせることができる。
この実施例のように、時間差Ｔに応じて線幅を調整することにより、サムネイル画像間の時間差も同時に確認することができる。
【００２２】
（１−７）実施例７
この実施例では、サムネイル欄１３Ｂに表示される２つのサムネイル画像間を、それぞれの時間差に応じた長さだけ離して配置する場合について説明する。すなわち、サムネイル欄１３Ｂに表示される２つのサムネイル画像間に、それぞれの時間差に応じた空白領域を設ける場合について説明する。
この実施例７は、実施例６から境界線を無くしたのと同じである。図１２に、この場合の表示例を示す。この実施例も、ユーザーが任意に特定した３つのサムネイル画像が表示されているものとして説明する。
図１２（Ａ）は、クリップＡに対応するサムネイル欄１３Ｂの表示例である。一方、図１２（Ｂ）は、サムネイル画像Ａ１、Ａ２、Ａ３が対応するクリップ内の位置（時点情報）を示している。
図１２（Ａ）には、サムネイル画像Ａ１とＡ２との間に、幅Ｗ１の空白領域１７Ａが設けられている。また、サムネイル画像Ａ２とＡ３の間に、幅Ｗ２の空白領域１７Ｂが設けられている。
幅Ｗ１は、サムネイル画像Ａ１とＡ２の時間差Ｔ１に対応する。一方、幅Ｗ２は、サムネイル画像Ａ２とＡ３の時間差Ｔ２に対応する。
この場合も、幅Ｗと時間差Ｔとの対応関係は、比例関係を基本とする。すなわち、時間差Ｔが大きいほど、幅Ｗも大きくなることを基本とする。この比例関係は、サムネイル欄１３Ｂの表示からサムネイル画像間の時間差を推測する上でも望ましい。
【００２３】
ただし、単純に比例関係を適用したのでは、空白領域が非常に広くなる可能性がある。これでは、空白流域の方が非常に広くなってしまう。
そこで、時間差Ｔを対数関数の変数として与え、空白領域の幅Ｗを対数変換値として定義しても良い。このようにすれば、時間差Ｔが小さい領域の分解能は大きく、時間差Ｔが大きい領域の分解能を小さくすることができる。
これとは反対に、時間差Ｔの大きい領域の分解能が必要な場合には、時間差Ｔを指数関数の変数として与え、空白領域の幅Ｗを指数変換値として定義しても良い。
勿論、時間差Ｔと空白領域の幅Ｗを対応付ける関数は、これらに限るものではない。
かかる表示形式の採用により、クリップ内のストーリーだけでなく、サムネイル画像間の時間差も同時に確認することができる。この表示形式は、前述した他の表示形式と組み合わせることができる。
この実施例のように、時間差Ｔに応じて空白領域の幅を調整することにより、サムネイル画像間の時間差も同時に確認することができる。
【００２４】
（１−８）実施例８
この実施例では、サムネイル欄１３Ｂに表示される２つのサムネイル画像間の境界線に、それぞれの時間差に対応する色を付す場合について説明する。
図１３に、この場合の表示例を示す。この実施例は、ユーザーが任意に特定した４つのサムネイル画像が表示されているものとして説明する。
図１３（Ａ）は、クリップＡに対応するサムネイル欄１３Ｂの表示例である。
一方、図１３（Ｂ）は、サムネイル画像Ａ１、Ａ２、Ａ３、Ａ４が対応するクリップ内の位置（時点情報）を示している。
図１３（Ａ）には、サムネイル画像Ａ１とＡ２との間に、赤色の境界線１９Ａが設けられている。また、サムネイル画像Ａ２とＡ３の間に、緑色の境界線１９Ｂが設けられている。また、サムネイル画像Ａ３とＡ４の間に、青色の境界線１９Ｃが設けられている。
赤色の境界線１９Ａは、サムネイル画像Ａ１とＡ２の時間差Ｔ１に対応する。これに対し、緑色の境界線１９Ｂは、サムネイル画像Ａ２とＡ３の時間差Ｔ２に対応する。また、青色の境界線１９Ｃは、サムネイル画像Ａ３とＡ４の時間差Ｔ３に対応する。
この実施例の場合、各時間差の関係はＴ１＞Ｔ２＞Ｔ３である。ここで、境界線の色と時間差Ｔとの対応関係は、事前の設定による。
この実施例では、時間差を複数の段階に分類し、各分類に特定の色を対応付けている。なお、時間差Ｔの実測値がどの分類に属するかは、各分類に対応する閾値との比較により決定すれば良い。
因みに、分類数や各分類に対応付ける色は、ユーザーにより、個別に設定できることが望ましい。ユーザーの使い勝手に合致することが、作業効率を図る上で効果的だからである。
この実施例のように、境界線の表示色によりサムネイル画像間の時間差Ｔを表現すれば、実施例６や７で用意した空間をサムネイル画像の表示に割り当てることができる。すなわち、空間の有効活用を実現できる。
また、クリップ間において、サムネイル画像の表示位置を揃えることができるため、視認性を高めることもできる。
【００２５】
（１−９）実施例９
この実施例では、サムネイル欄１３Ｂの表示形式を選択的に切り替えられる場合について説明する。すなわち、前述した各実施例の表示形式と、１つのクリップに対して１つのサムネイル画像のみを表示する表示形式とを選択的に切り替えられる場合について説明する。
図１４に、この場合の表示例を示す。図１４（Ａ）は、既存の表示形式に対応する。すなわち、各クリップに対して１つのサムネイル画像のみを表示する場合の表示例である。この例では、３つのクリップＡ、Ｂ、Ｃをそれぞれ代表するサムネイル画像が表示されている。通常、この種のサムネイル画像には、各クリップのイン点に対応するサムネイル画像が用いられる。
一方、図１４（Ｂ）は、１つのクリップに複数時点のサムネイル画像を表示する場合の表示例である。
なお、表示形式の切替指示は、画面上のアイコンその他のポインティングデバイスを用いて入力できるものとする。
この実施例のように、２種類の表示形式を切り替える機能が搭載されていれば、ユーザーは必要に応じて表示形式を切り替えることができる。
例えば、クリップの内容を確認したい場合には、各クリップの詳細情報を確認できる前述の実施例の表示形式を選択することができる。
また例えば、プログラム全体の概略的なストーリーを把握したい場合には、既存の表示形式を選択することができる。
これにより、ユーザーの使い勝手の向上と作業効率の向上を実現できる。
【００２６】
（１−１０）実施例１０
前述した実施例９では、表示形式を単純に切り替えるだけであったが、この実施例では、既存の表示形式の変形例を説明する。
図１５に、この場合の表示例を示す。図１５（Ａ）は、サムネイル欄１３Ｂにサムネイル画像を１つだけ表示する既存の表示形式に対応する。この例では、クリップＡを代表するサムネイル画像Ａ１だけが表示されている状態を表している。
ただし、図１５（Ａ）には、既存の表示形式には存在しない情報を表示する表示領域が設けられている。この表示領域は、クリップの詳細内容を表す表示形式を選択する場合に（すなわち、複数のサムネイル画像を表示する場合に）、サムネイル欄１３Ｂに表示されるサムネイル画像の数Ｎを表示するインデックス表示２１である。
図１５の場合、インデックス表示２１には、サムネイル画像の数として“３”が表示されている。因みに、図１５（Ｂ）は、表示形式を切り替えた後の表示例である。インデックス表示２１の値とサムネイル画像の数が一致している。
このように、図１５（Ａ）に示す表示手法を採用すれば、ユーザーは、ストーリーボード・ウィンドウ１３が２種類の表示形式に対応していることを理解することができる。すなわち、表示形式の切替が可能なことを理解できる。
加えて、ユーザーは、表示形式の切替により確認可能なサムネイル画像の数を予め知ることができる。この予測性は、ユーザーの作業効率を向上させる上で効果的である。
なお、この実施例では、インデックス表示２１に表示する数Ｎとして、切替後に表示されるサムネイル画像の総数を表示している。すなわち、図１５（Ａ）で表示されているサムネイル画像Ａ１を含めた数を表している。
しかし、インデックス表示２１に表示する数Ｎは、表示形式の切替によって新たに表示されることになるサムネイル画像の数だけを表示しても良い。すなわち、サムネイル画像Ａ２及びＡ３を意味する“２”を表示しても良い。
この表示形式を用いる場合には、表示形式の切替によって得られるサムネイル画像の数を予測できる。ユーザーは、この数を参照することにより、表示形式を切替えるか否かを判断できる。
なお、クリップの詳細内容を表す表示形式への切替は、例えば後述する他のアイコンを用いても良い。また、このインデックス表示２１へのポインタの位置合わせにより、画面の切り替えを実行しても良い。
【００２７】
（１−１１）実施例１１
この実施例でも、既存の表示形式の変形例を説明する。図１６に、この場合の表示例を示す。図１６（Ａ）は、サムネイル欄３Ａにサムネイル画像を１つだけ表示する既存の表示形式に対応する。この例では、クリップＡを代表するサムネイル画像Ａ１だけが表示されている。
ただし、図１６（Ａ）には、既存の表示形式には存在しない操作ボタン２３が設けられている。この操作ボタン２３は、クリップの詳細内容を表す表示形式への切替を指示するアイコンである。
図１６の場合、操作ボタン２３には、プルダウンマークが表示される。この実施例の場合、ユーザーは、ポインタその他で操作ボタン２３を指定することにより、図１６（Ｂ）の表示形式に切り替えることができる。因みに、図１６（Ｂ）には、３つのサムネイル画像Ａ１、Ａ２、Ａ３が表示されている。
このように、図１６（Ａ）に示す表示手法を採用すれば、ユーザーは、ストーリーボード・ウィンドウ１１が２種類の表示形式に対応していることを理解することができる。すなわち、表示形式の切替が可能なことを理解できる。
また、操作ボタン２３は、展開対象とするサムネイル欄３Ａに隣り合うように配置されている。従って、ユーザーは、視線を大きく移動することなく、操作を効率的に継続できる。すなわち、作業を効率的に進めることができる。
なお、図１６に示す操作ボタン２３の表示位置及びボタンの表示形態は一例であって、これに限定されるものでない。
【００２８】
（１−１２）実施例１２
この実施例では、実施例１０と１１とを組み合わせ表示例を説明する。
図１７に、この場合の表示例を示す。図１７（Ａ）は、サムネイル欄３Ａにサムネイル画像を１つだけ表示する既存の表示形式に対応する。
この例の場合、サムネイル欄３Ａには、インデックス表示２１と操作ボタン２３が表示される。
インデックス表示２１は、前述の実施例１０で説明した、クリップの詳細内容を表す表示形式を選択する場合に、サムネイル欄１３Ｂに表示されるサムネイル画像の数Ｎを表示する領域である。
一方、操作ボタン２３は、前述の実施例１１で説明した、クリップの詳細内容を表す表示形式への切替を指示するアイコンである。
この実施例の場合、表示形式の切替後に表示されるサムネイル画像の数の確認と、表示形式の切替操作とを視線を移動せずに実行できる。
【００２９】
（１−１３）実施例１３
前述した実施例１０〜１２においては、既存の表示形式に適用する変形例について説明したが、この実施例では、クリップの詳細内容を表す表示形式に適用する変形例を説明する。
図１８に、この場合の表示例を示す。図１８（Ａ）は、クリップの詳細内容を表す表示形式の表示例である。この実施例では、クリップＡを構成する３つのサムネイル画像Ａ１、Ａ２、Ａ３が表示されている。
ただし、図１８（Ａ）には、前述した他の表示形式には存在しない操作ボタン２５が設けられている。この操作ボタン２５は、クリップに対応する３つのサムネイル画像が表示される状態から、１つのサムネイル画像のみが表示される状態に表示形式の切替を指示するアイコンである。
図１８の場合、操作ボタン２５には、プルアップマークが表示される。この実施例の場合、ユーザーは、ポインタその他で操作ボタン２５を指定することにより、図１８（Ｂ）の表示形式に切り替えることができる。因みに、図１８（Ｂ）には、サムネイル画像Ａ１だけが表示されている。
このように、図１８（Ａ）に示す表示手法を採用すれば、ユーザーは、ストーリーボード・ウィンドウ１３が２種類の表示形式に対応していることを理解することができる。すなわち、表示形式の切替が可能なことを理解できる。
また、操作ボタン２５は、折りたたみ対象とするサムネイル欄１３Ｂに隣り合うように配置されている。従って、ユーザーは、視線を大きく移動することなく、操作を効率的に継続できる。すなわち、作業を効率的に進めることができる。
なお、図１８に示す操作ボタン２５の表示位置及びボタンの表示形態は一例であって、これに限定されるものでない。
【００３０】
（１−１４）実施例１４
この実施例では、クリップＡとクリップＢを結合して新たなクリップＡ’を作成する場合の表示例を説明する。
図１９に、この場合の表示例を示す。なお、図１９では、サムネイル画像間に、各時間差に応じた線幅の境界線を表示する方式を採用する。
クリップＡの表示例を図１９（Ａ）に示す。ここでは、３つのサムネイル画像Ａ１、Ａ２、Ａ３が表示されているものとする。一方、クリップＢの表示例を図１９（Ｂ）に示す。ここでは、２つのサムネイル画像Ｂ１、Ｂ２が表示されているものとする。
この場合において、クリップＡの後にクリップＢを結合した場合の表示例が図１９（Ｃ）である。
図１９（Ｃ）は、新たなクリップＡ’においても、結合前の表示形態をそのまま保存する表示手法に対応する。表示形態が結合の前後で一致するため、クリップの結合のイメージに合致する。また、クリップＡ’を再びクリップＡとクリップＢに分割する場合にも、分割の前後で表示形態が一致するため、クリップの分解のイメージに合致する。
ただし、図１９（Ｃ）の表示方法は、結合後に表示されるクリップ数が非常に多くなる場合がある。
この場合には、実施例１２の表示手法を採用し、図１９（Ｄ）に示す表示手法を採用すれば良い。因みに、この表示例は、サムネイル画像の数とプルダウンマークが表示されている。
この他、クリップＡ’の表示手法には、図１９（Ｅ）や図１９（Ｆ）に示すものがある。
図１９（Ｅ）は、クリップＡ’を構成する５つのサムネイル画像のうち最初と最後のサムネイル画像を表示する表示例に対応する。なお、サムネイル画像Ａ１とサムネイル画像Ｂ２との間には、その時間差に応じた線幅の境界線を表示する。
図１９（Ｆ）は、クリップＡ’を構成する２つサブクリップＡとＢについて、最初と最後のサムネイル画像をそれぞれ表示する表示例に対応する。この表示例の場合、サムネイル画像Ａ１、Ａ３、Ｂ１、Ｂ２が表示される。また、サムネイル画像間には、その時間差に応じた線幅の境界線が表示される。
これら表示手法の採用により、ストーリーボード・ウィンドウ１１を用いた効率的な編集作業が実現される。
なお、クリップＡ’の表示例は、図１９に示すものに限らない。また、クリップＡ’を任意の境界位置で２つに分割する場合、クリップＡ’の表示形態を分割後のサブクリップに保存させることも可能である。
【００３１】
（１−１５）実施例１５
ストーリーボード・ウィンドウ１１の他の表示手法を説明する。
図２０に、この場合の表示例を示す。図２０は、クリップ間の再生方向を矢印２７で示す例である。矢印２７は、各クリップに対応する表示の間に配置する。この表示方法を採用すれば、いかなるユーザーに対しても分かり易い表示形態を提供できる。すなわち、クリップの配置と再生方向との関係を容易に知らせることができる。
【００３２】
（１−１６）実施例１６
ストーリーボード・ウィンドウ１１の更に別の表示手法を説明する。
図２１に、この場合の表示例を示す。図２１は、プログラムを構成するクリップ数が多い場合に好適である。
図２１に示す表示方法は、サムネイル欄１３Ｂに示されるサムネイル画像の表示サイズを縮小表示する場合の例である。
図２１の表示サイズは、図３の表示サイズに比して小さくなっている。プログラムを構成するクリップ数が多い場合には、フレームサイズを縮小表示することで、全てのクリップに関するイン点フレームとアウト点フレームを一度に確認できる。
なお、表示サイズは、２種類だけでなく、３種類以上の中から選択できることが好ましい。選択枝が多いほど、クリップ数に応じた最適な表示サイズを選択できる。
【００３３】
（１−１７）実施例１７
ストーリーボード・ウィンドウ１１の更に別の表示手法を説明する。
図２２に、この場合の表示例を示す。図２２も、プログラムを構成するクリップ数が多い場合に好適な表示例である。
図２２に示す表示例は、クリップを一定数毎に区切り、一行に配置しきれないクリップを次段に表示する例である。
因みに、図２２は、クリップを２段に表示する場合について表している。勿論、３段以上に分割して表示しても良い。
図２２の場合、段間の再生方向は上段から下段である。この例の場合、１段目の左端から右方向に再生が行われ、１段目の再生が終了すると、２段目の左端から右方向に再生が行われる。
図２２の表示例は、かかる再生順序に対応する。かかる表示例を採用することにより、全てのクリップに関するイン点フレームとアウト点フレームを一度に確認することができる。
【００３４】
（１−１８）実施例１８
ストーリーボード・ウィンドウ１１の更に別の表示手法を説明する。
図２３に、この場合の表示例を示す。図２３も、プログラムを構成するクリップ数が多い場合に好適な表示例である。
図２３に示す表示例は、スクロールバー２９を用いる表示方式を採用する。すなわち、ストーリーボード・ウィンドウ１１に表示可能な数のクリップのみを画面上に表示し、残るクリップはスクロールバー２９の操作によって画面上に表示可能とする。なお、この表示例の場合、スクロール領域３１は画面下端に配置する。
図２４に、表示例の概念図を示す。図２４は、プログラムを構成するクリップ数が６個であるのに対し、ストーリーボード・ウィンドウ１１に表示可能なクリップ数が３個の場合について表している。
図２４は、先頭から３番目のクリップから５番目までのクリップがストーリーボード・ウィンドウ１１に表示され、他の３つのクリップは表示されていない状態を表している。
【００３５】
なお、先頭から１番目と２番目のクリップをストーリーボード・ウィンドウ１１内に表示させたい場合、ユーザーは、スクロールバー２９を左方向にドラッグすれば良い。反対に、先頭から６番目のクリップをストーリーボード・ウィンドウ１１内に表示させたい場合、ユーザーは、スクロールバー２９を右方向にドラッグすれば良い。
因みに、ユーザーは、スクロール領域３１に占めるスクロールバー２９の相対位置から、ストーリーボード・ウィンドウ１１に表示されたクリップがプログラム内のどの位置に対応するかを確認することもできる。
かかる表示方法を採用すれば、サムネイル画像の縮小率が高くなり、その識別性が低下するのを回避できる。また、スクロールバー２９を同時に表示することで、ストーリー全体から見た位置関係の確認も容易に行うことが可能となる。
【００３６】
（１−１９）実施例１９
この他、前述した各表示例において、選択中又は再生中のクリップを他のクリップと識別可能な形態で表示させても良い。
例えば、選択中又は再生中のクリップを太枠で囲んで表示したり、外枠や下地をハイライト表示したり、外枠や下地の表示色を変更しても良い。勿論、前述した表示例に基づいて当業者が創作可能な他の表示例も考えられる。
【００３７】
（Ｂ）ＧＵＩ画面例２
（１）ストーリーの編集が可能なストーリーボード画面例
以下、１つのクリップに対して複数のサムネイル画像を表示できるストーリーボード・ウィンドウ上で編集作業を実行する際に表示される編集画面例を説明する。
現在、ストーリーボード・ウィンドウ３の用途は、基本的にストーリーの構築用に限られている。従って、ストーリーの構築後は、あまり用いられていない。これは、ストーリーの構築後、ユーザーの作業が、タイムライン・ウィンドウ５を用いた編集作業に移行するためである。
しかし、ストーリー展開の把握には、ストーリーボード・ウィンドウ３は優れたユーザー・インターフェースである。従って、クリップの編集作業にも、ストーリーボード・ウィンドウ３を使用することができれば、ユーザーの使い勝手が一段と向上すると考えられる。
【００３８】
そこで、発明者は、１つのクリップに対して複数のサムネイル画像を表示できるストーリーボード・ウィンドウ３上での編集作業を実現するための画面例を提案する。
例えば、以下の処理を有する技術を提案する。
（ａ）各クリップに対応する表示領域に、イン点のサムネイル画像とアウト点のサムネイル画像を対の状態で表示する処理
（ｂ）編集位置に対応するサムネイル画像の表示領域を、他の表示領域と区別可能に表示する処理
【００３９】
また例えば、以下の処理を有する技術を提案する。
（ａ）各クリップに対応する表示領域に、イン点のサムネイル画像とアウト点のサムネイル画像を対の状態で表示する処理
（ｂ）編集位置に対応するサムネイル画像の表示領域を、編集内容に応じた表示形式で表示する処理
なお、“編集”には、１つ又は複数のクリップを対象とする編集処理が含まれる。また、“編集”には、必ずしもクリップ全体に施される必要はなく、クリップの一部のみを対象とするものでも良い。例えば、イン点付近だけを対象とするものやアウト点付近だけを対象とするものでも良い。
かかる処理技術の採用により、プログラム全体のストーリーと同時に、各クリップの編集位置（例えば、イン点とアウト点）の内容を同時に確認することができる。
また、編集位置や編集内容をストーリー全体の中で容易に確認することが可能になる。
この結果、編集作業の効率化を実現できる。
【００４０】
（１−１）編集画面例１
ここでは、編集作業画面の一例として、クリップの並び替え編集時の画面例を示す。なお、クリップの並び替えは、既存のストーリーボード・ウィンドウでも可能である。
図２５に、ストーリーボード・ウィンドウ１１上に表示中のクリップを並び替える場合の表示例を示す。図２５は、クリップＢをクリップＣの後に移動する場合に対応する。この場合、ユーザーは、図２５（Ａ）に示すように、ポインタを用いて選択したクリップＢを、クリップＣの後にドラッグ＆ドロップする。
図２５（Ｂ）は、クリップＢを移動した後の表示例を示す。すなわち、プログラムのストーリーは、「クリップＡ→クリップＢ→クリップＣ」から「クリップＡ→クリップＣ→クリップＢ」に変更されている。勿論、各クリップの移動は、イン点フレーム１３Ｂとアウト点フレーム１３Ｃを対の状態で表示させたまま行われる。
【００４１】
図２６に、ストーリーボード・ウィンドウ１１に新たなクリップを挿入する場合の表示例を示す。この表示例は、クリップＡとクリップＢの間に、クリップＣをインサートする場合に対応する。この場合、ユーザーは、図２６（Ａ）に示すように、ポインタを用いて選択したクリップＣを、クリップＡとクリップＢの中間位置にドラッグ＆ドロップする。
図２６（Ｂ）は、クリップＣを挿入した後の表示例を示す。すなわち、プログラムのストーリーは、「クリップＡ→クリップＢ」から「クリップＡ→クリップＣ→クリップＢ」に変更されている。勿論、各クリップの挿入は、イン点フレーム１３Ｂとアウト点フレーム１３Ｃを対の状態で表示させたまま行われる。
なお、削除編集やコピー編集も、ストーリーボード・ウィンドウ１１上で行うことができる。
【００４２】
（１−２）編集画面例２
ここでは、編集作業の一例として、トリミング編集を説明する。
以下、トリミング編集で使用する４種類の代表的な操作例について説明する。このうち２つは、非トリミングモードからトリミングモードに移行する場合の操作例である。他の２つは、トリミングモード中にトリミング対象を変更する場合の操作例である。
なお、いずれの操作例も、ストーリーボード・ウィンドウ１１には、各クリップに対応してイン点のサムネイル画像１３Ｂ１とアウト点のサムネイル画像１３Ｂ２とが表示されるものとして説明する。従って、トリミング対象は、イン点とアウト点の一方又はその両方の場合がある。
【００４３】
（ａ）操作例１
まず、非トリミングモードからトリミングモードに移行する場合の操作例を説明する。ここでは、クリップＣのイン点をトリミング対象に指定する場合について説明する。なお、初期画面ではクリップＡが選択されているものとする。
（ａ１）初期画面
図２７に、クリップＣを選択する前の初期画面例を示す。図２７は、ストーリーボード・ウィンドウ１１とタイムライン・ウィンドウ４１の表示例である。ただし、タイムライン・ウィンドウ４１の表示を簡略的に表している。すなわち、タイムライン４１Ａとビデオトラック４１Ｂだけを表している。
このとき、ストーリーボード・ウィンドウ１１では、クリップＡの選択状態が、表示領域１３の外枠５１の表示形式を変更して示している。この実施例では、外枠５１の外縁に選択枠５１Ａを表示することにより示している。なお、選択枠５１Ａの表示色には黄色を使用する。
なお、ビデオトラック４１Ｂでは、クリップの選択状態と編集位置が、プレイライン４３の表示位置を通じて示される。図２７では、プレイライン４３がクリップＡのイン点近くに表示される。なお、プレイライン４３の表示色には赤色を使用する。
これらの表示を通じ、ユーザーは、クリップＡが選択状態にあることを容易に確認できる。
【００４４】
（ａ２）クリップの選択画面
図２８に、クリップＣを選択した後の画面例を示す。クリップＣを選択する方法には、何種類かの方法がある。
例えば、モニタ画面上のポインタ５３をクリップＣに対応する表示領域１３上に移動し、その移動操作を確定する方法がある。
ここで、ポインタ５３の移動には、操作ボタン、キーボード、マウスその他のポインティングデバイスを用いる。移動操作の確定は、例えば操作ボタンの押下操作やマウスのクリック操作を通じて行う。
この際、ポインタ５３は、クリップＣに対応する表示領域１３上のどこかに位置していれば良い。すなわち、ポインタ５３は、イン点に対応するサムネイル画像１３Ｂ１上に位置している必要はなく、アウト点に対応するサムネイル画像１３Ｂ２上に位置していても良い。
もっとも、ビデオトラック４１Ｂ上に表示されるプレイライン４３の表示位置は、ポインタ５３の指定位置に連動する。
例えば、ポインタ５３でイン点に対応するサムネイル画像１３Ｂ１を指定すれば、プレイライン４３はクリップＣのイン点に移動する。一方、ポインタ５３でアウト点に対応するサムネイル画像１３Ｂ２を指定すれば、プレイライン４３はクリップＣのアウト点に移動する。
このように、プレイライン４３の移動は、ストーリーボード・ウィンドウ１１上でのクリップの選択に連動して自動的に実行される。
【００４５】
また例えば、ストーリーボード・ウィンドウ１１用のジャンプボタン（モニタ画面上のボタン又は操作パネル上のボタン）の操作により、選択位置を移動する方法がある。
このジャンプボタンを“FS/BS ボタン”という。“FSボタン”は、時間軸上の後方へのジャンプに対応し、“BSボタン”は、時間軸上の前方へのジャンプに対応する。この例の場合、“FSボタン”の操作により、選択位置がクリップＡからクリップＢ、クリップＣへと順番に移動する。
ジャンプには、イン点間のジャンプ、アウト点間のジャンプ、イン点からアウト点／アウト点からイン点への交互ジャンプの３種類がある。
“FS/BS ボタン”の操作にどのジャンプを適用するかは、事前の設定による。
なお、選択枠５１Ａの移動に連動して、ビデオトラック４１Ｂ上のプレイライン４３も該当位置に移動する。
【００４６】
また例えば、タイムライン・ウィンドウ４１用のジャンプボタン（モニタ画面上のボタン又は操作パネル上のボタン）の操作により、選択位置を移動することができる。
このジャンプボタンを“Next/Previous
ボタン”という。“Nextボタン”は、時間軸上の後方へのジャンプに対応し、“Previousボタン”は、時間軸上の前方へのジャンプに対応する。
この例の場合、“Nextボタン”の操作により、選択位置がクリップＡからクリップＢ、クリップＣへと順番に移動する。
ジャンプには、イン点間のジャンプ、アウト点間のジャンプ、イン点からアウト点／アウト点からイン点への交互ジャンプ、エフェクトの開始位置間のジャンプ、エフェクトの終了位置間のジャンプ、エフェクトの開始位置から終了位置へのジャンプ／エフェクトの終了位置から開始位置への交互ジャンプの６種類がある。“Next/Previous ボタン”の操作にどのジャンプを適用するかは、事前の設定による。
なお、タイムライン・ウィンドウ４１上でのプレイライン４３の移動に連動して、ストーリーボード・ウィンドウ１１上の選択枠５１Ａも移動する。
この選択枠５１Ａの移動も、画像処理装置の信号処理を通じて自動的に実行される。
【００４７】
また例えば、タイムライン・ウィンドウ４１のプレイライン４３の操作により、選択位置を移動できる。この場合、プレイライン４３は、クリップＣの上の任意の位置に移動できる。
ここで、プレイライン４３の移動には、マウス、ボタン（モニタ画面上のボタン又は操作パネル上のボタン）その他のポインティングデバイスを用いる。また、選択の確定は、マウスのクリック操作で行う。
この例の場合、タイムライン・ウィンドウ４１上でのプレイライン４３の移動に連動して、ストーリーボード・ウィンドウ１１上の選択枠５１Ａも移動する。
【００４８】
（ａ３）トリミング位置の特定画面
図２９に、トリミングモードに移行した後の画面例を示す。トリミングモードへの移動は、トリミングボタンの操作により行う。
この場合、トリミング対象は、トリミングボタンが操作される直前のポインタ５３の位置、又は、プレイライン４３の位置に応じて確定する。
因みに、図２９に示すように、プレイライン４３の位置がクリップＣの前半領域４５Ａのどこかに位置する場合（例えば、点線で示すように位置する場合）、イン点がトリミング対象に確定する。
このとき、ストーリーボード・ウィンドウ１１には、トリミング対象に対応するサムネイル画像１３Ｂ１の外枠５５が強調表示される。
この実施例の場合、外枠５５の外周に選択枠５５Ａが表示される。なお、選択枠５５Ａの表示色には赤色を使用する。
一方、タイムライン・ウィンドウ４１には、トリミング対象を示すトリムマーク４７が表示される。なお、イン点がトリミング対象であるため、図２９のトリムマーク４７は、クリップＣのイン点位置に表示されている。
【００４９】
（ｂ）操作例２
次に、非トリミングモードからトリミングモードに移行する場合の他の操作例を説明する。ここでは、クリップＣのアウト点をトリミング対象に指定する場合について説明する。
（ｂ１）初期画面
初期画面は操作例１と同じである。すなわち、図２７の画面例と同じである。
（ｂ２）クリップの選択画面
図３０に、クリップＣを選択した後の画面例を示す。クリップＣの選択方法は、基本的に操作例１と同じである。すなわち、主に、ストーリーボード・ウィンドウ１１上で選択する方法と、タイムライン・ウィンドウ４１上で選択する方法の２種類である。
ここでは、図３０の画面例に特徴的な部分を説明する。図３０の場合、ストーリーボード・ウィンドウ１１上のポインタ５３は、アウト点に対応するサムネイル画像１３Ｂ２を指定する状態を表している。このため、タイムライン・ウィンドウ４１上のプレイライン４３は、クリップＣのアウト点に表示されている。
勿論、ストーリーボード・ウィンドウ１１用のジャンプボタンの操作により、クリップＣのアウト点にジャンプした場合にも同様の表示が現れる。また、タイムライン・ウィンドウ４１用のジャンプボタンの操作により、クリップＣのアウト点にジャンプした場合にも同様の表示が現れる。勿論、タイムライン・ウィンドウ４１でプレイライン４３を直接操作して、クリップＣのアウト点にプレイライン４３を位置決めした場合にも同様の表示が現れる。
【００５０】
（ｂ３）トリミング位置の特定画面
図３１に、トリミングモードに移行した後の画面例を示す。この場合も、トリミングモードへの移動は、トリミングボタンの操作によって行われる。
また、トリミング対象は、トリミングボタンが操作される直前のポインタ５３の位置、又は、プレイライン４３の位置に応じて確定する。
例えば、図３１に示すように、プレイライン４３の位置がクリップＣの後半領域４５Ｂのどこかに位置する場合（例えば、点線で示すように位置する場合）、アウト点がトリミング対象に確定する。
このとき、ストーリーボード・ウィンドウ１１には、トリミング対象に対応するサムネイル画像の外枠５５が強調表示される。この実施例の場合も、外枠５５の外周に赤色の選択枠５５Ａが表示される。
一方、タイムライン・ウィンドウ４１には、トリミング対象を示すトリムマーク４７が表示される。なお、アウト点がトリミング対象であるため、図３１のトリムマーク４７は、クリップＣのアウト点位置に表示されている。
【００５１】
（ｃ）操作例３
次に、トリミングモード中にトリミング対象を変更する場合の操作例を説明する。ここでは、トリミング対象をクリップＡのイン点からクリップＤのイン点に変更する場合について説明する。
（ｃ１）初期画面
図３２に、クリップＡのイン点がトリミング対象に指定されている場合の画面例を示す。図３２は、ストーリーボード・ウィンドウ１１とタイムライン・ウィンドウ４１の表示例である。
このとき、ストーリーボード・ウィンドウ１１では、クリップＡの選択状態が選択枠５５Ａにより表されると同時に、そのイン点の選択状態が選択枠５５Ａで表されている。
ここで、選択枠５５Ａは、クリップＡに対応する表示領域１３の外枠５１の外縁に表示される黄色の枠である。一方、選択枠５５Ａは、イン点に対応するサムネイル画像１３Ｂ１の外枠５５の外周に表示される赤色の枠である。
一方、タイムライン・ウィンドウ４１には、クリップＡのイン点にプレインライン４３とトリムマーク４７が表示される。
【００５２】
（ｃ２）トリミング位置の移動画面
図３３に、トリミング位置が移動した後の画面例を示す。トリミング対象の位置を移動する方法には、何種類かの方法がある。
例えば、モニタ画面上のポインタ５３で選択枠５５Ａを直接移動する方法がある。この場合、ポインタ５３をクリップＤのイン点に対応するサムネイル画像１３Ｂ１上に移動し、選択を確定することで選択枠５５Ａが移動される。
ポインタ５３の移動には、操作ボタン、キーボード、マウスその他のポインティングデバイスを用いる。選択の確定は、例えばマウスのクリック操作によって行う。
なお、ストーリーボード・ウィンドウ１１上の選択枠５５Ａの移動に連動して、プレイライン４３及びトリムマーク４７も移動する。
【００５３】
また例えば、ストーリーボード・ウィンドウ１１用のジャンプボタンの操作により、選択枠５５Ａを移動する方法がある。すなわち、“FSボタン”又は“BSボタン”による移動である。この実施例では、初期位置をクリップＡとするので、“FSボタン”の操作によって選択位置を移動する。
勿論、ストーリーボード・ウィンドウ１１上の選択枠５５Ａの移動に連動して、プレイライン４３及びトリムマーク４７も移動する。
この他、タイムライン・ウィンドウ４１用のジャンプボタンの操作により、選択枠５５Ａを間接的に移動する方法もある。すなわち、“Nextボタン”又は“Previousボタン”による移動である。この実施例では、初期位置をクリップＡとするので、“Nextボタン”の操作によって選択位置を移動する。
この場合、プレイライン４３及びトリムマーク４７の移動に連動して、ストーリーボード・ウィンドウ１１上の選択枠５５Ａが移動する。
【００５４】
（ｄ）操作例４
次に、トリミングモード中にトリミング対象を変更する場合の他の操作例を説明する。ここでは、トリミング対象をクリップＡのイン点からクリップＤのアウト点に変更する場合について説明する。
（ｄ１）初期画面
初期画面は操作例３と同じである。すなわち、図３２の画面例と同じである。
【００５５】
（ｄ２）トリミング位置の移動画面
図３４に、トリミング位置が移動した後の画面例を示す。トリミング対象の位置を移動する方法は、基本的に操作例３と同じである。すなわち、ストーリーボード・ウィンドウ１１上において、ポインタ５３で直接指定する方法と、ストーリーボード・ウィンドウ１１用のジャンプボタンを使用する方法と、タイムライン・ウィンドウ４１用のジャンプボタンを使用する方法の３種類である。
なお、イン点からアウト点への選択枠５５Ａの移動であるため、ジャンプボタンの設定を、イン点からアウト点／アウト点からイン点へのジャンプに変更する。
【００５６】
（ｅ）トリミング対象が選択された後の操作
前述した４つの操作例によってトリミング対象が確定した後は、マウス、ジョグダイヤル、カーソルキーその他を用いたトリムミング操作が実行される。すなわち、イン点又はアウト点の変更が行われる。
なお、トリミングボタンを再び操作すると、イン点又はアウト点の変更が確定し、トリミングモードを抜け出る。
因みに、イン点及びアウト点の一方又は両方が変更された場合、ストーリーボード・ウィンドウ１１上に表示されるサムネイル画像の内容も更新後の内容に変更される。
【００５７】
（ｆ）効果
以上のように、イン点とアウト点のそれぞれに対応するサムネイル画像が表示されるストーリーボード・ウィンドウ１１を、トリミング対象の選択及び確認に使用することにより、ユーザーの操作性を向上することができる。
例えば、サムネイル画像の選択を通じてトリミング対象を直接指定できるため、トリミング対象を容易に指定できる。
また、タイムライン・ウィンドウ４１上でトリミング対象を指定する場合でも、トリミング対象の位置と内容を、クリップサイズに関わらず容易に確認できる。
また、ストーリーボード・ウィンドウ１１では、トリミング対象を含むストーリー全体を同時に確認できる。このため、特定のクリップと全体のストーリーとの関係を意識したトリミング作業を効率的に実行できる。
このように、ストーリーボード・ウィンドウ１１を編集作業にも使用可能とすることにより、タイムライン・ウィンドウ４１をだけを用いて編集作業を進行する場合に比べ、より直感的な指定操作と対象位置の確認とを実現することができる。
【００５８】
（３）他の編集画面例
前述した画面例は、イン点又はアウト点を編集対象又は編集対象に含む他の編集作業でも使用できる。例えば、エフェクトやトランジションエフェクトを設定する場合において、編集位置を指定するのにも使用できる。
図３５に、クリップＢとクリップＣとの間にトランジションエフェクトを設定する場合の画面例を示す。この場合も、ストーリーボード・ウィンドウ１１上で編集位置を指定する方法と、タイムライン・ウィンドウ４１上で編集位置を指定する方法とがある。
図３５では、トランジションエフェクトの対象として、クリップＢのアウト点とクリップＣのイン点を指定した場合の画面例を表している。もっとも、クリップＢのアウト点のみ又はクリップＣのイン点を指定することも可能である。この場合の画面例は、前述したトリミング編集時の画面例と同じになる。
因みに、トランジションエフェクトには、ワイプ、フェード、ミックス、ページターン、スライド、スプリット、ディゾルブその他がある。また言うまでもなく、トランザクションエフェクト以外のモザイク処理、カラーコレクション、ピクチャインピクチャなどにも適用できる。
また、トランジションエフェクトを用いた編集には、シングルトラック編集だけでなく、Ａ／Ｂトラック編集も含まれる。
【００５９】
また、前述した画面例は、編集位置の確認、編集内容の確認（編集状態の確認を含む。）にも使用できる。ここでの“確認”には、編集モード中の確認だけでなく、編集モードとは無関係に編集内容を確認する場合も含まれる。
図３６と図３７に、確認用の画面例を示す。
図３６は、クリップＢのイン点にフェードインが設定されている場合の画面例である。図３６の場合、編集枠５５Ｂが、イン点に対応するサムネイル画像１３Ｂ１の外枠５５の外周に表示されている。編集枠５５Ｂの表示色には、例えば緑色を使用する。
なお、アウト点にフェードアウトを設定する場合も同様の画面例となる。この場合は、アウト点に対応するサムネイル画像１３Ｂ２の外枠５５の外周に編集枠５５Ｂが表示される。
因みに、フェードインとフェードアウトでは、編集枠の表示色に異なる色を用いることが好ましい。表示色の違いにより、編集内容の違いや種類を確認することが可能になる。
図３７は、編集中と編集確定後で表示形式を変更する場合の表示例である。図３７の場合、クリップＣのアウト点が編集位置である。図３７（Ａ）は、編集作業中の表示に対応する。例えば、編集枠５５Ｂの表示に青色の点滅表示を使用する。図３７（Ｂ）は、編集位置の確定後又は編集処理の確定後の表示に対応する。例えば、編集枠５５Ｂの表示に、青色の点灯表示を使用する。
このように、イン点とアウト点に対応するサムネイル画像の表示と、編集位置や内容に応じた編集枠５５Ｂの表示とを組み合わせることにより、ストーリーボード・ウィンドウ１１を用いた編集対象と編集内容の確認を実現できる。
【００６０】
この他、以下のような編集作業もストーリーボード・ウィンドウ上で実現できる。
例えば、各クリップに対応する表示領域１３に、イン点と、アウト点と、１つ以上の代表画像のサムネイル画像が表示されている場合にも、ストーリーボード・ウィンドウを編集作業に使用することができる。ここでの代表画像には、例えばシーンチェンジ点その他を適用する。
例えば、イン点からある代表画像までのシーンをカットアウトしたい場合、代表画像の一つにカーソルを合わせた後、“Cut-Previous ボタン”を操作すれば良い。この場合、代表画像を新たなイン点とするクリップが得られる。
また、ある代表画像からアウト点までのシーンをカットアウトしたい場合、代表画像の一つにカーソルを合わせた後、“Cut-Next ボタン”を操作すれば良い。この場合、代表画像の直前を新たなアウト点とするクリップが得られる。
勿論この場合も、ストーリーボード・ウィンドウ上でのクリップの選択に連動して、タイムライン・ウィンドウのプレイラインも移動する。また、タイムライン・ウィンドウのプレイラインの移動に連動して、ストーリーボード・ウィンドウの選択枠（強調表示）が移動される。
【００６１】
（Ｃ）編集装置の構成例
（Ｃ−１）ハードウェア構成
以下、図３８に、前述した表示機能をプログラムで実現する場合の編集装置の構成例について説明する。なお、図３９に、前述した表示機能を専用の処理ボード（表示制御回路）で実現する場合の編集装置の構成例を示す。
なお、編集装置は、例えば番組制作システム、映画制作システムその他の業務用システムでけでなく、家庭内ユーザ用のシステムも含む。
図３８に示す編集装置６１は、ビデオ編集機能をアプリケーション・ソフトウェアで実現する場合に用いられる。このため、編集装置６１は、コンピュータを基本構成とする。従って、編集装置６１のハードウェア構成は、周知のコンピュータ構成である。
すなわち、編集装置６１は、中央処理装置６３、ＲＯＭ（Read Only Memory）６５、ＲＡＭ（Random Access Memory）６７、ハードディスク駆動装置６９、外部インターフェース７１で構成される。
なお、編集装置６１は、モニタ７３、操作パネル７５、ビデオテープ駆動装置７７、ビデオサーバ７９その他の周辺装置と共に編集システムを構築する。
【００６２】
中央処理装置６３は、ＲＡＭ６７を作業領域に用いて各種のプログラムを実行し、各種の機能を実現するキーデバイスである。
ＲＯＭ６５は、周辺機器との入出力を制御する基本プログラムを記憶する記憶デバイスである。
ＲＡＭ６７は、オペレーションシステムとアプリケーションプログラム（例えば、前述したストーリーボード・ウィンドウの表示機能を有する編集プログラム）の実行領域に使用される記憶デバイスである。
ハードディスク駆動装置６９は、オペレーションシステムやアプリケーションプログラムを記憶する記憶デバイスである。ハードディスク駆動装置６９は、主記憶装置としてのＲＯＭ６５及びＲＡＭ６７に対して、副記憶装置と呼ばれる。一般に、発明に係るプログラムもこのハードディスク駆動装置６９に記憶される。また、ビデオ編集に用いられる素材データの記憶にも用いられる。
外部インターフェース７１は、編集装置６１を周辺装置と接続する装置である。なお、外部インターフェース７１には、接続対象とする周辺装置に応じたものを使用する。
例えば、シリアルデータインターフェース又はパラレルデータインターフェースが使用される。また例えば、ＬＡＮ（Local
Area Network）インターフェースが使用される。また例えば、無線通信用のインターフェースも使用される。
【００６３】
次に、編集システムを構成する周辺装置の例として、モニタ７３、操作パネル７５、ビデオテープ駆動装置７７、ビデオサーバ７９について説明する。
モニタ７３は、ボタンやメニューなどのグラフィックスを使って設計されたユーザー・インターフェース画面を表示する出力装置である。なお、モニタ７３は、編集装置６１の筐体と一体でも良いし、外付けでも良い。
操作パネル７５は、ユーザーがコンピュータに対する指示や情報を入力するために用いる入力装置である。入力装置には、この他に、例えば操作ボタン、キーボード、マウス、スライダーペンなどの入力デバイスが用いられる。
ビデオテープ駆動装置７７は、編集素材であるビデオ映像の再生や記録に用いられる装置である。本例では、編集素材がビデオテープに記録される場合を想定するが、編集素材が光ディスクや半導体メモリに記録される場合には、記録媒体に応じた駆動装置を使用する。
ビデオサーバ７９は、編集済のプログラムを格納するための大容量記憶デバイスである。一般には、ハードディスク駆動装置が用いられる。なお、プログラムの蓄積を主目的とする場合には、大容量の磁気テープ駆動装置や光ディスク駆動装置を用いることもできる。いずれも、用途やニーズに応じた記憶デバイスを用いれば良い。
【００６４】
他方、図３９に示す編集装置８１は、ビデオ編集機能を専用の処理ボード（表示制御回路）８３で実現する場合に用いられる。表示制御回路８３には、ビデオ編集用のハードウェアが内蔵されている。
例えば、ビデオ編集専用の集積回路や半導体メモリが搭載されている。かかる装置構成は、高画質（すなわち、データ量の多い）ビデオ画像を大量かつ短時間で処理する必要がある場合に好適である。
ここでは、図３８との対応部分に同一符号を付して示した他のデバイスについては説明を省略する。
なお、図３８及び図３９には明示していないが、必要に応じてビデオデータの符号化装置（エンコーダ）及び復号化装置（デコーダ）を搭載するのが望ましい。
【００６５】
（Ｃ−２）機能構成
次に、編集装置の機能構成例を説明する。
（ａ）ＧＵＩ画面例１
図４０に、１つのクリップに対して複数のサムネイル画像を表示できるストーリーボード・ウィンドウを表示する際の編集装置の機能構成を示す。この機能構成は、ＣＰＵ６３でのプログラム処理、又は、表示制御回路８３（図３９）での信号処理を通じて実現される。
この編集装置９１は、時点情報取得部９１Ａ、サムネイル画像生成部９１Ｂ、サムネイル画像記憶部１３Ｃ、レイアウト生成部９１Ｄ、レイアウト変更部９１Ｅを主要な構成要素として有する。
【００６６】
時点情報取得部９１Ａは、各クリップについてサムネイル画像の生成位置（時点情報）を取得する処理機能に当たる。サムネイル画像の生成位置は、ストーリーボード・ウィンドウ１１内における各クリップの表示態様に応じて様々である（図４〜図１３）。ストーリーボード・ウィンドウ１１内の表示態様を選択できる場合、時点情報取得部９１Ａは、編集作業者の選択した表示態様に応じた時点情報をクリップ毎に取得する。
サムネイル画像生成部９１Ｂは、取得された時点情報に基づいて各クリップのサムネイル画像を生成する処理機能である。サムネイル画像生成部９１Ｂは、ＲＡＭ６７やハードディスク駆動装置６９から対応時点の画像データを読み出し、表示サイズに応じたサムネイル画像（低解像度画像）を生成する。
【００６７】
サムネイル画像記憶部９１Ｃは、ストーリーボード・ウィンドウの各クリップを構成する複数時点のサムネイル画像を保持する記憶デバイスである。例えば、ＲＡＭ６７、ハードディスク駆動装置６９が対応する。サムネイル画像生成部９１Ｂで生成されたサムネイル画像が表示用に保持される。もっとも、サムネイル画像が各クリップの付属データ（メタデータ）として予め用意されている場合、ストーリーボード・ウィンドウの各クリップを構成する複数時点のサムネイル画像は、各クリップに対応する素材データの格納領域から読み出されて保持される。
【００６８】
レイアウト決定部９１Ｄは、ストーリーボード・ウィンドウ１１の表示レイアウトを決定する処理機能である。例えば、各クリップを構成する複数時点のサムネイル画像を一組の状態で配置する表示レイアウトが決定される。モニタ７３には、この表示レイアウトに従ってストーリーボード・ウィンドウ１１が表示される。
レイアウト変更部９１Ｅは、表示レイアウトの変更処理を実行する処理機能である。例えば、レイアウト変更部９１Ｅは、各クリップを複数時点のサムネイル画像で構成する第１のインターフェース画面と、各クリップを代表する１つのサムネイル画像で構成する第２のインターフェース画面との切替を実行する。また例えば、レイアウト変更部９１Ｅは、各クリップを構成するサムネイル画像の数の切替、時点情報の変更、１段表示と２段表示の切替、サムネイル画像のサイズ変更、表示位置のスクロールその他に応じたレイアウトの変更反りを実行する。
【００６９】
図４１に、この機能構成を有する編集装置によるストーリーボード・ウィンドウ１１の表示手順例を示す。なお、図４１は、各クリップを構成するサムネイル画像を表示の度に生成する処理手順を採用する場合の例である。従って、事前に用意されたサムネイル画像を利用する場合には、サムネイル画像の生成処理がサムネイル画像の読み出し処理に置き換わる。
まず、時点情報取得部９１Ａがストーリーボード・ウィンドウ１１に表示する各クリップについて、サムネイル画像として表示する時点情報を取得する（Ｐ１）。この時点情報は、サムネイル画像生成部９１Ｂに与えられる。
サムネイル画像生成部９１Ｂは、与えられた時点情報に基づいて各クリップを構成するサムネイル画像を生成する（Ｐ２）。生成されたサムネイル画像は、サムネイル画像記憶部９１Ｃに保持される。
【００７０】
ストーリーボード・ウィンドウ１１に表示するサムネイル画像が得られると、レイアウト決定部９１Ｄは、表示レイアウトを決定する（Ｐ３）。決定した表示レイアウトに対応するストーリーボード・ウィンドウ１１の画像イメージは、ＲＡＭ（ビデオＲＡＭ）６７に展開される。このストーリーボード・ウィンドウ１１の画像イメージが、モニタ７３の画面上に他の編集用ウィンドウと共に表示される（Ｐ４）。例えば、図１に示す編集画面の形態で表示される。
この後、レイアウト変更部９１Ｅは、表示レイアウトの変更が編集作業者より指示されているか否かを判定する（Ｐ５）。
【００７１】
編集作業者より表示レイアウトの変更が指示されていた場合（肯定結果が得られた場合）、レイアウト変更部９１Ｅは、各クリップを構成するサムネイル画像の時点情報の変更を伴うものか否かを判定する（Ｐ６）。
なお、表示レイアウトの変更は、操作パネル７５を通じた操作入力や画面上での操作入力を通じて検出される。
時点情報の変更を伴わない場合（否定結果が得られた場合）、レイアウト変更部９１Ｅは、レイアウト決定部９１Ｄに表示レイアウトの変更を指示する。一方、時点情報の変更を伴う場合（肯定結果が得られた場合）、レイアウト変更部９１Ｅは、時点情報取得部９１Ａに時点情報の変更を指示する。
【００７２】
なお、編集作業者より表示レイアウトの変更が指示されていなかった場合（否定結果が得られた場合）、レイアウト変更部９１Ｅは、ストーリーボード・ウィンドウ１１の表示の終了が指示されているか否かを判定する（Ｐ７）。そして、表示の終了が指示されていない限り、レイアウト変更部９１Ｅは、編集作業者より表示レイアウトの変更が指示されていないか否かを繰り返し判定する。
以上の処理手順を繰り返すことにより、ストーリーボード・ウィンドウ１１の表示内容の更新が継続される。
【００７３】
（ｂ）ＧＵＩ画面例２
図４２に、１つのクリップに対して複数のサムネイル画像を表示できるストーリーボード・ウィンドウ上で編集作業を実行する際の編集装置の機能構成を示す。この機能構成も、ＣＰＵ６３でのプログラム処理、又は、表示制御回路８３（図３９）での信号処理を通じて実現される。
この編集装置１０１は、時点情報取得部１０１Ａ、サムネイル画像生成部１０１Ｂ、サムネイル画像記憶部１０３Ｃ、レイアウト生成部１０１Ｄ、編集位置明示部１０１Ｅを主要な構成要素として有する。なお、サムネイル画像の表示レイアウトの変更を伴う場合には、図４０に示す機能構成の処理が必要である。図４２は、編集位置の明示に関する機能を中心に表している。
【００７４】
なお、時点情報取得部１０１Ａ、サムネイル画像生成部１０１Ｂ、サムネイル画像記憶部１０１Ｃ、レイアウト生成部１０１Ｄは、図４０に示す時点情報取得部９１Ａ、サムネイル画像生成部９１Ｂ、サムネイル画像記憶部９１Ｃ、レイアウト生成部９１Ｄと同じであるので説明を省略する。
編集位置明示部１０１Ｅは、編集位置に対応するクリップやサムネイル画像が他の領域と区別可能なように表示形式を変更する処理機能に当たる。例えば、クリップやサムネイル画像の外枠の太さや表示色を変更する。
【００７５】
図４３に、この機能構成を有する編集装置によるストーリーボード・ウィンドウ１１の表示手順例を示す。この場合も、各クリップを構成するサムネイル画像を表示の度に生成する処理手順を採用する手法を採用する。従って、事前に用意されたサムネイル画像を利用する場合には、サムネイル画像の生成処理がサムネイル画像の読み出し処理に置き換わる。また、図４３は、編集作業中に、各クリップを構成するサムネイル画像の変更は伴わないものとして表している。サムネイル画像の変更を伴う場合には、図４１に示す処理手順を実行する。
【００７６】
まず、時点情報取得部１０１Ａがストーリーボード・ウィンドウ１１に表示する各クリップについて、サムネイル画像として表示する時点情報を取得する（Ｐ１１）。この時点情報は、サムネイル画像生成部１０１Ｂに与えられる。
サムネイル画像生成部１０１Ｂは、与えられた時点情報に基づいて各クリップを構成するサムネイル画像を生成する（Ｐ１２）。生成されたサムネイル画像は、サムネイル画像記憶部１０１Ｃに保持される。
【００７７】
ストーリーボード・ウィンドウ１１に表示するサムネイル画像が得られると、レイアウト決定部１０１Ｄは、表示レイアウトを決定する（Ｐ１３）。決定した表示レイアウトに対応するストーリーボード・ウィンドウ１１の画像イメージは、ＲＡＭ（ビデオＲＡＭ）６７に展開される。このストーリーボード・ウィンドウ１１の画像イメージが、モニタ７３の画面上に他の編集用ウィンドウと共に表示される（Ｐ１４）。例えば、図１に示す編集画面の形態で表示される。
この後、編集位置明示部１０１Ｅは、ストーリーボード・ウィンドウ１１上での編集操作が選択されているか判定する（Ｐ１５）。
【００７８】
編集作業者より編集操作が選択されていない場合（否定結果が得られた場合）、編集位置明示部１０１Ｅは、この判定処理を繰り返す。
編集作業者より編集操作が選択された場合（肯定結果が得られた場合）、編集位置明示部１０１Ｅは、編集位置の情報を取得し、編集対象であるクリップやサムネイル画像の外枠を他の領域と区別可能な表示形式に変更する（Ｐ１６）。例えば図２７〜図３７に示すようにストーリーボード・ウィンドウ１１上に編集位置を明示する。
この際、編集位置明示部１０１Ｅは、ストーリーボード・ウィンドウ１１上の編集位置をタイムライン・ウィンドウ４１と連動して表示する。
【００７９】
（Ｄ）他の実施形態
（ａ）前述の実施形態では、ストーリーボード・ウィンドウ１１上に各クリップを構成する複数時点のサムネイル画像を表示する場合について説明した。
なお、特定のサムネイル画像が指定された状態でプレビューその他の特定の操作が実行された場合には、その表示領域（ストーリーボード・ウィンドウ１１上で指定された特定のサムネイル画像の表示領域）に、サムネイル画像の前方一定期間、後方一定期間又は前後一定期間に及ぶ動画像を再生表示しても良い。
この表示手法を採用すれば、視線を移動させなくても、ストーリーボード・ウィンドウ１１上だけで内容の確認と編集作業とを実行できる。
【００８０】
（ｂ）前述の実施形態では、編集装置の構成例について説明したが、編集装置としての機能の提供が可能な画像処理装置であればその商品形態は問わない。
かかる画像処理装置には、例えばコンピュータ、ビデオカメラ、デジタルカメラ、ゲーム機器、携帯情報端末（携帯型のコンピュータ、携帯電話機、携帯型ゲーム機、ストレージ装置（例えば、光ディスク装置、ホームサーバー）、発明に係る機能を搭載した処理ボードや処理カードが含まれる。
なおいずれの画像処理装置の場合にも、筐体と、信号処理部と、外部インターフェースとを共通構成とし、商品形態に応じた周辺装置が組み合わされて構成される。
例えば、ビデオカメラやデジタルカメラであれば、前述の構成に加え、カメラユニットや撮像された映像データを記憶媒体に保存するための書き込み回路を有する。
また例えば、携帯電話機その他の通信機能を有する電子機器であれば、前述の構成に加え、送受信回路やアンテナを有する。
（ｃ）前述の実施形態には、発明の趣旨の範囲内で様々な変形例が考えられる。また、本明細書の記載に基づいて創作される各種の変形例及び応用例も考えられる。
【図面の簡単な説明】
【００８１】
【図１】ビデオ編集用のＧＵＩ画面例を示す図である。
【図２】タイムライン・ウィンドウにおけるクリップの表示手法を示す図である。
【図３】ストーリーボード・ウィンドウの表示例を示す図である。
【図４】任意に特定した２つの時点のサムネイル画像を表示する場合の表示例を示す図である。
【図５】イン点フレームのサムネイル画像と任意に特定した１つの時点のサムネイル画像との組み合わせ表示例を示す図である。
【図６】イン点フレーム及びアウト点フレームのサムネイル画像と任意に特定した１つの時点のサムネイル画像との組み合わせ表示例を示す図である。
【図７】イン点フレームのサムネイル画像とシーンチェンジ部分のサムネイル画像との組み合わせ表示例を示す図である。
【図８】クリップの先頭から等間隔に抽出されたサムネイル画像の組み合わせ表示例を示す図である。
【図９】タイムライン・ウィンドウの編集操作がストーリーボード・ウィンドウに与える影響を説明する図である。
【図１０】イン点フレームのサムネイル画像とアウト点フレームのサムネイル画像との組み合わせ表示例を示す図である。
【図１１】サムネイル画像間の時間差を境界線の線幅として表示する場合の表示例を示す図である。
【図１２】サムネイル画像間の時間差を空白領域の幅として表示する場合の表示例を示す図である。
【図１３】サムネイル画像間の時間差を境界線の色として表示する場合の表示例を示す図である。
【図１４】表示形式の切替表示を説明する図である。
【図１５】クリップ内容の詳細表示を選択する場合時に表示されるサムネイル画像の数を表すインデックス表示の表示例を示す図である。
【図１６】サムネイル画像が１つだけ表示されている場合に表示形式の切替に使用する操作ボタンの表示例を示す図である。
【図１７】インデックス表示と表示形式の切替え指示に対応付けられた操作ボタンの組み合わせ表示例を示す図である。
【図１８】複数個のサムネイル画像が表示されている場合に表示形式の切替に使用する操作ボタンの表示例を示す図である。
【図１９】２つのクリップを結合して新たなクリップを生成した場合の表示例を示す図である。
【図２０】再生方向を表す矢印表示を組み合わせた表示例を示す図である。
【図２１】クリップを縮小表示する場合の表示例を示す図である。
【図２２】クリップを多段表示する場合の表示例を示す図である。
【図２３】スクロールバーを用いる表示例を示す図である。
【図２４】画面上に表示されるクリップと画面上に表示されないクリップとの関係を示す図である。
【図２５】クリップの並び替え時の表示例を示す図である。
【図２６】クリップの挿入時の表示例を示す図である。
【図２７】編集操作の初期画面例を示す図である。
【図２８】対象クリップの選択画面例を示す図である。
【図２９】トリミングモードに移行した後の画面例を示す図である。
【図３０】対象クリップの選択画面例を示す図である。
【図３１】トリミングモードに移行した後の画面例を示す図である。
【図３２】トリミングモードでの初期画面例を示す図である。
【図３３】トリミング対象を移動させた後の画面例を示す図である。
【図３４】トリミング対象を移動させた後の画面例を示す図である。
【図３５】トランジションエフェクト設定時の画面例を示す図である。
【図３６】フェードイン設定時の画面例を示す図である。
【図３７】編集の確定前後で表示形式を切り替える場合の画面例を示す図である。
【図３８】編集装置の実施例を示す図である。
【図３９】表示制御装置を搭載する編集装置の実施例を示す図である。
【図４０】編集装置の機能構成例を示す図である。
【図４１】機能構成上の処理手順例を示す図である。
【図４２】編集装置の機能構成例を示す図である。
【図４３】機能構成上の処理手順例を示す図である。
【符号の説明】
【００８２】
１              モニタ・ウィンドウ
３、１１        ストーリーボード・ウィンドウ
５              タイムライン・ウィンドウ
１３            表示領域
１３Ｂ          サムネイル欄
１３Ｂ１      サムネイル画像（イン点）
１３Ｂ２      サムネイル画像（アウト点）
１５Ａ、１５Ｂ  境界線
１７Ａ、１７Ｂ  空白領域
１９Ａ〜１９Ｃ  境界線
２１            インデックス表示
２３、２５      操作ボタン
２７            矢印
２９            スクロールバー
３１            スクロール領域
５１Ａ        選択枠（クリップ）
５５Ａ        選択枠（サムネイル画像）
５５Ｂ        編集枠（サムネイル画像）
６１、８１      編集装置
８３            表示制御回路
【図１】
2005354664.tif 000003
【図２】
2005354664.tif 000004
【図３】
2005354664.tif 000005
【図４】
2005354664.tif 000006
【図５】
2005354664.tif 000007
【図６】
2005354664.tif 000008
【図７】
2005354664.tif 000009
【図８】
2005354664.tif 000010
【図９】
2005354664.tif 000011
【図１０】
2005354664.tif 000012
【図１１】
2005354664.tif 000013
【図１２】
2005354664.tif 000014
【図１３】
2005354664.tif 000015
【図１４】
2005354664.tif 000016
【図１５】
2005354664.tif 000017
【図１６】
2005354664.tif 000018
【図１７】
2005354664.tif 000019
【図１８】
2005354664.tif 000020
【図１９】
2005354664.tif 000021
【図２０】
2005354664.tif 000022
【図２１】
2005354664.tif 000023
【図２２】
2005354664.tif 000024
【図２３】
2005354664.tif 000025
【図２４】
2005354664.tif 000026
【図２５】
2005354664.tif 000027
【図２６】
2005354664.tif 000028
【図２７】
2005354664.tif 000029
【図２８】
2005354664.tif 000030
【図２９】
2005354664.tif 000031
【図３０】
2005354664.tif 000032
【図３１】
2005354664.tif 000033
【図３２】
2005354664.tif 000034
【図３３】
2005354664.tif 000035
【図３４】
2005354664.tif 000036
【図３５】
2005354664.tif 000037
【図３６】
2005354664.tif 000038
【図３７】
2005354664.tif 000039
【図３８】
2005354664.tif 000040
【図３９】
2005354664.tif 000041
【図４０】
2005354664.tif 000042
【図４１】
2005354664.tif 000043
【図４２】
2005354664.tif 000044
【図４３】
2005354664.tif 000045