(57)【要約】【目的】しきい値以上の視差のある被写体像部分を検出する。【構成】立体動画を構成する１フレームの立体画像に視差が所定のしきい値以上である近距離被写体像または遠距離被写体像が含まれているかどうかが判断される（ステップ71〜73）。所定のしきい値以上の視差をもつ近距離被写体像または遠距離被写体像が含まれている立体画像については，その立体画像のフレームを識別するフレーム番号がメモリ・カードに記録される（ステップ74，75）。動画再生時には，そのフレーム番号のフレームについては必要に応じて視差調整が行われる。【選択図】図11
2011223540.tif 000002
【特許請求の範囲】
【請求項１】
観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレームの立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームを検出するフレーム検出手段，および
上記フレーム検出手段によって検出されたフレームを識別するフレーム識別データを記録媒体に記録するフレーム識別データ記録制御手段，
を備えた立体動画処理装置。
【請求項２】
上記フレーム検出手段は，
観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレームの立体画像において，第１のしきい値以上の視差を有し，かつ視差が無い被写体像部分によって表される被写体よりも近距離に存在する被写体を表す近距離被写体像部分が含まれている近距離被写体像含有フレームおよび第２のしきい値以上の視差を有し，かつ視差が無い被写体像部分によって表される被写体よりも遠距離に存在する被写体を表す遠距離被写体像部分が含まれている遠距離被写体像含有フレームの少なくとも一方を検出するものであり，
上記フレーム識別データ記録制御手段は，
上記フレーム検出手段によって検出された近距離被写体像含有フレームを識別するフレーム識別データおよび遠距離被写体像含有フレームを識別するフレーム識別データの少なくとも一方を記録媒体に記録するものである，
請求項１に記載の立体動画処理装置。
【請求項３】
上記第１のしきい値および上記第２のしきい値は，立体動画を表示する表示装置の表示画面の大きさごとに定められており，
上記フレーム検出手段は，
表示画面の大きさごとに表示画面の大きさに対応するしきい値以上の視差を有する被写体像部分が含まれているフレームを検出するものであり，
上記フレーム識別データ記録制御手段は，
上記フレーム検出手段によって表示画面の大きさごとに検出されたフレームを識別するフレーム識別データを記録媒体に記録するものである，
請求項１または２に記載の立体動画処理装置。
【請求項４】
上記第１のしきい値および上記第２のしきい値は，立体動画を表示する表示装置の少なくとも所定の表示画面の大きさに対して定められており，
上記フレーム検出手段は，
上記所定の表示画面の大きさに対応するしきい値以上の視差を有する被写体像部分が含まれているフレームを検出するものであり，
上記フレーム識別データ記録制御手段は，
上記フレーム検出手段によって検出されたフレームを識別するフレーム識別データを所定の表示画面の大きさに対するフレーム識別データとして記録媒体に記録し，かつ上記フレーム識別データによって特定される立体動画のフレーム範囲を上記所定の表示画面の大きさ以外の他の表示画面の大きさにおけるフレーム範囲に変換するための変換情報であって，上記他の表示画面の大きさごとの変換情報を記録するものである，
請求項１から３のうち，いずれか一項に記載の立体動画処理装置。
【請求項５】
上記変換情報は，上記所定の表示画面の大きさと上記他の表示画面の大きさとの比率に対応する係数であって，上記所定の表示画面の大きさに対するフレーム範囲に上記係数を乗じることにより，上記他の表示画面の大きさにおけるフレーム範囲に変換するものである，請求項４に記載の立体動画処理装置。
【請求項６】
上記フレーム検出手段によって検出されたフレームの立体画像に対応する画像であって，所定のしきい値以上の視差を有する被写体像部分が，他の部分と区別された視差許容範囲領域区別画像を生成する画像生成手段をさらに備え，
上記識別データ記録制御手段は，
上記画像生成手段によって生成された画像を，上記フレーム検出手段によって検出されたフレームの立体画像に対応づけて上記記録媒体に記録するものである，
請求項１から５のうち，いずれか一項に記載の立体動画処理装置。
【請求項７】
上記フレーム検出手段によって検出されたフレームの立体画像のうち所定のしきい値以上の視差を有する被写体像部分の領域を示すデータを，上記フレーム検出手段によって検出されたフレームの立体画像に対応づけて上記記録媒体に記録するものである，
請求項１から５のうち，いずれか一項に記載の立体動画処理装置。
【請求項８】
立体動画を表示する表示装置と通信し，その表示画面の大きさを表すデータを受信する受信手段をさらに備え，
上記所定のしきい値は，上記受信手段において受信したデータによって表される表示画面の大きさにもとづいて定められるものである，
請求項３または４に記載の立体動画処理装置。
【請求項９】
上記立体画像の視差が無くなるクロス・ポイントを表すクロス・ポイント情報を上記記録媒体に記録するクロス・ポイント情報記録制御手段，
をさらに備えた請求項１から８のうち，いずれか一項に記載の立体動画処理装置。
【請求項１０】
上記立体動画のシーンが変わる上記立体画像のフレームを表すシーン・チェンジ情報を上記記録媒体に記録するシーン・チェンジ情報記録制御手段，
をさらに備えた請求項１から９のうち，いずれか一項に記載の立体動画処理装置。
【請求項１１】
観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレームの立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームを検出するフレーム検出手段，
ユーザが指定した表示サイズの表示画面で上記立体動画を再生した場合に，上記フレーム検出手段によって検出されたフレームの立体画像を構成する左目用画像と右目用画像とに含まれる上記所定のしきい値以上の視差を有する被写体像部分が所定のしきい値未満の視差となるように，上記左目用画像および上記右目用画像の少なくとも一方に含まれる被写体像部分を移動する第１の移動手段，
移動させられた被写体像部分を含む上記左目用画像および上記右目用画像からなる立体画像が多数フレーム集まって構成される立体動画を表す立体動画データならびに上記第１の移動手段によって移動した被写体像部分の移動前または後の位置，移動距離および移動方向をそれぞれ表す視差変換済情報を記録媒体に記録する記録制御手段，ならびに
上記ユーザが指定した表示サイズと異なる表示サイズで上記記録媒体に記録されている立体動画データによって表される立体動画が再生された場合に，上記視差変換済情報にもとづいて，その異なる表示サイズでの再生時において視差が所定のしきい値未満となるように上記被写体像部分を移動する第２の移動手段，
を備えた立体動画処理装置。
【請求項１２】
フレーム検出手段が，観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレームの立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームを検出し，
フレーム識別データ記録制御手段が，上記フレーム検出手段によって検出されたフレームを識別するフレーム識別データを記録媒体に記録する，
立体動画処理装置の動作制御方法。
【請求項１３】
フレーム検出手段が，観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレームの立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームを検出し，
第１の移動手段が，ユーザが指定した表示サイズの表示画面で上記立体動画を再生した場合に，上記フレーム検出手段によって検出されたフレームの立体画像を構成する左目用画像と右目用画像とに含まれる上記所定のしきい値以上の視差を有する被写体像部分が所定のしきい値未満の視差となるように，上記左目用画像および上記右目用画像の少なくとも一方に含まれる被写体像部分を移動し，
記録制御手段が，移動させられた被写体像部分を含む上記左目用画像および上記右目用画像からなる立体画像が多数フレーム集まって構成される立体動画を表す立体動画データならびに上記第１の移動手段によって移動した被写体像部分の移動前または後の位置，移動距離および移動方向をそれぞれ表す視差変換済情報を記録媒体に記録し，
第２の移動手段が，上記ユーザが指定した表示サイズと異なる表示サイズで上記記録媒体に記録されている立体動画データによって表される立体動画が再生された場合に，上記視差変換済情報にもとづいて，その異なる表示サイズでの再生時において視差が所定のしきい値未満となるように上記被写体像部分を移動する，
立体動画処理装置の動作制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，立体動画処理装置およびその動作制御方法に関する。
【背景技術】
【０００２】
立体動画を観賞する場合，左目で見る左目用動画と右目で見る右目用動画との視差が大きいと立体的に見えない，あるいは見づらいことがある。また，無理に立体的に見ようとすると目することがある。このために，観察者の視線情報などを確認して視差を調整するもの（特許文献１，２），画像を歪ませるもの（特許文献３）などがある。
【０００３】
しかしながら，比較的簡単に視差を調整できるようにすることは考えられていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2006-340017号公報
【特許文献２】特開2006-140822号公報
【特許文献３】特開2005-91508号公報
【発明の概要】
【０００５】
この発明は，比較的簡単に視差を調整できるようにすることを目的とする。
【０００６】
第１の発明による立体画像処理装置は，観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレームの立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームを検出するフレーム検出手段，および上記フレーム検出手段によって検出されたフレームを識別するフレーム識別データを記録媒体に記録するフレーム識別データ記録制御手段を備えていることを特徴とする。
【０００７】
第１の発明は，上記立体動画処理装置に適した動作制御方法も提供している。すなわち，この方法は，フレーム検出手段が，観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレーム（１フレームは１コマのことであり，一般的に使用されるフレームでもよいし，フィールドでもよい）の立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームを検出し，フレーム識別データ記録制御手段が，上記フレーム検出手段によって検出されたフレームを識別するフレーム識別データを記録媒体に記録するものである。
【０００８】
第１の発明によると，立体動画を構成する各フレームの立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームが検出される。すると，検出されたフレームを識別するフレーム識別データが記録媒体に記録される。所定のしきい値以上の視差を有する被写体像部分が含まれているフレームが分かるので，そのフレームについて必要に応じて視差調整をすればよいことがわかる。必要でなければ視差調整が行われなくともよいので，必要なときに視差調整が行われるようになる。
【０００９】
上記フレーム検出手段は，たとえば，観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレームの立体画像において，第１のしきい値以上の視差を有し，かつ視差が無い被写体像部分によって表される被写体よりも近距離に存在する被写体を表す近距離被写体像部分が含まれている近距離被写体像含有フレームおよび第２のしきい値以上の視差を有し，かつ視差が無い被写体像部分によって表される被写体よりも遠距離に存在する被写体を表す遠距離被写体像部分が含まれている遠距離被写体像含有フレームの少なくとも一方を検出するものである。この場合，上記フレーム識別データ記録制御手段は，たとえば，上記フレーム検出手段によって検出された近距離被写体像含有フレームを識別するフレーム識別データおよび遠距離被写体像含有フレームを識別するフレーム識別データの少なくとも一方を記録媒体に記録するものである。第１のしきい値と第２のしきい値とは同じ値でも異なる値でもよい。
【００１０】
上記第１のしきい値および上記第２のしきい値は，たとえば，立体動画を表示する表示装置の表示画面の大きさごとに定められており，上記フレーム検出手段は，たとえば，表示画面の大きさごとに表示画面の大きさに対応するしきい値以上の視差を有する被写体像部分が含まれているフレームを検出するものであり，上記フレーム識別データ記録制御手段は，たとえば，上記フレーム検出手段によって表示画面の大きさごとに検出されたフレームを識別するフレーム識別データを記録媒体に記録するものである。
【００１１】
上記第１のしきい値および上記第２のしきい値は，たとえば，立体動画を表示する表示装置の少なくとも所定の表示画面の大きさに対して定められている。この場合，上記フレーム検出手段は，たとえば，上記所定の表示画面の大きさに対応するしきい値以上の視差を有する被写体像部分が含まれているフレームを検出するものであり，上記フレーム識別データ記録制御手段は，たとえば，上記フレーム検出手段によって検出されたフレームを識別するフレーム識別データを所定の表示画面の大きさに対するフレーム識別データとして記録媒体に記録し，かつ上記フレーム識別データによって特定される立体動画のフレーム範囲を上記所定の表示画面の大きさ以外の他の表示画面の大きさにおけるフレーム範囲に変換するための変換情報であって，上記他の表示画面の大きさごとの変換情報を記録するものである。上記変換情報は，たとえば，上記所定の表示画面の大きさと上記他の表示画面の大きさとの比率に対応する係数であって，上記所定の表示画面の大きさに対するフレーム範囲に上記係数を乗じることにより，上記他の表示画面の大きさにおけるフレーム範囲に変換するものである。
【００１２】
上記フレーム検出手段によって検出されたフレームの立体画像に対応する画像であって，所定のしきい値以上の視差を有する被写体像部分が，他の部分と区別された視差許容範囲領域区別画像を生成する画像生成手段をさらに備えてもよい。この場合，上記識別データ記録制御手段は，たとえば，上記画像生成手段によって生成された画像を，上記フレーム検出手段によって検出されたフレームの立体画像に対応づけて上記記録媒体に記録するものである。
【００１３】
上記フレーム検出手段によって検出されたフレームの立体画像のうち所定のしきい値以上の視差を有する被写体像部分の領域を示すデータを，上記フレーム検出手段によって検出されたフレームの立体画像に対応づけて上記記録媒体に記録するようにしてもよい。立体動画を表示する表示装置と通信し，その表示画面の大きさを表すデータを受信する受信手段をさらに備えてもよい。この場合，上記所定のしきい値は，上記受信手段において受信したデータによって表される表示画面の大きさにもとづいて定められるものとなろう。
【００１４】
上記立体画像の視差が無くなるクロス・ポイントを表すクロス・ポイント情報を上記記録媒体に記録するクロス・ポイント情報記録制御手段をさらに備えてもよい。
【００１５】
また，上記立体動画のシーンが変わる上記立体画像のフレームを表すシーン・チェンジ情報を上記記録媒体に記録するシーン・チェンジ情報記録制御手段をさらに備えてもよい。
【００１６】
第２の発明による立体画像処理装置は，観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレームの立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームを検出するフレーム検出手段，ユーザが指定した表示サイズの表示画面で上記立体動画を再生した場合に，上記フレーム検出手段によって検出されたフレームの立体画像を構成する左目用画像と右目用画像とに含まれる上記所定のしきい値以上の視差を有する被写体像部分が所定のしきい値未満の視差となるように，上記左目用画像および上記右目用画像の少なくとも一方に含まれる被写体像部分を移動する第１の移動手段，移動させられた被写体像部分を含む上記左目用画像および上記右目用画像からなる立体画像が多数フレーム集まって構成される立体動画を表す立体動画データならびに上記第１の移動手段によって移動した被写体像部分の移動前または後の位置，移動距離および移動方向をそれぞれ表す視差変換済情報を記録媒体に記録する記録制御手段，ならびに上記ユーザが指定した表示サイズと異なる表示サイズで上記記録媒体に記録されている立体動画データによって表される立体動画が再生された場合に，上記視差変換済情報にもとづいて，その異なる表示サイズでの再生時において視差が所定のしきい値未満となるように上記被写体像部分を移動する第２の移動手段を備えていることを特徴とする。
【００１７】
第２の発明は，上記立体画像処理装置に適した動作制御方法も提供している。すなわち，この方法は，フレーム検出手段が，観賞者が左目で見る左目用動画と観賞者が右目で見る右目用動画とによって表わされる立体動画を構成する各フレームの立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームを検出し，第１の移動手段が，ユーザが指定した表示サイズの表示画面で上記立体動画を再生した場合に，上記フレーム検出手段によって検出されたフレームの立体画像を構成する左目用画像と右目用画像とに含まれる上記所定のしきい値以上の視差を有する被写体像部分が所定のしきい値未満の視差となるように，上記左目用画像および上記右目用画像の少なくとも一方に含まれる被写体像部分を移動し，記録制御手段が，移動させられた被写体像部分を含む上記左目用画像および上記右目用画像からなる立体画像が多数フレーム集まって構成される立体動画を表す立体動画データならびに上記第１の移動手段によって移動した被写体像部分の移動前または後の位置，移動距離および移動方向をそれぞれ表す視差変換済情報を記録媒体に記録し，第２の移動手段が，上記ユーザが指定した表示サイズと異なる表示サイズで上記記録媒体に記録されている立体動画データによって表される立体動画が再生された場合に，上記視差変換済情報にもとづいて，その異なる表示サイズでの再生時において視差が所定のしきい値未満となるように上記被写体像部分を移動するものである。
【００１８】
第２の発明によると，立体動画を構成する各フレームの立体画像において，所定のしきい値以上の視差を有する被写体像部分が含まれているフレームが検出される。検出されたフレームの立体画像を構成する左目用画像と右目用画像とに含まれる所定のしきい値以上の視差を有する被写体像部分が所定のしきい値未満の視差となるように，左目用画像および右目用画像の少なくとも一方に含まれる被写体像部分が移動させられる。所定のしきい値以上の視差を有する被写体像部分が所定のしきい値未満の視差となるように，左目用画像および右目用画像の少なくとも一方に含まれる被写体像部分が移動させられるので，健康上の被害を低減させ，かつ立体感を損なわないようにできる。さらに，移動した被写体像部分の移動前または後の位置，移動距離，移動方向をそれぞれ表す視差変換済情報が記録媒体に記録されるので，ユーザが指定した表示サイズと異なる表示サイズの表示画面で立体動画が再生された場合にも，その視差変換情報を用いて視差が所定のしきい値未満となるように被写体像部分を移動できる。
【図面の簡単な説明】
【００１９】
【図１】被写体の一例である。
【図２】被写体を撮像する様子を示している。
【図３】左目用画像の一例である。
【図４】右目用画像の一例である。
【図５】被写体像の位置関係を示している。
【図６】被写体像の位置関係を示している。
【図７】被写体像の位置関係を示している。
【図８】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図９】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図１０】近距離範囲外場所等のデータを示している。
【図１１】視差制御処理手順を示すフローチャートである。
【図１２】近距離範囲外場所等のデータを示している。
【図１３】近距離範囲外場所等のデータを示している。
【図１４】視差情報画像の一例である。
【図１５】動画ファイルのファイル構造である。
【図１６】視差情報画像の一例である。
【図１７】視差制御処理手順を示すフローチャートである。
【図１８】視差情報テキストの一例である。
【図１９】右目用画像の一例である。
【図２０】視差制御処理手順を示すフローチャートである。
【図２１】視差変換情報テキストの一例である。
【図２２】再生処理手順を示すフローチャートである。
【図２３】再生処理手順を示すフローチャートである。
【図２４】立体画像の一例である。
【図２５】立体画像の一例である。
【図２６】再生処理手順を示すフローチャートである。
【図２７】動画編集処理手順を示すフローチャートである。
【図２８】ヘッダの内容の一例である。
【図２９】シーンが切り替わる様子を示している。
【図３０】シーンが切り替わる様子を示している。
【図３１】シーンが切り替わる時の立体画像の様子を示している。
【図３２】シーンが切り替わる様子を示している。
【図３３】シーンが切り替わる時の立体画像の大きさが変わる様子を示している。
【図３４】再生処理手順を示すフローチャートである。
【実施例】
【００２０】
図１は，被写体の一例である。
【００２１】
立体動画撮像により，撮像範囲４の中にある被写体が動画で撮像されるものとする。図１に図示されているものは，動画撮像により，あるタイミングで撮像される１シーンである。撮像範囲４の中には第１の被写体１，第２の被写体２および第３の被写体３が含まれている。図１に示すシーンは，多数のフレームからなる立体動画を構成する１フレームの立体画像となる。
【００２２】
図２は，図１に示すシーンを平面的に示したものである。
【００２３】
立体動画を撮像する場合，ディジタル・カメラには，水平方向に離れている２つの撮像装置30および40が含まれている。第１の撮像装置30によって観賞者の右目で見る右目用動画が撮像され（周期的に被写体を撮像），第２の撮像装置40によって観賞者の左目で見る左目用動画が撮像（周期的に被写体を撮像）される。
【００２４】
第１の被写体１はディジタル・カメラから遠くにあり，第３の被写体３はディジタル・カメラの近くにあり，第２の被写体２は第１の被写体１と第３の被写体３とのほぼ中間にある。撮像装置30および40と第１から第３の被写体１〜３との距離がわかりやすくなるように，遠くにある第１の被写体１には「遠」の文字が，中間にある第２の被写体２には「中」の文字が，近くにある第３の被写体３には「近」の文字が付されている。
【００２５】
図３は左目用動画を構成する左目用画像の一例であり，図４は右目用動画を構成する右目用画像の一例である。
【００２６】
右目用画像24は上述のように第１の撮像装置30によって撮像され，左目用画像14は上述のように，第２の撮像装置40によって撮像される。右目用画像24と左目用画像14とが組み合わせられることにより，立体動画を構成する１フレームの立体画像となる。
【００２７】
左目用画像14に含まれる第１の被写体像11および右目用画像24に含まれる第１の被写体像21によって，図１に示す被写体１が立体的に表示される。同様に，左目用画像14に含まれる第２の被写体像12および右目用画像24に含まれる第２の被写体像22によって，図１に示す被写体２が立体的に表示され，左目用画像14に含まれる第３の被写体像13および右目用画像24に含まれる第３の被写体像23によって，図１に示す被写体３が立体的に表示される。
【００２８】
図２に示したように，撮像装置30と40とは，異なる位置から撮像しているから，左目用画像14に含まれる被写体像11，12および13のそれぞれと，右目用画像24に含まれる被写体像21，22および23のそれぞれとは，視差（水平方向での位置ずれ）がある。
【００２９】
図５は左目用画像14に含まれる被写体像11，12および13と右目用画像24に含まれる被写体像21，22および23との水平方向における位置関係を示している。
【００３０】
図２に示したように，撮像装置30と40とは異なる位置で撮像しているから，左目用画像14における第１の被写体像11，第２の被写体像12および第３の被写体像13における位置と，右目用画像24における第１の被写体像21，第２の被写体像22および第３の被写体像23における位置とは異なる。左目用画像14における第１の被写体像11と第２の被写体像12との水平方向の距離よりも右目用画像24における第１の被写体像21と第２の被写体像22との水平方向の距離の方が短くなっている。また，左目用画像14における第２の被写体像12と第３の被写体像13との水平方向の距離よりも右目用画像24における第２の被写体像22と第３の被写体像23との水平方向の距離の方が短くなっている。
【００３１】
図６も左目用画像14に含まれる被写体像11，12および13と右目用画像24に含まれる被写体像21，22および23との水平方向における位置関係を示している。図６は，左目用画像14の第２の被写体像12と右目用画像24の第２の被写体像22との視差が無いものとして，それらの第２の被写体像12と22との水平方向の位置を合わせている。
【００３２】
左目用画像14の第１の被写体像11と右目用画像24の第１の被写体像21との視差は視差ｄ１となる。また，左目用画像14の第３の被写体像13と右目用画像24の第３の被写体像23との視差は視差ｄ２となる。
【００３３】
視差が所定しきい値以上となると，そのような視差を有する被写体像部分を立体的に見ることができないことがある。このために，この実施例では，視差が所定しきい値以上の被写体像部分を含むフレームを識別できるようにする。
【００３４】
図７も左目用画像14に含まれる被写体像11，12および13と右目用画像24に含まれる被写体像21，22および23との水平方向における位置関係を示しており，視差が調整される様子を示している。
【００３５】
左目用画像14を基準に考えると，右目用画像24の第１の被写体像21を矢印で示すように左側に移動させると，左目用画像14の第１の被写体像11と右目用画像24の第１の被写体像21との視差ｄ１は小さくなる。また，右目用画像24の第３の被写体像23を矢印で示すように右側に移動させると，左目用画像14の第３の被写体像13と右目用画像24の第３の被写体像23との視差ｄ２は小さくなる。視差を小さくするための移動方向から，所定のしきい値以上の視差をもつ被写体像が遠い位置にある被写体を表すものか，近い位置にある被写体を表すものかがわかる。上述のように，左目用画像14を基準にした場合，左側に被写体像を移動させる場合には，その被写体像によって表される被写体は遠い位置にあり，逆に右側に被写体像を移動させる場合には，その被写体像によって表される被写体は近い位置にある。逆に，右目用画像24を基準とした場合には，左側に被写体像を移動させる場合には，その被写体像によって表される被写体は近い位置にあり，逆に右側に被写体像を移動させる場合には，その被写体像によって表される被写体は遠い位置にある。
【００３６】
この実施例は，上述のように，立体動画を構成する１フレームの立体画像を構成する左目用画像と右目用画像とのそれぞれに含まれる被写体像の視差が所定のしきい値以上ある場合には，そのようなフレームであることをメモリ・カード（その他の記録媒体でもよい）に記録するものである。しきい値は，表示画面のサイズに依存して定めることができる。たとえば，実際に立体動画を表示しながら，試行錯誤によりしきい値が決定されよう。
【００３７】
図８は，立体動画撮像ディジタル・カメラの電気的構成を示すブロック図である。
【００３８】
立体動画撮像ディジタル・カメラの動作は，中央制御装置51によって統括される。また，立体動画撮像ディジタル・カメラには所定のデータを記憶するメモリ52および自動制御装置56も含まれている。
【００３９】
立体動画撮像ディジタル・カメラには，上述したように，右目用の動画を撮像する第１の撮像装置30および左目用の動画を撮像する第２の撮像装置40が含まれている。
【００４０】
第１の撮像装置30には，ＣＣＤ，Ｃ−ＭＯＳのような第１の撮像素子33が含まれている。第１の撮像素子33の前方には，撮像レンズ31および絞り32が設けられている。撮像レンズ31は，レンズ制御装置36によって位置決めされる。絞り32は絞り制御装置35によって開口が制御される。撮像素子33によって撮像された被写体像を表す右目用の映像信号はＡＤＣ（アナログ・ディジタル・コンバータ）制御装置34に入力する。ＡＤＣ制御装置34において，アナログ／ディジタル変換処理等の所定の信号処理が行われて，右目用の動画を表す動画データに変換される。
【００４１】
第２の撮像装置30にも第２の撮像素子43が含まれている。第２の撮像素子43の前方にも，撮像レンズ41および絞り42が設けられている。撮像レンズ41は，レンズ制御装置46によって位置決めされる。絞り42は絞り制御装置45によって開口が制御される。撮像素子43によって撮像された被写体像を表す左目用の映像信号はＡＤＣ制御装置44において，アナログ／ディジタル変換処理等の所定の信号処理が行われて，右目用の動画を表す動画データに変換される。
【００４２】
操作装置54において撮像モードが設定されると，ＡＤＣ制御装置34から出力された右目用の動画データおよびＡＤＣ制御装置44から出力された左目用の動画データは画像処理装置57において所定の画像処理が行われて液晶表示装置53に入力する。撮像された被写体が動画で表示される。
【００４３】
操作装置54において記録モードが設定されると，ＡＤＣ制御装置34から出力された右目用の動画データおよびＡＤＣ制御装置44から出力された左目用の動画データは，視差量判断装置58に入力する。
【００４４】
視差量判断装置58において，上述のように，立体動画を構成する１フレームの立体画像（一組の左目用画像と右目用画像）に所定のしきい値以上の視差をもつ被写体像部分が含まれているかどうかが判断される。また，視差量判断装置58において，所定のしきい値以上の視差をもつ被写体像部分がディジタル・カメラから遠い位置にある被写体を表しているか，近い位置にある被写体を表しているかも判断される。ディジタル・カメラから遠い位置にある被写体を表し，かつ所定のしきい値以上の視差をもつ被写体像部分が存在するフレームは遠距離許容範囲外場所としてメモリ・カード59に記録される。また，ディジタル・カメラから近い位置にある被写体を表し，かつ所定のしきい値以上の視差をもつ被写体像部分が存在するフレームは近距離許容範囲外場所としてメディア・インターフェイス55を介してメモリ・カード59に与えられ，メモリ・カード59に記録される。また，撮像により得られた右目用の動画データおよび左目用の動画データのメモリ・カード59に記録されるのはいうまでもない。
【００４５】
１フレームごとに左目用画像データと右目用画像データとがメモリ・カード40に記録されることにより，メモリ・カード40には，立体的な動画を表す動画データ（左目用動画データ，右目用動画データ）が記録されることとなる。
【００４６】
この実施例では，立体的な動画を表す動画データのほかに，視差が生じない箇所を示すクロス・ポイントを表すクロス・ポイント情報もメモリ・カード40に記録される。この実施例では，クロス・ポイントは，あらかじめ定められており（例えば，立体撮像ディジタル・カメラから２ｍ前方の距離），通常は，そのクロス・ポイントで定められる箇所の視差が無くなるように被写体が撮像される（左目用画像と右目用画像とが得られる）。しかしながら，上述のように，所定のしきい値以上の視差が生じる場合には，そのフレームの立体画像を表す左目用画像と右目用画像とは視差調整が行われる。この結果，クロス・ポイントの箇所もずれる。この実施例では，立体動画を構成するフレームに対応してクロス・ポイント情報がメモリ・カード40に記録される。もっとも，フレームに対応してフレームごとにクロス・ポイント情報が記録されなくとも，あらかじめ定められているクロス・ポイントとずれている立体画像のフレームだけを，フレームごとにクロス・ポイント情報を記録するようにしてもよい。その場合，あらかじめ定められているクロス・ポイントを表すクロス・ポイント情報もメモリ・カード40に記録されるのはいうまでもない。
【００４７】
立体撮像ディジタル・カメラは，再生機能も有している。メモリ・カード59に記録された立体動画を表す立体動画データは，メディア・インターフェイス55を介してメモリ・カード59から読み取られる。読み取られた立体動画データが液晶表示装置53に与えられる。立体動画データによって表わされる立体動画が液晶表示装置53の表示画面に表示される。立体撮像ディジタル・カメラは，外部表示装置29を接続することもでき，その外部表示装置29にメモリ・カード59に記録されている立体動画データによって表される立体動画を表示することもできる。その場合には，メモリ・カード59から読み取られた立体動画データが入出力インターフェイス28を介して外部表示装置29に与えられる。外部表示装置29に立体動画が表示されるようになる。
【００４８】
視差が大きい部分が含まれていると立体画像を見る観賞者に違和感を与えることがある。この実施例によると，立体画像のうちクロス・ポイントよりも遠い位置にある被写体を表す画像部分がぼかされる。このように遠い位置にある被写体を表す画像部分はぼかされるので，その画像部分を観賞者が注視することを防止できる。観賞者に違和感を与えるのを防止できる。立体画像のうちクロス・ポイントよりも近い位置にある被写体を表す画像部分についてはぼかされないので，立体的な画像が表示される。立体撮像ディジタル・カメラの背面に設けられている液晶表示装置53の表示画面は比較的小さいので視差が大きくなることは無いが，外部表示装置29の表示画面は比較的大きいので視差も大きくなり，観賞者は違和感を持つことがある。この実施例では，外部表示装置29のような比較的大きな表示画面に立体画像を表示する場合に有効である。ぼかし処理は平滑化フィルタを利用できる。
【００４９】
図９は，立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【００５０】
上述のように，立体動画撮像が開始され（ステップ61），記録モードとなると，設定されている視差制御処理が読み取られる（ステップ62）。この実施例においては，多数の視差制御処理があり，それらの多数の処理のうち，どの処理が行われるかがユーザによって操作装置54を用いてあらかじめ設定されている。設定されている視差制御処理が行われる（ステップ63）。
【００５１】
図10および図11は，第１の視差制御処理についてのものである。
【００５２】
図10は，上述したように，動画ファイルのヘッダに記録される近距離許容範囲外場所等を示している。
【００５３】
ヘッダには，立体画像のフレームに対応して，それぞれのフレームの立体画像のクロス・ポイント情報が記録されている。たとえば，第１フレームから第108フレームのクロス・ポイント情報は立体撮像ディジタル・カメラから前方に２ｍが，視差が無くなるクロス・ポイントであることを示している。同様に第109フレームから第205フレームのクロス・ポイントは立体撮像ディジタル・カメラから前方に1.9ｍであることを示している。その他のフレームについても同様である。クロス・ポイントは，立体撮像ディジタル・カメラであらかじめ定められているが，視差が大きすぎる場合などには調整される。その視差調整が行われることによりクロス・ポイントもずれるので，フレームごとにクロス・ポイントが変わることがある。
【００５４】
さらに，ヘッダには，表示サイズ（表示画面のサイズ）ごとに近距離許容範囲外場所（近距離被写体含有フレーム），遠距離許容範囲外場所（遠距離被写体含有フレーム）および両許容範囲外のため視差コントロール場所が記録される。近距離許容範囲外場所は，上述したように，立体動画を構成するフレームの立体画像内に所定のしきい値以上の視差をもつ被写体像であって，ディジタル・カメラに近い被写体を表す被写体像が含まれている立体画像のフレーム（フレーム識別データ）を示している。遠距離許容範囲外場所は，立体動画を構成するフレームの立体画像内に所定のしきい値以上の視差をもつ被写体像であって，ディジタル・カメラから遠い被写体を表す被写体像が含まれている立体画像のフレームを示している。両許容範囲外のため視差コントロール場所は，立体動画を構成するフレームの立体画像内に所定のしきい値以上の視差をもつ被写体像であって，ディジタル・カメラから近い被写体を表す被写体像も遠い被写体を表す被写体像も含まれている立体画像のフレームを示している。このようなデータが動画ファイルのヘッダに記録される。
【００５５】
図11は，第１の視差制御処理手順（図９ステップ63の処理手順）を示すフローチャートである。
【００５６】
入力した（撮像により得られた）１フレームの立体画像（左目用画像，右目用画像）に近距離被写体像（上述のように所定のしきい値以上の視差をもつ被写体像であって，ディジタル・カメラから近い被写体を表す被写体像）が含まれているかどうかが判定される（ステップ71）。近距離被写体像が含まれていなければ（ステップ71でＮＯ），遠距離被写体像（上述のように所定のしきい値以上の視差をもつ被写体像であって，ディジタル・カメラから近い被写体を表す被写体像）が含まれているかどうかが判定される（ステップ72）。遠距離被写体像が含まれていなければ（ステップ72でＮＯ），立体画像のフレームに対応してクロス・ポイント情報がメモリ・カード59の動画ファイルのヘッダに記録される（ステップ77）。また，遠距離被写体像が含まれていない場合には（ステップ72でＮＯ），そのフレームの立体画像には立体的に表示しづらい被写体像部分は含まれていないものと判断され，動画データ（１フレームの立体画像を構成する左目用画像および右目用画像をそれぞれ表すデータ）がメモリ・カード59に記録される（ステップ77）。記録終了指令が無ければ（ステップ78でＮＯ），次に入力する１フレームの立体画像についてステップ71からの処理が繰り返される。
【００５７】
入力した１フレームの立体画像に近距離被写体像が含まれていると（ステップ71でＹＥＳ），その同じ立体画像に遠距離被写体像が含まれているかどうかも判断される（ステップ73）。遠距離被写体像も含まれていると（ステップ73でＹＥＳ），近距離許容範囲外場所および遠距離許容範囲外場所ならびに両許容外のため視差コントロール場所のフレームであることがヘッダに記録される（ステップ75）。
【００５８】
入力した１フレームの立体画像に近距離被写体像が含まれていないが（ステップ71でＮＯ），遠距離被写体像が含まれている場合には（ステップ72でＹＥＳ），そのフレームが遠距離許容範囲外場所である旨がヘッダに記録される（ステップ74）。
【００５９】
入力した１フレームの立体画像に近距離被写体像が含まれているが（ステップ71でＹＥＳ），遠距離被写体像は含まれていない場合には（ステップ73でＮＯ），そのフレームが近距離許容範囲外場所である旨がヘッダに記録される（ステップ74）。
【００６０】
このようにして，動画を構成する立体画像が１フレームずつ確認されながら，近距離許容範囲外場所等を示すデータがヘッダに記録されていくとともに，クロス・ポイント情報もヘッダに記録される。
【００６１】
立体動画の再生時に，近距離許容範囲外場所等のフレームが表示され，ユーザに警告が行われる。ユーザは，必要であれば，視差調整を行うこととなろう。
【００６２】
図12は，変形例を示すもので，ヘッダに記録される近距離範囲外場所等のデータをしている。図12は，図10に対応するものである。
【００６３】
図10に示す近距離許容範囲外場所等のデータは，様々な表示サイズに対応して記録されているが，図12に示すものは，撮像された動画が表示される表示装置の表示サイズに対応するものがヘッダに記録される。表示装置の表示サイズは，ディジタル・カメラのユーザによって設定されてもよいし，ディジタル・カメラと表示装置とが通信して表示サイズの情報を表示装置から受信するようにしてもよい。ディジタル・カメラと表示装置とが通信して表示サイズの情報を表示装置から得る場合には，表示装置と通信するための通信装置がディジタル・カメラに設けられるのはいうまでもない。ディジタル・カメラには，近距離許容範囲外場所となるような被写体像の視差を表すデータおよび遠距離許容範囲外場所となるような被写体像の視差を表すデータがあらかじめ表示サイズごとに記憶されており，動画を表示する表示装置の表示サイズに対応するしきい値にもとづいて近距離許容範囲外等となるような被写体像かどうかが判定される。
【００６４】
図13は，他の変形例を示すもので，ヘッダに記録される近距離範囲外場所等のデータを示している。図13は，図10に対応するものである。
【００６５】
図10においては，表示サイズごとに近距離範囲外場所等のフレーム番号（フレーム識別データ）が記載されている。これに対して，図13においては，所定の表示画面サイズについては近距離範囲外場所等のフレーム番号が記載されているが，その所定の表示画面サイズ以外の表示画面サイズについては変換係数が記載されている。変換係数は，近距離判外場所等のフレーム番号で識別されるフレームの範囲に乗じることにより，近距離範囲外場所等のフレームの範囲を決定するものである。
【００６６】
たとえば，表示画面サイズが42型の場合の近距離許容範囲外場所が24フレームから108フレームである場合（フレーム範囲は108−24＝84であり，フレーム範囲の中心フレームは24＋84／２＝66フレーム），表示画面サイズが37型の場合の近距離範囲外場所の変換係数は0.87であり，フレーム範囲は表示サイズが42型の場合の近距離許容範囲外場所のフレーム範囲である84に0.87を乗じる。すると，表示画面サイズが37型の場合のフレーム範囲は84×0.87＝73.08であり，74フレームとなる。中心フレームである66フレームの前後のフレームを合わせた合計74フレームが，表示画面サイズが37型の場合の近距離許容範囲外場所のフレームとなる。
【００６７】
他の近距離許容範囲外場所および遠距離許容範囲外場所についても同様に決定できる。また，両許容範囲外のため視差コントロール場所は近距離範囲外場所と遠距離範囲外場所との両方に該当するフレームであるから，容易に算出できよう。
【００６８】
図14から図17は，他の視差制御処理手順（図９ステップ63の処理手順）を示すフローチャートである。この実施例では，所定のしきい値以上の視差をもつ被写体像部分が他の部分と区別された視差情報画像が生成される。生成された視差情報画像を表す画像データが，その被写体像部分が含まれる立体画像を構成する左目用画像を表す画像データと右目用画像を表す画像データとともにメモリ・カード59に記録される。
【００６９】
図14は，視差情報画像の一例である。
【００７０】
この視差情報画像84には，上述した左目用画像に含まれる第１の被写体像11，第２の被写体像12および第３の被写体像13ならびに右目用画像に含まれる第１の被写体像21，第２の被写体像22および第３の被写体像23が含まれている。図２および図３に示す左目用画像14および右目用画像24が重ねあわれている画像が元となっている。
【００７１】
上述のように，第１の被写体像11と21との視差がしきい値以上であり，かつそれらの第１の被写体像11と21とで表される第１の被写体１が遠い位置にある場合には，第１の被写体像11と21とを囲む領域81が遠距離許容範囲外部分として青くされる（領域81内が青色であることを示すためのクロス・ハッチングが施されている）。また，第３の被写体像13と23との視差がしきい値以上であり，かつそれらの第３の被写体像13と23とで表される第３の被写体３が近い位置にある場合には，第３の被写体像13と23とを囲む領域83が近距離許容範囲外部分として赤くされる（領域83が赤色であることを示すためのハッチングが施されている）。さらに，第２の被写体像12と22とで表される第２の被写体２が近距離許容範囲外でも遠距離許容範囲外でも無い場合，適正な視差をもつ領域として領域82で図示される。
【００７２】
図15は，動画ファイルのファイル構造（データ構造）を示している。
【００７３】
動画ファイルには，ヘッダ領域と動画データ記録領域とが含まれている。
【００７４】
動画データ記録領域には，立体動画を構成する立体画像がフレームごとに記録される。とくに，この実施例では，立体画像を構成する左目用画像を表す画像データ，右目用画像を表す画像データおよび上述した視差情報画像を表す画像データがフレームごとに動画データ記録領域に記録される。
【００７５】
図16は，視差情報画像の変形例を示すもので，図14に対応している。
【００７６】
図14に示す視差情報画像84は左目用画像14と右目用画像24とを重ね合わせて生成されているが，図16に示す視差情報画像94は遠距離許容範囲外部分の領域91と近距離許容範囲外部分の領域93とが囲まれている。領域91内の左上の１画素にデータ「１」が割り当てられることにより，領域91が遠距離許容範囲外部分であることが示される。領域93内の左上の１画素にデータ「０」が割り当てられることにより，領域93が近距離許容範囲外部分であることが示される。このような視差情報画像94も図14に示した視差情報画像84と同様に，動画ファイルの動画データ記録領域に対応する立体画像を構成する左目用画像および右目用画像とともに記録される。
【００７７】
図17は，第２の視差制御処理手順（図９ステップ63の処理手順）を示すフローチャートである。この図は図11に対応するもので，図11の処理に対応する処理については同一符号を付して説明を省略する。
【００７８】
入力した１フレームの立体画像に近距離被写体像または遠距離被写体像のいずれかが含まれている場合には，近距離被写体像部分または遠距離被写体像部分を示す視差情報画像が生成される（ステップ101）。また，入力した１フレームの立体画像に近距離被写体像および遠距離被写体像のいずれもが含まれている場合には，近距離被写体像部分および遠距離被写体像部分を示す視差情報画像が生成される（ステップ102）。このようにして生成された視差情報画像と動画データ（立体画像を構成する左目用画像および右目用画像）がメモリ・カード59に記録される（ステップ103）。
【００７９】
上述したように，視差情報画像は適正な視差をもつ領域部分を示すようにしてもよい。
【００８０】
図18は，変形例を示すもので，視差情報テキストを示している。
【００８１】
上述の実施例では，画像に視差情報を持たせてメモリ・カード59に記録していたが，この実施例では視差情報を表すテキスト（視差情報テキスト）を生成し，その視差情報テキストをメモリ・カード59に記録するものである。
【００８２】
視差情報テキストには，上述した遠距離許容範囲外部分を示す遠距離許容範囲外領域81または91の位置を示す座標および近距離許容範囲外部分を示す近距離許容範囲外領域83または93の位置を示す座標が記録されている。いずれの領域を示す座標も領域の開始位置を示す座標と終了位置を示す座標とが含まれている。開始位置を示す座標と終了位置を示す座標とで示される矩形の領域が近距離許容範囲外領域または遠距離許容範囲外領域となる。このような視差情報テキストが図５に示すように，視差情報画像の代わりに（または視差情報画像とともに）メモリ・カード59に記録される。
【００８３】
図19および図20は，他の実施例を示すものである。
【００８４】
上述した実施例は，近距離許容範囲外場所等を検出するにとどまり，必要であれば再生時に視差調整が行われるが，この実施例は視差調整まで行うものである。
【００８５】
図19は，右目用画像14の一例である。
【００８６】
上述のように，所定のしきい値以上の視差をもつ被写体像として第１の被写体像11および第３の被写体像13が検出されたものとする。図６および図７において説明したように，視差が小さくなる方向がわかるから，これらの第１の被写体像11および第３の被写体像13が右目用画像14から抽出されて，視差が小さくなる方向にそれぞれ移動させられる。上述したように，右目用画像14の第１の被写体像11は左側に移動させれば視差が小さくなるから左側に移動させられ，第３の被写体像13は右側に移動させれば視差が小さくなるから右側に移動させられる。被写体像が移動したことによりデータが無くなった部分については必要に応じて補間処理が行われる。
【００８７】
図20は，第３の視差制御処理手順（図９ステップ63の処理手順）を示すフローチャートである。この図において，図11に示す処理と同一の処理については同一符号を付して説明を省略する。
【００８８】
入力した１フレームの立体画像に近距離被写体像または遠距離被写体像のいずれかが含まれている場合には，近距離被写体像部分または遠距離被写体像部分の視差を小さくするように，被写体像部分が移動させられる（ステップ111）。被写体像部分の移動量は，表示サイズに依存するので，ユーザが指定した表示サイズで立体動画を再生した場合に所定のしきい値以上の視差となるような被写体像部分が移動させられる。また，入力した１フレームの立体画像に近距離被写体像および遠距離被写体像のいずれもが含まれている場合には，近距離被写体像部分および遠距離被写体像部分の視差のいずれもが小さくなるように，被写体像部分が移動させられる（ステップ112）。被写体像部分が移動させられた動画データ（立体画像を表す左目用画像および右目用画像）がメモリ・カード59に記録される（ステップ76）。
【００８９】
図21から図23は，さらに他の実施例を示している。
【００９０】
図21は，視差変換済み情報テキストである。図18に示す視差情報テキストに対応している。この視差変換済み情報テキストも図15に示すように，立体画像を構成する左目用画像および右目用画像に対応して動画データ記録領域に記録される。
【００９１】
視差変換済み情報テキストは，上述のように，視差の許容範囲外の被写体像部分について視差の許容範囲内となるように移動した場合の変換情報が記述されている。視差変換済み情報テキストには，ユーザが指定した表示サイズにおける遠距離許容範囲外領域および近距離許容範囲外領域を特定する座標を表すデータが格納されている。さらに，その表示サイズでの移動方向および移動量も記録されている。これらの情報は変換前の立体画像（左目用画像または右目用画像）において，視差許容範囲外領域の被写体像部分の位置および変換前の立体画像から被写体像部分を移動した量および移動方向を表しているが，変換後（被写体像部分の移動後）における視差許容範囲外領域の被写体像部分の位置および変換前の立体画像から被写体像部分を移動した量および移動方向を表すものでもよい。
【００９２】
さらに，視差変換済み情報テキストでは，その表示サイズと異なる表示サイズでの移動量および移動方向が規定されている。たとえば，ユーザが指定した表示サイズよりも大きい表示サイズで，視差の許容範囲外の被写体像部分について視差の許容範囲内となるように移動したあとの立体画像を再生する場合には，そのような立体画像を，視差の許容範囲外の被写体像部分について視差の許容範囲内となるように移動する前の状態に戻した後で，左右視差変換済み情報に記述されている情報を用いて視差の許容範囲外の被写体像部分について移動処理が行われる。たとえば，再生時の表示画面の表示サイズが，ユーザが指定した表示サイズよりも大きい場合には，視差の許容範囲外の被写体像部分について視差の許容範囲内となるように移動する前の状態に戻した後で遠距離許容範囲外領域および近距離許容範囲外領域の大きさを1.06倍し，かつ1.07倍の移動量とすればよいことが示されている。また，同様に，ユーザが指定した表示サイズよりも小さい表示サイズの場合には，遠距離許容範囲外領域および近距離許容範囲外領域の大きさを0.91倍し，かつ0.87倍の移動量とすればよいことが示されている。もっとも視差変換済み情報テキストには，ユーザが指定した表示サイズと異なる表示サイズで被写体像部分の移動処理を行う場合に，被写体像部分の移動後における視差許容範囲外領域の被写体像部分の位置および変換前の立体画像から被写体像部分を移動した量および移動方向を表すものを記述するようにしてもよい。
【００９３】
図22および図23は，再生処理手順を示すフローチャートである。
【００９４】
この再生処理手順は，ユーザによって指定された表示サイズにしたがって視差許容範囲外の被写体像部分が移動済みの立体動画を再生するものである。
【００９５】
立体動画を再生する表示装置の表示サイズが読み取られる（ステップ121）。また，メモリ・カード59に記録されている視差変換済み情報テキストが読み取られる（ステップ122）。ユーザが指定した表示サイズと読み取られた表示サイズとが同じであれば（ステップ123でＹＥＳ），すでに立体動画は視差許容範囲外の被写体像部分は視差許容範囲内となるように移動済みであるから，再生処理が実行される（ステップ124）。再生停止指令が与えられるまで，ステップ121からの処理が繰り返される。
【００９６】
ユーザが指定した表示サイズと読み取られた表示サイズとが同じでなければ（ステップ123でＮＯ），読み取られた表示画面のサイズが，ユーザが指定した表示画面のサイズよりも大きいかどうかが確認される（ステップ126）。読み取られた表示画面のサイズが，ユーザが指定した表示画面のサイズよりも大きければ（ステップ126でＹＥＳ），読み取られた視差変換済み情報にしたがって被写体部分が移動させられる（ステップ128）。
【００９７】
読み取られた表示画面の表示サイズが，ユーザが指定した表示画面の表示サイズよりも小さければ（ステップ126でＮＯ），読み取られた表示画面の表示サイズで立体表示できるかどうかが確認される（ステップ127）。読み取られた表示画面の表示サイズで立体表示できるかどうかは，ユーザによって指定された表示サイズと読み取られた表示画面の表示サイズとを比較することにより試行錯誤により決定できる。たとえば，ユーザが指定した表示画面の表示サイズが37型であり，読み取られた表示画面のサイズが10型であれば，表示サイズが37型のときには視差が許容範囲外であった被写体像部分は，許容範囲内となり，読み取られた表示画面で立体表示できると考えられるので，その被写体像部分は撮像時の視差に戻される。
【００９８】
読み取られた表示画面のサイズで立体表示できれば（ステップ127でＹＥＳ），上述したように，視差許容範囲外の被写体像部分が移動前の状態に戻される（撮像時の視差に変換）（ステップ129）。読み取られた表示画面のサイズで立体表示できなければ（ステップ127でＮＯ），読み取られた視差変換済み情報にしたがって被写体部分が移動させられる（ステップ128）。
【００９９】
視差許容範囲外の被写体像部分が移動させられた立体動画または撮像時の視差に変換させられた立体動画が再生される（ステップ124）。
【０１００】
図24から図26は，他の実施例を示している。この実施例は，上述のようにしてクロス・ポイント情報がメモリ・カードに記録された場合の再生についてのものである。立体画像のうち，クロス・ポイントよりも奥よりに遠くにある被写体を表す画像部分がぼかされる。
【０１０１】
図24は，再生された立体画像の一例である。
【０１０２】
この立体画像130は，左目用画像と右目用画像とが重ねられることにより表される。左目用画像と右目用画像とが同時に重ねられてもよいし，時間的にずれて表示されることにより実質的に観賞者に左目用画像と右目用画像とが重ねて見えるようになればよい。
【０１０３】
立体画像130には，左上に第１の領域131，中央部に第２の領域132および手前に第３の領域133が含まれている。第２の領域132がクロス・ポイントがある領域である（立体画像130のクロス・ポイントの位置は，メモリ・カード（立体動画ファイル）のヘッダに記録されているクロス・ポイント情報からわかるのはいうまでもない）。第１の領域131はクロス・ポイントよりも遠い（奥にある）領域であり，第３の領域133はクロス・ポイントよりも近い（手前にある）領域である。
【０１０４】
第２の領域132には自動車の画像132Ａが含まれている。第２の領域132はクロス・ポイントがある領域であるから，自動車の画像132Ａには視差が無い（左右にずれた画像とはなっていない）。第１の領域131には，左右にずれた木の画像131Ｌと131Ｒとが含まれている。一方の木の画像131Ｌは左目用画像によって表されるもので，他方の木の画像131Ｒは右目用画像によって表されるものである。木の画像131Ｌと131Ｒとの間には視差が生じている。第３の領域133には左右にずれた人の画像133Ｌと133Ｒとが含まれている。一方の人の画像133Ｌは左目用画像によって表されるもので，他方の人の画像133Ｒは右目用画像によって表されるものである。この実施例では，クロス・ポイントよりも遠い被写体を表している画像131Ｌおよび131Ｒについてぼかし処理が行われる。
【０１０５】
立体画像のうち，クロス・ポイントよりも遠い画像部分を見つけるために視差が利用される。上述のように視差を利用して，クロス・ポイントよりも遠い画像部分か近い画像部分かが分かるのは理解できよう。
【０１０６】
図25は，再生された立体画像の一例である。
【０１０７】
上述のように第２の領域132はクロス・ポイントの領域であり，第１の領域131はクロス・ポイントよりも遠い被写体を表す領域であり，第３の領域133はクロス・ポイントよりも近い被写体を表す領域である。第１の領域131はクロス・ポイントよりも遠い被写体を表わす領域であるから，その領域131内の画像131Ｒおよび131Ｌがぼかされている。これにより，領域131内の画像131Ｒおよび131Ｌを観賞者が注視してしまうことを未然に防止できる。
【０１０８】
図26は，再生処理手順を示すフローチャートである。
【０１０９】
立体撮像ディジタル・カメラと外部表示装置（例えば，テレビジョン装置）29とが接続され，通信が開始する（ステップ141）。メモリ・カード59からクロス・ポイント情報および立体動画データが読み取られる（ステップ142）。立体動画データによって表わされる立体動画を構成する各フレームの立体画像について上述のように，クロス・ポイントよりも遠い画像部分が見つけられ，その見つけられた画像部分についてぼかし処理が行われる（ステップ143）。クロス・ポイントよりも遠い画像部分についてぼかされた立体画像が順次，外部表示装置29に表示されることにより，立体動画が表示されるようになる（ステップ144）。
【０１１０】
図27から図34は，他の実施例を示している。この実施例は，立体動画のシーンが変わる場合に，急激にシーンが変わってしまう印象を観賞者に与えないようにするものである。
【０１１１】
図27は，ユーザによる立体動画の編集処理手順を示すフローチャートである。
【０１１２】
ユーザによって少なくとも２種類の動画がつなげられるなどして動画が編集されると（ステップ151でＹＥＳ），シーンの終了から次のシーンの開始フレームがシーン・チェンジ情報としてヘッダに書き込まれる（ステップ152）。たとえば，最初の動画から次の動画に切り替わる場合に，その次の動画の最初の画像のフレームがシーン・チェンジ情報として編集された立体動画データが格納されているファイルのヘッダに書き込まれる。その後，ユーザが編集した動画を表わすファイルのヘッダであって，上述のようにクロス・ポイント情報などが記録されているヘッダにシーン・チェンジ情報が上書き（追加）される（ステップ153）。ユーザによる動画の編集が無ければ（ステップ151でＮＯ），ステップ152の処理はスキップされる。シーン・チェンジ情報がヘッダに記録されるのと同様に，動画編集が行なわれていないことが，その動画のファイルのヘッダに記録される（ステップ153）。
【０１１３】
図28は，ヘッダの内容の一例である。
【０１１４】
この実施例では，クロス・ポイント情報のほかにシーンが切り替わるフレームを表すシーン・チェンジ・フレーム（シーン・チェンジ情報）もヘッダに記録されている。たとえば，1301フレーム目がシーン・チェンジ・フレームであり，1300フレームまでの立体動画のシーンと1301フレーム以降の立体動画のシーンとが切り替わる。
【０１１５】
図29は，立体動画のシーンを表するタイム・チャートである。
【０１１６】
第１フレームから第1300フレームまでがシーンＡの立体動画であり，第1301フレーム以降がシーンＢの立体動画である。
【０１１７】
図30は，立体動画のシーン切り替え前後の立体画像全体をぼかすタイミングを示すタイム・チャートである。
【０１１８】
ハッチングで示すように，シーン・チェンジ・フレームの前後のそれぞれの１秒間の合計２秒間の間立体画像全体がぼかされて表示される。シーン・チェンジ前後は立体画像全体がぼかされるので，シーンが変わっても観賞者に違和感を与えなくて済む。
【０１１９】
図31は，立体画像の一例である。
【０１２０】
第1300フレームの立体画像160から第1301フレームの立体画像161に切り替わるときにシーンが切り替わる。上述のように，シーンが切り替わる前後の立体画像は全体がぼかされるので，シーンが変わっても観賞者に違和感を与えなくて済む。
【０１２１】
図32は，変形例を示すもので，立体動画のシーン切り替え前後の立体画像全体をぼかすタイミングを示すタイム・チャートである。
【０１２２】
上述の実施例では，シーンが切り替わる前後において立体画像全体がぼかされているが，この実施例ではシーンが切り替わる前の複数フレームの立体画像は徐々に大きさが小さくなるものが表示され，シーンの切り換え後の複数フレームの立体画像は徐々に大きさが大きくなり，立体画像の元の大きさとなる。
【０１２３】
図33は，シーンが切り替わる前後で立体画像の大きさが変わる様子を示している。
【０１２４】
上述のように，シーンが切り替わる前の複数フレームの立体画像は，立体画像の元の大きさ162から徐々に小さくなり，シーンが切り替わる直前またはシーンが切り替わるフレームの画像がもっとも小さい大きさ163となる。シーンが切り替わった後は徐々に大きくなり，元の立体画像の大きさ162となる。
【０１２５】
図34は，図26に対応するもので，再生処理手順を示すフローチャートである。この図において，図26に示すものと同一物については同一符号を付して説明を省略する。
【０１２６】
メモリ・カード59に記録されているシーン・チェンジ情報が読み取られる（ステップ145）。シーンの切り替えがあると（ステップ146でＹＥＳ），上述のように，そのシーンの切り替え前後において立体画像全体のぼかし，立体画像の縮小，拡大処理などが行われる（ステップ147）。その後，上述のように，クロス・ポイントよりも奥に遠い被写体を表す画像部分のぼかし処理が行われる（ステップ148）。シーンの切り替えが無ければ（ステップ146でＮＯ），ステップ147がスキップされる。
【０１２７】
上述の実施例において，記録処理と再生処理とは別々の処理として表現されているが，上述の実施例の立体撮像ディジタル・カメラにおいて記録処理と再生処理との両方の処理を行うことができるのはいうまでもない。たとえば，図11に示す処理，図17に示す処理，または図20に示す処理が行われた後に，図22および図23に示す処理または図26に示す処理が行われてもよい。また，図11に示す処理，図17に示す処理および図20に示す処理の少なくとも２つの処理を組み合わせて記録時の処理を行ってもよいし，図22および図23に示す処理および図26に示す処理とを組み合わせて再生時の処理を行ってもよい。
【符号の説明】
【０１２８】
30  第１の撮像装置
40  第２の撮像装置
51  中央制御装置
55  メディア・インターフェイス
58  視差量判断装置
59  メモリ・カード
【図１】
2011223540.tif 000003
【図２】
2011223540.tif 000004
【図３】
2011223540.tif 000005
【図４】
2011223540.tif 000006
【図５】
2011223540.tif 000007
【図６】
2011223540.tif 000008
【図７】
2011223540.tif 000009
【図８】
2011223540.tif 000010
【図９】
2011223540.tif 000011
【図１０】
2011223540.tif 000012
【図１１】
2011223540.tif 000013
【図１２】
2011223540.tif 000014
【図１３】
2011223540.tif 000015
【図１４】
2011223540.tif 000016
【図１５】
2011223540.tif 000017
【図１６】
2011223540.tif 000018
【図１７】
2011223540.tif 000019
【図１８】
2011223540.tif 000020
【図１９】
2011223540.tif 000021
【図２０】
2011223540.tif 000022
【図２１】
2011223540.tif 000023
【図２２】
2011223540.tif 000024
【図２３】
2011223540.tif 000025
【図２４】
2011223540.tif 000026
【図２５】
2011223540.tif 000027
【図２６】
2011223540.tif 000028
【図２７】
2011223540.tif 000029
【図２８】
2011223540.tif 000030
【図２９】
2011223540.tif 000031
【図３０】
2011223540.tif 000032
【図３１】
2011223540.tif 000033
【図３２】
2011223540.tif 000034
【図３３】
2011223540.tif 000035
【図３４】
2011223540.tif 000036