(57)【要約】【課題】複数の画像から、１つの連続した時間の流れを表現する画像データを生成する。あるいは、１つの連続した時間の流れを表現する画像データを再生する。【解決手段】複数の画像を入力（１１）し、必要に応じて、該画像と関係性のある画像を画像データベース（１４）から獲得（１２）し、それら画像を順序付け（１２）し、それら画像間でスムーズな接続ができるかを判断（１６）し、重要かつ順番に隣接間でスムーズに接続できる画像のみを選別（１９）し、スムーズな接続をした「ひと続きの画像」および再生手順の情報を保存（２３）する。そして、該再生手順に従って「ひと続きの画像」を再生（２５）する。【選択図】図１５
2015130546.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データ群を処理し、表示用画像データを出力する画像処理装置であって、
第１の画像データ群を入力し、上記第１の画像データ群を上記入力画像データ群とする第１の入力部と、
上記入力画像データ群内の各画像データをソートする画像整列部と、
上記入力画像データ群内の各画像データの重要度を決定する重要度判断部と、
上記入力画像データ群内の画像データ同士の接続可能性を判断する接続可否判断部と、
上記入力画像データ群内の画像データを取捨選択し、上記接続可否判断部で接続可能であると判断された、上記重要度判断部で重要であると判断された画像データどうしを、上記画像整列部でソートされた順番に接続していくことで、上記表示用画像データを作成する接続部と、
上記接続部で作成された上記表示用画像データを出力する出力部と
を備える画像処理装置。
【請求項２】
複数の画像データが含まれるデータベース部と、
上記第１の入力部において入力した上記第１の画像データ群と関連のある画像データを、上記データベース部から取り出し、上記入力画像データ群に追加する第２の入力部と
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
上記接続部で接続される２つの画像データのうち、上記画像整列部でソートされた順番において若い順位の画像データを第１の画像データと呼ぶこととし、他方を、すなわち、若くない順位の画像データを第２の画像データと呼ぶこととした場合、
上記接続部での上記入力画像データ群の画像データどうしの接続は、
上記第１の画像データが静止画であり、かつ、上記第２の画像データが動画である場合、静止画である上記第１の画像データと、動画である上記第２の画像データの最初のフレームとの接続を行うようにし、
上記第１の画像データが動画であり、かつ、上記第２の画像データが静止画である場合、動画である上記第１の画像データの最後のフレームと、静止画である上記第２の画像データとの接続を行うようにし、
上記第１の画像データが動画であり、かつ、上記第２の画像データが動画である場合、動画である上記第１の画像データの最後のフレームと、動画である上記第２の画像データの最初のフレームとの接続を行うようにする
請求項１に記載の画像処理装置。
【請求項４】
上記表示用画像データは、時間とともに上記接続部で接続された順番に、すなわち、上記画像整列部でソートされた順番において昇順に、表示をしていくという再生順番の情報を作成する再生順番指示生成部をさらに備え、
上記出力部では、上記表示用画像データとともに上記再生順番の情報も出力する
請求項１に記載の画像処理装置。
【請求項５】
複数の画像データと、該画像データ間の位置関係と、表示すべき順番を示すデータを有するデータフォーマット。
【請求項６】
入力画像データ群を処理し、表示用画像データを出力する画像処理方法であって、
第１の画像データ群を入力し、上記第１の画像データ群を上記入力画像データ群とする第１の入力ステップと、
上記入力画像データ群内の各画像データをソートする画像整列ステップと、
上記入力画像データ群内の各画像データの重要度を決定する重要度判断ステップと、
上記入力画像データ群内の画像データ同士の接続可能性を判断する接続可否判断ステップと、
上記入力画像データ群内の画像データを取捨選択し、上記接続可否判断ステップで接続可能であると判断された、上記重要度判断ステップで重要であると判断された画像データどうしを、上記画像整列ステップでソートされた順番に接続していくことで、上記表示用画像データを作成する接続ステップと、
上記接続ステップで作成された上記表示用画像データを出力する出力ステップと
を含む画像処理方法。
【請求項７】
入力画像データ群を処理し、表示用画像データを出力する画像処理用のプログラムであって、
第１の画像データ群を入力し、上記第１の画像データ群を上記入力画像データ群とする第１の入力ステップと、
上記入力画像データ群内の各画像データをソートする画像整列ステップと、
上記入力画像データ群内の各画像データの重要度を決定する重要度判断ステップと、
上記入力画像データ群内の画像データ同士の接続可能性を判断する接続可否判断ステップと、
上記入力画像データ群内の画像データを取捨選択し、上記接続可否判断ステップで接続可能であると判断された、上記重要度判断ステップで重要であると判断された画像データどうしを、上記画像整列ステップでソートされた順番に接続していくことで、上記表示用画像データを作成する接続ステップと、
上記接続ステップで作成された上記表示用画像データを出力する出力ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項８】
第１の静止画と第１の動画を表示する画像処理装置であって、
上記第１の静止画と上記第１の動画の最初のフレームとが交わりがあるように配置し、主として上記第１の静止画を表示させた後、時間とともに表示領域を移動させて、主として上記第１の動画の最初のフレームを表示させ、さらに、次の時刻以降で、上記第１の動画の２枚目以降のフレームを順次表示させていくか、
あるいは、
上記第１の動画の最後のフレームと上記第１の静止画とが交わりがあるように配置し、上記第１の動画の最初のフレームから上記第１の動画の最後から２番目のフレームまでを順次表示させていき、さらに、次の時刻で、主として上記第１の動画の最後のフレームを表示させ、さらに、時間とともに表示領域を移動させて、主として上記第１の静止画を表示させていくか、
のいずれか一方を少なくとも行う表示部
を備える画像処理装置
【請求項９】
第１の静止画と第１の動画を表示する画像処理方法であって、
上記第１の静止画と上記第１の動画の最初のフレームとが交わりがあるように配置し、主として上記第１の静止画を表示させた後、時間とともに表示領域を移動させて、主として上記第１の動画の最初のフレームを表示させ、さらに、次の時刻以降で、上記第１の動画の２枚目以降のフレームを順次表示させていくか、
あるいは、
上記第１の動画の最後のフレームと上記第１の静止画とが交わりがあるように配置し、上記第１の動画の最初のフレームから上記第１の動画の最後から２番目のフレームまでを順次表示させていき、さらに、次の時刻で、主として上記第１の動画の最後のフレームを表示させ、さらに、時間とともに表示領域を移動させて、主として上記第１の静止画を表示させていくか、
のいずれか一方を少なくとも行う表示処理ステップ
を備える画像処理方法
【請求項１０】
第１の静止画と第１の動画を表示する画像処理用のプログラムであって、
上記第１の静止画と上記第１の動画の最初のフレームとが交わりがあるように配置し、主として上記第１の静止画を表示させた後、時間とともに表示領域を移動させて、主として上記第１の動画の最初のフレームを表示させ、さらに、次の時刻以降で、上記第１の動画の２枚目以降のフレームを順次表示させていくか、
あるいは、
上記第１の動画の最後のフレームと上記第１の静止画とが交わりがあるように配置し、上記第１の動画の最初のフレームから上記第１の動画の最後から２番目のフレームまでを順次表示させていき、さらに、次の時刻で、主として上記第１の動画の最後のフレームを表示させ、さらに、時間とともに表示領域を移動させて、主として上記第１の静止画を表示させていくか、
のいずれか一方を少なくとも行う表示処理ステップ
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、複数の画像データをひと続きの画像として表示できるようにする画像処理方法、装置、プログラム、及び、フォーマットに関する。
【背景技術】
【０００２】
最近、デジタルカメラの普及により、例えば、１回の旅行で、多量の枚数の静止画を撮影して、あるいは、動画を撮影して記録に残す事が一般的になってきた。しかし、簡単に撮影できる反面、いつでも再生できるという気持ちから、結局、１度も見返すことがないのが現状である。これは、膨大な枚数があり、見るのが面倒になるためである。
【０００３】
そこで、本願出願人は、膨大な枚数の画像を１つの画像としてまとめることを提案する。１つにまとまっているので、その１つのデータを見るだけで済み、膨大な枚数を見るという面倒なことがなくなる。従って、例えば旅行などの記録を気楽に見返すことが出来るようになる。
【０００４】
さて、従来から、複数の画像を１つにまとめあげる方法あるいは装置として、以下のものがあった。すなわち、複数の画像を表示部（矩形領域）に表示させて、撮影者が、それら画像の位置を移動させることで、ひとつの矩形領域内に複数の画像を挿入させた画像を作成する方法が開示されている（特許文献１）。また、複数の画像から、ある規則に則り、フォトコラージュを作成していく手法も開示されている（特許文献２）。そして、複数の静止画について、接続のしやすいものを接続していき、１つの巨大な画像を生成するという方法もある（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１０４３３６号公報
【０００６】
【特許文献２】特開２０００−２１５２１２号公報
【非特許文献】
【０００７】
【非特許文献１】Josef Sivic, Biliana Kaneva,Antonio Torralba, Shai Avidan, William Freeman, “Creatingand Exploring a Large Photorealistic Virtual Space,”First IEEE Workshop on Internet Vision, CVPR 2008
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、特許文献１では、１つの画像データにまとめあげる際に、人手を介して編集しなくてはいけないため、面倒であった。
【０００９】
また、特許文献１および特許文献２では、画像データを接続（融合）する概念がなく、単に、複数の画像を配置していくだけであり、最終的に得られる１つのまとめられた画像データは、時間とともに流れていく連続性を感じることが出来ない。つまり、単なる１つずつの写真が重なって見えるだけであり、１つの連続した時間の流れを表現することは出来なかった。
【００１０】
非特許文献１では、画像データを接続（融合）し、ひとつの画像にまとめ上げる手法が示されているが、撮影された時間あるいは位置の概念がまったく考慮されていない。例えば、非特許文献１の手法により、旅行中に撮影した複数の画像から、１枚の連続した画像を作成することを考える。この作成された画像を、鑑賞者が鑑賞しても、観光地をどのような順番で巡ったかは分からない。時間とともに推移していく画像を提示していないからである。なお、画像どうしはスムーズに接続されており、画像どうしの連続性を感じることができるが、隣接する画像は時間的に連続して撮影された画像とは限らないので、画像どうしの連続性は、時間の連続性を表現しているわけではない。
【００１１】
また、特許文献１、特許文献２、および、非特許文献１のいずれにおいても、静止画が前提の処理であり、動画に対しては、どのような処理をすべきか開示されていない。
【００１２】
また、特許文献１、特許文献２、および、非特許文献１のいずれにおいても、まとめあげられた画像を、どのような順番で表示していくと良いかが、考慮されていない。
【００１３】
重要な点を再度述べると、従来技術では、複数の画像から、１つの連続した時間の流れを表現する画像データを生成することは出来なかった。また、「１つの連続した時間の流れを表現する画像データ」の再生に必要なデータフォーマットも存在しなかった。
【００１４】
本技術は、このような状況に鑑みてなされたものであり、時間とともに流れていく連続性を感じることの出来る表示用の画像データを作成し、あるいは、再生できるようにするものである。
【課題を解決するための手段】
【００１５】
本技術の一側面の画像処理装置は、入力画像データ群を処理し、表示用画像データを出力する画像処理装置であって、第１の画像データ群を入力し、上記第１の画像データ群を上記入力画像データ群とする第１の入力部と、上記入力画像データ群内の各画像データをソートする画像整列部と、上記入力画像データ群内の各画像データの重要度を決定する重要度判断部と、上記入力画像データ群内の画像データ同士の接続可能性を判断する接続可否判断部と、上記入力画像データ群内の画像データを取捨選択し、上記接続可否判断部で接続可能であると判断された、上記重要度判断部で重要であると判断された画像データどうしを、上記画像整列部でソートされた順番に接続していくことで、上記表示用画像データを作成する接続部と、上記接続部で作成された上記表示用画像データを出力する出力部とを備える。
【００１６】
画像処理装置には、複数の画像データが含まれるデータベース部と、上記第１の入力部において入力した上記第１の画像データ群と関連のある画像データを、上記データベース部から取り出し、上記入力画像データ群に追加する第２の入力部とをさらに設けることが出来る。
【００１７】
画像処理装置には、上記接続部で接続される２つの画像データのうち、上記画像整列部でソートされた順番において若い順位の画像データを第１の画像データと呼ぶこととし、他方を、すなわち、若くない順位の画像データを第２の画像データと呼ぶこととした場合、上記接続部での上記入力画像データ群の画像データどうしの接続は、
（場合１）上記第１の画像データが静止画であり、かつ、上記第２の画像データが動画である場合、静止画である上記第１の画像データと、動画である上記第２の画像データの最初のフレームとの接続を行うようにし、
（場合２）上記第１の画像データが動画であり、かつ、上記第２の画像データが静止画である場合、動画である上記第１の画像データの最後のフレームと、静止画である上記第２の画像データとの接続を行うようにし、
（場合３）上記第１の画像データが動画であり、かつ、上記第２の画像データが動画である場合、動画である上記第１の画像データの最後のフレームと、動画である上記第２の画像データの最初のフレームとの接続を行うようにすることが出来る。
【００１８】
上記表示用画像データは、時間とともに上記接続部で接続された順番に、すなわち、上記画像整列部でソートされた順番において昇順に、表示をしていくという再生順番の情報を作成する再生順番指示生成部をさらに設け、上記出力部では、上記表示用画像データとともに上記再生順番の情報も出力することが出来る。
【００１９】
本技術の一側面のデータフォーマットは、複数の画像データと、該画像データ間の位置関係と、表示すべき順番を示すデータを有している。
【００２０】
本技術の一側面の画像処理方法またはプログラムは、入力画像データ群を処理し、表示用画像データを出力する画像処理方法またはプログラムであって、第１の画像データ群を入力し、上記第１の画像データ群を上記入力画像データ群とする第１の入力ステップと、上記入力画像データ群内の各画像データをソートする画像整列ステップと、上記入力画像データ群内の各画像データの重要度を決定する重要度判断ステップと、上記入力画像データ群内の画像データ同士の接続可能性を判断する接続可否判断ステップと、上記入力画像データ群内の画像データを取捨選択し、上記接続可否判断ステップで接続可能であると判断された、上記重要度判断ステップで重要であると判断された画像データどうしを、上記画像整列ステップでソートされた順番に接続していくことで、上記表示用画像データを作成する接続ステップと、上記接続ステップで作成された上記表示用画像データを出力する出力ステップとを含む。
【００２１】
本技術の一側面においては、入力画像データ群を処理し、表示用画像データを出力する画像処理において、第１の画像データ群を入力し、上記第１の画像データ群を上記入力画像データ群とし、上記入力画像データ群内の各画像データをソートし、上記入力画像データ群内の各画像データの重要度を決定し、上記入力画像データ群内の画像データ同士の接続可能性を判断し、上記入力画像データ群内の画像データを取捨選択し、接続可能であると判断され、かつ、重要であると判断された画像データどうしを、ソートされた順番に接続していくことで、上記表示用画像データを作成し、作成された上記表示用画像データを出力する。
【００２２】
本技術の一側面の画像処理装置は、第１の静止画と第１の動画を表示する画像処理装置であって、上記第１の静止画と上記第１の動画の最初のフレームとが交わりがあるように配置し、主として上記第１の静止画を表示させた後、時間とともに表示領域を移動させて、主として上記第１の動画の最初のフレームを表示させ、さらに、次の時刻以降で、上記第１の動画の２枚目以降のフレームを順次表示させていくか、あるいは、上記第１の動画の最後のフレームと上記第１の静止画とが交わりがあるように配置し、上記第１の動画の最初のフレームから上記第１の動画の最後から２番目のフレームまでを順次表示させていき、さらに、次の時刻で、主として上記第１の動画の最後のフレームを表示させ、さらに、時間とともに表示領域を移動させて、主として上記第１の静止画を表示させていくか、のいずれか一方を少なくとも行う表示部を備える。
【００２３】
本技術の一側面の画像処理方法またはプログラムは、第１の静止画と第１の動画を表示する画像処理方法またはプログラムであって、上記第１の静止画と上記第１の動画の最初のフレームとが交わりがあるように配置し、主として上記第１の静止画を表示させた後、時間とともに表示領域を移動させて、主として上記第１の動画の最初のフレームを表示させ、さらに、次の時刻以降で、上記第１の動画の２枚目以降のフレームを順次表示させていくか、あるいは、上記第１の動画の最後のフレームと上記第１の静止画とが交わりがあるように配置し、上記第１の動画の最初のフレームから上記第１の動画の最後から２番目のフレームまでを順次表示させていき、さらに、次の時刻で、主として上記第１の動画の最後のフレームを表示させ、さらに、時間とともに表示領域を移動させて、主として上記第１の静止画を表示させていくか、のいずれか一方を少なくとも行う表示処理ステップを含む。
【００２４】
本技術の一側面においては、第１の静止画と第１の動画を表示する画像処理において、上記第１の静止画と上記第１の動画の最初のフレームとが交わりがあるように配置し、主として上記第１の静止画を表示させた後、時間とともに表示領域を移動させて、主として上記第１の動画の最初のフレームを表示させ、さらに、次の時刻以降で、上記第１の動画の２枚目以降のフレームを順次表示させていくか、あるいは、上記第１の動画の最後のフレームと上記第１の静止画とが交わりがあるように配置し、上記第１の動画の最初のフレームから上記第１の動画の最後から２番目のフレームまでを順次表示させていき、さらに、次の時刻で、主として上記第１の動画の最後のフレームを表示させ、さらに、時間とともに表示領域を移動させて、主として上記第１の静止画を表示させていくか、のいずれか一方を少なくとも行う表示処理を行う。
【発明の効果】
【００２５】
本技術の一側面によれば、時間とともに流れていく連続性を感じることの出来る表示用の画像データを作成でき、そして、再生できる。
【図面の簡単な説明】
【００２６】
【図１】デジタルカメラで撮影された画像の一般的な例を示す図である。
【図２】本発明における画像間のスムーズな接続に関する説明図である。
【図３】本発明における画像間のスムーズな接続に関する説明図である。
【図４】本発明における画像間のスムーズな接続に関する説明図である。
【図５】本発明における画像間のスムーズな接続に関する説明図である。
【図６】本発明により作成される「ひと続きの画像」の例を示す図である。
【図７】本発明により作成される「ひと続きの画像」を再生する場合の説明図である。
【図８】本発明により作成される「ひと続きの画像」、および、その再生に関する説明図である。
【図９】本発明により作成される「ひと続きの画像」、および、その再生に関する説明図である。
【図１０】本発明により作成される「ひと続きの画像」、および、その再生に関する説明図である。
【図１１】本発明により作成される「ひと続きの画像」を再生する場合の説明図である。
【図１２】本発明により作成される「ひと続きの画像」を再生する場合の説明図である。
【図１３】本発明におけるスムーズな接続による画像間の位置関係の説明図である。
【図１４】本発明における２つの静止画のスムーズな接続を行うための処理を説明するフローチャートである。
【図１５】本発明の第１の実施例の構成を示すブロック図である。
【図１６】本発明の第１の実施例における接続可能性判断部にて行われる、接続の可能性の可否を判断する処理を説明するフローチャートである。
【図１７】本発明の第１の実施例における有向グラフ作成部、経路探索部、および、画像選別部にて行われる、「ひと続きの画像」の構成用の素材（画像）選別を行う処理を説明するフローチャートである。
【図１８】本発明の第１の実施例における有向グラフ作成部にて作成される有向グラフの一例を示す図である。
【図１９】本発明の第１の実施例における画像接続部にて行われる、隣接画像間の位置関係を求める処理と、マスクを作成する処理を説明するフローチャートである。
【図２０】本発明の第１の実施例におけるレンダリング情報作成部にて行われる、各画像のレンダリング位置を確定する処理を説明するフローチャートである。
【図２１】本発明の第１の実施例におけるレンダリング情報作成部にて行われる、各画像のレンダリング位置を確定する処理を説明するフローチャートである。
【図２２】本発明の第１の実施例における表示情報作成部にて行われる、再生時に表示する位置を確定する処理を説明するフローチャートである。
【図２３】本発明の第１の実施例における表示情報作成部にて行われる、再生時に表示する位置を確定する処理を説明するフローチャートである。
【図２４】本発明の第１の実施例における再生時に表示する位置の説明図である。
【図２５】本発明の第１の実施例における再生時に表示する位置の説明図である。
【図２６】本発明の第１の実施例における再生部にて行われる、再生の処理を説明するフローチャートである。
【図２７】デジタルカメラで撮影された画像の一般的な例を示す図である。
【図２８】本発明の第２の実施例の構成を示すブロック図である。
【図２９】本発明の第２の実施例における左トリミング部および右トリミング部にて行われるトリミングについての説明図である。
【図３０】本発明の第２の実施例により作成される「ひと続きの画像」、および、その再生に関する説明図である。
【図３１】「ひと続きの画像」を生成し、そして、再生するために使用されるコンピュータ装置の構成例を示すブロック図
【発明を実施するための形態】
【００２７】
本発明を適用した典型的な例をまず示す。撮影者は、旅行に出かけ、デジタルカメラによる写真撮影やビデオ撮影をしながら、観光地を複数まわって、帰宅する。帰宅後に、デジタルカメラ内のメモリに記録された画像（静止画、動画およびシネマグラフ）を、ＰＣ（パーソナルコンピュータ）に取り込む。そして、ＰＣ上で、本発明を具現化したプログラムを実行することで、時間とともに流れていく「ひと続きの画像（絵巻物）」を作成する。なお、シネマグラフについては、後述する。また、本発明において、画像とは、静止画、動画、あるいは、シネマグラフのことを指している。そして、この「ひと続きの画像（絵巻物）」をＰＣ上に表示することで、旅の思い出にふけることが出来る。なお、「ひと続きの画像（絵巻物）」とは、一般用語ではなく、本発明における生成物の１つであり、詳細は後述する。
【００２８】
また、シネマグラフとは、複数枚のフレーム（静止画）から成る動画の１種であるが、以下の特徴を有している。すなわち、シネマグラフは、最後のフレームまで再生した後に、最初のフレームに戻り再生（ループ再生）しても、違和感のない動画である。たとえば、普通に動画を撮影した後に、「Kwatra et al., "Graphcut Textures: Image
and Video Synthesis Using Graph Cuts," Proceedings
of SIGGRAPH 2003」の７章に記載されている処理を行うことで、シネマグラフは作成することが出来る。また、ソニーモバイルコミュニケーションズ株式会社が、スマートフォン用のアプリケーションとして、「Xperia(TM) Motion Snap」を配布している。このアプリケーションを使えば、撮影時に自動でシネマグラフを作成してくれる。シネマグラフにより、被写体が無限に動き続けるという表現が可能である。
【００２９】
本発明においては、シネマグラフも素材として使用できる。本発明においては、ループ再生できる動画を、シネマグラフと称し、ループ再生できない動画（最後のフレームから最初のフレームにスムーズに移行できない動画）を、「動画」と称して区別して説明していく。
【００３０】
次に、本発明の成果物である「ひと続きの画像（絵巻物）」について説明する。たとえば、図１に示す静止画Ａ０、静止画Ａ１、静止画Ａ２が、旅行者（撮影者）により撮影されたとする。撮影された順番（撮影時刻の順番）は、Ａ０、Ａ１、Ａ２の順とする。すなわち、旅行者（撮影者）は、旅行の最初に、自動車１００を撮影し、次に、建物１０１を撮影し、最後に人物１０２を撮影したとする。旅行が終わった後に、旅行者（撮影者）は、「旅行中に、自動車１００を見て、さらに、建物１０１を見て、人物１０２に会った」ということを回想したい。今までは、単に、３枚の静止画（Ａ０、Ａ１、Ａ２）を順番に表示させることしか出来なかった。つまり、それぞれのシーンが移り変わって行く様子を感じることが出来ず、旅行の連続性を感じることは出来なかった。本発明は、「旅行の連続性を感じさせる」ための映像表現を提供するものである。
【００３１】
そこで、まず、Ａ０とＡ１の２枚の静止画を図２のように重ね合わせ、そして、図中の太線で示してある分断線２００で接続することを考える。この分断線２００は、２つの静止画がスムーズに接続できる境界線である。たとえば、前記「非特許文献１」に書かれている手法により、２枚の画像をスムーズに接続すれば良い。Ａ１において、分断線よりも右側の領域（図３において、分断線２００を含む太線で囲まれている斜線で示す領域３００）をＡ１のマスク画像とする。換言すれば、Ａ１のマスク画像とは、分断線２００によりＡ１が２つに分断されるが、分断されたうちの、「Ａ１の画像中心」を含む方の領域である。
【００３２】
次に、Ａ１とＡ２の２枚の静止画を図４のように重ね合わせ、そして、図中の太線で示してある分断線４００で接続することを考える。この分断線４００は、２つの静止画がスムーズに接続できる境界線である。Ａ２において、分断線よりも右下側の領域（図５において、分断線４００を含む太線で囲まれている斜線で示す領域５００）をＡ２のマスク画像とする。換言すれば、Ａ２のマスク画像とは、分断線４００によりＡ２が２つに分断されるが、分断されたうちの、「Ａ２の画像中心」を含む方の領域である。
【００３３】
マスク画像が決定された後は、Ａ０をキャンバス（図６の６００）上に書き込む。そして、Ａ１を、Ａ１のマスク画像の部分のみ書き込む。このとき、キャンバス６００上に書き込まれたＡ０の一部分は、Ａ１により上書きされる。最後に、Ａ２を、Ａ２のマスク画像の部分のみ書き込む。このとき、キャンバス６００上に書き込まれたＡ１の一部分は、Ａ２により上書きされる。このようにすることで、キャンバス６００上に、６０１で示すような画像（本発明においては、「ひと続きの画像（絵巻物）」と称している。）が出来上がる。
【００３４】
このようにして作成されたキャンパス６００上の「ひと続きの画像（絵巻物）６０１」を以下のようにして再生する（表示する）。すなわち、図７において、最初に７００で示す表示枠の領域を表示させ、次の時刻において、７０１で示す表示枠の領域を表示させ、さらに、次の時刻において７０２で示す表示枠の領域を表示させていく。以降、７０３で示す表示枠の領域に到達するまで、順次、表示枠を右に移動させながら表示していく。そして、次の時刻において、７０４で示す表示枠の領域を表示させる。さらに、次の時刻において、７０５で示す表示枠の領域を表示させる。以降、７０６で示す表示枠の領域に到達するまで、順次、表示枠を右下に移動させながら表示していく。最後に、７０６で示す表示枠の領域を表示させて、一連の表示を終了する。
【００３５】
このように表示させることで、旅行者（撮影者）は、表示順から「旅行中に、自動車１００を見て、さらに、建物１０１を見て、人物１０２に会った」ということを順番に回想するとともに、各静止画がスムーズにつながっているので「旅行の連続性を感じる」ことが出来る。
【００３６】
なお、上記では、「分断線」という単語を使用した。図３や図５に示したように、この線は、静止画（Ａ１やＡ２）を表示する部分と表示させない部分の２つに分断するための線を意味しているので、「分断線」という単語を使用した。この線を境界として静止画同士を接続しているので、「接続線」と表現しても良いであろう。
【００３７】
また、ここでは３枚の静止画（Ａ０、Ａ１、Ａ２）を例にして説明したが、通常、数十〜百枚程度の画像を接続することを想定している。
【００３８】
さて、「ひと続きの画像（絵巻物）」を作成するのに、上述の例では、常に右あるいは右下方向に接続していくように説明した。しかし、本発明においては、他の方向についても適用可能である。その例について、図８を用いて説明する。後述するように重なり部分があり２次元で図示すると煩雑になるため、画像を３次元空間上に配置して、俯瞰した図で示している。つまり、Ｘ軸とＹ軸で、静止画の２次元データを表現し、Ｚ軸の位置を変えることで重なり部分を排除するように図示してある。
【００３９】
静止画Ｂ０、静止画Ｂ１、静止画Ｂ２、静止画Ｂ３、静止画Ｂ４、静止画Ｂ５が、旅行者（撮影者）により撮影されたとする。撮影された順番（撮影時刻の順番）は、Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５の順とする。
【００４０】
図８に示すように、Ｂ０に対して、Ｂ１は下側に接続されている。分断線８００において、Ｂ０とＢ１はスムーズに接続されている。
【００４１】
Ｂ１に対して、Ｂ２は右側に接続されている。分断線８０１において、Ｂ１とＢ２はスムーズに接続されている。
【００４２】
Ｂ２に対して、Ｂ３は右下側に接続されている。分断線８０２において、Ｂ２とＢ３はスムーズに接続されている。
【００４３】
Ｂ３に対して、Ｂ４は左側に接続されている。分断線８０３において、Ｂ３とＢ４はスムーズに接続されている。なお、図中において、「Ｂ３の左上にあるＢ２」と「Ｂ３の左にあるＢ４」とが、２次元平面（ＸＹ平面）で図示すると重なって煩雑になるので、Ｚ軸の値をずらして図示している。図中にＢ３は２つ示されているが、これは全く同じものである。また、後述する表示枠８２３も２つ示されているが、これも全く同じものである。
【００４４】
Ｂ４に対して、Ｂ５は左側に接続されている。分断線８０４において、Ｂ４とＢ５はスムーズに接続されている。
【００４５】
このようにして各分断線で接続された「ひと続きの画像（絵巻物）８１０」を以下のようにして再生する（表示する）。
【００４６】
すなわち、図８において、最初に８２０で示す表示枠の領域を表示させ、そして、時刻が進むにつれて、矢印８３０の方向に、表示枠を移動させながら、表示させていく。
【００４７】
そして、８２１で示す表示枠の領域に到達した後、次に、矢印８３１の方向に、表示枠を移動させながら、表示させていく。
【００４８】
そして、８２２で示す表示枠の領域に到達した後、次に、矢印８３２の方向に、表示枠を移動させながら、表示させていく。
【００４９】
そして、８２３で示す表示枠の領域に到達した後、次に、矢印８３３の方向に、表示枠を移動させながら、表示させていく。
【００５０】
そして、８２４で示す表示枠の領域に到達した後、次に、矢印８３４の方向に、表示枠を移動させながら、表示させていく。
【００５１】
そして、最後に、８２５で示す表示枠の領域を表示させて、一連の表示を終了する。
【００５２】
さて、上記では、「ひと続きの画像（絵巻物）」を作成する素材として、静止画のみを用いる場合について説明したが、動画やシネマグラフを用いても良い。
【００５３】
動画の例を、図９を用いて説明する。静止画Ｃ０、静止画Ｃ１、動画Ｃ２、動画Ｃ３、静止画Ｃ４、静止画Ｃ５が、旅行者（撮影者）により撮影されたとする。撮影された順番（撮影時刻の順番）は、Ｃ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５の順とする。動画Ｃ２は、４枚のフレーム（Ｃ２０、Ｃ２１、Ｃ２２、Ｃ２３）より成る。動画Ｃ３は、３枚のフレーム（Ｃ３０、Ｃ３１、Ｃ３２）より成る。一般に、動画は数十秒から１分程度あるので、動画を構成するフレームの数は、数百から数千である。ここでは、説明を簡単にするため、４枚および３枚のフレームより動画が構成されているとしている。
【００５４】
図９に示すようにＣ０に対して、Ｃ１は右上側に接続されている。分断線９００において、Ｃ０とＣ１はスムーズに接続されている。
【００５５】
Ｃ１に対して、Ｃ２０（動画Ｃ２の最初のフレーム）は右側に接続されている。分断線９０１において、Ｃ１とＣ２０はスムーズに接続されている。
【００５６】
Ｃ２３（動画Ｃ２の最後のフレーム）に対して、Ｃ３０（動画Ｃ３の最初のフレーム）は右下側に接続されている。分断線９０２において、Ｃ２３とＣ３０はスムーズに接続されている。
【００５７】
Ｃ３２（動画Ｃ３の最後のフレーム）に対して、Ｃ４は左側に接続されている。分断線９０３において、Ｃ３２とＣ４はスムーズに接続されている。
【００５８】
Ｃ４に対して、Ｃ５は左側に接続されている。分断線９０４において、Ｃ４とＣ５はスムーズに接続されている。
【００５９】
このようにして各分断線で接続された「ひと続きの画像（絵巻物）９１０」を以下のようにして再生する（表示する）。
【００６０】
すなわち、図９において、最初に９２０で示す表示枠の領域を表示させ、そして、時刻が進むにつれて、矢印９４０の方向に、表示枠を移動させながら、表示させていく。
【００６１】
そして、９２１で示す表示枠の領域に到達した後、次に、矢印９４１の方向に、表示枠を移動させながら、表示させていく。そして、９２２で示す表示枠の領域を表示させる。
【００６２】
ここまでで使用する静止画は、Ｃ０、Ｃ１、および、Ｃ２０である。なお、Ｃ２０は、動画の中の１フレームのデータであり、静止画と言える。同様に、動画の各フレームは、それぞれ静止画と言える。
【００６３】
その次の時刻では、９２３で示す表示枠の領域を表示させる。ここで表示されるデータは、静止画Ｃ２１の一部である。
【００６４】
その次の時刻では、９２４で示す表示枠の領域を表示させる。ここで表示されるデータは、静止画Ｃ２２の一部である。
【００６５】
その次の時刻では、９２５で示す表示枠の領域を表示させる。ここで表示されるデータは、静止画Ｃ２３の一部である。
【００６６】
９２５で示す表示枠の領域を表示させた後は、時刻が進むにつれて、矢印９４２の方向に、表示枠を移動させながら、表示させていく。そして、９２６で示す表示枠の領域を表示させる。ここで使用する静止画は、Ｃ２３およびＣ３０である。
【００６７】
その次の時刻では、９２７で示す表示枠の領域を表示させる。ここで表示されるデータは、静止画Ｃ３１の一部である。
【００６８】
その次の時刻では、９２８で示す表示枠の領域を表示させる。ここで表示されるデータは、静止画Ｃ３２の一部である。
【００６９】
９２８で示す表示枠の領域を表示させた後は、時刻が進むにつれて、矢印９４３の方向に、表示枠を移動させながら、表示させていく。ここで使用する静止画は、Ｃ３２およびＣ４である。
【００７０】
そして、９２９で示す表示枠の領域に到達した後、次に、矢印９４４の方向に、表示枠を移動させながら、表示させていく。
【００７１】
そして、最後に、９３０で示す表示枠の領域を表示させて、一連の表示を終了する。
【００７２】
このような一連の表示を鑑賞した旅行者（撮影者）は、一連の出来事を回想するとともに、各静止画がスムーズにつながっているので出来事の連続性を感じることが出来る。さらに、この一連の表示の中では、動画Ｃ２および動画Ｃ３は、動画として再生されている。すなわち、Ｃ２０、Ｃ２１、Ｃ２２、Ｃ２３が連続的に表示され、Ｃ３０、Ｃ３１、Ｃ３２も連続的に表示される。厳密に言うならば、動画において、表示枠内の領域（動画の一部分）のみが再生される。
【００７３】
また、矢印９４１の方向に、表示枠を移動させながら、表示させていく過程で、静止画Ｃ１から連続的に動画Ｃ２（正確には、動画の最初のフレームＣ２０）へと移行できる。同様に、矢印９４３の方向に、表示枠を移動させながら、表示させていく過程で、動画Ｃ３（正確には、動画の最後のフレームＣ３２）から連続的に静止画Ｃ４へと移行できる。このように、静止画と動画が混在していても、出来事の連続性を感じさせるような表示が可能である。
【００７４】
シネマグラフの例を、図１０を用いて説明する。静止画Ｄ０、静止画Ｄ１、シネマグラフＤ２、静止画Ｄ３、静止画Ｄ４が、旅行者（撮影者）により撮影されたとする。撮影された順番（撮影時刻の順番）は、Ｄ０、Ｄ１、Ｄ２、Ｄ３、Ｄ４の順とする。シネマグラフＤ２は、４枚のフレーム（Ｄ２０、Ｄ２１、Ｄ２２、Ｄ２３）より成る。一般に、シネマグラフは数秒程度あるので、シネマグラフを構成するフレームの数は、数十から数百である。ここでは、説明を簡単にするため、４枚のフレームよりシネマグラフが構成されているとしている。
【００７５】
なお、Ｄ２は、シネマグラフであるから、Ｄ２０、Ｄ２１、Ｄ２２、Ｄ２３、Ｄ２０、Ｄ２１、Ｄ２２、Ｄ２３、Ｄ２０、…とエンドレスにループ再生し続けても、違和感のない動画である。
【００７６】
図１０に示すようにＤ０に対して、Ｄ１は右側に接続されている。分断線１０００において、Ｄ０とＤ１はスムーズに接続されている。
【００７７】
Ｄ１に対して、Ｄ２０（シネマグラフＤ２の最初のフレーム）は右下側に接続されている。分断線１００１において、Ｄ１とＤ２０はスムーズに接続されている。
【００７８】
Ｄ２０（シネマグラフＤ２の最初のフレーム）に対して、Ｄ３は右上側に接続されている。分断線１００２において、Ｄ２０とＤ３はスムーズに接続されている。
【００７９】
なお、図中には、分断線１００１と分断線１００２の位置は、Ｄ２０上以外にも、Ｄ２１、Ｄ２２、Ｄ２３上にも記してある。
【００８０】
Ｄ３に対して、Ｄ４は右下側に接続されている。分断線１００３において、Ｄ３とＤ４はスムーズに接続されている。
【００８１】
このようにして各分断線で接続された「ひと続きの画像（絵巻物）１０１０」を以下のようにして再生する（表示する）。
【００８２】
なお、シネマグラフを含む「ひと続きの画像（絵巻物）」の場合、再生する（表示する）際に、２つの時間の概念を導入する。ひとつは、絶対時刻であり、他方は、再生時刻である。後述するように、鑑賞者は、再生中に、再生し続ける（一般的に、プレイモードと呼ぶ）か、あるいは、一時停止する（一般的に、ポーズモードと呼ぶ）かのどちらかを選ぶことが出来る。プレイモードでもポーズモードでも、絶対時刻は、進んでいく。一方、再生時刻は、プレイモードの時のみ進んでいき、ポーズモードの時は、その時刻の値を保持し続け、進まない。
【００８３】
さて、図１０において、最初に１０２０で示す表示枠の領域を表示させ、そして、プレイモードである場合は、再生時刻が進むにつれて、矢印１０３０の方向に、表示枠を移動させながら、表示させていく。
【００８４】
そして、１０２１で示す表示枠の領域に到達した後、プレイモードである場合は、再生時刻が進むにつれて、矢印１０３１の方向に、表示枠を移動させながら、表示させていく。つまり、１０２２で示す表示枠や、１０２３で示す表示枠の領域を順次表示させていく。
【００８５】
そして、１０２３で示す表示枠の領域に到達した後、プレイモードである場合は、再生時刻が進むにつれて、矢印１０３２の方向に、表示枠を移動させながら、表示させていく。
【００８６】
そして、１０２４で示す表示枠の領域に到達した後、プレイモードである場合は、再生時刻が進むにつれて、矢印１０３３の方向に、表示枠を移動させながら、表示させていく。
【００８７】
そして、最後に、１０２５で示す表示枠の領域を表示させて、一連の表示を終了する。
【００８８】
なお、ポーズモードのときは、その直前に表示していた表示枠の領域を表示させ続ける。ポーズモードからプレイモードに移行したときは、その地点から矢印の方向に表示枠を移動させながら表示させていく。
【００８９】
さて、表示の際に使用するシネマグラフＤ２は、具体的には、静止画Ｄ２０、静止画Ｄ２１、静止画Ｄ２２、あるいは、静止画Ｄ２３のいずれか１つである。そして、Ｄ２０、Ｄ２１、Ｄ２２、あるいは、Ｄ２３のいずれを使用するかは、絶対時刻に依存する。なお、Ｄ２０、Ｄ２１、Ｄ２２、Ｄ２３は、それぞれ、シネマグラフの中の１フレームのデータであり、静止画と言える。さて、具体的には、絶対時刻をシネマグラフのフレーム数（この例では「４」）で割った余りに対応するフレームを使用する。つまり、絶対時刻が４の倍数であるときはＤ２０を使用し、絶対時刻を４で割ったときの余りが１であるときはＤ２１を使用し、絶対時刻を４で割ったときの余りが２であるときはＤ２２を使用し、そして、絶対時刻を４で割ったときの余りが３であるときはＤ２３を使用する。
【００９０】
例えば、図１０の１０２２で示す表示枠の領域を表示させていて、鑑賞者がポーズモードを選択した場合を考える。ポーズモードが選択されているので、再生時刻は現在の値を維持し、１０２２で示す表示枠の領域を表示し続ける。つまり、１０２２で示す表示枠の中で、分断線１００１よりも左上の部分については、静止画Ｄ１の対応部分（図１１（ア）の１１００で示す斜線部分）を表示し続ける。一方、１０２２で示す表示枠の中で、分断線１００１よりも右下の部分については、ポーズモードであったとしても、絶対時刻は常に進んでいくので、絶対時刻に対応して、静止画Ｄ２０の対応部分（図１１（イ）の１１０１で示す斜線部分）、静止画Ｄ２１の対応部分（図１１（ウ）の１１０２で示す斜線部分）、静止画Ｄ２２の対応部分（図１１（エ）の１１０３で示す斜線部分）、あるいは、静止画Ｄ２３の対応部分（図１１（オ）の１１０４で示す斜線部分）が、交代で表示される。つまり、絶対時刻を４で割った時の余りの値が０、１、２、３に対応して、それぞれ、図１１（カ）、（キ）、（ク）、（ケ）が表示されることになる。
【００９１】
同様に、例えば、図１０の１０２３で示す表示枠の領域を表示させている場合は、絶対時刻に対応して、静止画Ｄ２０の対応部分（図１２（ア）の１２００で示す斜線部分）、静止画Ｄ２１の対応部分（図１２（イ）の１２０１で示す斜線部分）、静止画Ｄ２２の対応部分（図１２（ウ）の１２０２で示す斜線部分）、あるいは、静止画Ｄ２３の対応部分（図１２（エ）の１２０３で示す斜線部分）が、交代で表示される。つまり、絶対時刻を４で割った時の余りの値が０、１、２、３に対応して、それぞれ、図１２（オ）、（カ）、（キ）、（ク）が表示されることになる。
【００９２】
このような一連の表示を鑑賞した旅行者（撮影者）は、一連の出来事を回想するとともに、各静止画がスムーズにつながっているので出来事の連続性を感じることが出来る。さらに、この一連の表示の中では、シネマグラフＤ２は、ポーズモードであったとしてもループ再生されている。すなわち、Ｄ２０、Ｄ２１、Ｄ２２、Ｄ２３が連続的にエンドレスで表示される。厳密に言うならば、シネマグラフにおいて、表示枠内の領域（シネマグラフの一部分）のみがループ再生される。
【００９３】
また、プレイモードのときに、矢印１０３１の方向に、表示枠を移動させながら、表示させていく過程で、静止画Ｄ１から連続的にシネマグラフＤ２へと移行できる。同様に、矢印１０３２の方向に、表示枠を移動させながら、表示させていく過程で、シネマグラフＤ２から連続的に静止画Ｄ３へと移行できる。このように、静止画とシネマグラフが混在していても、出来事の連続性を感じさせるような表示が可能である。そして、ポーズモードであったとしても、シネマグラフ特有の被写体が無限に動き続けるという表現を損なうこともない。
【００９４】
さて、上述の例から分かるように、画像間を接続する分断線を決定するために使用する静止画は、表１に示したとおりとなる。
【００９５】
【表１】
2015130546.tif 000003
【００９６】
表１において、順位の若い方の画像とは、撮影時刻の早い方の画像を意味し、順位の若くない方の画像とは、撮影時刻の遅い方の画像を意味する。例えば、静止画、動画の順番に撮影した場合は、表から分かるように、静止画と、「動画の最初のフレーム（１つのフレームなので静止画とみなせる）」との接続を考えれば良い。これは、図９の静止画Ｃ１と、動画Ｃ２との接続と合致する。また、例えば、動画、シネマグラフの順番に撮影した場合は、表から分かるように、「動画の最後のフレーム（１つのフレームなので静止画とみなせる）」と「シネマグラフの最初のフレーム（１つのフレームなので静止画とみなせる）」の接続を考えれば良い。他の組み合わせも、表に示したとおりである。
【００９７】
次に、２つの静止画が与えられたとき、スムーズに接続するための、分断線の決定手順について、説明する。
【００９８】
まず、２つの静止画の重なり部分は、小さくもなく、かつ、大きくもない必要があるという事について、図１３を用いて説明する。図１３は、静止画Ａ０と静止画Ａ１の接続を説明するための図である。重なり部分が分かりやすいように、Ａ０を太線で、Ａ１を細線で記してある。
【００９９】
図１３の（ア）に示すように、Ａ０とＡ１の重なり部分が大きい場合を考える。重なり部分については、Ａ０あるいはＡ１のどちらか一方はマスク処理で削除されてしまう。したがって、「ひと続きの画像（絵巻物）」を再生したときに、せっかく撮影したにも関わらずＡ０あるいはＡ１のどちらか一方は、ほとんどの領域が表示されないことになる。これは、よろしくない。
【０１００】
図１３の（イ）に示すように、Ａ０とＡ１の重なり部分が小さい場合を考える。表示する領域が、１３００から始まり、１３０１へと移動する。途中の１３０２を表示しているときは、１３１０や１３１１で示す部分のデータがないので、この部分は黒色を表示することになる。鑑賞している最中に、黒色が多く表示されるのは、よろしくない。もちろん、移動しながら表示枠の大きさを変えていくことも可能である。つまり、表示枠の移動の途中では、黒色部分が少なくなるように、表示枠を小さくすることも可能である。この場合、表示装置（鑑賞するための表示装置）に表示する大きさを一定にするために、拡大処理が行われ、解像度が粗くなってしまい、やはり、よろしくない。
【０１０１】
従って、２つの静止画の重なり部分は適度な大きさである必要がある。
【０１０２】
この事を加味すると、分断線の決定手順は、図１４となる。図１４には、２つの静止画Ｓ１とＳ２（Ｓ１、Ｓ２の順番に撮影されたとする）が既に与えられたときに、この２つの静止画をスムーズに接続するための、分断線の決定に関する処理フローを示している。この処理を行う前に、既に、静止画Ｓ１と静止画Ｓ２が与えられているとする。
【０１０３】
まず、ステップＳ１０１で、ＡＶ０に大きな値をセットする。そして、ステップＳ１０２に進む。
【０１０４】
ステップＳ１０２で、「重なり条件」を満たすＳ１とＳ２の位置関係をすべて処理したかを判断する。ここで、「重なり条件」とは、Ｓ１とＳ２の重なり部分は適度な大きさであり、図１３の（ア）や（イ）のような位置関係でないという事である。具体的には、例えば、「Ｓ１とＳ２の重なり部分（矩形領域）について、横方向の画素数が１００画素以上あり、かつ、縦方向の画素数が１００画素以上あり、かつ、横方向の画素数と縦方向の画素数のどちらか一方は２００画素以下である」という条件である。「重なり条件」を満たすＳ１とＳ２の位置関係をすべて処理した場合は、ステップＳ１０７に進み、そうでなければ、ステップＳ１０３に進む。
【０１０５】
ステップＳ１０３に処理が進む場合は、「重なり条件」を満たすＳ１とＳ２の位置関係で、まだ処理を行っていないものがあるという事である。そこで、ステップＳ１０３で、「重なり条件」を満たすＳ１とＳ２の位置関係で、まだ処理していない位置関係になるようにＳ１とＳ２をセットする。そして、ステップＳ１０４に進む。
【０１０６】
ステップＳ１０４で、重なり部分を分断する最適な線（分断線）を決定する。すなわち、Ｓ１のエッジ（画像の縁）とＳ２のエッジ（画像の縁）の交点（２つある）を始点および終点とする線の中で、差分平均値が最小となる線を求める。求まった分断線をＬ１
、そのときの差分平均値をＡＶ１とする。なお、差分平均値とは、以下により定義される値である。すなわち、Ｓ１の各画素とＳ２の各画素の差分絶対値を、線が通過する画素位置について合計する。この合計値を線の長さ（通過する画素の数）で割った値が、差分平均値である。
【０１０７】
なお、ステップＳ１０４での分断線の決定は、Ｓ１のエッジ（画像の縁）とＳ２のエッジ（画像の縁）の交点（２つある）を始点および終点とするグラフを作成して、動的計画法やグラフカットにより解くことが出来る。この決定手法（動的計画法、あるいは、グラフカット）は、既知の手法であり、その説明を省略する。
【０１０８】
ステップＳ１０４の後、ステップＳ１０５に進む。
【０１０９】
ステップＳ１０５で、ＡＶ１がＡＶ０よりも小さいか判断する。小さいと判断された場合は、ステップＳ１０６に進み、そうでなければ、ステップＳ１０２に進む。
【０１１０】
ステップＳ１０６に処理が進む場合は、現在のＳ１とＳ２の位置関係において、Ｓ１とＳ２の静止画を分断線Ｌ１により接続すると、今まで探索したＳ１とＳ２の位置関係よりも良好な接続ができるという事である。そこで、ステップＳ１０６で、ＡＶ０にＡＶ１の値をセットする。そして、Ｌ０にＬ１の分断線の情報をセットする。ＭＶ０
に「Ｓ１の中心位置を始点とし、Ｓ２の中心位置を終点とするベクトル」をセットする。そして、Ｓ１０２に進む。
【０１１１】
ステップＳ１０７に処理が進む場合は、「重なり条件」を満たすＳ１とＳ２のすべての位置関係の中で、最適な接続ができる関係が求まっているという事である。そこで、ステップＳ１０７で、ＡＶ０の逆数を、接続度合として出力する。接続度合とは、値が大きければ大きいほど、２つの静止画がスムーズに接続されていることを意味する。これは、ＡＶ０の値が、分断線上の画素どうしの差分絶対値の平均値であることから明らかである。そして、ステップＳ１０８に進む。
【０１１２】
ステップＳ１０８で、ＭＶ０を２枚の画像の位置関係として出力する。そして、ステップＳ１０９に進む。
【０１１３】
ステップＳ１０９で、Ｓ２のエッジ（画像の縁）とＬ０とで囲まれる領域で、かつ、Ｓ２の中心を含む領域を求める。この領域をマスクとするマスク画像を出力する。そして、一連の処理を終える。
【０１１４】
このようにして、Ｓ１とＳ２のすべての位置関係について探索して、可能な限りスムーズにつなげたときの位置関係（Ｓ１０８での出力）、可能な限りスムーズにつなげたときの接続度合（スムーズに接続できるかどうか）（Ｓ１０７の出力）、可能な限りスムーズにつなげたときに採用されるＳ２の領域（マスク）（Ｓ１０９での出力）を求めることが出来る。
【０１１５】
〈第１の実施の形態〉
それでは、本発明の第１の実施例について説明する。図１５は、本発明の第１の実施例の画像処理装置１０の構成例を示している。なお、これ以降において、画像を表す記号として、Ｄ１およびＤ２を用いるが、図１０のＤ１およびＤ２とは違うものである。
【０１１６】
画像処理装置１０内には、入力部１１、画像収集部１２、データベース管理部１３、入力画像データ記憶部１５、接続可能性判断部１６、有向グラフ作成部１７、経路探索部１８、画像選別部１９、画像接続部２０、レンダリング情報作成部２１、表示情報作成部２２、「ひと続きの画像（絵巻物）のデータ保存部２３」、ユーザインターフェース部２４、再生部２５、および、画像表示部２６があり、さらに、データベース管理部１３内には、汎用画像データベース１４がある。
【０１１７】
入力部１１からは、旅行者（撮影者）が撮影した画像が複数入力される。ここで言う「画像」とは、静止画、動画、あるいは、シネマグラフのいずれかを示す。これら画像には、撮影時刻と、撮影位置が、付随情報として与えられているとする。さらに、必要に応じて、旅行者（撮影者）により、重要な画像には、重要である旨が、付随情報として与えられているとする。
【０１１８】
入力部１１から入力された画像は、画像収集部１２へと送られる。画像収集部１２では、入力された画像の中で、不要な画像を破棄し、有用な画像のみを後段の入力画像データ記憶部１５に保存する処理を行う。さらに、入力された画像と同じ位置で撮影された画像を、汎用画像データベース１４から取り出し、この画像も、後段の入力画像データ記憶部１５に保存する処理も行う。なお、データベース管理部１３は、画像収集部１２とは物理的には離れた位置に設置して、インターネットを介してデータのやりとりを行う構成としても良い。
【０１１９】
さて、従来から、画像の中に顔が写っているかを自動で判別する顔認識技術や、注目すべき物体が撮影されているかを自動で判別する Visual Attention 技術が知られている。これら技術は既知の技術であり、その説明を省略する。
【０１２０】
画像収集部１２は、入力部１１から入力された画像のそれぞれに対して、既存の顔認識技術やVisual Attention 技術を用いて、顔が撮影されている、あるいは、注目すべき物体が撮影されているかを判断し、そのような画像のみを、有用な画像として後段の入力画像データ記憶部１５に保存する。なお、一般的に、顔が写っている画像は、記念撮影された重要な画像であるので、顔認識技術により顔が写っているかを判断することは有用である。この時、既存の顔認識技術やVisual Attention 技術を用いて判断した結果が「有用な画像でない」となった場合でも、付随情報として旅行者（撮影者）により重要である旨が与えられている画像は、保存する。既存技術を用いると陳腐な画像であるという結果が出る場合でも、旅行者（撮影者）にとっては、思い入れのある画像もありうる。そのような画像には、旅行者（撮影者）が明示的に付随情報として、重要である旨を与えることで、破棄されることがなくなる。
【０１２１】
また、入力部１１から入力された画像において、ほぼ同時刻において撮影された複数の画像は、その中の任意の１つを有用な画像として後段の入力画像データ記憶部１５に保存し、残りの画像は破棄するという処理をしても良い。この処理は、入力された画像の付随情報である撮影時刻の情報を用いて行われる。なお、破棄する理由は、一般的に、旅行者（撮影者）は同じ場所で同じ構図の画像を複数枚撮影することがあるので、そのような画像は、１つだけ保存すれば良いからである。
【０１２２】
なお、画像を入力画像データ記憶部１５に保存する際に、既存の Visual Attention 技術で判定された「注目すべき物体が撮影されている」という度合も、この画像の重要度として、入力画像データ記憶部に保存する。「重要度」とは、大きければ大きいほど、重要な画像であることを意味する。付随情報として旅行者（撮影者）により重要である旨が与えられている画像については、Visual Attention 技術で判定された「注目すべき物体が撮影されている」という度合にかかわらず、常に、重要度として、とても大きな値を、設定する。
【０１２３】
また、画像収集部１２では、入力部１１から入力された画像（画像Ａとする。）の（撮影した時の）位置情報（付随情報の一種）を、データベース管理部１３に伝える。
【０１２４】
データベース管理部１３内には、汎用画像データベース１４がある。汎用画像データベース１４には、あらかじめ、膨大な鑑賞用の綺麗な画像が保存されているとする。そして、これら画像には、位置情報が付随されているとする。データベース管理部１３では、画像Ａの位置情報と同じ位置の画像（画像Ｂとする。）を、汎用画像データベース１４から取り出し、画像収集部１２へ送る。
【０１２５】
画像収集部１２では、「画像Ａの撮影時刻と同じ時刻（あるいは、画像Ａの撮影時刻の直後の時刻）を、画像Ｂの撮影時刻とする」ように、画像Ｂの付随情報（撮影時刻）の追記を行う。これは、あたかも、旅行者（撮影者）が、画像Ａを撮影した時刻と同じ時刻に、鑑賞用の綺麗な画像（画像Ｂ）も撮影したかのようにするためである。そして、画像Ｂを入力画像データ記憶部１５に保存する。また、画像Ｂの重要度は大きくしておく。
【０１２６】
後述するように、これ以降の処理では、画像Ａも画像Ｂも、それぞれ、付随情報に記されている時刻に撮影したとして処理が行われる。
【０１２７】
なお、これ以降では、入力画像データ記憶部１５に記憶されている画像の数をＮ個とする。そして、撮影時刻の順番に、０番目からＮ−１番目まで番号が付けられているとし、話を進める。番号が大きいほど、時間的に後で撮影された画像である。つまり、画像収集部１２から入力画像データ記憶部１５に、各画像を保存する際に、画像収集部１２にて、撮影時刻をチェックして、適切な番号を付加して、入力画像データ記憶部１５に、各画像を保存する。
【０１２８】
また、上述のとおり、入力画像データ記憶部１５に記憶されている画像には、それぞれ、重要度が付随情報として与えられている。
【０１２９】
次に、入力画像データ記憶部１５に記憶されているＮ個の画像の中から、実際に、「ひと続きの画像（絵巻物）」に使用する画像を選ぶ。この処理は、接続可能性判断部１６、有向グラフ作成部１７、経路探索部１８、画像選別部１９にて行われる。実際に、「ひと続きの画像（絵巻物）」に使用する画像をＭ個とすると、Ｎ個の画像からＭ個の画像を選び、（Ｎ−Ｍ）個の画像を破棄する処理である。重要度の高い画像は、なるべく選出され、重要度の低い画像は、破棄される。また、画像間でスムーズに接続できる画像のペアは、なるべく選出され、スムーズに接続できない画像のペアは、破棄される。さらに、例えば、１週間の旅行に行ったときに撮影した画像群を入力した場合、それぞれの日に撮影された画像のうちの数枚は、必ず採用されるように選出される。逆に言えば、ある日に撮影された画像は１つも採用されない、あるいは、重要度の高い画像が採用されないような、間違えた取捨選択は行わない。処理の詳細は後述する。
【０１３０】
このようにして、選ばれたＭ個の画像は、実際に、スムーズに接続するための位置関係や、適切なマスク画像を、画像接続部２０およびレンダリング情報作成部２１にて求めて、その結果を「ひと続きの画像（絵巻物）のデータ保存部２３」に保存する。また、表示する際に、時刻が進むにつれて、どの位置を表示するかという情報（前述の「表示枠」の推移に関する情報）を、表示情報作成部２２にて作成し、その結果を「ひと続きの画像（絵巻物）のデータ保存部２３」に保存する。処理の詳細は後述する。
【０１３１】
以上の処理により、「ひと続きの画像（絵巻物）」が作成され、「ひと続きの画像（絵巻物）のデータ保存部２３」に保存される。
【０１３２】
次に、これを再生（表示）する処理について説明する。「ひと続きの画像（絵巻物）のデータ保存部２３」に保存されている「ひと続きの画像（絵巻物）」が、再生部２５に入力される。ユーザインターフェース部２４から、鑑賞者が、プレイモードかポーズモードかを指定する。このモードの指定を受けて、再生部２５では、「ひと続きの画像（絵巻物）」から、時刻ごとに適切な画像を切り出し、画像表示部２６へ送る。画像表示部２６では、送られてきた画像を表示する。処理の詳細は後述する。
【０１３３】
以上の処理により「ひと続きの画像（絵巻物）」の作成および再生が行われる。
【０１３４】
なお、当然のことであるが、「ひと続きの画像（絵巻物）」を作成するだけであれば、２４、２５および２６の部位は不要である。逆に、既に作成されている「ひと続きの画像（絵巻物）」を再生（表示）するだけであれば、１１乃至２２の部位は不要である。
【０１３５】
次に、入力画像データ記憶部１５に記憶されているＮ個の画像の中から、実際に、「ひと続きの画像（絵巻物）」に使用する画像を選ぶという処理の詳細について、説明する。
【０１３６】
この処理は、有向グラフを作成して、該有向グラフ上でエネルギ最小となる経路（パス）を探索することで行われる。
【０１３７】
なお、Ｎ枚の画像とは、既に番号が付けられている「０番目からＮ−１番目の画像」であり、「１番目からＮ番目」でないことに留意して、以下を読んで欲しい。
【０１３８】
まず、以下のようにして、有向グラフの作成に必要なエネルギ（正確には、エッジのエネルギ）を求める処理（図１６参照）を行う。この処理は、接続可能性判断部１６にて行われる。
【０１３９】
最初に、図１６のステップＳ２０１で、変数ｉに０をセットする。そして、ステップＳ２０２に進む。
【０１４０】
ステップＳ２０２で、ｉの値がＮ−１であるか判断する。Ｎ−１であれば、すべての画像のペアについて処理が終了したので、一連の処理を終える。そうでなければ、ステップＳ２０３に進む。
【０１４１】
ステップＳ２０３で、変数ｊにｉ＋１をセットする。そして、ステップＳ２０４に進む。
【０１４２】
ステップＳ２０４で、ｊの値がＮであるか判断する。Ｎであれば、現在設定されているｉの値に対しては、すべての画像のペアについて処理が終了したので、ステップＳ２０７に進む。そうでなければ、ステップＳ２０５に進む。
【０１４３】
ステップＳ２０５で、i 番目の画像をＤ１とする。 j 番目の画像をＤ２とする。そして、表２に従って、静止画Ｓ１を決定する。表３に従って、静止画Ｓ２を決定する。そして、図１４の処理を行う。図１４の処理で得られる接続度合を、「ｉ番目の画像とｊ番目の画像の接続度合」として出力する。なお、この出力は、有向グラフ作成部１７へ入力される。
【０１４４】
【表２】
2015130546.tif 000004
【０１４５】
【表３】
2015130546.tif 000005
【０１４６】
ステップＳ２０５の処理を行っている時、ｉ＜ｊである。従って、画像Ｄ１は、画像Ｄ２よりも撮影時刻が早い。故に、Ｄ１、Ｄ２に対して、それぞれ、表２、表３に従って、静止画Ｓ１および静止画Ｓ２を決定すれば、表１（既出）と同じルールで静止画を選んだことになる。例えば、ｉ枚目の画像が静止画であり、ｊ枚目の画像がシネマグラフであったとすると、表２および表３から、Ｓ１としてｉ枚目の画像（静止画）が、Ｓ２としてｊ枚目の画像であるシネマグラフの最初のフレーム（１つのフレームなので静止画とみなせる）が選ばれる。また、例えば、ｉ枚目の画像が動画であり、ｊ枚目の画像が静止画であったとすると、表２および表３から、Ｓ１としてｉ枚目の画像である動画の最後のフレーム（１つのフレームなので静止画とみなせる）が、Ｓ２としてｊ枚目の画像（静止画）が選ばれる。そして、図１４の処理フローが行われることで、可能な限りスムーズにつなげたときの位置関係、可能な限りスムーズにつなげたときの接続度合（スムーズに接続できるかどうか）、可能な限りスムーズにつなげたときに採用されるＳ２の領域（マスク）を求めることが出来る。なお、ここでは、接続度合のみが必要であり、位置関係およびＳ２の領域（マスク）は図１４の処理で求まるが破棄する。
【０１４７】
ステップＳ２０５の後、ステップＳ２０６に進む。
【０１４８】
ステップＳ２０６で、次の画像のペアを選ぶために、ｊの値を１だけ増やす。そして、ステップＳ２０４に進む。
【０１４９】
ステップＳ２０７で、次の画像のペアを選ぶために、ｉの値を１だけ増やす。そして、ステップＳ２０２に進む。
【０１５０】
後述するように、Ｓ２０５で出力される「ｉ番目の画像とｊ番目の画像の接続度合」は、有向グラフの各エッジのエネルギとして使われる。
【０１５１】
以上で、有向グラフの作成に必要なエネルギ（正確には、エッジのエネルギ）を求める処理の説明を終える。次に、有向グラフの作成について説明する。
【０１５２】
最初に、図１７のステップＳ３０１で、Ｎ＋２個の順序付けされたノードを作成する。すなわち、０番目のノード、１番目のノード、２番目のノード、…、Ｎ＋１番目のノードのＮ＋２個のノードである。０番目のノードを、ソースノードと呼ぶ。そして、最後のノードであるＮ＋１番目のノードを、シンクノードと呼ぶ。各ノードは、エネルギを有する。そして、ステップＳ３０２に進む。
【０１５３】
ステップＳ３０２で、０番目のノード（ソースノード）と、Ｎ＋１番目のノード（シンクノード）のエネルギとして０をセットする。そして、ステップＳ３０３に進む。
【０１５４】
ステップ３０３で、入力画像データ記憶部１５に保存されているＮ枚の画像において、ｉ−１番目（ｉは１乃至Ｎの整数）の画像に着目する。この画像の重要度の逆数を、ｉ番目のノードのエネルギとしてセットする。そして、ステップＳ３０４に進む。
【０１５５】
ステップＳ３０４で、ｉ番目（ｉは０乃至Ｎの整数）のノードを始点として、ｉ番目よりも順位の劣るノード（ｊ番目のノードとする。ここで、ｊは、ｉ＋１乃至Ｎ＋１の整数）を終点とするエッジ（向きのあるエッジ）を作成する。ただし、０番目のノード（ソースノード）を始点とし、Ｎ＋１番目のノード（シンクノード）を終点とするエッジのみ作成しない。なお、各エッジは、エネルギを有する。そして、ステップＳ３０５に進む。
【０１５６】
ステップＳ３０５で、０番目のノード（ソースノード）からｉ番目（ｉは１乃至Ｎの整数）のノードへ向かうエッジのエネルギとして、ｉの値に対して単調増加な値をセットする。すなわち、０番目のノード（ソースノード）からｉ番目のノードへ向かうエッジのエネルギは、ｉの値が大きくなればなるほど、大きな値とする。例えば、０番目のノード（ソースノード）からｉ番目のノードへ向かうエッジのエネルギは、「ｉの二乗」という値を設定する。そして、ステップＳ３０６に進む。
【０１５７】
ステップＳ３０６で、ｉ番目（ｉは１乃至Ｎの整数）のノードからＮ＋１番目のノード（シンクノード）へ向かうエッジのエネルギとして、ｉの値に対して単調減少な値をセットする。すなわち、ｉ番目のノードからＮ＋１番目のノード（シンクノード）へ向かうエッジのエネルギは、ｉの値が大きくなればなるほど、小さな値とする。例えば、ｉ番目のノードからＮ＋１番目のノード（シンクノード）へ向かうエッジのエネルギは、「（Ｎ＋１−ｉ）の二乗」という値を設定する。そして、ステップＳ３０７に進む。
【０１５８】
ステップＳ３０７で、ｉ番目（ｉは１乃至Ｎ−１の整数）のノードからｊ番目（ｊは、ｉ＋１乃至Ｎの整数）のノードへ向かうエッジのエネルギの設定を行う。すなわち、Ｎ枚の画像において、ｉ−１番目の画像とｊ−１番目の画像に着目する。この２枚の画像の接続度合（図１６の処理で得られる値）の逆数に対して、「（ｊ−ｉ）の二乗」倍した値を、ｉ番目のノードからｊ番目のノードへ向かうエッジのエネルギとしてセットする。
【０１５９】
さて、このようにノードとエッジを作成することで、Ｎ＋２個のノードと、それらノードを結ぶエッジ（向きのあるエッジ）により、有向グラフが作成できる。各ノードおよび各エッジには、エネルギが与えられている。
【０１６０】
図１８には、Ｎ＝７の場合の有向グラフを示している。図中のＳで示した丸印が０番目のノード（ソースノード）であり、Ｔで示した丸印がＮ＋１番目のノード（シンクノード）である。図中の０から６で示した丸印が、それぞれ、１番目から７番目のノードである。また、図中の矢印が、エッジ（向きのあるエッジ）である。
【０１６１】
ステップＳ３０７の後、ステップＳ３０８に進む。
【０１６２】
ステップＳ３０８で、０番目のノード（ソースノード）から出発し、Ｎ＋１番目のノード（シンクノード）へ到着する最小エネルギとなる経路（パス）を求める。すなわち、この有向グラフにおいて、あるノードから出発して、１つまたは複数のエッジおよびノードを通過して、別のノードへ到着する経路（パス）について考える。エッジは、指定された向きの方向にのみ進むことができ、逆行は出来ない。任意の経路（パス）において、通過したノードおよびエッジのエネルギを合計した（加算した）値を、その経路（パス）におけるエネルギと定義する。このように「経路（パス）のエネルギ」を定義することで、動的計画法（ダイナミックプログラミング）により、０番目のノード（ソースノード）から出発し、Ｎ＋１番目のノード（シンクノード）へ到着するすべての経路（パス）の中で、最小エネルギとなる経路（パス）を求めることが出来る。動的計画法とは、既知の手法であり、その説明を省略する。再度述べると、ステップＳ３０８で、動的計画法により、０番目のノード（ソースノード）から出発し、Ｎ＋１番目のノード（シンクノード）へ到着するすべての経路（パス）の中で、最小エネルギとなる経路（パス）を求める。そして、ステップＳ３０９に進む。
【０１６３】
ステップＳ３０９で、この最小エネルギとなる経路（パス）に対応させて、Ｎ枚の画像の中から、最適な画像のみを選び出す。すなわち、この最小エネルギとなる経路（パス）に、ｉ番目（ｉは１乃至Ｎの整数）のノードが含まれるのであれば、ｉ−１番目の画像を保持する。一方、この最小エネルギとなる経路（パス）に、ｉ番目（ｉは１乃至Ｎの整数）のノードが含まれていないのであれば、ｉ−１番目の画像を破棄する。そして、一連の処理を終える。
【０１６４】
以上の一連の処理（図１７に示す処理）により、画像の選出が行われる。
【０１６５】
図１７に示す処理にて、破棄されずに、残った画像（選出された画像）は、「ひと続きの画像（絵巻物）」を作成するための素材として最適な画像となっている。最適である理由は以下のとおりである。
【０１６６】
理由１：０番目のノード（ソースノード）からｉ番目（ｉは１乃至Ｎの整数）のノードへ向かうエッジのエネルギは、ｉの値に対して単調増加なエネルギが設定されている。従って、ｉの値が大きい場合、０番目のノード（ソースノード）からｉ番目のノードへ向かうエッジのエネルギは大きな値となり、このようなエッジは、最小エネルギとなる経路（パス）に含まれにくくなる。つまり、最小エネルギとなる経路（パス）に含まれる、０番目のノード（ソースノード）からｉ番目のノードへ向かうエッジに着目すると、このｉの値は、小さな値である。すなわち、Ｎ枚の画像において、最初の方の画像が少なくとも１枚は保持されることになる。
【０１６７】
理由２：、最小エネルギとなる経路（パス）に含まれる、ｉ番目のノードからＮ＋１番目のノード（シンクノード）へ向かうエッジに着目すると、このｉの値は、大きな値である。このことは、理由１と同様に考えれば明白である。従って、Ｎ枚の画像において、最後の方の画像も少なくとも１枚は保持されることになる。
【０１６８】
理由３：最小エネルギとなる経路（パス）に含まれる、ｉ番目（ｉは１乃至Ｎ−１の整数）のノードからｊ番目（ｊはｉ＋１乃至Ｎの整数）のノードへ向かうエッジに着目する。この場合、ｉ−１番目とｊ−１番目の画像は保持され、ｉ番目からｊ−２番目の画像は破棄されることになる。ｉ番目のノードからｊ番目のノードへ向かうエッジのエネルギは小さいということであるから、ｉ−１番目とｊ−１番目の画像の接続度合は良好であることを意味する。また、定義より明らかに、ｉとｊの差が大きくなるにつれ対応するエッジのエネルギが大きくなることを考えると、最小エネルギとなる経路（パス）に含まれる各エッジの始点と終点を示す添え字のｉとｊの差は小さくなるはずである。つまり、保持されたｉ−１番目とｊ−１番目の画像は、Ｎ枚の順番付けされた画像の順において近傍の画像となる。
【０１６９】
理由４：最小エネルギとなる経路（パス）に含まれるｉ番目（ｉは１乃至Ｎの整数）のノードに着目する。このノードのエネルギは小さい値である。つまり、保持されたｉ−１番目の画像の重要度は大きな値である。逆に、重要度の小さい画像は、最小エネルギとなる経路（パス）に含まれずに、破棄される。
【０１７０】
以上、理由１から理由４をまとめると、Ｎ枚の画像において、最初の方の画像の少なくとも１枚は保持される（理由１）。例えば、１週間の旅行に行ったときに撮影した画像群を入力した場合、初日に撮影した画像が１枚も採用されないということはなくなる。Ｎ枚の画像において、ソートされた順で最後の方の画像の少なくとも１枚は保持される（理由２）。例えば、１週間の旅行に行ったときに撮影した画像群を入力した場合、最後の日に撮影した画像が１枚も採用されないということはなくなる。Ｎ枚の画像において、あるひと続きの画像群がすべて採用されないということはなくなる（理由３）。例えば、１週間の旅行に行ったときに撮影した画像群を入力した場合、中間の日に撮影した画像がすべて採用されないということはなくなる。また、重要な画像が採用されることになる（理由４）。また、各画像間での接続もスムーズな接続が可能である（理由３）。以上の理由により、「ひと続きの画像（絵巻物）」を作成するための素材として最適な画像が保持されて、不要な画像が破棄されることになる。
【０１７１】
また、付随情報として旅行者（撮影者）により重要である旨が与えられている画像については、とても大きな値が重要度として設定されているので、ほぼ確実に採用されることになる。
【０１７２】
なお、上述のステップＳ３０１からステップＳ３０７までは、図１５の有向グラフ作成部１７により処理が行われる。有向グラフ作成部１７からの有向グラフの情報が、経路探索部１８に伝達されるので、ステップＳ３０８は、経路探索部１８により、処理が行われる。そして、経路探索部１８からの最小エネルギとなる経路（パス）の情報が、画像選別部１９に伝達されるので、ステップＳ３０９は、画像選別部１９により、処理が行われる。すなわち、画像選別部１９では、入力画像データ記憶部１５にある画像（Ｎ個）が入力されるので、選択された画像のみを、後段の画像接続部２０に送る。
【０１７３】
また、入力画像データ記憶部１５から、各画像の重要度の情報が有向グラフ作成部１７に伝達されるので、ステップＳ３０３では、この情報を使って処理が行われる。接続可能性判断部１６から、各画像間の接続度合の情報が有向グラフ作成部１７に伝達されるので、ステップＳ３０７では、この情報を使って処理が行われる。
【０１７４】
なお、図１７の処理において、ステップＳ３０８を行う前に、各ノードおよび各エッジに対して、微小な乱数を加えても良い。これにより、最小エネルギとなる経路（パス）が微妙に異なることになる。つまり、画像処理装置１０に、同じ画像群を入力しても、毎回、処理するたびに採用される画像が微妙に異なることになる。処理するたびに、微妙に違う「ひと続きの画像（絵巻物）」を作ることができるので、もう１回、画像処理装置１０で処理すると、どんな「ひと続きの画像（絵巻物）」が生成されるであろうかと、ユーザは楽しむことが出来る。
【０１７５】
次に、画像選別部１９で選別された画像を用いて、「ひと続きの画像（絵巻物）」を作成する処理について、説明する。
【０１７６】
上述したとおり、画像選別部１９では、Ｎ個の画像（０番目からＮ−１番目の画像）からの選別を行う。ここで、選別された（破棄されずに残った）画像の個数をＭ個とする。このＭ個の画像は、番号の若い順に、０番目からＭ−１番目まで、番号を付し直し、後段の画像接続部２０に送られる。従って、画像接続部２０は、０番目からＭ−１番目まで番号が付してある画像が入力される。Ｍ個の順番付けされた画像は、撮影時刻の順番になっている。
【０１７７】
画像接続部２０で行われる処理について、図１９を用いて、以下で説明する。
【０１７８】
最初に、図１９のステップＳ４０１で、現在処理しようとしている画像を表す変数としてｋに０をセットする。そして、ステップＳ４０２に進む。
【０１７９】
ステップＳ４０２で、ｋ番目の画像を、Ｄ２とする。そして、Ｍａｓｋ（ｋ）は、ｋ番目の画像と同じ大きさのマスクとする。ここで、ｋは０なので、「０番目の画像を、Ｄ２とする。そして、Ｍａｓｋ（０）は、０番目の画像と同じ大きさのマスクとする。」という処理と同等である。
【０１８０】
なお、マスクという言葉の定義について述べておく。すなわち、マスク（あるいはマスク画像）で指定された領域については、対応する画像の画素を表示し、マスク（あるいはマスク画像）で指定されていない領域については、対応する画像の画素は表示しない。
【０１８１】
ステップＳ４０２の後、ステップＳ４０３に進む。
【０１８２】
ステップＳ４０３で、ｋ番目の画像に、マスクを付けて、「ひと続きの画像（絵巻物）のデータ保存部２３」へ、保存する（表４参照）。このとき、表４に示すように、ｋ番目の画像が動画のときは、ｆを引数とする連番静止画像となり、シネマグラフのときも、ｆを引数とする連番静止画像となる。すなわち、「ひと続きの画像（絵巻物）のデータ保存部２３」に保存される画像データは、すべてマスク付きの静止画となる。
【０１８３】
【表４】
2015130546.tif 000006
【０１８４】
再度、ステップＳ４０３で「ひと続きの画像（絵巻物）のデータ保存部２３」に保存されるデータについて、説明する。
【０１８５】
すなわち、表４に示すように、画像Ｄ２が静止画である場合は、Ｄ２は静止画１枚より成るので、Ｄ２（１枚の静止画）に、Ｍａｓｋ（ｋ）をマスクとして付け加えたデータを
ｉｍａｇｅ（ｋ，０）という名前で保存する。
【０１８６】
画像Ｄ２が動画である場合は、フレーム数をＦとすると、Ｄ２の最初のフレーム（すなわち、０枚目のフレーム）に、Ｍａｓｋ（ｋ）をマスクとして付け加えたデータをｉｍａｇｅ（ｋ，０）という名前で保存する。さらに、Ｄ２のｆ枚目（ｆは１乃至Ｆ−１の整数）のフレームに、画像と同じ大きさのマスクを付け加えたデータをｉｍａｇｅ（ｋ，ｆ）という名前で保存する。従って、画像Ｄ２が動画である場合は、保存する静止画の数は、動画のフレーム数と同じ数（Ｆ）である。なお、最初のフレーム（すなわち、０枚目のフレーム）のみＭａｓｋ（ｋ）を付け、他のフレームには、画像と同じ大きさのマスクを付け加えている。これは、例えば、図９において、Ｃ２０は、Ｃ１と分断線９０１でスムーズに接続するために、分断線９０１よりも右側のみを採用していることと合致する。そして、Ｃ２１、Ｃ２２、Ｃ２３は、画像のすべての領域を採用していることと合致する。なお、余談であるが、Ｃ２３について、画像のすべての領域を採用していると述べたが、実際には、分断線９０２よりも右下部分のＣ３０を採用する際に、Ｃ２３の右下部分は上書きされる。
【０１８７】
画像Ｄ２がシネマグラフである場合は、フレーム数をＦとすると、Ｄ２のｆ枚目（ｆは０乃至Ｆ−１の整数）のフレームのそれぞれに、Ｍａｓｋ（ｋ）をマスクとして付け加えたデータをｉｍａｇｅ（ｋ，ｆ）という名前で保存する。従って、画像Ｄ２がシネマグラフである場合は、保存する静止画の数は、シネマグラフのフレーム数と同じ数（Ｆ）である。動画の場合と違い、すべてのフレームにおいて、Ｍａｓｋ（ｋ）を付け加えているのは、図１１を用いて説明した事と合致する。
【０１８８】
ステップＳ４０３の後、ステップＳ４０４に進む。
【０１８９】
ステップＳ４０４で、ｋの値がＭ−１であるか判断する。Ｍ−１であれば、すべての画像について処理が終了したので、一連の処理を終える。そうでなければ、ステップＳ４０５に進む。
【０１９０】
ステップＳ４０５で、次の画像を処理するために、ｋの値を１だけ増やす。そして、ステップＳ４０６に進む。
【０１９１】
ステップＳ４０６で、（ｋ−１）番目の画像を、Ｄ１とする。ｋ番目の画像を、Ｄ２とする。そして、表２（既出）に従って、静止画Ｓ１を決定する。表３（既出）に従って、静止画Ｓ２を決定する。そして、図１４の処理フローを行う。図１４の処理で得られる２枚の画像の位置関係（２次元ベクトル）をＭＶ（ｋ−１，ｋ）として出力する。（なお、この出力ＭＶ（ｋ−１，ｋ）は、レンダリング情報作成部２１へ入力される。）また、図１４の処理で得られるマスク画像をＭａｓｋ（ｋ）する。
【０１９２】
なお、ステップＳ４０６により、ｋ−１枚目の画像とｋ枚目の画像をスムーズにつなげた時の位置関係と、Ｓ２のマスクが求まる。理由は、図１６のステップＳ２０５のところで説明したことと同じである。なお、ここでは、位置関係およびＳ２の領域（マスク）のみが必要であり、接続度合は図１４の処理で求まるが破棄する。
【０１９３】
ステップＳ４０６の後、ステップＳ４０３に進む。
【０１９４】
以上の一連の処理により、０番目からＭ−１番目までの各画像は、画像の種類に応じて必要であれば連番静止画像にして、適切なマスク（隣接間でスムーズに接続できるマスク）をつけ、「ひと続きの画像（絵巻物）のデータ保存部２３」に保存される。換言すれば、「ひと続きの画像（絵巻物）のデータ保存部２３」には、マスク付き静止画ｉｍａｇｅ（ｋ，ｆ）が保存される。ここで、ｋは、０乃至Ｍ−１の整数である。ｋ番目の画像が静止画であれば、ｆは０のみである。そして、ｋ番目の画像が動画あるいはシネマグラフであれば、ｆは、０乃至Ｆ−１の整数である。ここで、Ｆは、ｋ番目の画像に含まれるフレーム数である。
【０１９５】
次に、レンダリング情報作成部２１で行われる処理について、図２０および図２１を用いて説明する。この処理を実行することで、ｉｍａｇｅ（ｋ，ｆ）をどのような位置にレンダリングすればよいかという位置情報（レンダリング情報ファイル：ｓを変数とする複数のｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）というファイル）を作成できる。
【０１９６】
図２０および図２１に示す処理フローの説明をする前に、注意点を述べておく。
【０１９７】
図８を用いて説明したように、表示させる領域（表示枠）が８２０乃至８２３である時刻においては、静止画Ｂ０、Ｂ１、Ｂ２、および、Ｂ３のみを適切な位置にレンダリングさせる。この際、静止画Ｂ４をレンダリングしてはいけない。先に述べたように、Ｂ４をレンダリングしてしまうと、同じ位置にあるＢ２が上書きされて消えてしまうからである。そして、表示させる領域（表示枠）が８２３乃至８２５である時刻においては、静止画Ｂ３、Ｂ４、および、Ｂ５のみを適切な位置にレンダリングさせる。つまり、レンダリングの情報として、「静止画Ｂ０、Ｂ１、Ｂ２、および、Ｂ３のみを適切な位置にレンダリングさせる」という事と、「静止画Ｂ３、Ｂ４、および、Ｂ５のみを適切な位置にレンダリングさせる」という事の２つに分ける必要がある。端的に述べると、重なってしまうような位置関係のときは、レンダリングの情報を分けて考える必要がある。
【０１９８】
また、図９を用いて説明したように、表示させる領域（表示枠）が９２０乃至９２２である時刻においては、静止画Ｃ０、Ｃ１、および、Ｃ２０のみを適切な位置にレンダリングさせる。この際、静止画Ｃ２１をレンダリングしてはいけない。先に述べたように、Ｃ２１をレンダリングしてしまうと、Ｃ２０が上書きされて消えてしまうからである。図９において、表示させる領域（表示枠）が９２３以降である時刻についても同様に考えると、以下のことが言える。つまり、レンダリングの情報として、「静止画Ｃ０、Ｃ１、および、Ｃ２０のみを適切な位置にレンダリングさせる」という事と、「静止画Ｃ２１のみを適切な位置にレンダリングさせる」という事と、「静止画Ｃ２２のみを適切な位置にレンダリングさせる」という事と、「静止画Ｃ２３およびＣ３０のみを適切な位置にレンダリングさせる」という事と、「静止画Ｃ３１のみを適切な位置にレンダリングさせる」という事と、「静止画Ｃ３２、Ｃ４、および、Ｃ５のみを適切な位置にレンダリングさせる」という事に分ける必要がある。端的に述べると、素材が動画のときは、レンダリングの情報を分けて考える必要がある。
【０１９９】
また、図１０を用いて説明したように、素材がシネマグラフのときは、「絶対時刻により、レンダリングする静止画として、Ｄ２０、Ｄ２１、Ｄ２２、あるいは、Ｄ２３のいずれか１つを選択する」という情報を、レンダリングの情報に含む必要がある。
【０２００】
それでは、図２０および図２１について説明する。
【０２０１】
最初に、図２０のステップＳ５０１で、中身が空の文字入力用のバッファを用意する。そして、レンダリング情報を記したファイルの番号を示す変数ｓに０をセットする。処理対象の画像の番号を示す変数ｋに０をセットする。画像の位置を示す２次元ベクトルｍｖに（０，０）をセットする。
【０２０２】
なお、バッファ内には、後述するように、一行ごとに「画像のレンダリングすべき位置を表す２次元ベクトル」と「静止画の数」と「保存されている静止画の名前（１つ、または、複数）」を記していく。
【０２０３】
ステップＳ５０１の後、ステップＳ５０２に進む。
【０２０４】
ステップＳ５０２で、ｋ番目の画像をｍｖの位置に配置すると、バッファ内にある画像（最後の行に書かれている画像は除く）のいずれかと交わりがあるかを判断し、交わりがある場合には、ステップＳ５０３に進む。そうでない場合には、ステップＳ５０４に進む。
【０２０５】
ここで、上記「交わり」について説明を追加しておく。バッファ内に何も書かれていない場合は、判定すべき対象がないので、交わりはない。バッファ内に１行しか書かれていない場合は、最後の行を除いて判断するので、実質判定すべき対象がないので、交わりはない。バッファ内に２行以上が書かれている場合は、最後の行を除いた画像との「交わり」の判定を行う。具体的には、バッファ内に書かれている任意の行（最後の行は除く）には、「画像のレンダリングすべき位置を表す２次元ベクトル（ｍｖ０とする。）」と「静止画の数」と「保存されている静止画の名前（１つ、または、複数）（ｉｍａｇｅ０とする。）」が書かれている。そこで、「ひと続きの画像（絵巻物）のデータ保存部２３」に保存されているデータの中で、ｉｍａｇｅ０を読み出し、このｉｍａｇｅ０の大きさ（縦の画素数をｉｍａｇｅ０Ｈ、横の画素数をｉｍａｇｅ０Ｗとする）を調べる。そして、２次元平面上にｍｖ０を中心として、縦ｉｍａｇｅ０Ｈ、横ｉｍａｇｅ０Ｗの矩形領域ＲＥＣＴ０を考える。さらに、ｋ番目の画像を、画像選別部１９より読み出し、この画像の大きさ（縦の画素数をＫＨ、横の画素数をＫＷとする）を調べる。そして、上記２次元平面上にｍｖを中心として、縦ＫＨ、横ＫＷの矩形領域ＲＥＣＴ１を考える。これら２つの矩形領域ＲＥＣＴ０とＲＥＣＴ１に交わりがある場合は、「交わりがある」と判定する。バッファ内に書かれているすべての行（最後の行は除く）に対して、ＲＥＣＴ０を求め、ＲＥＣＴ１との交わりを判定し、１つでも交わりがあれば「交わりがある」と判定し、１つも交わりがなければ「交わりがない」と判定する。
【０２０６】
ステップＳ５０３で、バッファの内容をｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）という名前で、「ひと続きの画像（絵巻物）のデータ保存部２３」に、ファイル出力する。そして、バッファの最後の１行を残して、他の行をすべて消去する。なお、この削除により、最後の行が、先頭行となる。そして、ｓの値を１だけ増やす。そして、ステップＳ５０４に進む。
【０２０７】
例えば、図８で示す状況では、Ｂ４がｋ番目の画像とすると、Ｂ２との交わりがあるので、ステップＳ５０２で「交わりがある」と判定でき、ステップＳ５０３で、「静止画Ｂ０、Ｂ１、Ｂ２、および、Ｂ３のみを適切な位置にレンダリングさせる」という情報を持ったレンダリング情報ファイルを作成することが出来る。そして、この後、処理を進めていくことで、「静止画Ｂ３、Ｂ４、および、Ｂ５のみを適切な位置にレンダリングさせる」という情報を作成するために、Ｂ３に関する情報をバッファ内に維持させる。つまり、ステップＳ５０３では、バッファの最後の行（この場合Ｂ３に関する情報）は残しておく、という処理が必要である。
【０２０８】
ステップＳ５０４で、ｋ番目の画像を、画像選別部１９より読み出し、この画像の種類を調べる。そして、ｋ番目の画像が静止画の場合には、ステップＳ５０５に進む。シネマグラフの場合には、ステップＳ５０６に進む。動画の場合には、ステップＳ５０７（図２１）に進む。
【０２０９】
ステップＳ５０５で、「ｍｖ，１，｛ｉｍａｇｅ（ｋ，０）｝」という一行テキストをバッファの最後に追加する。ここで、ｍｖは「画像のレンダリングすべき位置を表す２次元ベクトル」を表しており、次の数値「１」は「静止画の数」を表しており、最後の｛と｝とで囲まれた中にある名前は、「保存されている静止画の名前（１つ、または、複数）」を表している。ｋ番目の画像（１つの静止画）は、画像接続部２０での処理により、「ひと続きの画像（絵巻物）のデータ保存部２３」内には、ｉｍａｇｅ（ｋ，０）という名前で保存されている。つまり、ステップＳ５０５で、ｋ番目の画像（１つの静止画）を、ｍｖの位置に配置するというレンダリング情報を、バッファに書き込んだことになる。
【０２１０】
ステップＳ５０５の後、ステップＳ５１３に進む。
【０２１１】
ステップＳ５０６で、「ｍｖ，Ｆ，｛ｉｍａｇｅ（ｋ，０），ｉｍａｇｅ（ｋ，１），ｉｍａｇｅ（ｋ，２），…，ｉｍａｇｅ（ｋ，Ｆ−１）｝」という一行テキストをバッファの最後に追加する。ここで、Ｆは、ｋ番目の画像（シネマグラフ）のフレーム数である。Ｆの値は、ｋ番目の画像を画像選別部１９より読み出し、この画像（シネマグラフ）のフレーム数を調べることで決定できる。ここで、ｍｖは「画像のレンダリングすべき位置を表す２次元ベクトル」を表しており、次の数値「Ｆ」は「静止画の数」を表しており、最後の｛と｝とで囲まれた中にある名前は、「保存されている静止画の名前（１つ、または、複数）」を表している。ｋ番目の画像（Ｆ枚の静止画より成るシネマグラフ）は、画像接続部２０での処理により、「ひと続きの画像（絵巻物）のデータ保存部２３」内には、ｉｍａｇｅ（ｋ，０），ｉｍａｇｅ（ｋ，１），ｉｍａｇｅ（ｋ，２），…，ｉｍａｇｅ（ｋ，Ｆ−１）という名前で保存されている。つまり、ステップＳ５０５で、ｋ番目の画像（Ｆ枚の静止画）を、ｍｖの位置に配置するというレンダリング情報を、バッファに書き込んだことになる。
【０２１２】
ステップＳ５０６の後、ステップＳ５１３に進む。
【０２１３】
図２１のステップＳ５０７で、Ｆ０に、ｋ番目の画像（動画）のフレーム数をセットする。そして、ステップＳ５０８に進む。
【０２１４】
ステップＳ５０８で、動画の中で処理する対象フレームを表す変数ｆに０をセットする。そして、ステップＳ５０９に進む。
【０２１５】
ステップＳ５０９で、「ｍｖ，１，｛ｉｍａｇｅ（ｋ，ｆ）｝」という一行テキストをバッファの最後に追加する。そして、バッファの内容をｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）という名前で、「ひと続きの画像（絵巻物）のデータ保存部２３」に、ファイル出力する。そして、バッファの内容をすべてクリアする。そして、ｓの値を１だけ増やす。そして、ステップＳ５１０に進む。
【０２１６】
ステップＳ５１０で、ｆの値を１だけ増やす。そして、ステップＳ５１１に進む。
【０２１７】
ステップＳ５１１で、ｆの値がＦ０−１であるか判断する。Ｆ０−１であれば、動画を構成するすべての静止画（最後のフレームである静止画は除く）について処理が終了したので、ステップＳ５１２へ進む。そうでなければ、ステップＳ５０９に進む。
【０２１８】
ステップＳ５１２で、「ｍｖ，１，｛ｉｍａｇｅ（ｋ，ｆ）｝」という一行テキストをバッファの最後に追加する。そして、ステップＳ５１３に進む。
【０２１９】
例えば、図９で示す状況で、Ｃ２がｋ番目の画像（Ｃ２０、Ｃ２１、Ｃ２２、Ｃ２３の４枚より成る）とする。この場合、Ｆ０＝４である。そして、ｆ＝０とすると、ステップＳ５０９で、「静止画Ｃ０、Ｃ１、および、Ｃ２０のみを適切な位置にレンダリングさせる」という情報を持ったレンダリング情報ファイルを作成することが出来る。そして、ｆ＝１とすると、ステップＳ５０９で、「静止画Ｃ２１のみを適切な位置にレンダリングさせる」という情報を持ったレンダリング情報ファイルを作成することが出来る。そして、ｆ＝２とすると、ステップＳ５０９で、「静止画Ｃ２２のみを適切な位置にレンダリングさせる」という情報を持ったレンダリング情報ファイルを作成することが出来る。そして、ｆ＝３（つまり、Ｆ０−１）とすると、この後、処理を進めていくことで、「静止画Ｃ２３およびＣ３０のみを適切な位置にレンダリングさせる」という情報を作成するために、Ｃ２３に関する情報をバッファに書き込む（ステップＳ５１２）という処理が、行われる。
【０２２０】
ステップＳ５１３で、ｋの値がＭ−１であるか判断する。Ｍ−１であれば、Ｍ個のすべての画像について処理が終了したので、ステップＳ５１６へ進む。そうでなければ、ステップＳ５１４に進む。
【０２２１】
ステップＳ５１４で、次の画像を処理するために、ｋの値を１だけ増やす。そして、ステップＳ５１５に進む。
【０２２２】
ステップＳ５１５で、ｋ番目の画像をレンダリングするための位置をｍｖにセットする。具体的には、ｋ−１番目の画像の位置に対して、ｋ−１番目とｋ番目の位置関係を示すベクトルＭＶ（ｋ−１，ｋ）を加算すれば良い。すなわち、ｍｖ＋ＭＶ（ｋ−１，ｋ）を、新たにｍｖとする。なお、ＭＶ（ｋ−１，ｋ）は、画像接続部２０から与えられる。そして、ステップＳ５０２に進む。
【０２２３】
ステップＳ５１６で、最後にバッファ内に残ったデータを、出力する。すなわち、バッファの内容をｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）という名前で、「ひと続きの画像（絵巻物）のデータ保存部２３」に、ファイル出力する。そして、一連の処理を終える。
【０２２４】
このようにして、レンダリング情報作成部２１にて、「ひと続きの画像（絵巻物）のデータ保存部２３」に格納されているマスク付き静止画を、どのような位置にレンダリングすれば良いかという情報を作成することが出来る。
【０２２５】
次に、表示情報作成部２２で行われる処理について、図２２および図２３を用いて説明する。この処理を実行することで、再生時に時刻が進むにつれてどの位置を表示するかという情報（前述の「表示枠」の推移に関する情報）を作成できる。
【０２２６】
最初に、図２２のステップＳ６０１で、中身が空の文字入力用のバッファを用意する。そして、ステップＳ６０２に進む。
【０２２７】
なお、バッファ内には、後述するように、一行ごとに「レンダリング情報ファイルを特定するための番号」と「表示する際にどの位置を表示するかという位置情報（前述の「表示枠」の位置）」と「表示する際の大きさの情報（前述の「表示枠」の大きさ）」を記していく。
【０２２８】
ステップＳ６０２で、レンダリング情報ファイルの番号を示す変数ｓに０をセットする。そして、ステップＳ６０３に進む。
【０２２９】
ステップＳ６０３で、「ひと続きの画像（絵巻物）のデータ保存部２３」にｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）というファイルがあるかを判断し、ファイルが存在する場合には、ステップＳ６０４に進む。そうでない場合には、ステップＳ６１８に進む。
【０２３０】
ステップＳ６０４で、ｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）というファイル内の着目する行数を示す変数ｋに０をセットする。なお、最初の行は１行目でなく、０行目とする。そして、ステップＳ６０５に進む。
【０２３１】
ステップＳ６０５で、ｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）のｋ行目（すなわち０行目）に着目する。この行に書かれている位置情報（２次元ベクトル）ｍｖのＸ座標の値をＸ２に、Ｙ座標の値をＹ２にセットする。この行に書かれている静止画を
「ひと続きの画像（絵巻物）のデータ保存部２３」から読み出し、その静止画の幅方向の画素数に０．６をかけた値をＷ２に、高さ方向の画素数に０．６をかけた値をＨ２にセットする。そして、ステップＳ６０６に進む。
【０２３２】
後述するように、Ｗ２およびＨ２は、表示枠の大きさである。Ｗ２およびＨ２を求める際に、静止画の大きさに対して縦横それぞれ０．６倍しているのは、静止画全体でなく中央の６０％部分を表示させるようにしているためである。６０％程度にすることで、表示枠を移動していく過程で、画像データが存在しない部分が起きにくくなる。もちろん、本発明は、６０％に限定するわけではなく、他の倍率でも良い。
【０２３３】
ステップＳ６０６で、次の行を読むために、ｋの値を１だけ増やす。そして、ステップＳ６０７に進む。
【０２３４】
ステップＳ６０７で、ｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）にはｋ行目があるかを判断し、ある場合には、ステップＳ６０８（図２３）に進む。そうでない場合には、ステップＳ６１６に進む。
【０２３５】
図２３のステップＳ６０８で、Ｘ１にＸ２の値を代入し、Ｙ１にＹ２の値を代入し、Ｗ１にＷ２の値を代入し、Ｈ１にＨ２の値を代入する。そして、ステップＳ６０９に進む。
【０２３６】
ステップＳ６０９で、ｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）のｋ行目に着目する。この行に書かれている位置情報（２次元ベクトル）ｍｖのＸ座標の値をＸ２に、Ｙ座標の値をＹ２にセットする。この行に書かれている静止画を
「ひと続きの画像（絵巻物）のデータ保存部２３」から読み出し、その静止画の幅方向の画素数に０．６をかけた値をＷ２に、高さ方向の画素数に０．６をかけた値をＨ２にセットする。そして、ステップＳ６１０に進む。
【０２３７】
ステップＳ６１０で、２次元平面上の位置（Ｘ１，Ｙ１）と（Ｘ２，Ｙ２）との距離を、Ｌｅｎｇｔｈとする。そして、ステップＳ６１１に進む。
【０２３８】
ステップＳ６１１で、現在の位置を示す変数ｃｕｒｒｅｎｔＰｏｓｉｔｉｏｎに０をセットする。そして、ステップＳ６１２に進む。
【０２３９】
ステップＳ６１２で、ｃｕｒｒｅｎｔＰｏｓｉｔｉｏｎの値が、Ｌｅｎｇｔｈよりも小さいか判断し、そうであればステップＳ６１３に進み。そうでなければ、ステップＳ６０６に進む。
【０２４０】
ステップＳ６１３で、重み付き平均をするための重みｗｅｉｇｈｔ２として、「ｃｕｒｒｅｎｔＰｏｓｉｔｉｏｎ÷Ｌｅｎｇｔｈ」の値をセットする。そして、もう１つの重みであるｗｅｉｇｈｔ１に、「１−ｗｅｉｇｈｔ２」の値をセットする。さらに、この２つの重みを使って、以下のように示す４つの重み付き平均を求める。すなわち、Ｘ＝ｗｅｉｇｈｔ１×Ｘ１＋ｗｅｉｇｈｔ２×Ｘ２，Ｙ＝ｗｅｉｇｈｔ１×Ｙ１＋ｗｅｉｇｈｔ２×Ｙ２，Ｗ＝ｗｅｉｇｈｔ１×Ｗ１＋ｗｅｉｇｈｔ２×Ｗ２，Ｈ＝ｗｅｉｇｈｔ１×Ｈ１＋ｗｅｉｇｈｔ２×Ｈ２を計算する。そして、ステップＳ６１４に進む。
【０２４１】
ステップＳ６１４で、「ｓ，（Ｘ，Ｙ），（Ｗ，Ｈ） 」という一行テキストをバッファの最後に追加する。ここで、ｓは、表示に使用するレンダリング情報ファイルを特定するための番号であり、（Ｘ，Ｙ）は「表示枠」の位置（正確には「表示枠」の中心位置）であり、（Ｗ，Ｈ）は「表示枠」の大きさである。
【０２４２】
ステップＳ６１４の後、ステップＳ６１５に進む。
【０２４３】
ステップＳ６１５で、表示する位置を進めるために、ｃｕｒｒｅｎｔＰｏｓｉｔｉｏｎの値を１０だけ増やす。ここでは、時刻とともに、表示する位置をずらしていくが、ずらす量として、画素数換算で１０としている。もちろん、本発明は、１０に限定するわけではなく、他の量でも良い。そして、ステップＳ６１２に進む。
【０２４４】
ここまででバッファに書き込まれた情報について図２４を用いて説明する。
【０２４５】
図２４内に、ステップＳ６０５で着目したｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）のｋ−１行目に書かれている静止画と、その位置（静止画の中心位置）である（Ｘ１，Ｙ１）と、静止画の６０％の大きさである表示枠（Ｗ１，Ｈ１）を図示している。なお、ステップＳ６０６でｋの値が１だけ増えているので、それ以前に読み込んだ行数はｋではなく、ｋ−１行目となる。また、ステップＳ６０８により、添え字が２である変数の値は、添え字が１である変数へ代入されている。
【０２４６】
さらに、図２４内に、ステップＳ６０９で着目したｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）のｋ行目に書かれている静止画と、その位置（静止画の中心位置）である（Ｘ２，Ｙ２）と、静止画の６０％の大きさである表示枠（Ｗ２，Ｈ２）を図示している。
【０２４７】
ステップＳ６１３での計算により、図中の（Ｘ１，Ｙ１）を始点とし、（Ｘ２，Ｙ２）を終点とする矢印上を、（Ｘ，Ｙ）は１０画素刻みで進むことになる。また、（Ｗ，Ｈ）は、ｃｕｒｒｅｎｔＰｏｓｉｔｉｏｎの値が増えるにつれて、（Ｗ１，Ｈ１）から（Ｗ２，Ｈ２）へと変化していく。つまり、バッファには、「ｋ−１行目に書かれている静止画の位置である（Ｘ１，Ｙ１）に、ｋ−１行目に書かれている静止画の６０％の大きさ（Ｗ１，Ｈ１）である表示枠を表示させる」という記述が保存され、さらに、表示枠の位置をｋ行目に書かれている静止画の位置である（Ｘ２，Ｙ２）へ１０画素ずつずらしながら、表示枠の大きさもｋ行目に書かれている静止画の６０％の大きさである（Ｗ２，Ｈ２）へ近づけていくという記述が保存されることになる。
【０２４８】
さて、図２２の説明に戻る。
【０２４９】
ステップＳ６１６に到達したときは、ｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）の最後の行まで処理が進んだときである。そこで、ステップＳ６１６で、ｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）に関連する最後の表示枠を表示させるための記述をバッファに追加する。具体的には、「ｓ，（Ｘ２，Ｙ２），（Ｗ２，Ｈ２）
」という一行テキストをバッファの最後に追加する。これにより、「図２５に示したｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）の最後の行に書かれている静止画の位置（静止画の中心位置）である（Ｘ２，Ｙ２）を表示枠の位置とし、そして、その静止画の６０％の大きさである（Ｗ２，Ｈ２）を表示枠の大きさとして表示させる」という記述がバッファ内に保存される。
【０２５０】
ステップＳ６１６の後、ステップＳ６１７に進む。
【０２５１】
ステップＳ６１７で、ｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）に関連する表示情報は終了したので、次のファイルに関連する処理を実行するために、ｓの値を１だけ増やす。なお、当然であるが、これ以降では、バッファに書かれる一行テキストの先頭の数値（ｓ）は、１だけ増やされた値である。そして、ステップＳ６０３に進む。
【０２５２】
ステップＳ６１８で、すべての表示情報に関してバッファ内に書き込んだので、バッファの内容を
ｐｌａｙＬｉｓｔＦｉｌｅという名前で、「ひと続きの画像（絵巻物）のデータ保存部２３」に、ファイル出力する。そして、一連の処理を終える。
【０２５３】
さて、ここまで説明した処理を、図１５の画像処理装置１０の各部が行うことで、「ひと続きの画像（絵巻物）のデータ保存部２３」には、「ひと続きの画像（絵巻物）」に関するデータが保存されることになる。すなわち、一続きの画像（絵巻物）の素材として選ばれたマスク付き静止画が、ｋおよびｆを変数としたｉｍａｇｅ（ｋ，ｆ）というファイル名で保存される。また、各静止画をどの位置に配置すれば良いかという情報が、ｓを変数としたｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）というファイル名で保存される。各ｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）内には、１行あるいは複数行のテキストが書かれており、各行には、「画像のレンダリングすべき位置を表す２次元ベクトル」と「静止画の数」と「保存されている静止画の名前（１つ、または、複数）」が記されている。さらに、表示する際に、時刻が進むにつれて、どの位置を表示するかという情報（前述の「表示枠」の推移に関する情報）がｐｌａｙＬｉｓｔＦｉｌｅという名前（１つのファイル）で保存される。ｐｌａｙＬｉｓｔＦｉｌｅの各行には、「レンダリング情報を記したファイルの番号、すなわち、ｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）を特定するための情報」と「表示する際にどの位置を表示するかという位置情報（前述の「表示枠」の位置）」と「表示する際の大きさの情報（前述の「表示枠」の大きさ）」が記されている。これらファイルがまとめられて、「ひと続きの画像（絵巻物）のデータ保存部２３」に保存される。
【０２５４】
なお、表示情報作成部２２によるｐｌａｙＬｉｓｔＦｉｌｅは、後述する再生の直前までに行っていれば良い。そこで、ｉｍａｇｅ（ｋ，ｆ）とｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）のみ作成して、「ひと続きの画像（絵巻物）のデータ保存部２３」に保存しておき、一旦処理を終了させる。そして、再生する直前で、「ひと続きの画像（絵巻物）のデータ保存部２３」に保存されているｉｍａｇｅ（ｋ，ｆ）とｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）を使って、ｐｌａｙＬｉｓｔＦｉｌｅを作成しても良い。
【０２５５】
さて、次に、「ひと続きの画像（絵巻物）のデータ保存部２３」に保存されている「ひと続きの画像（絵巻物）」の再生に関して説明を行う。
【０２５６】
図１５の画像処理装置１０内にあるユーザインターフェース部２４では、鑑賞者からの指示が入力される。具体的には、プレイモードかポーズモードかの指示が入力される。このモード情報は、再生部２５に送られる。
【０２５７】
再生部２５では、プレイモードの指示があると、図２６の処理フローを実行する。
【０２５８】
再生部２５にて、各時刻において、適切な静止画が切り出されるので、その切り出された静止画を、画像表示部２６が表示させて、鑑賞者は、これを鑑賞することが出来る。
【０２５９】
それでは、再生部２５で、プレイモードの指示があったときの処理を説明する。
【０２６０】
プレイモードの指示があると、最初に、図２６のステップＳ７０１で、ｐｌａｙＬｉｓｔＦｉｌｅ内の着目する行数を示すＬＡに０をセットする。なお、最初の行は１行目でなく、０行目とする。ＬＡは、図１０を用いてシネマグラフの再生を説明した際の「再生時刻」と同じものである。そして、ステップＳ７０２に進む。
【０２６１】
ステップＳ７０２で絶対時刻を示す変数Ｔに０をセットする。なお、この絶対時刻Ｔは、図１０を用いてシネマグラフの再生を説明した際の「絶対時刻」と同じものである。そして、ステップＳ７０３に進む。
【０２６２】
ステップＳ７０３で、「ひと続きの画像（絵巻物）のデータ保存部２３」に保存されているｐｌａｙＬｉｓｔＦｉｌｅのＬＡ行目に書かれているレンダリングリストファイルを読み込む。具体的には、ＬＡ行目の先頭の数値（ｓ）に対応するｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）を、「ひと続きの画像（絵巻物）のデータ保存部２３」から読み込む。このファイルをレンダリングリストファイルとする。そして、ステップＳ７０４に進む。
【０２６３】
ステップＳ７０４で、各静止画をレンダリングする前にキャンパス内のデータをクリアする。そして、ステップＳ７０５に進む。
【０２６４】
ステップＳ７０５で、現在読み込んでいるレンダリングリストファイル内の着目する行数を示すＬＢに０をセットする。なお、最初の行は１行目でなく、０行目とする。そして、ステップＳ７０６に進む。
【０２６５】
ステップＳ７０６で、読み込んだレンダリングリストファイルのＬＢ行目に着目する。この行には、先頭に２次元ベクトル（ｍｖとする）が、２番目に静止画の数（Ｆとする）が、最後にＦ枚の静止画のファイル名が書かれている。そこで、Ｆ個の静止画の中で、「Ｔ  ｍｏｄ  Ｆ（すなわちＴをＦで割った余り）」番目の静止画を、「ひと続きの画像（絵巻物）のデータ保存部２３」から読み出す。そして、この静止画を、キャンバスのｍｖの位置に上書きする。この時、この静止画に付随しているマスクにより指定された領域のみ上書きする。
【０２６６】
なお、Ｆ＝１のときは、Ｔの値によらず、常に、ＬＢ行目の最後に書かれている１枚の静止画が選ばれる。Ｆが２以上のときは、素材がシネマグラフであることと同値であり、絶対時間Ｔにより選ばれる静止画が異なる。
【０２６７】
ステップＳ７０６の後、ステップＳ７０７に進む。
【０２６８】
ステップＳ７０７で、レンダリングリストファイル内に次の行があるか判断し、ある場合には、ステップＳ７０８に進む。ない場合には、ステップＳ７０９に進む。
【０２６９】
ステップＳ７０８で、レンダリングリストファイル内の次の行について、レンダリングするために、ＬＢの値を１だけ増やす。そして、ステップＳ７０６に進む。
【０２７０】
ステップＳ７０９に処理が移行する時は、現在読み込んでいるレンダリングリストファイル内に書かれている静止画が、すべて、キャンパス上の適切な位置にレンダリングされている。そこで、ステップＳ７０９で、ｐｌａｙＬｉｓｔＦｉｌｅのＬＡ行目の２番目に書かれている（Ｘ，Ｙ）の位置を中心とした、３番目に書かれている（Ｗ，Ｈ）の大きさの矩形領域をキャンバス上から取り出し、画像表示部２６に表示する。そして、ステップＳ７１０に進む。
【０２７１】
ステップＳ７１０で、次の時刻での表示をする前に、１／３０秒間だけ、処理を中断する。１／３０秒ごとに、表示していくためである。そして、１／３０秒たったら、ステップＳ７１１に進む。
【０２７２】
ステップＳ７１１で、ｐｌａｙＬｉｓｔＦｉｌｅに次の行があるか判断し、ある場合には、ステップＳ７１２に進む。ない場合には、ｐｌａｙＬｉｓｔＦｉｌｅ内のすべての表示指示に従って表示し終わったので、一連の処理を終える。
【０２７３】
ステップＳ７１２で、現在のモードを調べる。再生途中でも、鑑賞者は、ユーザインターフェース部２４を介して、モードを変更できる。そこで、各時刻において、その時刻におけるモードに合った適切な処理を行う必要がある。すなわち、現在のモードがプレイモードのときは、ステップＳ７１３に進む。ポーズモードのときは、ステップＳ７１４に進む。
【０２７４】
ステップＳ７１３に処理が進むときは、プレイモードであるので、次の表示枠を表示させる必要がある。そこで、ステップＳ７１３で、ＬＡの値を１だけ増やす。そして、ステップＳ７１４に進む。
【０２７５】
ステップＳ７１４で、Ｔの値を１だけ増やす。これは、モードの種類によらず常に絶対時間を進めるためである。理由は、図１０を用いて既に説明した。そして、ステップＳ７０３に進む。
【０２７６】
本発明の第１の実施例についての説明を終える前に、重要な処理およびデータについて、以下で述べる。
【０２７７】
旅行者（撮影者）が撮影した画像を入力する。請求項に対応させて述べるならば、第１の入力部に対応する。
【０２７８】
必要に応じて、汎用画像データベースから該画像と関連のある画像も入力する。これは、請求項に対応させて述べるならば、第２の入力部に対応する。
【０２７９】
これら画像を、ある規則に則り（ここでは、撮影時刻により）、順序付けを行う。これは、請求項に対応させて述べるならば、画像整列部に対応する。
【０２８０】
各画像の重要度を決定する。これは、既知の技術により決定しても良いし、あるいは、旅行者（撮影者）が明示的に決定しても良い。これは、請求項に対応させて述べるならば、重要度判断部に対応する。
【０２８１】
そして、画像どうしの接続度合（スムーズな接続が可能であるかという度合）を求める。これは、請求項に対応させて述べるならば、接続可否判断部に対応する。
【０２８２】
この接続度合と、各画像の重要度から、「ひと続きの画像（絵巻物）」を作成する素材として必要な画像を選別する。選別された画像を、スムーズに接続していくことで、「ひと続きの画像（絵巻物）」を作成する。これは、請求項に対応させて述べるならば、接続部に対応する。
【０２８３】
さらに、「ひと続きの画像（絵巻物）」を再生する順番を決定する。これは、請求項に対応させて述べるならば、再生順番指示生成部に対応する。
【０２８４】
以上により、ｋとｆを引数とするｉｍａｇｅ（ｋ，ｆ）という静止画が、作成される。これら静止画は、請求項に対応させて述べるならば、請求項５の「複数の画像データ」に対応する。
【０２８５】
ｓを引数とするｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）という各画像の位置関係を示すファイルが作成される。これらファイルは、請求項に対応させて述べるならば、請求項５の「該画像データ間の位置関係」に対応する。
【０２８６】
ｐｌａｙＬｉｓｔＦｉｌｅという表示する位置を示すファイルが作成される。このファイルは、請求項に対応させて述べるならば、請求項５の「表示すべき順番」に対応する。
【０２８７】
ｉｍａｇｅ（ｋ，ｆ）とｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）とｐｌａｙＬｉｓｔＦｉｌｅが１つにまとめられて、保存される。これは、請求項に対応させて述べるならば、請求項５の「複数の画像データと、該画像データ間の位置関係と、表示すべき順番を示すデータを有するデータフォーマット」に対応する。
【０２８８】
保存されたｉｍａｇｅ（ｋ，ｆ）とｒｅｎｄｅｒｉｎｇＴｅｘｔＦｉｌｅ（ｓ）とｐｌａｙＬｉｓｔＦｉｌｅにより、再生をすることが出来る。
【０２８９】
以上で、本発明の第１の実施例における処理内容の説明を終える。
【０２９０】
〈第２の実施の形態〉
次に、本発明の第２の実施例について説明する。
【０２９１】
本発明の第２の実施例においては、以下のような場面を想定している。すなわち、友人である２人（Ｐ１とＰ２とする）が別々の旅行を行い、最後に２人が合流するような場面である。Ｐ１は、旅行中に、図２７に示すＡ１０（自動車が写っている静止画）とＡ１１（家が写っている静止画）を順番に撮影したとする。そして、Ｐ２は、旅行中に、Ａ２０（木が写っている静止画）とＡ２１（船が写っている静止画）を順番に撮影したとする。これら静止画は、Ｐ１とＰ２により別々の場所で撮影されたとする。そして、それら撮影をした後、Ｐ１とＰ２が待ち合わせ場所で会い、最後に、Ｐ１とＰ２が自分達を撮影（静止画Ａ３０）したとする。
【０２９２】
Ｐ１とＰ２が、旅行の後、一緒に、「ひと続きの画像（絵巻物）」を鑑賞する。この時、「Ｐ１が、旅行中に、自動車を見て、さらに、家を見た」という事と、「Ｐ２が、旅行中に、木を見て、さらに、船を見た」という事と、「旅行の最後にＰ１とＰ２が会った」という事を、回想できるようにする。このような「ひと続きの画像（絵巻物）」を作成することが、本発明の第２の実施例により実現できる。
【０２９３】
再度、述べると、本発明の第２の実施例により、複数の出来事の流れ（上記例では、「Ｐ１が、旅行中に、自動車を見て、さらに、家を見た」という出来事の流れと、「Ｐ２が、旅行中に、木を見て、さらに、船を見た」という出来事の流れ）が、合流や分岐する（上記例では、「旅行の最後にＰ１とＰ２が会った」という）ことも表現可能となる。
【０２９４】
図２８は、本発明の第２の実施例の画像処理装置３０の構成例を示している。
【０２９５】
図中の１１ａ乃至２３ａおよび２５ａは、それぞれ、図１５の１１乃至２３および２５と同じ処理を行う。１１ｂ乃至２３ｂおよび２５ｂは、それぞれ、図１５の１１乃至２３および２５と同じ処理を行う。これら処理の説明は、既に述べてあるので、ここでは、省略する。
【０２９６】
また、図中の１４ａおよび１４ｂは、単なるデータベースなので、共通で１つだけにしても良い。
【０２９７】
図２８では、図１５と違い、入力部１１ａからの画像は、直接、画像収集部１２ａに与えずに、左トリミング部３１ａを介して与えている。同様に、入力部１１ｂからの画像は、右トリミング部３１ｂを介して、画像収集部１２ｂに与えている。
【０２９８】
また、ユーザインターフェース２４ｃは、図１５の２４と同じである。すなわち、ユーザインターフェース２４ｃでは、鑑賞者からの指示が入力される。具体的には、プレイモードかポーズモードかの指示が入力される。このモード情報は、再生部２５ａと再生部２５ｂの両方に送られる。
【０２９９】
画像表示部（左部）２６ａと、画像表示部（右部）２６ｂは、いずれも図１５の２６と同じである。ただし、物理的に、２６ａと２６ｂとは隣接した位置に配置されている。２６ａが左側に、２６ｂが右側に配置されている。この構成により、鑑賞者は、「ひと続きの画像（絵巻物）のデータ保存部２３ａ」にある「ひと続きの画像（絵巻物）」と「ひと続きの画像（絵巻物）のデータ保存部２３ｂ」にある別の「ひと続きの画像（絵巻物）」とを、同時に左右に並べて鑑賞することが出来る。
【０３００】
本発明の第２の実施例では、本発明の第１の実施例と違い、左トリミング部３１ａと右トリミング部３１ｂがある。
【０３０１】
入力部１１ａから、Ｐ１が撮影した画像Ａ１０、Ａ１１およびＡ３０が入力される。このとき、最後の画像であるＡ３０には、重要である旨が、付随情報として与えられているとする。
【０３０２】
同様に、入力部１１ｂから、Ｐ２が撮影した画像Ａ２０、Ａ２１およびＡ３０が入力される。このとき、最後の画像であるＡ３０には、重要である旨が、付随情報として与えられているとする。
【０３０３】
左トリミング部３１ａでは、Ａ１０およびＡ１１に対しては、何も処理せず、そのまま、後段の画像収集部１２ａへと送る。Ａ３０に対してのみ、左側から「５／８」の領域のみを残し、右側の「３／８」の領域を削除した後、後段の画像収集部１２ａへと送る。すなわち、図２９の（ア）に示すように、Ａ３０に対して右側の黒色部分が削除された画像Ａ３１が作成され、後段の画像収集部１２ａへと送られる。
【０３０４】
同様に、右トリミング部３１ｂでは、Ａ２０およびＡ２１に対しては、何も処理せず、そのまま、後段の画像収集部１２ｂへと送る。Ａ３０に対してのみ、右側から「５／８」の領域のみを残し、左側の「３／８」の領域を削除した後、後段の画像収集部１２ｂへと送る。すなわち、図２９の（イ）に示すように、Ａ３０に対して左側の黒色部分が削除された画像Ａ３２が作成され、後段の画像収集部１２ｂへと送られる。
【０３０５】
ここで、「３／８」の領域を削除し、「５／８」の領域のみを残すことについて、説明しておく。図２９の（ア）および（イ）には、点線で矩形領域２９００および２９０１を示している。矩形領域２９００は、Ａ３１に対して、縦横ともに６０％の大きさとなるような領域である。さらに、２９００の右辺上に、Ａ３０の画像中心がある。実は、６０％の大きさの矩形領域の右辺が、Ａ３０の画像中心となるように、削除する量を決めた。この量が、「３／８」である。同様に、矩形領域２９０１は、Ａ３２に対して、縦横ともに６０％の大きさとなるような領域である。さらに、２９０１の左辺上に、Ａ３０の画像中心がある。実は、６０％の大きさの矩形領域の左辺が、Ａ３０の画像中心となるように、削除する量を決めた。この量が、「３／８」である。
【０３０６】
後述するように、再生（表示）した場合、画像表示部（左部）２６ａに最後に表示する画像データは、２９００の領域内の画像データである。そして、画像表示部（右部）２６ｂに最後に表示する画像データは、２９０１の領域内の画像データである。画像表示部（左部）２６ａと画像表示部（右部）２６ｂは、物理的に隣接して配置されているので、鑑賞者は、最後に、図２９の（ウ）に示す矩形領域２９０２を鑑賞することになる。ここで、矩形領域２９０２は、矩形領域２９０１と矩形領域２９０２を合わせた領域である。
【０３０７】
さて、１１ａ、左トリミング部３１ａ、および、１２ａ乃至２２ａにより、例えば、図３０の（ア）に示すような「ひと続きの画像（絵巻物）」が「ひと続きの画像（絵巻物）のデータ保存部２３ａ」に格納されることになる。ここで、Ａ１０とＡ１１とＡ３１（Ａ３０のトリミングされた画像）のすべての画像が破棄されずに採用されたとする。また、Ａ３０（すなわちＡ３１）は、重要である旨が、付随情報として与えられているので、一連の処理の中で破棄されることはない。ｐｌａｙＬｉｓｔＦｉｌｅには、「最初に３０００（図３０の（ア）参照）で示す表示枠の領域を表示させ、そして、時刻が進むにつれて、矢印３０１０の方向に、表示枠を移動させながら、表示させていく。そして、３００１で示す表示枠の領域に到達した後、次に、矢印３０１１の方向に、表示枠を移動させながら、表示させていく。そして、最後に、３００２で示す表示枠の領域を表示させて、一連の表示を終了する。」という情報が書かれることになる。なお、第１の実施例のところで説明したように、表示枠は、画像の大きさの６０％としている。従って、図３０の（ア）の３００２の領域は、図２９の（ア）の２９００と一致する。
【０３０８】
同様に、１１ｂ、右トリミング部３１ｂ、および、１２ｂ乃至２２ｂにより、例えば、図３０の（イ）に示すような「ひと続きの画像（絵巻物）」が「ひと続きの画像（絵巻物）のデータ保存部２３ｂ」に格納されることになる。ここで、Ａ２０とＡ２１とＡ３２（Ａ３０のトリミングされた画像）のすべての画像が破棄されずに採用されたとする。また、Ａ３０（すなわちＡ３２）は、重要である旨が、付随情報として与えられているので、一連の処理の中で破棄されることはない。ｐｌａｙＬｉｓｔＦｉｌｅには、「最初に３０２０（図３０の（イ）参照）で示す表示枠の領域を表示させ、そして、時刻が進むにつれて、矢印３０３０の方向に、表示枠を移動させながら、表示させていく。そして、３０２１で示す表示枠の領域に到達した後、次に、矢印３０３１の方向に、表示枠を移動させながら、表示させていく。そして、最後に、３０２２で示す表示枠の領域を表示させて、一連の表示を終了する。」という情報が書かれることになる。なお、第１の実施例のところで説明したように、表示枠は、画像の大きさの６０％としている。従って、図３０の（イ）の３０２２の領域は、図２９の（イ）の２９０１と一致する。
【０３０９】
なお、図８、図９および図１０では分断線を示していたが、図３０では、煩雑になることを避けるために、分断線の図示を省略している。
【０３１０】
次に、ユーザインターフェース２４ｃから、プレイモードの指示が入力されると、「ひと続きの画像（絵巻物）のデータ保存部２３ａ」にあるｐｌａｙＬｉｓｔＦｉｌｅに従って、再生が行われ、画像表示部（左部）２６ａに、適切な画像が表示される。同時に、「ひと続きの画像（絵巻物）のデータ保存部２３ｂ」にあるｐｌａｙＬｉｓｔＦｉｌｅに従って、再生が行われ、画像表示部（右部）２６ｂに、適切な画像が表示される。そして、最後には、画像表示部（左部）２６ａに３００２で示す表示枠の領域が表示され、画像表示部（右部）２６ｂに３０２２で示す表示枠の領域が表示される。
【０３１１】
ここで、鑑賞者の身になって、上記再生の過程を考えてみよう。左側を見ることで、「旅行中に、自動車を見て、さらに、家を見て、最後にＰ１とＰ２が会った」ということを順番に回想することが出来る。そして、右側を見る事で、「旅行中に、木を見て、さらに、船を見て、最後にＰ１とＰ２が会った」ということを順番に回想することが出来る。各画像がスムーズにつながっているので「旅行の連続性を感じる」ことも出来る。さらに、最後に表示している画像は、２９０２（図２９の（ウ）参照）で示す領域である。つまり、左側の表示部でスムーズに連続してきた一連の画像と、右側の表示部でスムーズに連続してきた一連の画像とが、１枚の静止画（２９０２）として提示されるので、最後に２つの旅行が融合したことも感じることが出来る。実際に最後にＰ１とＰ２は合っているので、Ｐ１とＰ２の旅行が最後に融合したと感じることが出来る表現手法は、とても素晴らしい。
【０３１２】
今、２つの画像列の合流について、説明したが、もちろん、逆に、分岐することも可能である。例えば、上記説明とは逆に、Ｐ１とＰ２が最初に会って、Ｐ１とＰ２が自分達を撮影（図２７の静止画Ａ３０）したとする。そして、Ｐ１とＰ２が分かれて、それぞれ、別の旅行をしたとする。つまり、Ｐ１は、旅行中に、Ａ１１とＡ１０を順番に撮影したとする。Ｐ２は、旅行中に、Ａ２１とＡ２０を順番に撮影したとする。入力部１１ａから、Ｐ１が撮影した画像Ａ３０、Ａ１１およびＡ１０を入力し、入力部１１ｂから、Ｐ２が撮影した画像Ａ３０、Ａ２１およびＡ２０を入力することで、図３０に示した矢印とは、逆の方向に、表示をしてくことが可能である。この場合、最初に、１枚の静止画（２９０２）が提示されて、表示部の左側には、Ａ１１やＡ１０を使った画像が表示されていく。そして、表示部の右側には、Ａ２１やＡ２０を使った画像が表示されていく。
【０３１３】
第２の実施例に示したように、本発明の第１の実施例を複数個併用することで、複数の出来事の流れを表示部の領域ごとに並列して表示させることが出来る。さらに、複数の出来事に対して、合流や分岐させるという表現も可能となる。
【０３１４】
以上で、本発明の第２の実施例における処理内容の説明を終える。
【０３１５】
さて、上述の説明では、画像の順番として、撮影時刻を使用していた。一般的に、鑑賞者が回想する順番は時系列だからである。しかし、本発明は、撮影時刻に限定しない。例えば、動物園内を、その動物園が規定している順路に従って歩いて、撮影したとする。撮影し損なった動物がいたので、順路に従って一巡した後、撮影し損なった動物のところに直行して、撮影したとする。この場合、撮影時刻の順番で「ひと続きの画像（絵巻物）」を作成してしまうと、最後の表示が「撮影し損なった動物」の画像となってしまう。こういう場合は、順路に従った順番で「ひと続きの画像（絵巻物）」を作成した方が良い。そこで、撮影時刻ではなくて、撮影位置により順番付けすれば良い。動物園が規定している順路とは、通常、位置的に順番になっていることが多いので、「順路による順番付け」は「撮影位置における順番付け」と同等になるからである。
【０３１６】
また、上述の説明では、付随情報として、撮影時刻と撮影位置があるとして説明した。通常、デジタルカメラで撮影すると、画像は、自動的に昇順に番号が付いてファイルとして保存される。従って、各画像のファイル名の番号を、撮影時刻の代わりに使用しても良い。また、付随情報として、撮影位置がない場合、撮影者が撮影した位置と同じ位置から撮影した「鑑賞用の綺麗な画像」をデータベース管理部１３から取得することが出来ない。この場合は、ユーザが、明示的に、手動で、汎用画像データベース１４から探し出して、その画像を入力画像データ記憶部１５に記憶させれば良い。
【０３１７】
また、鑑賞者は、「ひと続きの画像（絵巻物）」を表示させて鑑賞するだけでなく、もちろん、入力部に入力したオリジナルの画像（旅行者（撮影者）が撮影した編集前の画像）も、画像表示部にて表示させて鑑賞しても良い。最近のディスプレイ（画像表示装置）では、タッチパネルを有するものもあり、このようなディスプレイを、本発明の画像表示部として使用しても良い。そして、「ひと続きの画像（絵巻物）」を表示させている最中に、鑑賞者が、画面をタッチすることで、タッチされた画像（「ひと続きの画像（絵巻物）のデータ保存部２３」に保存されている静止画）と撮影時刻がほぼ同じ時刻のオリジナルの画像（旅行者（撮影者）が撮影した編集前の画像）に切り替えて表示させることも可能である。つまり、鑑賞者が、興味のある場合には、画面をタッチすることで、その時刻（および、その近辺の時刻）のオリジナル画像を鑑賞することができ、その時刻における旅行者の情景をもっと詳しく鑑賞することが出来る。
【０３１８】
＜本発明のその他の実施例＞
なお、上述実施の形態においては、専用の画像処理装置１０あるいは３０にて、「ひと続きの画像（絵巻物）」を作成し、それを再生するという例を示した。しかし、この他にも、旅行者（撮影者）が撮影した複数枚の画像を、コンピュータ装置に送って、このコンピュータ装置内で生成および再生することも可能である。この場合、詳細説明は省略するが、コンピュータ装置内でも、上述した画像処理装置１０あるいは３０における処理と同様の処理により、「ひと続きの画像（絵巻物）」を作成し、それを再生することが出来る。
【０３１９】
図３１は、「ひと続きの画像（絵巻物）」を作成し、それを再生するコンピュータ装置４０の構成例を示している。
【０３２０】
このコンピュータ装置４０は、ＣＰＵ（Central Processing Unit）４０１１、メモリ４０１２、ディスプレイコントローラ４０１３、入力機器インターフェース４０１４、ネットワークインターフェース４０１５を有している。また、このコンピュータ装置４０は、外部機器インターフェース４０１６およびデジタルカメラインターフェース４０１８を有している。これらは、バス４０１７に接続されている。
【０３２１】
ディスプレイ４０１９は、ディスプレイコントローラ４０１３を介してバス４０１７に接続されている。キーボード（ＫＢＤ）４０２０およびマウス４０２１は、入力機器インターフェース４０１４を介してバス４０１７に接続されている。また、ハードディスクドライブ（ＨＤＤ）４０２２およびメディアドライブ４０２３は、外部機器インターフェース４０１６を介してバス４０１７に接続されている。デジタルカメラは、デジタルカメラインターフェース４０１８を介してバス４０１７に接続されている。また、コンピュータ装置４０は、ネットワークインターフェース４０１５を介して、インターネット等のネットワークに接続される。
【０３２２】
ＣＰＵ４０１１は、コンピュータ装置４０のメイン・コントローラである。このＣＰＵ４０１１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ４０１１は、例えば、デジタルカメラから一度ハードディスクドライブ４０２２にダウンロードされた画像（旅行者（撮影者）が撮影した複数枚の画像）を処理するアプリケーション・プログラムを実行することができる。アプリケーション・プログラムの中には、上述した「ひと続きの画像（絵巻物）」を作成し、それを再生するという一連の処理プログラムがインプリメントされている。ＣＰＵ４０１１は、バス４０１７によって他の機器類と相互接続されている。
【０３２３】
メモリ４０１２は、ＣＰＵ４０１１において実行されるプログラム・コードを格納し、また実行中の作業データを一時保管するために使用される記憶装置である。メモリ４０１２は、例えば、ＲＯＭなどの不揮発性メモリおよびＤＲＡＭなどの揮発性メモリの双方を含む構成とされている。
【０３２４】
ディスプレイコントローラ４０１３は、ＣＰＵ４０１１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイコントローラ４０１３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ４０１９によって画面出力される。例えば、ハードディスクドライブ４０２２から読み出された画像はディスプレイ４０１９で画面表示されて、ユーザは見て楽しむことができる。
【０３２５】
入力機器インターフェース４０１４は、キーボード４０２０やマウス４０２１などのユーザ入力機器をコンピュータ装置４０に接続するための装置である。ユーザは、キーボード４０２０やマウス４０２１を介して、画像を再生するためのコマンドなどを入力することができる。
【０３２６】
ネットワークインターフェース４０１５は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、コンピュータ装置４０を、ＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続する。
【０３２７】
ネットワーク上では、複数のホスト端末やサーバー（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。例えば、他人が撮影した画像が保存されている他のサーバーから画像データを、ネットワーク経由でハードディスクドライブ４０２２へダウンロードすることができる。
【０３２８】
デジタルカメラインターフェース４０１８は、デジタルカメラから供給される画像を取り込むための装置である。外部機器インターフェース４０１６は、ハードディスクドライブ４０２２、メディアドライブ４０２３などの外部装置を、コンピュータ装置４０に接続するための装置である。
【０３２９】
ハードディスクドライブ４０２２は、従来周知のように、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。また、このハードディスクドライブ４０２２は、ランダムアクセスも可能である。ソフトウェア・プログラムを実行可能な状態でハードディスクドライブ４０２２上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ハードディスクドライブ４０２２には、ＣＰＵ４０１１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、上述した「ひと続きの画像（絵巻物）」を作成し、それを再生するという一連の処理を行うプログラムを、ハードディスクドライブ４０２２上にインストールすることができる。
【０３３０】
メディアドライブ４０２３は、ＣＤ（Compact Disc）、ＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital VersatileDisc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。画像処理を行うためのアプリケーション・プログラムを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
【０３３１】
以上、本発明の実施形態を詳述してきたが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【０３３２】
さらに、本技術は、以下の構成とすることも可能である。
【０３３３】
［１］
入力画像データ群を処理し、表示用画像データを出力する画像処理装置であって、
第１の画像データ群を入力し、上記第１の画像データ群を上記入力画像データ群とする第１の入力部と、
上記入力画像データ群内の各画像データをソートする画像整列部と、
上記入力画像データ群内の各画像データの重要度を決定する重要度判断部と、
上記入力画像データ群内の画像データ同士の接続可能性を判断する接続可否判断部と、
上記入力画像データ群内の画像データを取捨選択し、上記接続可否判断部で接続可能であると判断された、上記重要度判断部で重要であると判断された画像データどうしを、上記画像整列部でソートされた順番に接続していくことで、上記表示用画像データを作成する接続部と、
上記接続部で作成された上記表示用画像データを出力する出力部と
を備える画像処理装置。
［２］
複数の画像データが含まれるデータベース部と、
上記第１の入力部において入力した上記第１の画像データ群と関連のある画像データを、上記データベース部から取り出し、上記入力画像データ群に追加する第２の入力部と
をさらに備える［１］に記載の画像処理装置。
［３］
上記接続部で接続される２つの画像データのうち、上記画像整列部でソートされた順番において若い順位の画像データを第１の画像データと呼ぶこととし、他方を、すなわち、若くない順位の画像データを第２の画像データと呼ぶこととした場合、
上記接続部での上記入力画像データ群の画像データどうしの接続は、
上記第１の画像データが静止画であり、かつ、上記第２の画像データが動画である場合、静止画である上記第１の画像データと、動画である上記第２の画像データの最初のフレームとの接続を行うようにし、
上記第１の画像データが動画であり、かつ、上記第２の画像データが静止画である場合、動画である上記第１の画像データの最後のフレームと、静止画である上記第２の画像データとの接続を行うようにし、
上記第１の画像データが動画であり、かつ、上記第２の画像データが動画である場合、動画である上記第１の画像データの最後のフレームと、動画である上記第２の画像データの最初のフレームとの接続を行うようにする
［１］または［２］に記載の画像処理装置。
［４］
上記表示用画像データは、時間とともに上記接続部で接続された順番に、すなわち、上記画像整列部でソートされた順番において昇順に、表示をしていくという再生順番の情報を作成する再生順番指示生成部をさらに備え、
上記出力部では、上記表示用画像データとともに上記再生順番の情報も出力する
［１］乃至［３］に記載の画像処理装置。
［５］
複数の画像データと、該画像データ間の位置関係と、表示すべき順番を示すデータを有するデータフォーマット。
［６］
入力画像データ群を処理し、表示用画像データを出力する画像処理方法であって、
第１の画像データ群を入力し、上記第１の画像データ群を上記入力画像データ群とする第１の入力ステップと、
上記入力画像データ群内の各画像データをソートする画像整列ステップと、
上記入力画像データ群内の各画像データの重要度を決定する重要度判断ステップと、
上記入力画像データ群内の画像データ同士の接続可能性を判断する接続可否判断ステップと、
上記入力画像データ群内の画像データを取捨選択し、上記接続可否判断ステップで接続可能であると判断された、上記重要度判断ステップで重要であると判断された画像データどうしを、上記画像整列ステップでソートされた順番に接続していくことで、上記表示用画像データを作成する接続ステップと、
上記接続ステップで作成された上記表示用画像データを出力する出力ステップと
を含む画像処理方法。
［７］
入力画像データ群を処理し、表示用画像データを出力する画像処理用のプログラムであって、
第１の画像データ群を入力し、上記第１の画像データ群を上記入力画像データ群とする第１の入力ステップと、
上記入力画像データ群内の各画像データをソートする画像整列ステップと、
上記入力画像データ群内の各画像データの重要度を決定する重要度判断ステップと、
上記入力画像データ群内の画像データ同士の接続可能性を判断する接続可否判断ステップと、
上記入力画像データ群内の画像データを取捨選択し、上記接続可否判断ステップで接続可能であると判断された、上記重要度判断ステップで重要であると判断された画像データどうしを、上記画像整列ステップでソートされた順番に接続していくことで、上記表示用画像データを作成する接続ステップと、
上記接続ステップで作成された上記表示用画像データを出力する出力ステップと
を含む処理をコンピュータに実行させるプログラム。
［８］
第１の静止画と第１の動画を表示する画像処理装置であって、
上記第１の静止画と上記第１の動画の最初のフレームとが交わりがあるように配置し、主として上記第１の静止画を表示させた後、時間とともに表示領域を移動させて、主として上記第１の動画の最初のフレームを表示させ、さらに、次の時刻以降で、上記第１の動画の２枚目以降のフレームを順次表示させていくか、
あるいは、
上記第１の動画の最後のフレームと上記第１の静止画とが交わりがあるように配置し、上記第１の動画の最初のフレームから上記第１の動画の最後から２番目のフレームまでを順次表示させていき、さらに、次の時刻で、主として上記第１の動画の最後のフレームを表示させ、さらに、時間とともに表示領域を移動させて、主として上記第１の静止画を表示させていくか、
のいずれか一方を少なくとも行う表示部
を備える画像処理装置
［９］
第１の静止画と第１の動画を表示する画像処理方法であって、
上記第１の静止画と上記第１の動画の最初のフレームとが交わりがあるように配置し、主として上記第１の静止画を表示させた後、時間とともに表示領域を移動させて、主として上記第１の動画の最初のフレームを表示させ、さらに、次の時刻以降で、上記第１の動画の２枚目以降のフレームを順次表示させていくか、
あるいは、
上記第１の動画の最後のフレームと上記第１の静止画とが交わりがあるように配置し、上記第１の動画の最初のフレームから上記第１の動画の最後から２番目のフレームまでを順次表示させていき、さらに、次の時刻で、主として上記第１の動画の最後のフレームを表示させ、さらに、時間とともに表示領域を移動させて、主として上記第１の静止画を表示させていくか、
のいずれか一方を少なくとも行う表示処理ステップ
を備える画像処理方法
［１０］
第１の静止画と第１の動画を表示する画像処理用のプログラムであって、
上記第１の静止画と上記第１の動画の最初のフレームとが交わりがあるように配置し、主として上記第１の静止画を表示させた後、時間とともに表示領域を移動させて、主として上記第１の動画の最初のフレームを表示させ、さらに、次の時刻以降で、上記第１の動画の２枚目以降のフレームを順次表示させていくか、
あるいは、
上記第１の動画の最後のフレームと上記第１の静止画とが交わりがあるように配置し、上記第１の動画の最初のフレームから上記第１の動画の最後から２番目のフレームまでを順次表示させていき、さらに、次の時刻で、主として上記第１の動画の最後のフレームを表示させ、さらに、時間とともに表示領域を移動させて、主として上記第１の静止画を表示させていくか、
のいずれか一方を少なくとも行う表示処理ステップ
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０３３４】
１０…画像処理装置
１１，１１ａ，１１ｂ…入力部
１２，１２ａ，１２ｂ…画像収集部
１３，１３ａ，１３ｂ…データベース管理部
１４，１４ａ，１４ｂ…汎用画像データベース
１５，１５ａ，１５ｂ…入力画像データ記憶部
１６，１６ａ，１６ｂ…接続可能性判断部
１７，１７ａ，１７ｂ…有向グラフ作成部
１８，１８ａ，１８ｂ…経路探索部
１９，１９ａ，１９ｂ…画像選別部
２０，２０ａ，２０ｂ…画像接続部
２１，２１ａ，２１ｂ…レンダリング情報作成部
２２，２２ａ，２２ｂ…表示情報作成部
２３，２３ａ，２３ｂ…ひと続きの画像（絵巻物）のデータ保存部
２４，２４ｃ…ユーザインターフェース部
２５，２５ａ，２５ｂ…再生部
２６，２６ａ，２６ｂ…画像表示部
３０…画像処理装置
３１ａ，３１ｂ…トリミング部
４０…コンピュータ装置
【図１】
2015130546.tif 000007
【図２】
2015130546.tif 000008
【図３】
2015130546.tif 000009
【図４】
2015130546.tif 000010
【図５】
2015130546.tif 000011
【図６】
2015130546.tif 000012
【図７】
2015130546.tif 000013
【図８】
2015130546.tif 000014
【図９】
2015130546.tif 000015
【図１０】
2015130546.tif 000016
【図１１】
2015130546.tif 000017
【図１２】
2015130546.tif 000018
【図１３】
2015130546.tif 000019
【図１４】
2015130546.tif 000020
【図１５】
2015130546.tif 000021
【図１６】
2015130546.tif 000022
【図１７】
2015130546.tif 000023
【図１８】
2015130546.tif 000024
【図１９】
2015130546.tif 000025
【図２０】
2015130546.tif 000026
【図２１】
2015130546.tif 000027
【図２２】
2015130546.tif 000028
【図２３】
2015130546.tif 000029
【図２４】
2015130546.tif 000030
【図２５】
2015130546.tif 000031
【図２６】
2015130546.tif 000032
【図２７】
2015130546.tif 000033
【図２８】
2015130546.tif 000034
【図２９】
2015130546.tif 000035
【図３０】
2015130546.tif 000036
【図３１】
2015130546.tif 000037