(57)【要約】【課題】画像入力手段から入力される複数の画像をアルバム形式に自動レイアウトし、かつ、所望の画像を迅速に検索することができる電子画像アルバム装置及び画像検索方法を提供する。【解決手段】原画像入力手段から入力された原画像データから、インデックス画像を作成する手段と、該インデックス画像を仮想アルバム上に自動レイアウトする手段と、アルバムが複数存在する場合に、所望のアルバムと、該アルバムの中の所望のページ及び所望の画像を検索するためのアルバムの構成に基づいた検索手段とを有する。【選択図】        図１
2004201051.tif 000002
【特許請求の範囲】
【請求項１】
原画像入力手段から入力された原画像データから、インデックス画像を作成する手段と、上記インデックス画像を、少なくとも１つ以上のページ、１つ以上の画像が仮想アルバム上に配置されるようにレイアウトするレイアウト手段と、上記レイアウト手段によりレイアウトした閲覧用アルバム画像を表示する表示手段と、上記表示手段によって表示された閲覧用アルバム画像の中から所望のアルバム頁若しくはアルバム画像の中の１つの画像を指定する画像指定手段と、前記画像指定手段によって指定されたアルバム頁若しく１画像を出力する画像出力手段と、上記手段で指定した画像をファイルに保存する画像保存手段と、アルバムが複数存在する場合に、所望のアルバムと、該アルバムの所望のページを検索するためのアルバムの構成に基づいたページ検索手段とを有することを特徴とする電子画像アルバム装置及び画像検索方法。
【請求項２】
請求項１記載の現画像入力手段は、本発明の電子画像アルバム装置内に、複数の現画像（デジタルデータ）を同時に読み込むことを特徴とする電子画像アルバム装置及び画像検索方法。
【請求項３】
請求項１記載のインデックス画像の作成手段は、閲覧用アルバム画像に配置した際に、あるいは、プリントした際に十分に認識できるサイズで、かつ、１ページに最大限多く配置できるサイズに作成することを特徴とする請求項１記載の電子画像アルバム装置及び画像検索方法。
【請求項４】
請求項１記載のレイアウト手段は、各画像に付随する付随情報の基づいて、インデックス画像のレイアウトの順序を自動的に決定することを特徴とする電子画像アルバム装置及び画像検索方法。
【請求項５】
さらに、上記レイアウト手段は、閲覧用アルバムの中から、所望のインデックス画像を指定する手段と、上記指定手段により指定した画像を「お気に入り」の画像として登録することと、上記登録した「お気に入り」画像を他の画像と差別化して表示することを特徴とする電子画像アルバム装置及び画像検索方法。
【請求項６】
さらに、上記レイアウト手段は、操作者の手を煩わせることなく、画像を見栄えよく、自動的にレイアウトことを特徴とする電子画像アルバム装置及び画像検索方法。
【請求項７】
請求項１記載の画像指定手段は、現在表示中のアルバム頁若しくはマウス及びキーボードなどの指示デバイスを用いて指示することを特徴とする電子画像アルバム装置及び画像検索方法。
【請求項８】
請求項１記載の画像保存手段は、請求項７記載の画像指定手段を用いて指定した画像を任意のファイル名で任意のディレクトリにファイル保存することを特徴とする電子画像アルバム装置及び画像検索方法。
【請求項９】
請求項１記載の検索手段は、アルバム名をキーワードとして入力するアルバム名入力手段と、上記アルバム名入力手段によって、入力されたアルバム名を表示し所望のアルバムを検索するアルバム検索手段と、アルバムごとの各ページを１枚目のインデックス画像と、最後のインデックス画像を表示してこれらのインデックス画像を手がかりとして所望のページを検索するページ検索手段とを有することを特徴とする。
【請求項１０】
請求項１記載の検索手段は、使用頻度の多い「お気に入り」の画像を指定する手段と、該指定された「お気に入り」の画像を他の画像と差別化してわかりやすく表示し、さらに請求項９記載の閲覧手段において「お気に入り」の画像のインデックス画像を表示することを特徴とする。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のデジタル画像を所望の形式でレイアウトし、管理、検索する電子画像アルバム及び画像検索方法に関する。
【０００２】
【従来の技術】
コンピュータへの画像入力装置として、昨今デジタルカメラが広く使われるようになっている。こうしたデジタルカメラは、今後ますますシェアを拡大し、一般家庭での使用率も著しく拡大すると予測される。一般家庭でのデジタルカメラの使用に関連するソフトウェアとしては、デジタルカメラで撮影したイメージをパソコン上で見るという従来のアルバム代わりの使い方が最も多いと推測できる。ここでは、この「デジタルカメラで撮影したスナップ写真をパソコン上で見るシステム」をデジタルアルバムと呼ぶことにする。従来の汎用の画像データベースシステムに比較して、デジタルアルバムは対象をスナップ写真のアルバムに限定しているところに違いがある。こうしたデジタルアルバムは、今後各社からますます商品化されると予想される。
【０００３】
例えば、日本コダック社は「パソコンアルバム編集ソフト：想いでオルゴール」という簡単な操作でパソコンアルバムが編集できるソフトウェアを販売している。また、既に商品化されているシステムとしては、子供の成長記録を写真と音声で編集してＣＤ−ＲＯＭ化し、パソコン上で見るようなものもある。今後ハードウェアの進歩で写真１枚あたりの価格がさらに低くなると予想されるので、こうしたデジタルアルバムの市場は、ますます拡大すると考えられる。
【０００４】
また、同時にその検索方式に関して種々のものが提案されている。このようなデジタルアルバムの主な検索方式としては、第１の検索方式として、画像認識技術を利用し、自然画像から、色のヒストグラム、輪郭抽出をおこなうもの、あるいは、顔部分を検出し、目的のイメージを検索するものがある。
【０００５】
また第２の検索方式として、デジタルカメラを用いた場合は、各画像に対応する付随情報、たとえば、撮影日時情報、露出情報、キャプション情報のほか、使用レンズ、フラッシュ撮影か否か等の付随情報を元に検索するものがある。第３の検索方法として、イメージに、文字のインデックス、すなわち、パソコン上で、撮影年月日、場所、コメントなど入力し、これらの文字インデックスを元に検索する方法がある。
【０００６】
【発明が解決しようとする課題】
しかしながら、既存のデジタルアルバムにおいては、検索をどうするかが大きな問題となっている。つまり、アナログカメラ（現在、我々が使っているカメラ）の場合、ＤＰＥに出した後写真は見るがそれを整理するのが面倒で、アルバムに貼らないまま、どの写真がどこにいったのかわからなくなってしまうことが多い。暇のある時にアルバムを整理してコメントを書き加えよう、と思っても、なかなか時間がとれずいつのまにか写真がたまっていき、後で探そうとしても探せない状況になってしまうことが多い。
【０００７】
同じ問題は、デジタルカメラでも発生するだろう。デジタルカメラで撮影した写真をパソコン上に格納することはしても、それを整理せず、いつのまにか写真がたまっていき、後で探そうとしても探せない状況になってしまうと思われる。これらの問題を解決するためデジタルアルバム上での検索メカニズムが必要となる。
【０００８】
また、従来の画像検索技術を見てみると、たとえば、画像認識技術を用いた検索方式では、イメージの検索は一般に難しく、現状では実用として使えるレベルにはいっていない。静止画の場合、イメージデータベースから目的のイメージを探すとき、色のヒストグラム，テクスチャア，輪郭抽出等の特徴を抽出し、それらを用いてイメージ間の類似度を表現し、その類似度を用いるという手法がとられているが、現状では有効とは言えない。イメージ検索をイメージそのもので行っても欲しいイメージが見つかる確率が低かった（イメージ検索の技術はまだ成熟していない）。
【０００９】
また、各画像に対応する付随情報を利用した検索方式では、具体的な、イメージの内容まではつかみ難いため、大まかなグループわけしかできなかった。また、現在もっとも低価格であり、かつ、確実な方法はイメージに文字のインデックスを付加していくことであろう。デジタルアルバムであれば、パソコン上で撮影年月日，場所，コメントなどを入力するのである。そして、検索はこれらの文字列インデックスによって行う方法だが、文字列インデックスをいちいち付けるのは手間がかかり、つけないままイメージが放置される可能性が高かった。
【００１０】
このように、これらの画像検索技術はいずれも迅速な検索を行えるものではなった。通常、銀塩写真のシステムで画像のアルバム整理を行う場合を考えてみると、画像のテーマ別あるいは時系列の事象毎に一連のアルバム作成を行う。この中でアルバム作成者は、各頁毎に自分の間隔に合ったレイアウトで各々の画像を配置し、時には特徴的な画像のトリミングや文章等を加えることにより、その頁の印象を更に強めていく。
【００１１】
次に閲覧鑑賞する場合には、アルバム作成者は、このような操作により印象づけられたアルバムを探し、その中の特徴式な代表画像やレイアウトを見ながら、その所望の画像を見つけ出していくのが一般的である。しかし、前記デジタルアルバムの３つの検索方式においては、このような閲覧鑑賞は不可能である。他にも、近年ＤＴＰ（デスクトップパブリシング）の装置が市場に投入され、画像ファイル装置の用途を拡げている。
【００１２】
しかし、このような装置はただ単に出力用の文書と画像とをパソコン上で作成する用途でしか用いられておらず、ここで言うアルバム的な鑑賞やアルバムの中からお気に入りの１枚を検索することを目的としたものではなかった。このように、従来の画像ファイル装置では、検索の際上述のように文字をキーコードとして検索するか、若しくは、一枚一枚の画像自身を検索用見出しとして用いるばかりであり、実際のアルバム閲覧鑑賞操作とは掛け離れたものであった。従って、アルバムを楽しみながら閲覧できるような装置とは程遠く、ただ機械的な検索手段に過ぎなかった。
【００１３】
本発明は、上記のような従来装置の問題点に鑑みなされたもので、画像を閲覧鑑賞する場合には従来の銀塩アルバムと同様の形式で所望の画像を手軽に楽しむことができ、一方、所望の画像を検索する場合には、どのアルバムのどのページに貼ってあるかという感覚で迅速に検索することができるようにした電子画像アルバム装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る電子画像アルバム装置は、図１に示すように、原画像入力手段から入力された原画像データから、インデックス画像を作成する手段と、上記インデックス画像を、少なくとも１つ以上のページ、１つ以上の画像がアルバム画像上に配置されるようにレイアウトするレイアウト手段と、上記レイアウト手段によりレイアウトした閲覧用アルバム画像を表示する表示手段と、上記表示手段によって表示された閲覧用アルバム画像の中から出力用に所望のアルバム頁若しくはアルバム画像の中の１つの画像を指定する出力画像指定手段と、前記出力画像指定手段によって指定されたアルバム頁若しく１画像を出力する画像出力手段と、アルバムが複数存在する場合に、所望のアルバムと、該アルバムの所望のページを検索するためのアルバムの構成にもとづいたページ検索手段とを含んで構成した。
【００１５】
特に、上記ページ検索手段において、アルバム名をキーワードとして入力するアルバム名入力手段と、上記アルバム名入力手段によって、入力されたアルバム名を表示し所望のアルバムを検索するアルバム検索手段と、アルバムごとの各ページを１枚目のインデックス画像と、最後のインデックス画像を表示、特徴付けるページ閲覧手段と、上記ページ閲覧手段により、所望のページを検索するページ検索手段と、使用頻度の多い「お気に入り」の画像を指定し、人目でわかるように表示する手段を有することを特徴とする。
【００１６】
【発明の実施の形態】
（実施例１）
以下、この発明の一実施例を図面を参照して詳しく説明する。
【００１７】
図１は、本発明の一実施形態の電子画像アルバム装置の装置構成を示すブロック図である。
【００１８】
１０１は画像入力部であり、操作指示入力部１０４に接続されているキーボードまたはマウスなどの指示デバイスを用いて、レイアウトしたい画像を画像単位、あるいは、ホルダー（ディレクトリ）ごと選択し、電子アルバム内に取り込む。１０２は記憶部であり、各種処理に必要なプログラム等のデータを記憶するためのメモリなどの記憶装置が用いられる。１０３は画像蓄積部であり、画像入力部１０１で入力された画像や、インデックス画像作成部１１１で作成したインデックス画像を保存するためのもので、ハードディスク、ＭＯ、ＺＩＰ、ＰＤなどの各種の記憶装置を用いることができる。
【００１９】
１０４は操作指示入力部であり、キーボードを用いて文字、数字を入力したり、マウスなどのポインティングデバイスを用いてコマンドや画像を選択したりするためのものである。１０５は表示部であり、電子アルバム及び画像、検索の仮定や結果をＣＲＴなどのモニタ画面に表示し、リアルタイムで認識可能に表示出力する。１０６は画像出力部であり、操作指示入力部１０４のマウス等で選択されたインデックス画像に対応した画像や、カレントなアルバムのページをプリントアウトする。１１０は本実施形態の各構成全ての制御を含む全体制御を司る制御部であり、記録部１０２に予め格納された処理プログラムを読み出して実行することで、後述するような各処理及びシステム全体の動作制御を行う。
【００２０】
１１１はインデックス画像作成部であり、画像入力部１０１から入力された現画像のインデックス画像を作成する。１１２は自動レイアウト部であり、インデックス画像作成部１１１で作成したインデックス画像を電子アルバム画像に自動的にレイアウトする処理をおこなう。
【００２１】
また、１１３は画像検索部で、アルバムの検索と、アルバムのページの検索をおこなう。１１４は画像選択部であり、操作指示入力部１０４のマウス等を用いて、所望の画像を選択する。１１５は画像保存部であり、画像選択部１１４で選択した画像をファイルに保存する。本処理プログラムはアプリケーションとして、システム起動時に、自動的に立ち上がるように設定されている。すなわち、システムが起動されると同時に、制御部１１０は、記録部１０２から本処理プログラムを読み出して実行する。
【００２２】
本システムが起動されると、まず、初期画面を表示する。図３は、本発明の一実施形態の電子画像アルバム装置のグラフィカル・ユーザ・インタフェース（以下、ＧＵＩと略す）である。
【００２３】
図３の３０１は操作メニュー部分であり、アルバムの新規作成、１ページにレイアウトする画像数の設定、印刷、及びファイルの保存処理を選択するためのボタンを用意している。３０２はインデックス画像をレイアウトするためのアルバム画像であり、３０３は、アルバム名称を入力するための文字フィールドである。３２０は、画像検索用画面で、アルバムごとのページを特徴ずけるインデックス画像と、ページの中に、「お気に入り」の画像があれば、そのインデックス画像も表示する。３２１はアルバム３という名称のアルバムの３ページ目の一番最初に貼ってあるインデックス画像であり、３２２は最後に貼ってあるインデックス画像であり、３２３は「お気に入り」の画像のインデックス画像である。
【００２４】
次に、以上の構成を備える本実施形態の電子画像アルバム装置において、アルバムを作成する処理手順を図２−１の処理フローに基づき説明する。
【００２５】
（ステップＳ２１０１）
本システムの起動時、あるいは、図３の３０１の操作メニューの「新規」ボタンを選択した場合に、図３の３０２に示すような新規アルバム画像を表示する。
【００２６】
（ステップＳ２１０２）
ここでは、アルバムに貼り付ける原画像を入力する。原画像はデジタルカメラで撮影した画像データ、及びスキャナーから入力した画像データ、及び、インターネットなどから入手した画像データなどが考えられるが、予めハードディスク、ＭＯ、ＺＩＰ、ＰＤなどの各種の記憶装置に画像ファイル形式で格納されている必要がある。本システムは、上記画像ファイルを次のような手段で本システム内に取り込む。
【００２７】
まず、図３の３０１の「ファイル」メニューから、「入力」を選択し、ファイルを指定する、あるいはディレクトリを指定することができる。また、マウス等で直接選択し、ドラッグ＆ドロップしても良い。ディレクトリを指定した場合には、そのディレクトリの下にあるすべての画像ファイルが本システムに読み込まれる。このように入力した原画像データを図１の画像蓄積部１０３に格納し、ファイル名、フルパスなどの情報を図５に示すようなデータベースに格納する。このとき、デジタルカメラで撮影した画像データの場合は、各画像に付随する日付情報を取り出し、日付の早い順にソートし、該データベースに格納する。
【００２８】
（ステップＳ２１０３）
ここでは、上記ステップで入力した原画像データを元にインデックス画像を作成する。該インデックス画像は、アルバム画像上にレイアウトするための画像で、迅速に表示するためにデータ量を減らして作成する。また、画像蓄積部１０３のデータ量を軽減するために、画像蓄積部１０３から原画像データを読み出しインデックス画像を作成、格納したあとに、一時的に格納していた現画像データを削除する。
【００２９】
また、作成したインデックス画像ファイルのファイル名及びサイズとうを図５のデータベースに格納する。次に具体的なインデックス画像の作成方法を図４を用いて説明する。まず、インデックス画像のサイズをアルバム画像のサイズから割り出す。図４の４０１はアルバム画像のｘサイズ（＝ｘｓ）、４０２はｙサイズである（＝ｙｓ）。４０３はインデックス画像領域（一辺をｌｓとする）であり、４０４はインデックス画像間の隙間（＝ｒｓ）である。
【００３０】
図４に示すレイアウトパターンから、インデックス画像の長いほうの１辺のサイズを求めるには、たとえばｘｓ：ｌｓ：ｒｓ＝ｓ１：ｓ２：ｓ３、ｘｓ＝ｎ（ピクセル）とすると、ｌｓ＝ｎ＊ｓ２／ｓ１（ピクセル）で求めることができる。さらに、インデックス画像の短いほうの１辺のサイズは原画像の縦横比と同じであるのでこの比から求めることができる。このサイズにあわせて、原画像データを縮小し、レイアウト画像を作成する。
【００３１】
また、図４のレイアウトパターンの例では、１ページにレイアウトする画像の数は、デフォルトで通常のアナログの写真アルバムと同様に６枚としているが、図３の操作メニューの「設定」で、たとえば８枚、１０枚などにユーザーが自由に設定できる。また、レイアウトパターンを図４の例のほかに数種類設定できるようにすることも可能である。インデックス画像の格納先は、アルバム構造に基づいて決定する。
【００３２】
図９は、アルバム構造を元に作成した本発明のデータのディレクトリ構造を示した図であり、たとえば、データベースからアルバム名、ページＮｏ．を読み出し、画像蓄積部１０３の「ＰＨＯＴＯ」の下にディレクトリ「アルバム１」を作成し、該ディレクトリ下に、ディレクトリ「ｐ１」を作成し、その下にインデックス画像ファイルを格納する。インデックス画像ファイルのファイル名はＩＤとレイアウトＮｏ．からＩＤ−インデックスＮｏ．ｇｉｆのように作成する。以下にパス及びインデックスファイル名の例を示す。
【００３３】
アルバム１／ｐ１／１−１．ｇｉｆ
アルバム１／ｐ１／２−２．ｇｉｆ
…
（ステップＳ２１０４）
ここでは、上記ステップで画像蓄積部１０３に格納したインデックス画像を、ユーザーによって選択されたレイアウトパターンと、図５に示すデータベースに格納した画像データ情報を基にアルバム画像上にレイアウト（画像合成）する。具体的には、図５のデータベースのＩＤごとに、アルバム名、ページＮｏ．、レイアウトＮｏ．を読み出し、この順序に従ってレイアウトしていく。図６はレイアウトパターンのレイアウトする順序を示した例である。
【００３４】
（ステップＳ２１０５）
ここでは、レイアウトした結果（画像）を図１の表示部１０５、すなわちＣＲＴなどのモニタ画面に表示する。
【００３５】
（ステップＳ２１０６）
ここでは、図３の３０３から、アルバム名を入力する。たとえば、「花子１０歳まで」、「結婚記念」など、ユーザーが所望の名前をつけることができる。上記入力されたアルバム名を、データベースに格納する。デフォルトのアルバム名は、たとえば、アルバム１、アルバム２のように、アルバムが作成された順序にもとづいた名称にする。アルバム名は何度も変更可能である。
【００３６】
（ステップＳ２１０７）
ここでは、「お気に入り」の画像を登録する方法について説明する。まず、「お気に入り」の画像を登録する目的は、ユーザーがポストカードに使いたい、電子メールで送りたい、今年の年賀状に使いたいといった使用頻度の高い画像がある場合に、この画像を「お気に入り」の画像として登録しておき、こののちに、この「お気に入り」の画像を迅速に検索できるようにすることである。登録方法は、図３の３０２のアルバム画像に画像がレイアウトされた状態で、さらに、３０２の画面が有効になっている場合、マウス等で所望のインデックス画像をクリックすることにより、画像を「お気に入り」として登録し、該インデックス画像を縁取って表示する。
【００３７】
図７は、ユーザーが、「お気に入り」の画像を登録した例であり、登録後はリアルタイムに枠７０１を表示する。上記登録された情報をデータベースに格納する。
【００３８】
次に本発明の検索の手段について、図２−２の処理フローに基ずいて説明する。
【００３９】
（ステップＳ２２０１）
本システムの起動時、あるいは、図３の３０１の操作メニューの「検索」ボタンを選択した場合に、図３の３２０に示すような検索用画面を表示する。具体的には、画像蓄積部１０３に格納された、アルバム構造（デイレクトリ構造）にもとづいた、アルバム名と、各ページ、ページ内の最初の画像と最後の画像を表示する。また、データベースから各画像の「お気に入り」フラグを調べ、フラグがオンになっている画像を「お気に入り」画像として表示する。
【００４０】
（ステップＳ２２０２）
画像検索画面上でユーザーからのマウスクリック等のイベントを検知し、アルバム名が選択された場合には、上記選択されたアルバムの最初のページを図３の３０２に表示する。また、ページが選択された場合は、上記選択されたページを表示する。
【００４１】
（ステップＳ２２０３）
上記ステップで表示したページの画像、または図３の３２０の「お気に入り」画像を選択した場合には、選択した画像がレイアウトされているページを表示する。図８は、「結婚式」の３ページ目を表示した例である。
【００４２】
（ステップＳ２２０４）
このステップでは、上記ステップで表示されたレイアウト画面上で、所望のインデックス画像をマウス等で選択すると、選択した画像のファイル名を調べ、ＩＤ番号を抽出する。該ＩＤのデータをデータベースから取り出し、原画像のパス名及びファイル名を抽出し、この画像を保存用のダイアログに表示する。上記ダイアログで、保存先とファイル名を指定し保存することができる。
【００４３】
次に、所望のページ、及び所望の画像を印刷する手法について述べる。
【００４４】
図３の操作メニューの「印刷」ボタンを選択すると、所望の画像を印刷することができる。図８に示したように、ページが表示されている場合は、該ページを印刷する。また、画像を選択し、原画像がダイアログに大きく表示されている場合は、該原画像を印刷する。
【００４５】
【発明の効果】
本発明の電子画像アルバム装置によれば、次のような効果が得られる。まず、デジタルカメラ等で撮影した複数の画像を、１度にしかも自動的にレイアウトすることにより、利用者の作業を煩雑化することなく、迅速にアルバムを作成することができる。また、通常のアナログ写真のアルバムと同様の感覚で、大量の画像を管理することができ、さらにアルバムのページを特徴付ける画像と、「お気に入り」の画像を閲覧しながら検索することができるので、アルバム数や画像の枚数が多くなっても、所望する画像を、簡易かつ短時間で検索することが可能になる。
【図面の簡単な説明】
【図１】本発明のシステム構成図
【図２】図２−１は本発明を説明する処理フロー（アルバム作成処理）、図２−２は本発明を説明する処理フロー（検索処理）
【図３】本発明のＧＵＩ
【図４】レイアウトパターンからインデックス画像のサイズを求める手段を説明するための図
【図５】データベース情報を説明するための図
【図６】レイアウトの順序を説明するための図
【図７】「お気に入り」の画像を登録する手段を説明する図
【図８】画像検索方法を説明するための図
【図９】本発明のデータのディレクトリ構造を示した図
【符号の説明】
１０１  画像入力部
１０２  記憶部
１０３  画像蓄積部
１０４  操作指示入力部
１０５  表示部
【図１】
2004201051.tif 000003
【図２】
2004201051.tif 000004
【図３】
2004201051.tif 000005
【図４】
2004201051.tif 000006
【図５】
2004201051.tif 000007
【図６】
2004201051.tif 000008
【図７】
2004201051.tif 000009
【図８】
2004201051.tif 000010
【図９】
2004201051.tif 000011