(57)【要約】      （修正有）【課題】編集した画像に対するタグの付与を簡便に行うための技術を提供する。【解決手段】原画像に対して画像編集処理を行い（Ｓ６０１）、編集後の画像を保存する指示を入力したことを検知すると、原画像中に登場する各オブジェクト、編集後の画像中に登場する各オブジェクトを認識し（Ｓ６０２）、原画像のタグをオブジェクト関連タグ（タグＡ）と、オブジェクト非関連タグ（タグＢ）に分類し（Ｓ６０３）、オブジェクト関連タグ（タグＡ）のうち、編集後の画像に登場するオブジェクト名と一致するタグをタグＣとして特定し（Ｓ６０４）、編集後の画像に登場するオブジェクト名のうち、原画像に登場するオブジェクト名とは異なるオブジェクト名をタグＤとして特定し（Ｓ６０５）、タグＢ、タグＣ、タグＤを、編集後の画像に付与するタグとして決定し（Ｓ６０６）、タグＢ、タグＣ、タグＤを、編集後の画像に付与する（Ｓ６０７）。【選択図】図６
2013235457.tif 000002
【特許請求の範囲】
【請求項１】
原画像を編集して編集画像を生成する編集手段と、
前記原画像に付与されている該原画像に関する情報と、前記編集手段による編集と、に基づいて、前記編集画像に該編集画像に関する情報を付与する付与手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記付与手段は、前記原画像に付与されている情報のうち、該原画像中に登場しているオブジェクトと関連しない情報は、前記編集の内容に関わらず前記編集画像に付与することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記付与手段は、前記原画像に付与されている情報のうち、該原画像中と前記編集画像中とに登場しているオブジェクトに関連する情報を、前記編集画像に付与することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記原画像に関する情報として付与されている、該原画像中に登場しているオブジェクトを特定する手段と、
前記原画像に付与されている情報のうち、前記オブジェクトに関連する情報を関連タグ、前記原画像に付与されている情報のうち、該関連タグ以外を非関連タグ、として分類する分類手段と、
前記編集画像中に登場しているオブジェクトを特定する手段と、
前記関連タグのうち、前記編集画像中に登場しているオブジェクトに関連する情報を示すタグを共通関連タグとして特定する手段と、を更に備え、
前記付与手段は、前記編集画像中に登場しているオブジェクトのうち前記原画像中に登場しているオブジェクトとは異なるオブジェクトに関連する情報を示すタグを追加タグとし、該追加タグと、前記共通関連タグと、前記非関連タグと、を前記編集画像に付与することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記分類手段は、
前記原画像に付与されているタグのうち、前記原画像中に登場しているオブジェクトのオブジェクト名と同じ若しくは類似するオブジェクト名を示すタグを前記関連タグ、前記原画像に付与されているタグのうち該関連タグ以外を非関連タグ、として分類する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記付与手段は、
前記共通関連タグを該共通関連タグに対する重み値と共に前記編集画像に付与すると共に、前記関連タグのうち前記共通関連タグ以外のタグを該タグに対する重み値と共に前記編集画像に付与し、
前記共通関連タグに対する重み値は、前記関連タグのうち前記共通関連タグ以外のタグに対する重み値よりも大きい
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
更に、
前記編集画像中に、画質を変化させる処理が施されたオブジェクトが含まれている場合には、該処理前のオブジェクトの関連タグと予め関連付けられているタグ若しくは改めて入力されたタグと、前記追加タグと、前記非関連タグと、を前記編集画像に付与する手段
を備えることを特徴とする請求項４乃至６の何れか１項に記載の画像処理装置。
【請求項８】
原画像を編集して編集画像を生成する編集工程と、
前記原画像に付与されている該原画像に関する情報と、前記編集工程による編集と、に基づいて、前記編集画像に該編集画像に関する情報を付与する付与工程と
を備えることを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に付与すべきタグの編集技術に関するものである。
【背景技術】
【０００２】
デジタルカメラで撮影した画像を管理する写真管理ソフトウェアが知られている。このソフトウェアは、ＰＣ（パーソナルコンピュータ）上で実行するアプリケーションやインターネット上のサービスとしてユーザに提供されている。例えば、Picasa Web Albums （登録商標）は、インターネット上のオンライン写真管理サービスとして広くユーザに利用されている。この写真管理サービスでは、ユーザが画像に対してタグを付けることができる。タグとは、画像を検索や整理しやすくする単語または語句であり、通常画像に関連するものを付加する。例えば、夕日が海に沈む様子を写した画像であれば、「夕日」、「海」などの単語をタグとして付加する。タグは画像検索する際に利用でき、タグをキーワードにして所望の画像を検索する場合、特に大量の画像の中から見つけ出す場合に有効な手段となる。
【０００３】
画像へのタグの付与は、ユーザによる入力のほか、自動的に付与する技術が存在する。例えば、特許文献１では、入力された画像の代表色を抽出し、様々な画像が登録された画像データベースから類似の代表色を持つ画像に付与されたタグを、入力された画像に対するタグとして付与する。その際、検索された画像のタグが入力画像にどれだけ関連しているかを示すスコアを計算し、スコアの高いものを付与する。
【０００４】
また、特許文献２は、画像から「人の顔」、「木」といったオブジェクトを抽出し、オブジェクトやオブジェクトの相対位置などを画像のタグとして画像に関連して記憶するものである。
【０００５】
一方、画像編集を行うソフトウェアがある。入力画像に対して、線や図形を書き加えたり、赤目補正したり、人物にモザイクをかけたり、画像をトリミングして必要な部分だけにするなど、画像の見た目を変更することができる。ソフトウェアによっては、ユーザによる操作を軽減するために自動的に画像を解析して編集を行う機能を持っているものもある。例えば、赤目補正のための赤目領域、色、塗りつぶしなどの指定をユーザにさせることなく、ソフトウェアの機能一覧から赤目補正が選択されると自動的に赤目の検出と補正を行うソフトウェアが存在する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１９１９３６号公報
【特許文献２】特開平１０−０４９５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来、画像編集をするソフトウェアでは、タグが付与された画像を編集した結果、タグの内容が画像にそぐわなくなった場合には、ユーザが画像にそぐわなくなったタグを削除する必要があった。例えば、犬、猫が写っている「犬」、「猫」というタグがついた画像を編集して、犬だけが写っている部分のみにトリミングした場合、「猫」というタグはユーザが削除しなければならなかった。しかし、ユーザはタグの修正をし忘れることが考えられ、その場合、画像にそぐわない、ユーザが意図しないタグがついたままになる。そのような画像が多くなると、画像検索をする際に意図しない画像が検出されることになり、所望の画像を探し出すのが困難になるという問題があった。
【０００８】
特許文献１、および特許文献２においても画像編集に伴うタグ付け処理についての記述はなく、画像編集されてもタグの変更はされない。ただ、特許文献１では定期的にタグを更新することが記述されている。しかし、更新期間の設定によっては関連性のないタグを有している時間が存在してしまい、その間にタグに基づいた画像検索を行うと関連性のないタグを有している画像が検索結果に挙がってしまう。また、編集画像を新規画像として自動的に新たにタグを付与することも考えられるが、自動的に画像内容からは導出しづらいユーザ手入力でつけたタグを引き継ぐことができない。例えば、「初めての海外旅行」といったイベントに関するタグがあった場合、画像内容からは導出することが難しく、新規画像として自動的にタグ付けをすることは困難である。
【０００９】
本発明は、このような問題に鑑みてなされたものであり、編集した画像に対するタグの付与を簡便に行うための技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、原画像を編集して編集画像を生成する編集手段と、前記原画像に付与されている該原画像に関する情報と、前記編集手段による編集と、に基づいて、前記編集画像に該編集画像に関する情報を付与する付与手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成により、編集した画像に対するタグの付与を簡便に行うことができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置のハードウェア構成例を示すブロック図。
【図２】ＧＵＩの構成例を示す図。
【図３】画像処理装置の主要な機能構成の一例を示すブロック図。
【図４】ＩＤ，画像ファイル名、タグ、を管理するテーブルの構成例を示す図。
【図５】編集後の画像を示す図。
【図６】画像処理装置が行う処理のフローチャート。
【図７】編集後の画像を示す図。
【図８】編集後の画像を示す図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
先ず、本実施形態に係る画像処理装置のハードウェア構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係る画像処理装置１００は、コントローラ部１０１、操作部１０２、表示部１０３、ハードディスク１０４、を有する。先ず、コントローラ部１０１について説明する。
【００１５】
ＣＰＵ１０５は、ＲＯＭ１０６やＲＡＭ１０７に格納されているコンピュータプログラムやデータを用いて画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行うものとして後述する各処理を実行する。
【００１６】
ＲＯＭ１０６には、画像処理装置１００の設定データやブートプログラムなどが格納されている。
【００１７】
ＲＡＭ１０７は、ハードディスク１０４からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアや、ＣＰＵ１０５が各種の処理を実行する際に用いるワークエリア等を有する。即ち、ＲＡＭ１０７は、各種のエリアを適宜提供することができる。
【００１８】
次に、操作部１０２について説明する。操作部１０２は、マウスやキーボードなどにより構成されており、ユーザが操作することで、各種の指示をＣＰＵ１０５に対して入力することができる。以下では説明上、操作部１０２はマウスとして説明する場合がある。しかし、各種の指示をＣＰＵ１０５に対して入力することができるのであれば、操作部１０２には如何なるデバイスを適用してもよい。
【００１９】
次に、表示部１０３について説明する。表示部１０３は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１０５による処理結果を画像や文字などでもって表示することができる。なお、操作部１０２と表示部１０３とを一体化させてタッチパネル式の画面を構成しても良い。この場合、ユーザは、このタッチパネル式の画面を参照ながら、この画面に対して適宜タッチ操作などでもって各種の指示を入力することができる。
【００２０】
次に、ハードディスク１０４について説明する。ハードディスク１０４には、ＯＳ（オペレーティングシステム）や、後述するＧＵＩ（グラフィカルユーザインターフェース）のコンピュータプログラムやデータ、画像やそのタグなどが保存されている。ハードディスク１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０５による制御によって適宜ＲＡＭ１０７にロードされ、ＣＰＵ１０５による処理対象となる。
【００２１】
なお、図１に示した構成は一例であり、以下に説明する各処理を実行可能な構成であれば、如何なる構成を採用しても良い。例えば、ディジタルカメラなどに以下に説明する各処理を実現可能な構成を組み込む場合には、図１に示した構成に加えて、撮像部などを加えても良い。
【００２２】
次に、原画像に対して画像編集を行うためのＧＵＩの構成例を図２に示す。図２に示したＧＵＩは上記の通り、このＧＵＩのコンピュータプログラムやデータを用いてＣＰＵ１０５が処理を実行することで、表示部１０３の表示画面上に表示されるものである。このＧＵＩでは、編集対象の画像の表示、該画像に付与されているタグの表示、該画像に対する編集を行うためのツール表示、を行い、ユーザは操作部１０２を操作してこのＧＵＩを操作することで、画像に対して所望の編集を行うことができる。なお、このＧＵＩの表示制御や、このＧＵＩを操作することで行われる各種の処理は何れも、ＣＰＵ１０５によって行われる。
【００２３】
ＧＵＩ２００には、編集対象とする画像（原画像若しくは現在編集中の画像）２０２を表示するための領域２０１が設けられている。この画像２０２に付与されているタグは、領域２０３内に一覧表示されている。図２では、画像２０２には、「初めての旅行」、「太郎」、「花子」、「小太郎」、「飛行機」、「スーツケース」、「赤目」、がタグとして付与されている。ここで、「初めての旅行」以外のタグは何れも、画像２０２中に登場しているオブジェクトに関するものである。例えば、「飛行機」は２台の飛行機に対するタグ、「太郎」、「花子」、「小太郎」は中央の３人に対するタグ、「スーツケース」は１個のスーツケースに対するタグ、「赤目」は上記３人のそれぞれの赤目に対するタグ、である。
【００２４】
タグ「初めての旅行」については、ユーザが操作部１０２を操作することで文字列を入力したり、選択肢の中から選択して設定することになる。タグ「太郎」、「花子」、「小太郎」、「飛行機」、「スーツケース」、「赤目」、についても同様に、ユーザが操作部１０２を操作することで設定しても良いが、画像中に登場しているオブジェクトを認識し、その認識結果をタグとして設定しても良い。このような技術には、例えば、特開平１０−４９５４２号公報に開示されているような周知技術を適用することができる。
【００２５】
例えば、特開２００３-２８１１５７号公報に開示されているような技術によれば、画像中に登場している個人を特定することができる。そのため、画像解析技術、画像認識技術から「太郎」、「花子」、「小太郎」オブジェクトを認識し、認識したオブジェクトからその人名をタグとして導出することが可能である。さらに、個人を特定したうえで、人物の関係性を用いた辞書を用意しておくことで、例えば、「太郎」と「花子」が夫婦であり、「小太郎」が「太郎」と「花子」の子供であるという関係性もタグとして付与することができる。
【００２６】
このように、画像中に登場しているオブジェクトに関連するタグについては、ユーザがマニュアルで設定しても良いが、該画像を解析することで、該オブジェクトに固有の情報を特定し、該特定した情報を該オブジェクトに対するタグとしても良い。
【００２７】
領域２０４内には、画像２０２上に合成表示することが可能ないくつかの種類の図形が表示されている。図２では、丸、四角形、三角形、楕円が選択肢として表示されている。例えば、ユーザが操作部１０２を用いて領域２０４内の適当な図形を選択し、選択した図形をドラッグ＆ドロップ操作により画像２０２上の適当な位置に移動させることで、該位置に該図形を合成表示させることができる。
【００２８】
領域２０５内には、画像２０２上に合成表示することが可能ないくつかの種類の線が表示されている。図２では、直線と曲線とが表示されている。例えば、ユーザが操作部１０２を用いて領域２０５内の適当な線を選択した後、ユーザが左マウスボタンを押下しながらマウスを移動させることで、該選択した線を画像２０２上に描画することができる。
【００２９】
領域２０６内には、画像に対する編集処理を指示するためのアイコンがいくつか表示されている。図２では、赤目を補正するための赤目補正処理を指示するためのアイコンと、顔の領域に対してモザイク処理を指示するためのアイコンと、が表示されている。
【００３０】
例えば、ユーザが操作部１０２を操作して赤目補正処理を指示するためのアイコン（上側のアイコン）を指示すると、ＣＰＵ１０５は画像２０２中の赤目を補正する。赤目を補正するための技術は、例えば、特開２００２−２７１８０８号公報に開示されているように周知の技術である。
【００３１】
また、ユーザが操作部１０２を操作してモザイク処理を指示するためのアイコン（下側のアイコン）を指示すると、ＣＰＵ１０５は、画像２０２中の顔の領域を認識し、該認識した領域に対してモザイク処理を行う。顔の領域を認識する技術は、例えば、特開２００１−２１６５１５号公報に開示されているように周知の技術である。
【００３２】
なお、画像に対する編集処理や、画像上に合成表示可能な図形や線の種類などには他の形態も考えられる。例えば、ブラシの太さを変更させて画素の色を変更する処理や同じ画像、もしくは別の画像の一部を選択してコピーした部分画像を張り付ける処理などを実行させるためのアイコンを領域２０６内に表示させても良い。
【００３３】
次に、画像処理装置１００の主要な機能構成の一例について、図３のブロック図を用いて説明する。なお、図３に示した各部は専用のハードウェアで構成しても良いが、本実施形態では何れもコンピュータプログラムで実現するものとする。このようなコンピュータプログラムはハードディスク１０４に保存されており、ＣＰＵ１０５がＲＡＭ１０７に読み出して実行することで、対応する機能を実現する。また、以下では、図３に示した各部を処理の主体として説明する場合があるが、実際には、ＣＰＵ１０５が対応するコンピュータプログラムを実行することでなし得る処理であるため、実際の主体はＣＰＵ１０５となる。
【００３４】
画像編集指示入力部３０１は、図２のＧＵＩを介して入力された画像編集指示を受け付ける。例えば、図形描画や線描画といった処理の種類と座標（図形の座標や線の両端や制御点の座標）の指示、赤目補正処理やモザイク処理の指示、を受け付ける。
【００３５】
画像編集部３０２は、画像編集指示入力部３０１が受け付けた画像編集指示に基づいて画像を編集する。例えば、赤目補正の指示を受けた場合は、赤目補正処理プログラムを呼び出して画像中の人物の赤目を補正する。また、図形と座標が指定された場合は、その図形を指定された座標に描画する。
【００３６】
編集内容特定部３０３は、画像編集部３０２による編集処理前の画像中に登場しているオブジェクトを認識すると共に、画像編集部３０２による編集処理後の画像中に登場しているオブジェクトを認識する。そして、編集内容特定部３０３は、編集処理前の画像から編集処理後の画像に追加されたオブジェクト／削除されたオブジェクトを特定する。例えば、編集処理前の画像からは赤目が検出されているものの、編集処理後の画像からは赤目が検出されなかった場合には、「赤目は削除された」ことを、画像編集の内容として特定する。なお、「赤目は削除された」ことは、上記の赤目補正処理を指示するためのアイコンが指示されたことを検知していれば特定可能であり、画像認識処理は行わなくても良い。このように、画像認識処理を行わなくても画像編集内容を特定することができる場合には、必ずしも画像認識処理を行う必要はない。
【００３７】
タグ編集部３０４は、画像編集部３０２により編集された画像に付与するタグを決定する処理を行う。そしてタグ付与部３０５は、画像編集部３０２により編集された画像に対して、タグ編集部３０４が決定したタグを付与する。ここで、「付与する」とは、画像のデータにタグのデータを連結させることであっても良いし、画像のデータとタグのデータとを何らかの形で関連付けることであっても良い。本実施形態では、図４に示す如く、画像のＩＤ（画像の識別情報の一例）、該画像のファイル名、該画像に対するタグ、を関連付けてテーブル形式で管理する。
【００３８】
例えば、図４では、ID「ID-00001」にファイル名「Img465.jpg」とタグ「初めての旅行」、「太郎」、「花子」、「小太郎」、「スーツケース」、「飛行機」、「赤目」を関連付けて管理している。このようなテーブルは、ハードディスク１０４に保存されている。
【００３９】
然るに、図２のＧＵＩを表示している最中に、ユーザが操作部１０２を操作し、ファイル名が「Ｋｙｏｔｏ８６８４．ｊｐｇ」の画像を指定すると、ＣＰＵ１０５は、このファイル名を有する画像をハードディスク１０４から読み出し、領域２０１に表示する。更にＣＰＵ１０５は、タグ「京都」、「桜」、「ベストショット」をハードディスク１０４から読み出し、領域２０３内に一覧表示する。
【００４０】
次に、画像処理装置１００が画像編集後の画像に対してタグを付与するために行う処理について、同処理のフローチャートを示す図６を用いて説明する。以下では、図２のＧＵＩにおいて画像２０２に対して画像編集を行った結果が、図５に示す画像５０１である場合に、該画像５０１に対してタグを付与する為に行う処理について説明する。画像５０１は、画像２０２に対して赤目補正処理を行うと共に、１台の飛行機及びスーツケースの削除及び木の追加、を行った画像である。
【００４１】
ステップＳ６０１では、画像編集部３０２は、画像編集指示入力部３０１が受け付けた画像編集指示に基づいて、画像２０２に対して画像編集処理を行う。例えば、画像２０２を画像５０１のように編集する場合、画像編集指示には、画像２０２の右上の飛行機の領域やスーツケースの領域を背景色と同色に塗りつぶす指示、木の画像を追加する指示、赤目補正指示、が含まれている。これにより画像２０２は画像５０１に編集される。
【００４２】
ステップＳ６０２で編集内容特定部３０３は、ユーザが操作部１０２を操作して編集後の画像を保存する指示を入力したことを検知すると、画像２０２中に登場している各オブジェクト、画像５０１中に登場している各オブジェクトを認識する。ここでの「オブジェクトを認識する」とは、オブジェクト名までを特定することである。
【００４３】
この処理により、画像２０２からは、「太郎」、「花子」、「小太郎」、２機の「飛行機」、「スーツケース」、「赤目」のそれぞれのオブジェクト名を有するオブジェクトが特定される。また、編集後の画像５０１からは、「太郎」、「花子」、「小太郎」、１機の「飛行機」、「木」のそれぞれのオブジェクト名を有するオブジェクトが特定される。なお、画像を保存する指示とは、画像２０２に画像５０１を上書き保存する指示であっても良いし、画像２０２とは別個の画像ファイルとして画像５０１を保存する指示であっても良い。
【００４４】
ステップＳ６０３でタグ編集部３０４は、編集前の画像２０２のタグをハードディスク１０４から読み出し、該読み出したタグを、オブジェクトに関連する情報を示すタグ（オブジェクト関連タグ）と、それ以外のタグ（オブジェクト非関連タグ）とに分類する。
【００４５】
オブジェクト関連タグとは、編集前の画像２０２中に登場しているオブジェクトと強い関連性を持ったタグのことである。逆に、オブジェクト非関連タグとは、編集前の画像２０２中のオブジェクトと関連性が弱く、オブジェクトからは導出できないタグのことである。
【００４６】
例えば、タグが示すオブジェクト名と、画像から特定されたオブジェクト名と、が一致していれば、該タグはオブジェクトと強い関連性を有することになり、一致していなければ、関連性が弱いと判断する。
【００４７】
画像２０２のタグにおいては、「初めての旅行」以外のタグは、画像２０２中の何れかのオブジェクトのオブジェクト名と一致しているので、オブジェクト関連タグとして分類する。一方、「初めての旅行」は、画像２０２中のどのオブジェクトのオブジェクト名とも一致していないため、オブジェクト非関連タグとして分類する。
【００４８】
なお、本実施形態では、関連性の高低は、タグが示すオブジェクト名と、画像から特定されたオブジェクト名とが一致しているか否かに応じて決まるものとするが、他の指標により決定しても良い。例えば、シソーラスのような階層化した語句の類語辞書を使用して、階層の範囲などで強い類似と判断する基準をもうけて強い関連性を持つか否かを判定してもよい。一つのオブジェクトに対する用語表現は一種類ではないため、タグが示すオブジェクト名と画像から特定したオブジェクト名とが必ずしも一致してなくても類語辞書を用いて類語と判断できるものをオブジェクト関連タグに分類することができる。例えば、オブジェクト名が「航空機」であっても類語辞典に「飛行機」が類語して登録してあれば、「飛行機」タグを強い関連性のあるタグとして選出する。
【００４９】
以下では説明上、オブジェクト関連タグをタグＡ、オブジェクト非関連タグをタグＢと呼称する場合がある。
【００５０】
ステップＳ６０４では、タグ編集部３０４は、タグＡのうち、編集後の画像５０１中に登場しているオブジェクトのオブジェクト名と一致するオブジェクト名のタグをタグＣとして特定する。上記の例では、タグＡは、「太郎」、「花子」、「小太郎」、「飛行機」、「スーツケース」、「赤目」であり、画像５０１から認識されたオブジェクト名は、「太郎」、「花子」、「小太郎」、「飛行機」、「木」である。そのため、「太郎」、「花子」、「小太郎」、「飛行機」がタグＣとして特定される。
【００５１】
ステップＳ６０５では、タグ編集部３０４は、編集後の画像５０１中に登場しているオブジェクトのオブジェクト名のうち、編集前の画像２０２中に登場しているオブジェクトのオブジェクト名とは異なるオブジェクト名を特定する。即ち、編集前の画像２０２には登場していなかったが、編集後の画像５０１中には登場しているオブジェクトのオブジェクト名を特定する。そしてタグ編集部３０４は、この特定したオブジェクト名をタグＤとする。上記の例では、画像２０２中には「木」は登場していなかったが、画像５０１中には「木」が登場している。この場合、「木」がタグＤとして特定されることになる。
【００５２】
ステップＳ６０６では、タグ編集部３０４は、タグＢ、タグＣ、タグＤを、編集後の画像５０１に付与するタグとして決定する。上記の例では、「初めての旅行」、「太郎」、「花子」、「小太郎」、「飛行機」、「木」が編集後の画像５０１に付与するタグとして決定する。
【００５３】
ステップＳ６０７では、タグ付与部３０５は、タグＢ、タグＣ、タグＤを、編集後の画像５０１に付与する。なお、画像２０２に画像５０１を上書き保存する場合には、画像２０２のＩＤ、画像２０２のファイル名、タグＢ、タグＣ、タグＤ、を関連付けて、図４に例示したテーブルに登録する。一方、画像２０２とは別個の画像ファイルとして画像５０１を保存する場合には、画像５０１に対して固有のＩＤを発行し、このＩＤと、画像５０１のファイル名と、タグＢ、タグＣ、タグＤと、を関連付けて、図４に例示したテーブルに登録する。
【００５４】
なお、タグ付与部３０５は、画像５０１に付与したタグ（タグＢ、タグＣ、タグＤ）を、領域２０３内に表示するようにしても良い。また、タグＢ、タグＣ、タグＤのそれぞれを色分けして表示するなど、視覚的に識別可能にそれぞれのタグを表示しても良い。
【００５５】
以上のような処理を行うことで、編集後の画像を新たに画像解析してタグを付けた場合とは異なり、ユーザがつけたような必ずしも編集後画像のオブジェクトからは導出できないタグ（例えば「初めての旅行」）を付けることができる。
【００５６】
また、前述の例のように、飛行機二機のうち一機が削除されたとしても別の一機が残っていることや編集後にオブジェクトが追加される（上記の例では「木」）ことも考慮して編集後の画像のタグ付けを行っている。そのため、編集後の画像とタグの対応がとれており、タグによる検索の正当性を維持することができる。
【００５７】
なお、本実施形態では、画像の保存指示が入力されるたびに、ステップＳ６０２〜Ｓ６０７の処理を行うようにしている。しかし、画像の編集を行うたびに、ステップＳ６０２〜Ｓ６０７の処理を行うようにしても良い。このように、画像編集を行うたびにステップＳ６０２〜Ｓ６０７の処理を行うことで、例えば、領域２０３内には画像編集のたびにリアルタイムにタグを表示することができる。例えば、画像２０２内のスーツケースの領域を背景色と同色にしてスーツケースを画像２０２から消すと、タグ一覧からも「スーツケース」タグが消えることを実現できる。同様に、画像に対してオブジェクトを追加することにより、追加したオブジェクトに関連するタグをタグ一覧に追加することも可能である。
【００５８】
また、本実施形態では、編集前画像に付与されていたタグのうち、編集後に関連しなくなったものを削除、それ以外は維持することで編集後画像に対するタグの表現が変わらない処理例を示した。つまり、この処理によれば、タグ「飛行機」が別の表現である「航空機」に代わることなく元の表現を引き継いだタグにすることができる。しかし、編集後も同じタグ表現である必要がない場合、オブジェクト非関連タグ（タグＢ）以外のタグについては、編集前画像のタグと比較することなく、例えば、自動タグ付け技術を用いてタグをつけてもよい。
【００５９】
また、本実施形態では、ＧＵＩを持つアプリケーションから画像編集指示をする例を示したが、これに限るものではない。例えば、プログラムコード上で編集対象画像と、その画像に実施する画像編集処理（例えば赤目補正）を指定して画像編集とそれに伴うタグ編集処理を実行してもよい。また、本実施形態では、ＧＵＩを持つアプリケーションの代わりに、Ｗｅｂアプリケーションを用いてもかまわない。
【００６０】
なお、本実施形態で説明した構成は、次のような構成の一例に過ぎず、次のような構成の下位概念の構成には様々なものが考え得る。
【００６１】
先ず、原画像にトリミング、赤目補正、オブジェクト合成等の編集を施して編集画像を生成する。そして、原画像に付与されている該画像に関する情報（タグ）と、原画像に施された編集と、に基づいて、編集画像に該編集画像に関する情報を付与する。より詳しくは次のような構成となる。
【００６２】
先ず、原画像に関する複数の情報のそれぞれがタグとして付与されている該原画像中に登場しているオブジェクトを特定する。そして、原画像に付与されているタグのうち、オブジェクトに関連する情報を示すタグを関連タグ、原画像に付与されているタグのうち、該関連タグ以外を非関連タグ、として分類する。
【００６３】
一方で、原画像を編集した画像を編集画像とし、該編集画像中に登場しているオブジェクトを特定する。そして、上記関連タグのうち、編集画像中に登場しているオブジェクトに関連する情報を示すタグを共通関連タグとして特定する。
【００６４】
そして、編集画像中に登場しているオブジェクトのうち原画像中に登場しているオブジェクトとは異なるオブジェクトに関連する情報を示すタグを追加タグとし、該追加タグと、共通関連タグと、非関連タグと、を編集画像に付与する。
【００６５】
［第２の実施形態］
第１の実施形態では、編集後の画像５０１には「スーツケース」が登場しなかったため、画像５０１には「スーツケース」タグは付与しなかった。しかしながら、編集後の画像には登場していなくても、編集後の画像を検索するために用いるタグに、編集前の画像に登場しているオブジェクトのタグを含めたいケースも考え得る。
【００６６】
例えば、図７に示す画像７０１のように、画像２０２をトリミングして（かつ赤目補正処理を行って）「太郎」、「花子」のオブジェクトのみで構成するように編集したとする。「太郎」、「花子」が写った大量の画像群の中からこの画像７０１を検索するような場合、「太郎」、「花子」の２つのタグで検索しても絞り込むことができない。しかし、ユーザがこの画像７０１のもとになった編集前画像のタグを記憶していれば、そのタグを用いて画像７０１を絞り込むことができる。ただし、編集後の画像に表れているオブジェクトに関連するタグと同等にタグ付けしてしまうと、通常の画像検索の検索性を下げることになる。このケースを鑑みて、タグに重み属性を設ける形態を説明する。
【００６７】
画像２０２を編集前の画像、画像７０１を編集後の画像として、図６のフローチャートに従った処理を行うと、最終的に「初めての旅行」、「太郎」、「花子」が編集後の画像に付与するタグとして選定される。本実施形態では、このタグに対しては重み値「１」を与え、該タグと共に上記のテーブルに登録する。また、タグＡのうちタグＣ以外のタグ、即ち、編集前の画像には登場しているが、編集後の画像には登場していないオブジェクトのタグもこのテーブルに登録する。但し、このタグに対しては、「１」未満の重み値（例えば「０．１」）を与え、該タグと共に上記のテーブルに登録する。上記の例の場合、「小太郎」、「飛行機」、「スーツケース」、「赤目」が「０．１」の重み値を有するタグになる。
【００６８】
タグの重みも指定して画像検索できる場合、例えば、重み値「１」の条件で「太郎」、「花子」タグで画像を検索し、重み値「0.5」以下の条件で「小太郎」、「飛行機」等のタグでさらに絞り込むことが可能になる。
【００６９】
なお、上記の例では、編集後の画像に付けるタグの重みの種類を、編集後にオブジェクトとして存在しているか否かの基準で１と０．１の２種類で説明したが、これに限るものではない。例えば、オブジェクトとして存在しないタグについてはさらに、編集前画像におけるそのオブジェクトが画像内に締める大きさを基準にしていくつかの重みのレベルを設けても良い。そうすることにより、よりユーザの印象に残りやすい画像中の大きなオブジェクトは高い重みを設けて検索で絞り込みやすくすることができる。
【００７０】
即ち、本実施形態では、共通関連タグを該共通関連タグに対する重み値と共に編集画像に付与すると共に、関連タグのうち共通関連タグ以外のタグを該タグに対する重み値と共に編集画像に付与する。しかし、共通関連タグに対する重み値は、関連タグのうち共通関連タグ以外のタグに対する重み値よりも大きいことが前提となる。
【００７１】
［第３の実施形態］
本実施形態では、編集後の画像に、画質を低下させる処理（例えばモザイク処理）を施したオブジェクトが含まれている場合には、この処理を行う前のオブジェクトのタグと予め関連付けられているタグ若しくは改めて入力したタグを編集後の画像に付与する。以下では一例として、図２の領域２０６内のモザイク処理を指示するアイコンが指示されたことにより、画像２０２中の全ての顔にモザイク処理が施された場合について説明する。なお、画像２０２を編集前の画像、図８に示す画像８０１を編集後の画像とする。
【００７２】
ユーザが操作部１０２を操作して領域２０６内のモザイク処理を指示するアイコンを指示すると、画像編集指示入力部３０１は、モザイク処理の指示を受け付けて画像編集部３０２に通知する。
【００７３】
画像編集部３０２は、画像２０２から顔の領域を検出し、検出した顔の領域に対してモザイク処理を施す。その結果、画像２０２に関しては、「太郎」、「花子」、「小太郎」３名の顔領域にモザイクがかかり、顔領域による個人特定が困難になる。画像編集部３０２は、顔の領域を検出する際、この顔が誰の顔であるのかを認識し、この顔のタグを特定しておく。上記の例では、「太郎」、「花子」、「小太郎」のそれぞれの顔を検出するため、「太郎」、「花子」、「小太郎」のそれぞれのタグを特定しておく。
【００７４】
そしてタグ編集部３０４は、タグ「太郎」、「花子」、「小太郎」のそれぞれの代わりとなるタグを、編集後の画像に付与するタグとして決定する。上記のモザイク処理により、編集後の画像からは個人を識別することが困難になったため、タグについても具体的に個人を特定するタグではなく、より上位概念を持つタグに変更する。ここでいう上位概念を持つタグとは、より抽象度の高い表現をするタグのことである。上位概念を示すタグは、シソーラスのような階層的な類語を管理している辞書を用いる。その辞書には一般用語だけでなく、固有名詞である「太郎」と、「太郎」を抽象的に表現する上位概念である「男性」や「花子」に対しては「女性」、小太郎に対しては「男児」、を登録したものとする。
【００７５】
タグ編集部３０４は、この辞書を用いて、例えば、「太郎」に対しては「男性」、「花子」に対しては「女性」、「小太郎」については「男児」などのタグを編集後の画像に付与するタグとして決定する。
【００７６】
タグに対して上位概念が登録されていない場合は、タグ編集部３０４は、ＧＵＩ２００において、ユーザ入力を求めるＧＵＩを表示し、新たなタグの入力を受け付ける。ユーザが操作部１０２を操作して、この表示したＧＵＩに新たなタグを入力した場合には、タグ編集部３０４は、この入力したタグを、編集後の画像に付与するタグとして決定する。
【００７７】
また、タグに対して上位概念が複数存在する場合は、タグ編集部３０４は、ＧＵＩ２００において、上位概念の候補となる複数の用語をリストとして表示し、該リストの中から用語の選択指示を受け付ける。ユーザが操作部１０２を操作して所望の用語の選択指示を入力すると、タグ編集部３０４は、この選択された用語を、編集後の画像に付与するタグとして決定する。
【００７８】
このように、本実施形態によれば、個人特定を困難にすることを目的とした画像編集の意図をタグ編集にも反映することができ、個人名をキーワードにした画像検索に該当しないように制御することができる。
【００７９】
なお、本実施形態では、画質を低下させたオブジェクトのタグをより上位概念のタグに置き換えたが、逆により下位概念のタグに置き換えても良い。人物が不鮮明で抽象的なタグが付いている画像に対して、各種画像解析処理を基に画像を鮮明にして人物特定ができるようになった場合に、抽象的なタグをより具体的なタグに置き換えても良い。
【００８０】
即ち、編集画像中に、画質を変化させる処理が施されたオブジェクトが含まれている場合には、該処理前のオブジェクトの関連タグと予め関連付けられているタグ若しくは改めて入力されたタグと、追加タグと、非関連タグと、を編集画像に付与する。
【００８１】
以上の各実施形態やその変形例によれば、画像編集時にその編集内容にしたがってタグも編集するため、画像編集に伴い関連性が低くなったタグが付いた状態になることを避けることができる。また、ユーザによるタグの修正の手間を削減することができる。そのため、ユーザがタグの編集をし忘れて、画像検索において画像編集後に関係性が低くなった検索キーワードに対して編集画像が検索されることを防ぐことができる。
【００８２】
さらに、編集前画像に付与されていた、画像解析からは導けないユーザが入力したタグを引き継ぐため、画像解析のみからタグをする場合に比べてより適切なタグを付与することができる。
【００８３】
また、以上説明した各実施形態、各変形例は、適宜組み合わせて用いても良い。実施形態や変形例を組み合わせる場合には、部分的に組み合わせても良いし、全体的に組み合わせても良い。
【００８４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013235457.tif 000003
【図２】
2013235457.tif 000004
【図３】
2013235457.tif 000005
【図４】
2013235457.tif 000006
【図５】
2013235457.tif 000007
【図６】
2013235457.tif 000008
【図７】
2013235457.tif 000009
【図８】
2013235457.tif 000010