(57)【要約】【構成】俳句生成システム１０はカメラ１２を含み、カメラ１２はネットワーク１６を介して俳句生成装置３０に接続される。カメラ１２は、ユーザの操作に従って所望の画像を撮影するとともに、当該画像の撮影場所等の撮影情報を取得する。また、ユーザの操作に従って撮影した画像と撮影情報とが俳句生成装置３０に送信される。俳句生成装置３０は、画像および撮影情報を受信すると、当該画像を解析して、当該画像の特徴（輝度情報、色情報）を抽出する。次に、画像の特徴と撮影情報とから俳句に使用する季語や語句（感性語や自立語）を選択し、選択した季語や語句を含む句（俳句素材）を俳句ＤＢ４０から取り出す。そして、取り出した俳句素材が俳句構成の制約を満たすように組み合わせて俳句を生成する。【効果】画像に基づいて俳句を生成することができる。【選択図】　図１
2004133721.tif 000002
【特許請求の範囲】
【請求項１】
通信機能を備えるカメラと俳句生成装置とを通信網を介して接続した俳句生成システムであって、
前記カメラは、
所望の画像を撮影する撮影手段、
少なくとも前記画像の撮影場所を特定する位置情報を含む撮影情報を取得する撮影情報取得手段、および
前記画像および前記撮影情報を前記通信網を介して前記俳句生成装置に送信する送信手段を備え、
前記俳句生成装置は、
前記送信手段によって送信された画像および撮影情報を受信する受信手段、
前記受信手段によって受信された前記画像を解析する解析手段、
前記解析手段の解析結果から前記画像の特徴を抽出する抽出手段、
前記抽出手段によって抽出された前記画像の特徴および前記受信手段によって受信された前記撮影情報に基づいて俳句素材データベースから俳句素材を取り出す取出手段、および
前記取出手段によって取り出された前記俳句素材を用いて俳句を生成する生成手段を備える、俳句生成システム。
【請求項２】
前記撮影情報は前記画像の撮影時における撮影方向情報をさらに含み、
前記カメラは、前記画像の撮影時における撮影方向情報を取得する方向取得手段をさらに備え、
前記俳句生成装置は、前記撮影情報に含まれる位置情報および撮影方向情報に基づいて撮影対象を推定する推定手段、前記画像の特徴から撮影対象を特定する特定手段、前記推定手段によって推定される撮影対象と前記特定手段によって特定される撮影対象とを統合する統合手段をさらに備える、請求項１記載の俳句生成システム。
【請求項３】
前記俳句生成装置は、輝度情報、色情報、構図情報および対象物情報を含む付加情報をそれぞれ付加した複数の静止画像を記録する画像データベースをさらに備え、
前記解析手段は、前記画像の輝度情報および色情報を解析し、
前記抽出手段は、前記解析手段の解析結果から得られる輝度情報および色情報と、前記付加情報に含まれる輝度情報および色情報とを類比判断して、類似度が最大となる付加情報に含まれる構図情報および対象物情報を抽出し、
前記特定手段は、抽出手段によって抽出された構図情報および対象物情報の少なくとも一方に基づいて前記画像の撮影対象を特定する、請求項２記載の俳句生成システム。
【請求項４】
前記撮影情報は撮影日時を示す日時情報をさらに含み、
前記カメラは、前記画像の撮影日時を取得するための時計回路をさらに備え、
前記俳句生成装置は、少なくとも前記日時情報から特定される季節に対応する季語を決定する第１決定手段、前記画像の特徴および前記撮影情報の少なくとも一方に基づいて俳句に使用する語句を決定する第２決定手段、および前記第１決定手段によって決定される季語および前記第２決定手段で決定される語句の少なくとも一方を含む俳句素材を前記俳句素材データベースから選択する選択手段をさらに備える、請求項１ないし３のいずれかに記載の俳句生成システム。
【請求項５】
前記俳句生成装置は、少なくともユーザの好みを示す情報を含むユーザ情報を記録するユーザ情報データベースをさらに備え、
前記第１決定手段は、前記日時情報と前記ユーザ情報とから前記季語を決定する、請求項４記載の俳句生成システム。
【請求項６】
前記生成手段は、前記取出手段によって取り出された前記俳句素材を俳句構成の規則を満たして組み合わせる組み合わせ手段を含む、請求項１ないし５のいずれかに記載の俳句生成システム。
【請求項７】
前記生成手段によって生成された俳句が既存の俳句と一致するかどうかを判断する判断手段、および前記判断手段の判断結果が一致を示す俳句を削除する削除手段をさらに備える、請求項１ないし６のいずれかに記載の俳句生成システム。
【請求項８】
カメラで撮影した画像に基づいて俳句を生成する俳句生成装置であって、
前記画像および撮影情報を入力する入力手段、
前記入力手段によって入力された前記画像を解析する解析手段、
前記解析手段の解析結果から前記画像の特徴を抽出する抽出手段、
前記抽出手段によって抽出された前記画像の特徴および前記撮影情報に基づいて俳句素材データベースから俳句素材を取り出す取出手段、および
前記取出手段によって取り出された前記俳句素材を用いて俳句を生成する生成手段を備える、俳句生成装置。
【請求項９】
前記撮影情報は前記画像の撮影時における撮影方向情報をさらに含み、
前記撮影情報に含まれる位置情報および撮影方向情報に基づいて撮影対象を推定する推定手段、前記画像の特徴から撮影対象を特定する特定手段、前記推定手段によって推定される撮影対象と前記特定手段によって特定される撮影対象とを統合する統合手段をさらに備える、請求項８記載の俳句生成装置。
【請求項１０】
輝度情報、色情報、構図情報および対象物情報を含む付加情報をそれぞれ付加した複数の静止画像を記録する画像データベースをさらに備え、
前記解析手段は、前記画像の輝度情報および色情報を解析し、
前記抽出手段は、前記解析手段の解析結果から得られる輝度情報および色情報と、前記付加情報に含まれる輝度情報および色情報とを類比判断して、類似度が最大となる付加情報に含まれる構図情報および対象物情報を抽出し、
前記特定手段は、抽出手段によって抽出された構図情報および対象物情報の少なくとも一方に基づいて前記画像の撮影対象を特定する、請求項９記載の俳句生成装置。
【請求項１１】
前記撮影情報は撮影日時を示す日時情報をさらに含み、
少なくとも前記日時情報から特定される季節に対応する季語を決定する第１決定手段、前記画像の特徴および前記撮影情報の少なくとも一方に基づいて俳句に使用する語句を決定する第２決定手段、および前記第１決定手段によって決定される季語および前記第２決定手段で決定される語句の少なくとも一方を含む俳句素材を前記俳句素材データベースから選択する選択手段をさらに備える、請求項８ないし１０のいずれかに記載の俳句生成装置。
【請求項１２】
少なくともユーザの好みを示す情報を含むユーザ情報を記録するユーザ情報データベースをさらに備え、
前記第１決定手段は、前記日時情報と前記ユーザ情報とから前記季語を決定する、請求項１１記載の俳句生成装置。
【請求項１３】
前記生成手段は、前記取出手段によって取り出された前記俳句素材を俳句構成の規則を満たして組み合わせる組み合わせ手段を含む、請求項８ないし１２のいずれかに記載の俳句生成装置。
【請求項１４】
前記生成手段によって生成された俳句が既存の俳句と一致するかどうかを判断する判断手段、および前記判断手段の判断結果が一致を示す俳句を削除する削除手段をさらに備える、請求項８ないし１３のいずれかに記載の俳句生成装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は俳句生成システムおよび俳句生成装置に関し、特にたとえば、通信機能を備えるカメラと俳句生成装置とを通信網を介して接続した、俳句生成システムおよびその俳句生成装置に関する。
【０００２】
【従来の技術】
この種の従来技術の一例が特許文献１に開示される。この従来技術の文生成装置では、入力される自然語文が、選択された文リズムパターンに合致するか否かを判別し、合致しない場合には当該文リズムパターンに合致するように、自然語文の一部を置き換えて出力するものである。
【０００３】
【特許文献１】
特開平７−１６０７０９号（第１０頁および第１１頁，第１４図）
【０００４】
【発明が解決しようとする課題】
しかし、この従来技術では、入力されるのは自然語文すなわちテキストであり、テキストデータ以外のデータ（マルチメディアデータ）から文を生成することができなかった。一方、株式市場の株価変動をテキストで表現したり、天気図から気象概況文を生成したりするように、マルチメディア情報からテキストを生成する研究が進められているが、他の方法で表現された内容をテキストに変換するに過ぎず、画像　（映像）のようなマルチメディア情報から異なる新しい内容のテキストを生成するようなシステムや装置は存在しなかった。
【０００５】
それゆえに、この発明の主たる目的は、画像に基づいて俳句を生成できる、新規な俳句生成システムおよび俳句生成装置を提供することである。
【０００６】
【課題を解決するための手段】
第１の発明は、通信機能を備えるカメラと俳句生成装置とを通信網を介して接続した俳句生成システムであって、カメラは、所望の画像を撮影する撮影手段、少なくとも画像の撮影場所を特定する位置情報を含む撮影情報を取得する撮影情報取得手段、および画像および撮影情報を通信網を介して俳句生成装置に送信する送信手段を備え、俳句生成装置は、送信手段によって送信された画像および撮影情報を受信する受信手段、受信手段によって受信された画像を解析する解析手段、解析手段の解析結果から画像の特徴を抽出する抽出手段、抽出手段によって抽出された画像の特徴および受信手段によって受信された撮影情報に基づいて俳句素材データベースから俳句素材を取り出す取出手段、および取出手段によって取り出された俳句素材を用いて俳句を生成する生成手段を備える、俳句生成システムである。
【０００７】
第２の発明は、カメラで撮影した画像に基づいて俳句を生成する俳句生成装置であって、画像および撮影情報を入力する入力手段、入力手段によって入力された画像を解析する解析手段、解析手段の解析結果から画像の特徴を抽出する抽出手段、抽出手段によって抽出された画像の特徴および撮影情報に基づいて俳句素材データベースから俳句素材を取り出す取出手段、および取出手段によって取り出された俳句素材を用いて俳句を生成する生成手段を備える、俳句生成装置である。
【０００８】
【作用】
第１の発明の俳句生成システムでは、通信機能を備えるカメラと俳句生成装置とが通信網を介して接続される。カメラは、撮影手段によって所望の画像を撮影することができる。このとき、少なくとも撮影場所を特定するための位置情報を含む撮影情報が取得される。このような画像および撮影情報は、俳句生成装置に送信される。俳句生成装置は、画像および撮影情報を受信すると、当該画像を解析して、当該画像の特徴を抽出する。取出手段は、抽出された画像の特徴と撮影情報とに基づいて俳句素材データベースから俳句素材を取り出す。そして、生成手段が、取り出した俳句素材を用いて俳句を生成する。
【０００９】
たとえば、カメラは、画像の撮影時における撮影方向情報を取得し、俳句生成装置は、撮影情報に含まれる位置情報および撮影方向情報に基づいて撮影対象を推定する。また、抽出手段によって抽出された画像の特徴から撮影対象を特定する。そして、推定手段によって推定される撮影対象と特定手段によって特定される撮影対象とを統合する。つまり、撮影対象を異なる側面から検証して、撮影対象の整合を図っているのである。
【００１０】
また、俳句生成装置には、輝度情報、色情報、構図情報および対象物情報を含む付加情報をそれぞれ付加した複数の静止画像を記録する画像データベースが設けられており、解析手段は、画像の輝度情報および色情報を解析し、抽出手段は、解析手段の解析結果から得られる輝度情報および色情報と、画像データベースに記録される静止画像の付加情報に含まれる輝度情報および色情報とを類比判断して、類似度が最大となる付加情報に含まれる構図情報および対象物情報を抽出する。したがって、特定手段は、抽出手段によって抽出された構図情報および対象物情報の少なくとも一方に基づいて画像の撮影対象を特定することができる。
【００１１】
さらに、カメラは時計回路を備えるので、画像の撮影日時の情報（日時情報）を取得することができる。この日時情報は撮影情報に含まれる。俳句生成装置では、第１決定手段が、少なくとも日時情報から特定される季節に対応する季語を決定する。また、第２決定手段が、画像の特徴（輝度情報および色情報）および撮影情報（撮影場所など）の少なくとも一方に基づいて俳句に使用する語句を決定する。選択手段は、第１決定手段によって決定される季語や第２決定手段で決定される語句の少なくとも一方を含む句すなわち俳句素材を俳句素材データベースから選択する。つまり、画像に基づく俳句素材を選択できるのである。
【００１２】
たとえば、俳句生成装置は、少なくともユーザの好みを示す情報を含むユーザ情報を記録するユーザ情報データベースを備えるので、第１決定手段は、少なくとも日時情報に基づいて決定した季語をユーザ情報に従って絞り込むことができる。つまり、ユーザが好む季語を選別できるのである。
【００１３】
また、組み合わせ手段は、取出手段によって取り出された俳句素材を俳句構成の規則を満たして組み合わせて、俳句を生成する。つまり、５・７・５のパターンに従うとともに、いずれか１つの句に季語を含むように、俳句を生成する。
【００１４】
さらに、生成手段によって生成された俳句が既存の俳句と一致する場合には、当該生成された俳句を削除するので、新しい俳句のみを生成することができるのである。
【００１５】
第２の発明の俳句生成装置は、通信機能を備えるカメラと通信網を介して接続するのではなく、一旦カメラで撮影した画像や撮影情報をオンライン又はオフラインで入力するようにしたものであり、上述した俳句生成装置と同じ構成とすることができる。
【００１６】
ただし、第２の発明の俳句生成装置では、撮影情報をユーザが入力するようにすれば、カメラに撮影情報取得手段を設ける必要がない。このような場合には、上述したような俳句生成システムに比べて全体的に安価な構成にすることができる。
【００１７】
【発明の効果】
この発明によれば、画像の特徴や撮影情報に基づいて取得される俳句素材を取り出して俳句を生成するので、画像に基づいて俳句を生成することができる。つまり、画像のようなマルチメディア情報から異なる内容を表現するテキストを生成することができる。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１９】
【実施例】
図１を参照して、この実施例の俳句生成システム（以下、単に「システム」という。）はカメラ１２を含み、このカメラ１２には通信装置１４が接続される。また、カメラ１２は、通信装置１４およびインターネット或いは電話網（携帯電話網を含む。）などの通信網（ネットワーク）１６を介して通信装置１８に接続される。この通信装置１８には、俳句生成装置３０に設けられるコンピュータ３２が接続される。つまり、通信機能を備えるカメラ１２と俳句生成装置３０とがネットワーク１６を介して通信可能に接続される。
【００２０】
なお、カメラ１２およびコンピュータ３２は、それぞれ、通信機能を内部に備えるようにしてもよい。
【００２１】
俳句生成装置３０は、パーソナルコンピュータ或いはワークステーションのようなコンピュータ３２を含み、このコンピュータ３２には様々なデータベース（ＤＢ）が接続される。具体的には、ユーザ情報ＤＢ３４，画像ＤＢ３６，知識ＤＢ３８，俳句ＤＢ４０および地図ＤＢ４２がコンピュータ３２に接続される。
【００２２】
なお、これらのＤＢ３４〜４２は、コンピュータ３２に直接接続されている必要はなく、上述したようなネットワーク１６を介して接続されるようにしてもよい。
【００２３】
ユーザ情報ＤＢ３４には、図２（Ａ）に示すように、俳句生成装置３０を用いて俳句を生成する利用者（ユーザ）についての情報（ユーザ情報；プロファイル情報およびプリファレンス情報）がユーザ毎に記録される。たとえば、プロファイル情報としては、ユーザＩＤ（識別情報）、名前、性別および年齢等の情報が含まれる。また、プリファレンス情報としては、ユーザが好む俳句のタイプ、季語および切字等の情報が含まれる。
【００２４】
このようなユーザ情報は、ユーザ登録時に入力される情報であり、図示は省略するが、コンピュータ３２に接続されるキーボードやコンピュータマウスのような入力装置を用いて入力したり、ネットワーク１６を介して接続される他の端末（カメラ１２を含む。）を用いて入力したりすることができる。
【００２５】
また、画像ＤＢ３６には、複数の画像データが記録され、各画像データはカテゴリ分類されている。具体的には、画像データの明るさ（輝度）、色相（彩度）および構図（自然風景，人物＋自然風景（背景），人物，人工物）等に基づいてカテゴリが分類されるが、この実施例では、各画像データに輝度情報、色情報、構図情報および対象物情報のラベル（付加情報）が付加される。つまり、図２（Ｂ）に示すように、画像ＤＢ３６には、ラベルが付加された画像データのファイル（画像ファイル）が複数記録される。
【００２６】
たとえば、画像データは、輝度値や色情報を特徴空間へ写像するなどして得られる画素情報から輝度分布および彩度分布のような画像の特徴を抽出することができる。このような画像の特徴を抽出する方法としては、たとえば、情報処理学会「人文科学とコンピュータ」研究会，’９４　Ｖｏｌ．２４，ｐｐ．９−１６　の「絵画における感性情報の抽出−背景色と主要色の抽出−」や情報処理学会論文誌　’９９　Ｖｏｌ．４０，Ｎｏ．０３，ｐｐ．８８６−８９８の「感性語による画像検索とその精度評価」に開示される方法を適用することができる。
【００２７】
また、構図情報や対象物情報は、画像ＤＢ３６の作成者や開発者等が付加する情報である。つまり、作成者等は、構図すなわち自然風景，人物＋自然風景，人物，人工物の別を記述するとともに、構図に含まれる自然風景や人工物のような対象物の別を記述する。この実施例では、対象物としては、たとえば、“山”，“川”，“海”、“街”および“寺社”などが該当し、比較的大まかに分類される。
【００２８】
知識ＤＢ３８には、歴史情報および観光情報が登録される。この歴史情報および観光情報は、地名、風景および寺社等の代表的な事物の名称であり、季語に関連してそれらを特定することができる。つまり、図３（Ａ）に示すように、代表的な事物の名称と後述する俳句ＤＢ４０に記録される季語（季語データ）とが対応して知識ＤＢ３８に記述される。
【００２９】
また、知識ＤＢ３８には、自立語および感性語（印象語）に相当する複数の語句のデータが記録される。ここで、自立語とは、名詞、動詞、形容詞等の中身（意味）のある語をいい、接続詞、助詞や助動詞等の語を除く。たとえば、自立語としては、“○○寺院”，“△△草原”，“雷”，“空”，“聞”，“鳴”，“明るい”，“暗い”などの語が該当する。この自立語には、上述したような事物の名称も含まれる。また、感性語とは、感覚によってよび起され、それに支配される人間の体験内容を表す語をいい、たとえば、形容詞や副詞に相当する語がこれに該当する。たとえば、感性語（印象語）としては、“広い”，“狭い”，“大きい”，“大きな”，“小さい”，“小さな”，“きれい”，“きれいな”，“醜い”などの語が該当する。
【００３０】
この自立語および感性語のそれぞれには、図３（Ａ）に示すように、上述したような画像の特徴（輝度情報、色情報）および後述する撮影環境（撮影対象、撮影場所、撮影対象、撮影時の季節および天候）のラベルが付加されており、画像の特徴および撮影環境に基づいて特定することができる。
【００３１】
つまり、知識ＤＢ３８は、俳句に使用される語句（季語を含む。）を取得するための辞書ＤＢと言うことができる。
【００３２】
俳句ＤＢ４０には、図３（Ｂ）に示すように、既存の俳句についてのテキストデータが複数記録されるとともに、各テキストデータは５・７・５のパターンに従って区分され、上句（最初の５文字）、中句（次の７文字）および下句（最後の５文字）の別を示す情報が付加される。このように、パターンに従って区分するのは、俳句を生成するための素材（俳句素材）として使用するためである。また、このような俳句素材は、俳句ＤＢ４０の作成者や設計者によって追加・変更等される。
【００３３】
また、この俳句ＤＢ４０には、典型的な季語に相当する複数のテキストデータ（季語データ）が記録される。具体的には、図３（Ｂ）に示すように、季節（春，夏，秋，冬）毎に区分けされて、季節毎の季語データが複数記述される。つまり、季節（月日）に基づいて季語を選択することができる。ただし、季節を三春（初春・仲春・晩春）、三夏（初夏・仲夏・晩夏）、三秋（初秋・仲秋・晩秋）、三冬（初冬・仲冬・晩冬）のように詳細に分けて、それぞれに応じた季語データを記述するようにしてもよい。
【００３４】
地図ＤＢ４２には、特定の領域（この実施例では、日本全国）についての地図データが記録されており、緯度および経度、または、住所に基づいて場所（位置）を特定することができる。また、特定された位置（この実施例では、撮影場所）と、撮影時のカメラ１２の方向（後述する方位情報および傾き情報）とから撮影対象（地図上における対象物）を推定することができる。
【００３５】
図４はカメラ１２の電気的な構成を示すブロック図であり、この図４を参照して、カメラ１２はレンズ５０を含み、このレンズ５０から入射された被写体の光像がＣＣＤイメージャ５２によって電気信号に変換される。ＣＣＤイメージャ５２は、たとえば原色ベイヤ配列の色フィルタを有し、ＣＰＵ７０の指示の下、プログレッシンブスキャン（画素順次走査）に従って、各画素の電気信号（カメラ信号）を出力する。
【００３６】
ＣＣＤイメージャ５２から出力されたカメラ信号は、ＣＤＳ／ＡＧＣ回路５４に与えられる。ＣＤＳ／ＡＧＣ回路５４は、ＣＣＤイメージャ５２からのカメラ信号に、周知のノイズ除去およびレベル調整を施す。このＣＤＳ／ＡＧＣ回路５４によって処理されたカメラ信号は、Ａ／Ｄ変換器５６でディジタルデータ（カメラデータ）に変換される。Ａ／Ｄ変換器５６から出力されるカメラデータは、信号処理回路５８に与えられる。
【００３７】
信号処理回路５８は、ＣＰＵ７０の指令信号に従って、Ａ／Ｄ変換器５６から与えられたカメラデータに色分離、白バランス調整、ＹＵＶ変換などの処理を施し、被写体の光像に対応するＹＵＶデータを生成する。生成されたＹＵＶデータは、メモリ制御回路６０によってＳＤＲＡＭのようなＲＡＭ６２に書き込まれる。一方、ビデオエンコーダ６４は、ＣＰＵ７０からの処理指示に応答してＹＵＶデータの読み出しをメモリ制御回路６０に要求し、メモリ制御回路６０によって読み出されたＹＵＶデータをＮＴＳＣ方式のコンポジット画像信号に変換する。変換されたコンポジット画像信号はモニタ６６に与えられ、この結果、被写体のリアルタイムの動画像（スルー画像）がモニタ６６に表示される。
【００３８】
撮影モードでは、ユーザが所望のタイミングで操作パネル８６に設けられるシャッタボタン（図示せず）を操作（オン）すると、撮影指示がシステムコントローラ（以下、単に「シスコン」という。）７８からＣＰＵ７０に与えられる。すると、ＣＰＵ７０は、撮影処理を実行する。
【００３９】
ＣＰＵ７０は、最適シャッタスピードでの被写体の撮影ならびに光電変換された全ての画素信号の読み出しを、図示しないタイミングジェネレータ（ＴＧ）に命令する。これによって、シャッタボタンがオンされた時点の静止画像に対応する高解像度のカメラ信号がＣＣＤイメージャ５２から出力される。出力されたカメラ信号は上述と同様の処理を施され、高解像度のＹＵＶデータがＲＡＭ６２に一旦格納される。
【００４０】
続いて、ＣＰＵ７０は、ＪＰＥＧコーデックのような圧縮伸長回路７２に対して圧縮指示を与える。圧縮伸長回路７２は、圧縮指示に応答してメモリ制御回路６０にＹＵＶデータの読み出しを要求する。メモリ制御回路６０は、ＲＡＭ６２に格納されたＹＵＶデータつまり１画面分の静止画像データを読み出し、圧縮伸長回路７２に与える。圧縮伸長回路７２は、静止画像データをＪＰＥＧフォーマットに従って圧縮し、ＣＰＵ７０の指示の下、圧縮した画像データ（圧縮画像データ）をフラッシュメモリ７６に書き込む。
【００４１】
なお、この実施例では、フラッシュメモリ７６に圧縮画像データを記録するようにしてあるが、メモリカードや光（磁気）ディスクのような着脱可能な記録媒体に記録するようにしてもよい。
【００４２】
ＣＰＵ７０はまた、シスコン７８から撮影指示が与えられると、シスコン７８に撮影情報の取得を指示する。ここで、撮影情報とは、撮影時のカメラ１２の位置情報（この実施例では、緯度および経度）、カメラ１２（レンズ５０）の左右（旋回）方向の情報（方位情報）、カメラ１２の上下方向（傾き）の情報（傾き情報）、撮影時の気温の情報（温度情報）、撮影時の湿度の情報（湿度情報）および撮影の日時を示す日時情報などをいう。
【００４３】
つまり、撮影モードでは、ＣＰＵ７０は、撮影指示に応答して上述したような撮影処理を実行するとともに、シスコン７８に撮影情報の取得を指示する。これに応じて、シスコン７８は、ＧＰＳ８０（アンテナを含む。）、方位センサ８２、傾きセンサ８４、温度センサ８８、湿度センサ９０および時計回路９２の出力を検出し、上述したような撮影情報についてのデータ（撮影情報データ）を取得し、ＣＰＵ７０に与える。
【００４４】
なお、この実施例では、ＣＰＵ７０に与えられる撮影情報データはテキストデータである。
【００４５】
ＣＰＵ７０は、シスコン７８から与えられた撮影情報データを、フラッシュメモリ７６に記録した圧縮画像データに関連づけてＥＥＰＲＯＭ６８に記録する。つまり、圧縮画像データとそれに関連する撮影情報データとには、同じファイル名を付けて、異なる拡張子で管理することができる。たとえば、圧縮画像データに“ＦＩＬＥ０１．ｊｐｇ”のようなファイル名を付け、それに関連する撮影情報データに“ＦＩＬＥ０１．ｔｘｔ”のようなファイル名を付けて、管理することができる。
【００４６】
さらに、撮影情報としては、撮影場所における撮影時点の天候の情報（気象情報）を加えることができる。たとえば、気象情報はユーザが操作パネル８６を操作して入力（追加）できる。
【００４７】
また、再生モードでは、モニタ６６に圧縮画像データのサムネイル画像或いはファイル名が表示され、ユーザは操作パネル８６に設けられるカーソルキー（図示せず）等を操作して、所望の画像を選択することができる。所望の画像（サムネイル画像或いはファイル名）を選択し、操作パネル８６に設けられる再生ボタン（図示せず）を操作すると、当該所望の画像についての再生指示がシスコン７８からＣＰＵに７０に与えられ、これに応答して、ＣＰＵ７０は選択された画像に対応する圧縮画像データをフラッシュメモリ７６から読み出す。
【００４８】
続いて、ＣＰＵ７０は、伸長指示を圧縮伸長回路７２に与えるとともに、読み出した圧縮画像データを圧縮伸長回路７２に与える。圧縮伸長回路７２は、圧縮画像データに対してＪＰＥＧフォーマットに従った伸長処理を施し、メモリ制御回路６０に書き込み指示を与える。すると、メモリ制御回路６０によって、伸長処理が施された画像データがＲＡＭ６２に格納される。
【００４９】
そして、ＣＰＵ７０は、ビデオエンコーダ６４に処理指示を与える。これに応答して、ビデオエンコーダ６４は、ＹＵＶデータの読み出しをメモリ制御回路６０に要求し、メモリ制御回路６０によって読み出されたＹＵＶデータをＮＴＳＣ方式のコンポジット画像信号に変換する。変換されたコンポジット画像信号はモニタ６６に与えられ、選択された所望の撮影画像（静止画像）がモニタ６６に表示される。
【００５０】
さらに、転送モードでは、再生時と同様にモニタ６６に圧縮画像データのサムネイル画像或いはファイル名が表示され、所望の画像を選択することができる。また、ユーザは、操作パネル８６を操作して、個人情報を入力することができる。この実施例では、たとえば、上述したようなユーザ情報に含まれるユーザＩＤが入力される。
【００５１】
続いて、操作パネル８６に設けられる転送ボタン（図示せず）が操作されると、シスコン７８は転送指示をＣＰＵ７０に入力する。これに応答して、ＣＰＵ７０は、先に入力されたユーザＩＤ、選択された画像に対応する圧縮画像データおよび当該圧縮画像データに関連する撮影情報データをひとまとまりの転送データとして、インターフェイス７４を介して転送する。転送データは、図１に示したように、通信装置１４、ネットワーク１６および通信装置１８を介して俳句生成装置３０（コンピュータ３２）に転送される。
【００５２】
なお、撮影モード、再生モードおよび転送モードの各モードは、操作パネル８６に設けられるモード選択ボタン（図示せず）を操作することにより、それぞれ設定される。
【００５３】
具体的には、カメラ１２のＣＰＵ７０は、図５に示すフロー図に従って処理する。図５に示すように、カメラ１２の主電源がオンされると、ＣＰＵ７０は処理を開始し、ステップＳ１で撮影モードかどうかを判断する。ステップＳ１で“ＮＯ”であれば、つまり撮影モードでなければ、そのままステップＳ１１に進む。一方、ステップＳ１で“ＹＥＳ”であれば、つまり撮影モードであれば、ステップＳ３でシャッタボタンがオンされたかどうかを判断する。
【００５４】
ステップＳ３で“ＮＯ”であれば、つまりシャッタボタンがオンされなければ、そのまま同じステップＳ３に戻る。一方、ステップＳ３で“ＹＥＳ”であれば、つまりシャッタボタンがオンされれば、これに応じて、ステップＳ５で上述したような撮影処理を実行する。
【００５５】
次いで、ステップＳ７で、撮影情報データを取得する。つまり、シスコン７８に撮影情報の取得を指示する。すると、上述したように、シスコン７８は、ＧＰＳ８０、方位センサ８２、傾きセンサ８４、温度センサ８８、湿度センサ９０および時計回路９２の出力を検出し、その検出結果から位置情報（経度、緯度）、カメラ１２（レンズ５０）の方位情報、カメラ１２（レンズ５０）の傾き情報、気温、湿度および日時を取得する。そして、ステップＳ９では、取得した撮影情報データを、撮影画像の圧縮画像データに関連づけてＥＥＰＲＯＭ６８に記録して処理を終了する。
【００５６】
ステップＳ１１では、転送モードかどうかを判断する。ステップＳ１１で“ＮＯ”であれば、つまり転送モードでなければ、そのままステップＳ２１に進む。一方、ステップＳ１１で“ＹＥＳ”であれば、つまり転送モードであれば、ステップＳ１３で画像が選択されたかどうかを判断する。ステップＳ１３で“ＮＯ”であれば、つまり転送する画像が選択されていなければ、そのまま同じステップＳ１３に戻る。
【００５７】
一方、ステップＳ１３で“ＹＥＳ”であれば、つまり転送する画像が選択されれば、ステップＳ１５でユーザＩＤ（ユーザ情報）が入力されたかどうかを判断する。ステップＳ１５で“ＮＯ”であれば、つまりユーザＩＤが入力されていなければ、そのまま同じステップＳ１５に戻る。一方、ステップＳ１５で“ＹＥＳ”であれば、つまりユーザＩＤが入力されれば、ステップＳ１７で、転送ボタンがオンされたかどうかを判断する。
【００５８】
ステップＳ１７で“ＮＯ”であれば、つまり転送ボタンがオンされなければ、そのままステップＳ１７に戻って、転送ボタンがオンされるまで待機する。一方、ステップＳ１７で“ＹＥＳ”であれば、つまり転送ボタンがオンされれば、ステップＳ１９で、選択された画像に対応する圧縮画像データをフラッシュメモリ７６から読み出すとともに、当該圧縮画像データに関連づけて記録される撮影情報データをＥＥＰＲＯＭ６８から読み出して、先に入力されたユーザＩＤと一緒にネットワーク１６を介して俳句生成装置３０に転送して処理を終了する。つまり、転送データがコンピュータ３２に転送される。
【００５９】
また、ステップＳ２１では、再生モードかどうかを判断する。ステップＳ２１で“ＮＯ”であれば、つまり再生モードでなければ、そのままステップＳ１に戻る。一方、ステップＳ２１で“ＹＥＳ”であれば、つまり再生モードであれば、ステップＳ２３で画像が選択されたかどうかを判断する。ステップＳ２３で“ＮＯ”であれば、つまり再生する画像が選択されていなければ、そのまま同じステップＳ２３に戻る。一方、ステップＳ２３で“ＹＥＳ”であれば、つまり再生する画像が選択されれば、ステップＳ２５で、選択された画像について、上述したような再生処理を実行して処理を終了する。
【００６０】
一方、俳句生成装置３０に含まれるコンピュータ３２は、図６および図７に示すフロー図に従って俳句生成処理を実行する。図６に示すように、コンピュータ３２は、俳句生成処理を開始すると、ステップＳ３１でデータすなわち転送データ（ユーザＩＤ、圧縮画像データおよび撮影情報データ）を受信したかどうかを判断する。ステップＳ３１で“ＮＯ”であれば、つまり転送データを受信していなければ、そのまま同じステップＳ３１に戻る。
【００６１】
一方、ステップＳ３１で“ＹＥＳ”であれば、つまり転送データを受信すれば、ステップＳ３３でユーザ情報を読み出す。具体的には、転送データに含まれるユーザＩＤを参照して、ユーザ情報ＤＢ３４に記録されるユーザ情報を読み出す。続くステップＳ３５では、受信した画像データを解析する。つまり、受信した圧縮画像データをＪＰＥＧフォーマットに従って伸長して、画像（撮影画像）の輝度分布および彩度分布を解析する。
【００６２】
そして、ステップＳ３７で、画像の特徴を抽出する。つまり、撮影画像の解析結果（輝度分布、彩度分布）から、画像ＤＢ３６に記録される画像データとの類似度を算出して、算出結果から一致または最も近似する画像データを特定し、特定した画像データのラベルに記述される構図情報および対象物情報を取得する。
【００６３】
続いて、ステップＳ３９では、撮影情報データから撮影環境を作成する。ここで、撮影環境とは、撮影場所、撮影対象、撮影時の季節および天候（気温、湿度を含む。）をいう。具体的には、まず、撮影情報データに含まれる位置情報（緯度および経度）を地図ＤＢ４２に入力し、カメラ１２の位置（撮影場所）を特定する。次いで、撮影情報データに含まれる方位情報および傾き情報が地図ＤＢ４２に入力されると、先に特定した撮影場所、方位情報および傾き情報に基づいて地図上の対象物（撮影対象）が推定される。次に、撮影情報データに含まれる日時情報および特定した撮影場所から季節を推定する。さらに、撮影情報データに含まれる温度情報や湿度情報から季節を確定する。このとき、確定した季節に応じた季語が俳句ＤＢ４０から取得される。
【００６４】
なお、上述したように、撮影情報に気象情報が含まれる場合には、さらに撮影時の天候を撮影環境情報に追加することができる。或いは、インターネット上で提供される気象情報を、撮影場所および撮影日時に基づいて取得することも可能である。
【００６５】
次のステップＳ４１では、画像データと撮影情報データとをマッチングして撮影環境を統合する。具体的には、ステップＳ３７において取得した構図情報および対象物情報で特定される撮影対象と、撮影情報データに含まれる撮影場所、方位情報および傾き情報から特定される撮影対象とを統合する。たとえば、画像データに基づく構図情報および対象物情報から撮影対象が“山”と特定された場合に、撮影情報データに含まれる撮影場所、方位情報および傾き情報から推定（特定）される撮影対象が“寺院”である場合には、画像データから特定される撮影対象と撮影情報データから特定される撮影対象とが一致しないため、撮影対象は撮影環境から排除される。また、撮影情報データから推定される撮影対象が“湖畔”である場合には、画像データから特定される撮影対象と撮影情報データから特定される撮影対象とが一致しないが、互いの撮影対象を補完して、撮影環境の撮影対象を“山”および“湖畔”のように決定することもできる。つまり、撮影対象を画像データと撮影情報データとの異なる側面から検証した場合に、不一致となる情報を削除したり、互いに補完したりすることにより、撮影環境の整合（最適化）を図っているのである。
【００６６】
なお、このような最適化においては、一致しない情報を削除したり、互いに補完したりするようにしてあるが、これは、予め開発者や設計者によって決められるルールに従って実行される。
【００６７】
続くステップＳ４３では、ユーザ情報、画像の特徴および撮影環境に基づいて自立語および感性語を選択する。つまり、画像の特徴および撮影環境に基づいて知識ＤＢ３８から自立語および感性語を選択し、選択された自立語および感性語の中からユーザ情報に基づいてユーザの性別、年齢、好みの俳句タイプ等に合う自立語および感性語が選別される。
【００６８】
なお、このとき、撮影環境から取得された季語に基づいて、観光情報および歴史情報に含まれる事物の名称（自立語）も取得される。
【００６９】
そして、ステップＳ４５では、俳句素材を取得する。つまり、ステップＳ３９において取得された季語やステップＳ４３において選択（選別）された自立語および感性語を含む或いは自立語や感性語に近似（類似）する語句を含む俳句素材すなわち上句（５文字）、中句（７文字）および下句（５文字）のそれぞれが俳句ＤＢ４０から取得される。
【００７０】
たとえば、この実施例では、選択された自立語や感性語に基づいて俳句素材（句）を取得する場合には、当該自立語や感性語と、俳句ＤＢ４０に記録されるすべての句に含まれる語句との間で類似度のスコアが計算され、一定のスコア以上となる語句を含む句が取得される。ここで、類似度とは、語句の意味が類似する度合いをいう。
【００７１】
続いて、ステップＳ４７では、後で詳細に説明する手順に従って、俳句構成上の制約を満たす俳句テキストを生成する。簡単に言うと、５，７，５のパターンに従うとともに、いずれか１つの句に季語を含むように、ステップＳ４５において取得した句を組み合わせて俳句のテキストデータ（俳句テキスト）を作成する。
【００７２】
図７に示すステップＳ４９では、生成した１番目の俳句と既存の俳句とを比較する。つまり、生成した俳句の中から１つの俳句を選択し、俳句ＤＢ４０に記録される俳句と比較する。続くステップＳ５１では、両者が同じである（一致する）かどうかを判断する。
【００７３】
ステップＳ５１で“ＮＯ”であれば、つまり両者が一致しなければ、そのままステップＳ５５に進む。一方、ステップＳ５１で“ＹＥＳ”であれば、つまり両者が一致すれば、ステップＳ５３で、当該生成した俳句を削除してからステップＳ５５に進む。
【００７４】
ステップＳ５５では、次の俳句があるかどうかを判断する。ステップＳ５５で“ＹＥＳ”であれば、つまり次の俳句があれば、ステップＳ５７で次の俳句と既存の俳句とを比較して、ステップＳ５１に戻る。一方、ステップＳ５５で“ＮＯ”であれば、つまり次の俳句がなければ、ステップＳ５９で、スコア順に俳句を提示して、処理を終了する。つまり、生成した俳句のテキストデータをネットワーク１６を介してカメラ１２に送信する。
【００７５】
ただし、生成した俳句をスコア順に１つずつ送信するようにしてもよく、また、スコア順に従った番号を各俳句に付して生成したすべての俳句をまとめて送信するようにしてもよい。
【００７６】
なお、カメラ１２に送信された俳句のテキストデータは、インターフェイス７４を介してＣＰＵ７０に与えられ、ＣＰＵ７０からＥＥＰＲＯＭ６８に記録される。その後、ユーザが操作パネル８６を操作して、俳句の出力指示を入力すると、シスコン７８からＣＰＵ７０に俳句の出力指示が与えられる。これに応じて、ＣＰＵ７０は、ＥＥＰＲＯＭ６８に記録された俳句のテキストデータを読み出し、ビデオエンコーダ６４に処理指示を与える。すると、たとえば、ブルーバック画面に俳句のテキストが記述された画面がモニタ６６に表示される。
【００７７】
ただし、ブルーバック画面に変えて、当該俳句を生成する元になった画像をモニタ６６に表示し、その画像に俳句のテキストを上書きするようにしてもよい。
【００７８】
図６のステップＳ４７で俳句テキストの生成処理が開始されると、図８に示すように、コンピュータ３２は、ステップＳ７１で、俳句ＤＢ４０から取り出した俳句素材から上句となり得る句の候補を取り出す。続くステップＳ７３では、取り出した上句の候補をスコア順に並べる。つまり、自立語や感性語との類似度のスコア順に並べる。
【００７９】
続いて、ステップＳ７５では、類似度のスコアが高い順に中句の候補を取り出す。そして、ステップＳ７７では、上句と中句との組み合わせを生成する。たとえば、この実施例では、上句および中句は、それぞれ、類似度のスコアが高い順に組み合わせられる。つまり、１番目の上句と１番目の中句と、２番目の上句と２番目の中句と、…、のように、上句の候補と中句の候補とが組み合わせられる。このとき、上句・中句の順で組み合わせられる。
【００８０】
そして、ステップＳ７９では、上句と中句との組み合わせをスコア順に並べる。ただし、ここでは、上句および中句のそれぞれについての類似度のスコアを加算したスコア（第１スコア）と、上句と中句との組み合わせの良さ（連結性の良さ）のスコア（第２スコア）とを加算したスコア（第３スコア）が計算され、この第３スコアの高い順に上句と中句との組み合わせが並べられる。
【００８１】
第２スコアは、たとえば、上句と中句との意味の連結性や文脈の連結性などの良さ或いはユーザ情報（プリファレンス情報）に記述される好みの切れ字を含むか否かで決定されるスコアであり、予め開発者や設計者によって決められるルールに従って計算される。
【００８２】
次にステップＳ８１では、類似度のスコアが高い順に下句の候補を取り出す。そして、ステップＳ８３では、上句と中句と下句との組み合わせを生成する。たとえば、この実施例では、上句と中句とを組み合わせた場合と同様に、第３スコアの高い順に並べられた上句と中句との組み合わせに対して、類似度のスコアが高い順で下句を連結する。このとき、上句・中句に続いて下句が連結される。
【００８３】
そして、ステップＳ８５では、上句と中句と下句との組み合わせをスコア順に並べる。ここでは、上句、中句および下句のそれぞれについての類似度のスコアを加算したスコア（第４スコア）と、上句と中句との連結性の良さ等で表されるスコア（第２スコア）と、中句と下句との連結性の良さ等で表されるスコア（第５スコア）とを加算したスコア（第６スコア）が計算され、この第６スコアの高い順に上句と中句と下句との組み合わせすなわち複数の俳句テキストが並べられる。
【００８４】
なお、第５スコアを計算する場合には、第２スコアと同様に、プリファレンス情報に記述される好みの切れ字を含むか否か考慮される。
【００８５】
最後に、ステップＳ８７では、生成した俳句テキストのうち、季語が２つ以上含まれる俳句テキストを削除して、俳句テキストの生成処理をリターンする。したがって、上述したような俳句構成の制約を満たす俳句テキストのみが生成される。
【００８６】
このようにして、複数の俳句テキストが生成されるが、第３スコアが一定スコア以上かどうかに基づいて上句と中句との組み合わせを減らしたり、第６スコアが一定スコア以上かどうかに基づいて生成した俳句テキストを減らしたりすることも可能である。また、複数の俳句テキストを生成した後に、第６スコアが低い俳句テキストを削減して、俳句テキストの数を調整するようにしてもよい。
【００８７】
この実施例によれば、画像の特徴および撮影情報に基づいて俳句に使用する季語や語句を選択し、当該季語や語句を含む句を用いて俳句を作成するので、撮影した画像に基づいて俳句を生成することができる。つまり、画像のようなマルチメディア情報から、当該情報が示す内容とは異なる内容のテキストを生成することができる。
【００８８】
なお、この実施例では、転送データの入力をトリガとして、俳句生成処理を実行するようにしたが、転送データを取得後に確定（特定）した季語をユーザに提示し、ユーザに季語を選択させるようにして、その選択についての操作があったときを俳句生成処理のトリガにするようにしてもよい。
【００８９】
また、この実施例では、ユーザの操作を簡略化するために、ユーザ情報ＤＢを設けて、そこからユーザ情報を読み出すようにしたが、ユーザ情報はユーザが俳句の生成指示を入力する（転送データを送信する）度に入力することもできる。かかる場合には、その時々のユーザの好みに応じた俳句を生成することができる。
【００９０】
さらに、この実施例では、ネットワーク１６を介してカメラ１２と俳句生成装置３０（コンピュータ３２）とを接続するようにしたが、ＵＳＢケーブルのようなケーブルを用いて接続するようにしてもよい。この場合には、遠隔地に存在する場合だけでなく、俳句生成装置の近傍に存在する場合にも手軽に俳句を楽しむことができる。
【００９１】
この発明の他の実施例の俳句生成装置３０は、転送データ（ユーザＩＤ、圧縮画像データおよび撮影情報データ）を直接コンピュータ３２に入力するように構成した以外は、上述の実施例と同じであるため、重複した説明は省略する。
【００９２】
この他の実施例の俳句生成装置３０では、カメラ１２とコンピュータ３２とをたとえばＵＳＢケーブル（図示せず）で接続して、カメラ１２からコンピュータ３２に圧縮画像データを入力（転送）し、ユーザが撮影情報を別途入力するようにしてある。つまり、図１および図４に示したカメラ１２は、少なくとも撮影機能のみを有していれば良く、汎用のディジタルカメラを用いることができる。
【００９３】
ユーザが圧縮画像データをコンピュータ３２に入力すると、コンピュータ３２に接続されるモニタ（図示せず）に、図９に示すような撮影情報入力画面が表示される。この撮影情報入力画面では、ユーザがコンピュータ３２に入力した圧縮画像データに基づく画像が表示されるとともに、撮影情報のそれぞれを入力するための欄が表示される。さらに、撮影情報の入力欄の下方には“ＯＫ”ボタンおよび“キャンセル”ボタンが表示される。
【００９４】
なお、図面の都合上、撮影情報としては、位置情報（撮影場所），撮影日時，天候のみを入力できるように記載してあるが、上述の実施例で示した撮影情報をすべて入力することができる。
【００９５】
また、この撮影情報入力画面では、その他の欄にユーザＩＤを入力することができる。
【００９６】
ユーザは、撮影情報入力画面に表示される画像についての撮影情報およびユーザＩＤを入力装置を用いて入力することができる。この撮影情報入力画面において、撮影情報およびユーザＩＤが入力され、“ＯＫ”ボタンがオンされると、コンピュータ３２は上述の実施例で示したような俳句生成処理を実行する。つまり、上述の実施例では、転送データの受信をトリガとして俳句生成処理が実行されたが、他の実施例では、“ＯＫ”ボタンのオンをトリガとして俳句生成処理が実行される。ただし、俳句生成（入力）を止める場合には、“キャンセル”ボタンをオンすればよい。
【００９７】
この他の実施例によれば、転送データを直接入力するようにしたので、カメラに複数のセンサ等を設ける必要がなく、上述の実施例に比べて安価なシステムを提供することができる。
【００９８】
なお、プロファイル情報などのユーザ情報についても、撮影情報と同様の入力画面を設けて入力することが可能である。
【図面の簡単な説明】
【図１】この発明の俳句生成システムの構成の一例を示す図解図である。
【図２】図１実施例に示すユーザ情報ＤＢおよび画像ＤＢの内容を示す図解図である。
【図３】図１実施例に示す知識ＤＢおよび俳句ＤＢの内容を示す図解図である。
【図４】図１実施例に示すカメラの具体的な構成を示すブロック図である。
【図５】図１実施例に示すカメラのＣＰＵの全体処理を示すフロー図である。
【図６】図１実施例に示す俳句生成装置のコンピュータの俳句生成処理の一部を示すフロー図である。
【図７】図１実施例に示す俳句生成装置のコンピュータの俳句生成処理の他の一部を示すフロー図である。
【図８】図１実施例に示す俳句生成装置のコンピュータの俳句テキストの生成処理を示すフロー図である。
【図９】この発明の他の実施例で画面表示される撮影情報入力画面の一例を示す図解図である。
【符号の説明】
１０　…俳句生成システム
１２　…カメラ
１４，１８　…通信装置
１６　…ネットワーク
３０　…俳句生成装置
３２　…コンピュータ
３４，３６，３８，４０，４２　…ＤＢ
５２　…ＣＣＤイメージャ
５８　…信号処理回路
６４　…ビデオエンコーダ
６６　…モニタ
７０　…ＣＰＵ
７４　…インターフェイス
７８　…システムコントローラ
８０　…ＧＰＳ
８２　…方位センサ
８４　…傾きセンサ
８６　…操作パネル
８８　…温度センサ
９０　…湿度センサ
９２　…時計回路
【図１】
2004133721.tif 000003
【図２】
2004133721.tif 000004
【図３】
2004133721.tif 000005
【図４】
2004133721.tif 000006
【図５】
2004133721.tif 000007
【図６】
2004133721.tif 000008
【図７】
2004133721.tif 000009
【図８】
2004133721.tif 000010
【図９】
2004133721.tif 000011