(57)【要約】【課題】  映像データからレシピ情報を取得する情報処理装置を提供する。【解決手段】映像データの画像認識処理を行って料理のレシピ情報を抽出して、記憶、検索、表示する情報処理装置を提供する。レシピ情報作成判断部５２０は、ＥＰＧ等の取得した番組情報により、料理番組であるかについて判断する。料理番組であった場合には、キャプチャ部３０により、映像データから静止画データを取得する。さらに、画像認識処理部６０により、静止画データから文字認識を行う。また、文字認識された文字データに料理のレシピ情報が含まれているか、文字データ判断処理部で判断する。文字データが含まれていた場合には、静止画データ読込／書込処理部５６０は、この静止画データを記憶部４０に記憶する。さらに、レシピ情報管理データ作成部５１０は、この静止画データの管理情報も、記憶部４０に記憶する。【選択図】  図２
2009100351.tif 000002
【特許請求の範囲】
【請求項１】
映像データの画像認識処理を行う情報処理装置であって、
前記映像データから前記画像認識処理により料理のレシピ情報を抽出する制御手段を備える
ことを特徴とする情報処理装置。
【請求項２】
前記制御手段は、
前記映像データから文字認識を行う文字認識手段を備え、
前記文字認識手段は、
前記映像データから静止画データを取得するキャプチャ手段と、
前記静止画データを用いて文字認識を行う画像認識手段とを備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、
前記文字認識された文字データから前記レシピ情報を抽出するレシピ情報抽出手段を備える
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記レシピ情報抽出手段は、
映像データの付随情報から前記静止画データを取得するか判断する判断手段を備える
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記レシピ情報抽出手段は、
前記静止画データの一覧表示をする一覧表示手段を備える
ことを特徴とする請求項３又は４に記載の情報処理装置。
【請求項６】
前記制御手段は、
前記静止画データと前記映像データの付随情報を記憶する記憶手段を備え、
前記レシピ情報抽出手段は、
前記記憶手段に記憶された前記静止画データを前記画像認識手段により文字認識を行いキーワードと一致するか検索する検索手段を備える
ことを特徴とする請求項３から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記記憶手段は、前記レシピ情報の文字データも記憶する記憶手段である
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記レシピ情報抽出手段は、
前記レシピ情報の文字データと前記付随情報についてレシピ情報管理データを作成して前記記憶手段に記憶するレシピ情報管理データ作成手段を備える
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記検索手段は、前記キーワードを前記レシピ情報管理データからも検索する検索手段である
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記映像データは、アナログ放送又はデジタル放送から取得した映像データであり、前記映像データの付随情報は番組ジャンルの情報である
ことを特徴とする請求項４から９のいずれか１項に記載の情報処理装置。
【請求項１１】
映像データの画像認識処理を行う情報処理装置と端末を備える情報処理システムであって、
前記情報処理装置は、
前記映像データから前記画像認識処理により料理のレシピ情報を抽出する制御手段を備え、
前記端末は、
前記情報処理装置の静止画データ及び／又は前記レシピ情報を表示する表示手段を備え、
前記情報処理装置と前記端末とを接続するネットワーク手段を備える
ことを特徴とする情報処理システム。
【請求項１２】
前記制御手段は、
前記映像データから文字認識を行う文字認識手段を備え、
前記文字認識手段は、
前記映像データから静止画データを取得するキャプチャ手段と、
前記静止画データを用いて文字認識を行う画像認識手段とを備える
ことを特徴とする請求項１１に記載の情報処理システム。
【請求項１３】
前記制御手段は、
前記文字認識された文字データから前記レシピ情報を抽出するレシピ情報抽出手段を備え、
前記レシピ情報抽出手段は、
前記レシピ情報の文字データと映像データの付随情報についてレシピ情報管理データを作成して記憶手段に記憶するレシピ情報管理データ作成手段と、
前記キーワードを前記レシピ情報管理データからも検索する検索手段とを備える
ことを特徴とする請求項１２に記載の情報処理システム。
【請求項１４】
映像データの画像認識処理を行う情報処理装置において、
映像データから文字認識を行い、
文字認識された文字データに料理のレシピ情報が含まれている場合に
前記レシピ情報を抽出する
ことを特徴とする情報処理方法。
【請求項１５】
前記映像データから静止画データを取得し、前記静止画データから文字認識を行う
ことを特徴とする請求項１４に記載の情報処理方法。
【請求項１６】
前記静止画データを記憶し、記憶された前記静止画データから文字認識を行い、前記レシピ情報を検索して一覧表示する
ことを特徴とする請求項１５に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置、情報処理システム、及び情報処理方法に係り、特に映像データからレシピ情報を抽出する情報処理装置、情報処理システム、及び情報処理方法に関する。
【背景技術】
【０００２】
テレビジョン放送における料理番組は、調理の材料の分量や調理法が紙に書かれたレシピのみを参考にして自分で調理するのと比べて、より具体的に実際の調理の様子を映像で見ながら調理ができるという利点がある。
しかしながら、料理番組では、実際の材料の分量等を示すレシピは、ごく短時間しか表示されないという問題がある。
【０００３】
つまり、料理番組を基にして実際に料理をつくる場合は、その料理番組の視聴者であるユーザは、視聴しながらメモを取るか、録画しておいて後でそれを見ながら作る必要がある。よって、いずれの場合でもユーザは料理番組をすべて視聴しなければならない。
これは、ただ特定の料理を作りたいだけのユーザには、時間の浪費となるために不便であった。
【０００４】
そこで、テレビジョンの料理番組において、番組放送時に予め用意していたレシピ情報を、番組に付随する文字放送データとして送信するシステムが実用化されている。
これにより、テレビジョン受信機における料理番組の本放送の受信中や、録画した番組内の文字放送データの閲覧中は、ユーザは、いつでも文字情報化されたレシピ情報を閲覧することができる。
【０００５】
この種の技術としては、特許文献１の段落〔００４６〕を参照すると、レシピを表示する食情報装置が記載されている（以下、従来技術１とする。）。
従来技術１の装置は、テレビの電波放送において、放送者が番組に付随するレシピ情報である食情報コードを予め用意して放送電波の走査線の帰線期間内に入れ込んでおくと、従来技術１の食情報装置がこの食情報コードを受信して電子的に表示することができる。これにより、ユーザは従来技術１の食情報装置によりレシピをいつでも閲覧することができる。
ここで、従来技術１の食情報コードは、特許文献１の段落〔００３７〕を参照すると、上述の文字放送と同様にコード化された文字情報と、その他にアスキーコード化された音声情報と、ＪＰＥＧやＪＢＩＧ等の画像圧縮技術でコード化した画像を用いることが記載されている。
【特許文献１】特開平８−２７２８０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の文字放送や従来技術１においては、番組に付随したレシピ情報を閲覧するためには、予め放送にレシピ情報である文字情報や別の画像を用意して入れ込む必要があった。
また、従来技術１の装置は、その装置用に配信された食情報コードしか読み取ることができず、汎用性がないという問題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【０００８】
本発明の情報処理装置は、映像データの画像認識処理を行う情報処理装置であって、前記映像データから前記画像認識処理により料理のレシピ情報を抽出する制御手段を備えることを特徴とする。
本発明の情報処理装置は、前記制御手段は、前記映像データから文字認識を行う文字認識手段を備え、前記文字認識手段は、前記映像データから静止画データを取得するキャプチャ手段と、前記静止画データを用いて文字認識を行う画像認識手段とを備えることを特徴とする。
本発明の情報処理装置は、前記制御手段は、前記文字認識された文字データから前記レシピ情報を抽出するレシピ情報抽出手段を備えることを特徴とする。
本発明の情報処理装置は、前記レシピ情報抽出手段は、映像データの付随情報から前記静止画データを取得するか判断する判断手段を備えることを特徴とする。
本発明の情報処理装置は、前記レシピ情報抽出手段は、前記静止画データの一覧表示をする一覧表示手段を備えることを特徴とする。
本発明の情報処理装置は、前記制御手段は、前記静止画データと前記映像データの付随情報を記憶する記憶手段を備え、前記レシピ情報抽出手段は、前記記憶手段に記憶された前記静止画データを前記画像認識手段により文字認識を行いキーワードと一致するか検索する検索手段を備えることを特徴とする。
本発明の情報処理装置は、前記記憶手段は、前記レシピ情報の文字データも記憶する記憶手段であることを特徴とする。
本発明の情報処理装置は、前記レシピ情報抽出手段は、前記レシピ情報の文字データと前記付随情報についてレシピ情報管理データを作成して前記記憶手段に記憶するレシピ情報管理データ作成手段を備えることを特徴とする。
本発明の情報処理装置は、前記検索手段は、前記キーワードを前記レシピ情報管理データからも検索する検索手段であることを特徴とする。
本発明の情報処理装置は、前記映像データは、アナログ放送又はデジタル放送から取得した映像データであり、前記映像データの付随情報は番組ジャンルの情報であることを特徴とする。
本発明の情報処理システムは、映像データの画像認識処理を行う情報処理装置と端末を備える情報処理システムであって、前記情報処理装置は、前記映像データから前記画像認識処理により料理のレシピ情報を抽出する制御手段を備え、前記端末は、前記情報処理装置の静止画データ及び／又は前記レシピ情報を表示する表示手段を備え、前記情報処理装置と前記端末とを接続するネットワーク手段を備えることを特徴とする。
本発明の情報処理システムは、前記制御手段は、前記映像データから文字認識を行う文字認識手段を備え、前記文字認識手段は、前記映像データから静止画データを取得するキャプチャ手段と、前記静止画データを用いて文字認識を行う画像認識手段とを備えることを特徴とする。
本発明の情報処理システムは、前記制御手段は、前記文字認識された文字データから前記レシピ情報を抽出するレシピ情報抽出手段を備え、前記レシピ情報抽出手段は、前記レシピ情報の文字データと映像データの付随情報についてレシピ情報管理データを作成して記憶手段に記憶するレシピ情報管理データ作成手段と、前記キーワードを前記レシピ情報管理データからも検索する検索手段とを備えることを特徴とする。
本発明の情報処理方法は、映像データの画像認識処理を行う情報処理装置において、
映像データから文字認識を行い、文字認識された文字データに料理のレシピ情報が含まれている場合に前記レシピ情報を抽出することを特徴とする。
本発明の情報処理方法は、前記映像データから静止画データを取得し、前記静止画データから文字認識を行うことを特徴とする。
本発明の情報処理方法は、前記静止画データを記憶し、記憶された前記静止画データから文字認識を行い、前記レシピ情報を検索して一覧表示することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像認識手段を用いることで、予め放送電波に付随したレシピ情報がなくても、汎用的な番組の映像データからレシピ情報を作成する情報処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
＜実施の形態＞  
（制御構成）
図１を参照すると、本発明の実施の形態に係る情報処理装置Ｘは、液晶テレビジョン受信機、ＤＶＤレコーダ、ネットワーク接続テレビジョン受信装置、レシピ抽出専用テレビジョン受信等であり、あるいはＰＣ（パーソナル・コンピュータ）用ビデオキャプチャデバイスとこのデバイス用のソフトウェア等である。
この情報処理装置Ｘは、共通のバスにより、映像受信処理部１０と、番組情報取得部２０と、番組情報解析部２５と、キャプチャ部３０（キャプチャ手段）と、記憶部４０（記憶手段）と、レシピ情報作成処理部５０と、画像認識処理部６０（画像認識手段）と、自然言語処理部７０と、ＧＵＩ処理部８０とを備えている。これらの構成要素を制御手段とする。また、キャプチャ部３０と、画像認識処理部６０と、自然言語処理部７０とにより、文字認識手段の機能を実現する。
情報処理装置Ｘは、実行する機能毎に各部位の制御構成を能動的に変更する再構成が可能な構造（リコンフィギュララブル）を備えている。
【００１１】
そして、上記の映像受信処理部１０は、アンテナからの放送電波を受信するアナログ又はデジタルチューナと、外部映像入力端子と、放送電波と放送に付随する情報をデジタルデータに変換する変換部とを備える。
番組情報取得部２０は、放送に付随する情報であるＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）の番組情報や文字放送等の付随情報を取得する部位である。
番組情報解析部２５は、上述の番組情報や文字放送等の付随情報から、必要な情報を抽出する部位である。
キャプチャ部３０は、デジタルデータである映像データから静止画である静止画データを取得する部位である。
記憶部４０は、ＲＡＭ、ＳＲＡＭ、バッテリバックアップＳＲＡＭ、ＲＯＭ、ＨＤＤ、ＮＡＮＤ／ＮＯＲ型のフラッシュメモリや、外付けのメモリカード等である。
レシピ情報作成処理部５０は、上述の映像データ、静止画データと付随情報とからレシピ情報や映像のインデックス等を作成する部位である。
画像認識処理部６０は、静止画データの画像処理と画像認識又は文字認識を行う専用の画像・映像処理用のＭＰＵやＤＳＰ（デジタル・シグナル・プロセッサ）又は／及びＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ、Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）の画像認識プログラム等である。
自然言語処理部７０は、文字情報から所定の予約語を抽出し、統計計算や人工知能的な処理により文法・文脈推定をするような自然言語処理を行うＤＳＰ又は／及びプログラム等である。
ＧＵＩ処理部８０は、ボタン等の入力部からのユーザのコマンドを検知して、液晶パネル等である表示部に情報を出力する、ＧＵＩ（グラフィカル・ユーザ・インターフェイス）の処理を行う部位である。
【００１２】
上記レシピ情報作成処理部５０は、レシピ情報管理データ作成部５１０（レシピ情報管理データ作成手段）と、レシピ情報作成判断部５２０（判断手段）と、文字データ判断処理部５４０（レシピ情報抽出手段）と、レシピ情報抽出部５５０（検索手段）と、静止画データ読込／書込処理部５６０と、レシピ一覧表示処理部５７０（一覧表示手段）と、レシピ情報管理データ読み込み処理部５８０の各機能を備えている。
そして上記のレシピ情報作成処理部５０の各機能は、ＣＰＵやＭＰＵやＤＳＰやレシピ情報作成専用プロセッサによりＲＯＭ又はＨＤＤ等の補助記憶装置に記憶されたレシピ情報作成処理プログラムがＲＡＭ等の主記憶装置にロードされて実行されることで実現される。
【００１３】
上記のレシピ情報管理データ作成部５１０は、記憶部４０に記憶するレシピ情報の管理データであるレシピ情報管理データを作成する部位である。
レシピ情報作成判断部５２０は、自然言語処理部７０で処理された文字情報からレシピ情報を作成するか判断する部位である。
文字データ判断処理部５４０は、自然言語処理部７０で処理された文字情報から文字データを取得したか判断する部位である。
レシピ情報抽出部５５０は、ＧＵＩ処理部８０に入力された検索キーワードにレシピ情報を基に記憶部４０からレシピ情報を検索する部位である。
静止画データ読込／書込処理部５６０は、記憶部４０との間で、レシピの静止画データの読み込みや書き込みを行う部位である。
レシピ情報管理データ読み込み処理部５８０は、記憶部４０からレシピ情報管理データを読み込むデータベースアクセス手段である。
レシピ一覧表示処理部５７０は、ＧＵＩ処理部８０からの信号によりレシピ一覧を検索して表示するためのデータを作成する部位である。
【００１４】
ＧＵＩ処理部８０は、テンキーや矢印キーやタッチパッドやソフトキーボード等である検索キーワード入力処理部８１０と、レシピ一覧を表示するための信号を入力するボタンやファイルメニューであるレシピ一覧表示受付処理部８２０とを備える。
なお、ＧＵＩ処理部８０は、記憶部４０から検索したレシピの画像と文字やレシピ一覧や管理情報等を表示する液晶ディスプレイ・プラズマディスプレイパネル・有機ＥＬパネル・液晶／ＤＬＰプロジェクタ等である表示部を備えていてもよい。
さらに、ｈｔｔｐ等のプロトコルを送信可能なｗｅｂサーバと、ｗｅｂフォームの入力に対応するＣＧＩ（Ｃｏｍｍｏｎ  Ｇａｔｅｗａｙ  Ｉｎｔｅｒｆａｃｅ）やＪａｖａ（登録商標）のサーブレットやＡＳＰ実行機能のようなインターフェイスを含んでいてもよい。
【００１５】
アナログ放送の場合、上述の付随する情報は、走査線の帰線期間内に入れ込まれている。
デジタル放送の場合は、放送電波のデジタル信号の一部として直接入れ込まれている付随する情報をデコードすることができる。
【００１６】
次に、本発明の実施の形態に係る情報処理装置Ｘが行う、実際の処理について詳しく説明する。
情報処理装置Ｘは、レシピ情報作成、レシピ情報検索、レシピ一覧表示の３つの機能を持つ。
この３つの機能のうち、まずはレシピ情報作成機能について説明する。
【００１７】
〔レシピ情報作成機能〕
図２と図３を参照して、本発明の実施の形態に係る情報処理装置Ｘの機能の１つであるレシピ情報作成機能について説明する。
本発明の実施の形態に係る情報処理装置Ｘは、画像認識を用いて映像からレシピ情報を抽出し、この抽出したレシピ情報を管理情報とともに、記憶部４０内に保存する。このため、予め放送者が文字情報として放送に付随して送信している文字データからではなく、文字データが入れ込まれた映像データからレシピ情報を取得するようにする。
すなわち、レシピ情報作成機能では、放映されている映像からＯＣＲなどの文字認識技術を使って画像認識処理を行い、テロップなどの文字データが入っているかどうかを調べ、文字データが存在する箇所を自動的に静止画データとしてキャプチャし、レシピ情報として保存しておくという機能を実現する。
さらに、放送信号に含まれているＥＰＧ（番組情報）データ等により、番組の終了時刻が分かるので、その時刻でレシピ情報の作成を終了する。
また、レシピ情報をひとまとめに管理できるようにレシピ情報管理データを作成することもできる。
【００１８】
このレシピ情報作成機能を使用するかについては、ユーザが予め設定を行うことができる。
この設定としては：（１）現在ユーザが視聴している番組において、ユーザがレシピ情報作成機能を呼び出すリモコンのボタンを押下する、（２）現在視聴している番組において常にレシピ情報作成機能を使う設定をする、（３）録画予約時に、その録画する番組においてレシピ情報作成機能を使う（ユーザに指摘させる）設定をする、（４）既に録画した番組を再生し、レシピ情報があるものを検索して作成する設定をする、（５）ＥＰＧデータにより、料理番組をすべて録画してレシピ情報作成機能を使う設定をする、といった設定を検出して記憶部４０に記憶しておき、以下の処理で用いることができる。
【００１９】
また、レシピ作成機能においては、リアルタイムでレシピ情報を作成することも、追いかけ再生のように一旦記憶部４０に映像データを記憶してからレシピ情報を作成することもできる。
【００２０】
（リアルタイムのレシピ情報作成処理）
まずは、番組の放送時に映像データからリアルタイムにレシピ情報を作成するレシピ情報作成処理について、このリアルタイムのレシピ情報作成処理の際に情報処理装置Ｘが再構成された際の制御構成を示す図２とフローチャートの図３を参照して、詳細に説明する。
このレシピ情報作成処理を行う際に、情報処理装置Ｘは、ユーザが予め上述の設定を行っていることを記憶部４０に記憶しており、これを基に処理を行う。
また、情報処理装置Ｘは、ユーザが電源を投入したか、予約録画のタイマーにより起動されて録画開始状態になっていると仮定する。すなわち待機状態から稼働状態になっている。
さらに、情報処理装置Ｘは、ユーザのリモコンの信号又は録画予約の情報に従って、アナログチューナ又はデジタルチューナが、ある特定チャンネルに選局されていると仮定する。
これらの状態の下で、情報処理装置Ｘは、以下に行うような処理を行う。
【００２１】
（ステップＳ１０１）
始めに、ステップＳ１０１において、映像受信処理部１０は、アンテナ（端子）から入った放送電波をアナログチューナやデジタルチューナで受信し、デコードして映像データを作成する映像データ受信処理を行う。
ここで、映像受信処理部１０は、アナログチューナからの受信信号に関しては、例えば３次元Ｙ／Ｃ分離やゴースト除去等のノイズ除去のための映像処理を施した上でＭＰＥＧ２方式やＨ．２６４方式のエンコーダＬＳＩ等によりデジタルデータ化する。
映像受信処理部１０は、デジタルチューナからの受信信号に関しては、ＭＰＥＧ２のＴＳ（トランスポート・ストリーム）形式のデータにデコードして映像データを作成する。
【００２２】
（ステップＳ１０２）
次に、ステップＳ１０２において、番組情報取得部２０は、映像受信処理部１０で受信した映像信号又はＴＳデータを基にＥＰＧデータや文字放送データ等の付随情報を取得するＥＰＧ取得処理を行う。
この際に、映像受信処理部１０は、アナログチューナで受信した映像信号からは、所定時間ごとに放送電波の走査線の帰線期間内（ＶＢＩ、Ｖｅｒｔｉｃａｌ  Ｂｌａｎｋｉｎｇ  Ｉｎｔｅｒｖａｌ）からＥＰＧのデータを取得する。
映像受信処理部１０は、デジタルチューナから受信したＴＳデータからは、上述のデコード時に文字放送データやＥＰＧデータを取得する。さらに、番組情報であるＰＳＩ（Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）や、ＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）等も参照することができる。
また、映像受信処理部１０は、ＬＡＮ端子等からは、インターネット等のネットワーク経由でＥＰＧのデータ（ｉＥＰＧ）を取得することもできる。
加えて、ＥＰＧの他にも、放送信号に含まれる時刻情報や、ネットワークを介したＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）により時刻情報を取得する。これにより、情報処理装置Ｘのタイマーの時刻を合わせることができる。
これらの付随情報は、文字情報化されて、以下のステップで用いる。
【００２３】
なお、映像受信処理部１０は、コンポジット、Ｓ端子、Ｄ端子、ＨＤＭＩ、ｉ−ｌｉｎｋ（ＩＥＥＥ１３９４）端子等の外部入力から入力した映像を、デジタルデータ化することもできる。
この際に、付随情報に関する信号を受信することも可能である。しかし、外部入力からの映像は映像のみが入力されて、付随情報がない場合は、情報処理装置Ｘの設定に従って、以下の処理で料理番組の映像データであるとして扱うこともできる。
【００２４】
（ステップＳ１０３）
次に、ステップＳ１０３において、番組情報解析部２５は、上述の文字情報化された付随情報からレシピ情報作成に必要な情報を抽出して出力する番組情報抽出処理を行う。
具体的には、番組情報解析部２５は、文字データ化されたＥＰＧのデータから、アナログ又はデジタルチューナが現在受信している番組のジャンル等の情報を読み取る。さらに、文字放送の情報を読み取る。
この上で、番組情報解析部２５は、これらのジャンル等の情報と文字データから、現在受信している番組が料理番組であるかについての文字情報と、文字放送中に料理コーナー等のレシピに関係する単語がでてきたか等について解析を行って出力する。
この解析については、番組情報解析部２５は、ジャンルデータ番組のジャンル等の情報のみを切り出して出力する。
なお、番組情報解析部２５は、自然言語処理部７０を用いて、文字放送のデータ内に予め記憶部４０に記憶されていた所定の予約語（例えば、「料理」「レシピ」「調理」「クッキング」等）が出てきたか等のについて自然言語処理の解析を行って出力してもよい。
この場合、自然言語処理部７０は、文字放送の情報において、例えばベイズ推定や予約語の出現確率のノンパラメトリックな統計検定などの各種統計検定等の統計的手法を用いて、レシピ情報に関係するデータが含まれているかについての推定結果を出力することもできる。
【００２５】
（ステップＳ１０４）
次に、ステップＳ１０４において、レシピ情報作成判断部５２０は、実際にレシピ情報を作成するかについて判断を行う。
ここで、現在受信している番組について、レシピ情報作成機能を使用する設定になっており、且つ、上述の自然言語処理部７０により、料理番組である場合や文字放送のデータにより所定の予約語が入っている場合は、レシピ情報を作成する（Ｙｅｓ）と判断する。
Ｙｅｓと判断した場合、レシピ情報作成判断部５２０は、処理をステップＳ１０５に進める。
Ｎｏと判断した場合は、レシピ情報作成判断部５２０は、処理をステップＳ１１０に進める。
【００２６】
（ステップＳ１０５）
ここで、ステップＳ１０５において、キャプチャ部３０は、レシピ情報を作成すると判断された場合に、キャプチャ処理を行う。
具体的には、上述のＥＰＧの番組データにおける番組の放送時間の間、録画が行われている間、又は、映像データを再生している間、常に映像データから静止画データを作成して記憶部４０の主記憶部に確保された一次記憶メモリに保存する。
この静止画データは、映像データのフレーム毎、ＭＰＥＧ２のＩピクチャ（又はキーフレーム）毎、又は所定時間（例えば、１０秒）毎、といったタイミングで作成されて一次記憶メモリに上書きされる。
しかし、後述するように、この一次記憶メモリ上の静止画データは、キャプチャ部３０により記憶部４０の補助記憶装置にコピーして記憶・保存することもできる。
【００２７】
（ステップＳ１０６）
次に、ステップＳ１０６において、画像認識処理部６０と自然言語処理部７０により、文字情報解析処理を行う。
このステップでは、まず、画像認識処理部６０が一次記憶メモリに記憶された静止画データを基に、ＯＣＲ等の画像認識処理を行う。
この画像認識処理としては、画像認識処理部６０は、まず、静止画データを複数のエリア毎に分割した上で、ＦＦＴ（離散フーリエ変換）、ウェーブレット変換、ＳＶＭ（サポート・ベクター・マシン）や人工ニューラルネット等の手法を用いて、（ａ）線画で（ｂ）色が２値表示に近く（ｃ）形状の揃ったキャラクターがマス目状に描かれている等の、文字表示の特徴量をもつエリアを抽出する。ここで、実際に料理番組にて文字が表示されるエリアとしては、画面の下部、左、右等の位置にレシピが表示されることが多いので、このエリアに重みづけをして抽出する。また、映像データに、時報や放送局名のロゴや電子透かし等のデータが入っている場合は、これらを抽出しないようにする。
さらに、リングバッファ等を用いて所定の時間ごとに複数の静止画データを用意しておき、この静止画データを比較することで、ほとんど変化のなかった部分を文字データとして扱うような処理を行うこともできる。また、映像データの差分ピクチャの情報量でこの変化のなかった部分を検出することもできる。
【００２８】
ここで、文字データの特徴量をもつエリアがあった場合は、このエリアについて、実際の文字認識を行って、この文字データを記憶部４０に記憶する。
画像認識処理部６０を複数のＤＳＰ等のハードウェアで構成している場合は、上述のエリア毎に各ＤＳＰに処理を行わせることで、より高速に処理することができる。これにより、フルフレーム（１／６０秒毎）でのリアルタイムのＯＣＲ処理も可能である。
【００２９】
画像認識処理部６０が文字認識を行った場合は、自然言語処理部７０はこの認識された文字データから、レシピ情報の文字データが存在するか確認する。
すなわち、静止画データ上に文字データが存在した場合で、この文字データにレシピに関する所定の予約語（例えば、「ｇ（グラム）」「塩」「コショウ」等）が認識された場合や、ベイズ推定等の統計推定で推定値が高い場合は、自然言語処理部７０は、レシピ情報の文字データが存在すると確認する。また、各種統計検定を行った場合は検定結果が所定値（例えば、ｐ＜０．０５）だった場合は文字データが存在すると確認し、更にｐ値（ｐ−ｖａｌｕｅ、確率の値）等の統計量を出力する。
それ以外の場合は、自然言語処理部７０は、文字データはなしと確認し、その旨を出力する。
なお、画像認識処理部６０及び自然言語処理部７０は、文字情報解析処理の認識に関するデータを記憶部４０に蓄積する。これにより、後にＯＣＲ処理等を行う際に精度を上げることが可能になる。
【００３０】
（ステップＳ１０７）
次に、ステップＳ１０７において、文字データ判断処理部５４０は、レシピ情報の文字データがあったかについて判定する。
具体的には、上述のステップＳ１０６において自然言語処理部７０によりレシピ情報の文字データが存在すると確認された場合は、文字データ判断処理部５４０は、文字データが存在する、すなわちＹｅｓと判断する。それ以外の場合は、文字データ判断処理部５４０は、レシピ情報の文字データはなかった、すなわちＮｏと判断する。
Ｙｅｓの場合、文字データ判断処理部５４０は、処理をステップＳ１０８に進める。
Ｎｏの場合、文字データ判断処理部５４０は、処理をステップＳ１１０に進める。
【００３１】
（ステップＳ１０８）
次に、ステップＳ１０８において、静止画データ読込／書込処理部５６０は、静止画データ保存処理を行う。
この静止画データ保存処理においては、静止画データ読込／書込処理部５６０は、一次記憶メモリ上の静止画データを記憶部４０のＨＤＤやフラッシュメモリやメモリカード等の補助記憶装置にコピーして記憶する。
なお、この保存の際には、後述するレシピ情報管理データと同じフォルダや関連づけされた状態で記憶部４０に記憶する。
【００３２】
（ステップＳ１０９）
次に、ステップＳ１０９において、レシピ情報管理データ作成部５１０は、レシピ情報管理データの作成・保存処理を行う。
具体的には、レシピ情報管理データ作成部５１０は、上述の静止画データとレシピ情報に関する管理データを作成し、記憶部４０のメモリカードやＨＤＤなどの補助記録装置に記憶することで保存する。
このレシピ情報管理データとしては、レシピ情報管理データ作成部５１０は、記憶部４０に記憶した静止画データの管理情報（ファイル名、インデックス番号、フレーム数等、その静止画データを特定する情報）を作成し、記憶する。
また、録画データが存在する場合は、この録画データのファイルの保存場所やファイル名といった録画データの管理情報も記憶する。
さらに、文字放送のデータやＥＰＧのデータから、番組名や番組の内容、番組の開始・終了の年月日と時間等の情報についても作成し、記憶する。
加えて、上述の文字認識されたレシピ情報の文字データそのものも記憶する。
【００３３】
上述のレシピ情報の文字データについては、レシピの文字データと、料理名や材料名についての情報を作成し、記憶する。
このレシピの文字データについて、レシピ情報管理データ作成部５１０は、ＯＣＲで誤認識があったと判断した場合（例えば、「砂糖」が「石少米唐」と認識された場合や、「ｇ」が「呂」と認識された場合等）は、記憶部４０に蓄積したレシピで用いられる単語の出現確率を基に、これを正しいと推定される単語に置き換えて記憶する。また、文字放送データのデータを用いて自動的に修正することも可能である。
加えて、レシピ情報管理データ作成部５１０は、レシピ情報の文字データや文字放送のデータと、記憶部４０に記憶した所定の料理の属性を示す単語（例えば、イタリア料理、おかず、低カロリー、低塩食等）と検索し、この一致率等である料理の属性情報を記憶することができる。
【００３４】
ここで、実際の料理番組では、調理の各手順で材料を使う際に材料名と分量のテロップが表示され、最後に全ての材料と分量のテロップの表示を行うのが一般的である。
よって、番組毎に、表示されている文字データをまとめて保存しておくことにより、各手順における材料名と分量、及び全体で必要な材料と分量についての情報を蓄積することができる。
また、各手順において文字認識された情報と、最後に表示されるテロップを文字認識した情報とで情報を比較して、明らかな文字認識ミスの箇所について修正して記憶することもできる。
【００３５】
さらに、情報処理装置Ｘが上述の単語の置き換えや修正に失敗して記憶した場合でも、ユーザがＧＵＩ処理部８０を用いて静止画データを参照して修正することも可能である。
この修正は、レシピ情報管理データ作成部５１０が記憶部４０に記憶し、後の文字情報認識処理において参照される。
【００３６】
これらのレシピ情報管理データにより、後述するように料理名や材料名等について、検索キーワードを用いてレシピ情報を検索することができる。
この検索のために、これらのレシピ情報管理データの記憶においては、記憶部４０にＤＢＭやＳＱＬ等のデータベースを用意して、このデータベースに記憶するのが好適である。
【００３７】
（ステップＳ１１０）
次に、ステップＳ１１０において、レシピ情報作成判断部５２０は、レシピ情報作成処理を終えるかどうかについて判定する。
具体的には、ユーザがレシピ情報作成を終了するリモコンのボタンを押下したことを検出した場合、現在の時間を計測して上述したＥＰＧデータにおける視聴している番組の放送時間が終了した場合、予約録画時間が経過した場合、又は外部入力からの入力信号がなくなった場合等に、レシピ情報作成判断部５２０は、レシピ情報作成処理を終了する、すなわちＹｅｓの判定を行うことができる。それ以外の場合は、Ｎｏの判定を行う。
Ｙｅｓの場合は、レシピ情報作成判断部５２０は、レシピ情報作成処理を終了する。これにより、情報処理装置Ｘは待機状態に戻る。
Ｎｏの場合は、レシピ情報作成判断部５２０は、ステップＳ１０１に処理を戻して、さらに映像信号を受信し、付随情報を取得する。
【００３８】
以上により、リアルタイムにレシピ情報を作成するレシピ情報作成処理を終了する。
このようにリアルタイムにレシピ情報を作成することで、上述したようにリモコンのボタン等で、レシピ情報をとりたいと思ったときに、すぐにレシピ情報を得ることができる。また、録画予約した映像を録画するのと同時に、レシピ情報を作成することもできる。さらに、外部入力からの録画と同時にレシピ情報を作成することもできる。
作成したレシピ情報は、レシピ情報管理データと、キャプチャした静止画データが記憶されるので、後に簡単に呼び出すことが可能である。
【００３９】
（記憶した映像データからのレシピ情報作成処理）
次に、図４と図５を参照して追いかけ再生等、一旦、番組の映像データを記憶部４０に記憶して、レシピ情報を抽出する場合のレシピ情報作成処理について、以下で詳細に説明する。
追いかけ再生等の際に、レシピ情報作成処理を行うことで、ユーザがたまたま情報処理装置Ｘを用いてテレビ放送を視聴していて、番組中で紹介されていたレシピを書き留めておきたいと思った場合等に利用することができる。
【００４０】
（ステップＳ２０１）
まず、ステップＳ２０１において、映像受信処理部１０は、上述のステップＳ１０１と同様の映像データ受信処理を行う。つまり、受信した映像をデコードする処理を行う。
【００４１】
（ステップＳ２０２）
次に、ステップＳ２０２において、番組情報取得部２０は、上述のステップＳ１０２と同様に、映像受信処理部１０で受信した映像信号を基にＥＰＧデータや文字放送データ等の付随情報を取得する。
また、外部入力からの映像に付随情報がない場合は、これも上述のステップＳ１０２と同様に、設定により料理番組の映像データであるとして扱うことができる。
【００４２】
（ステップＳ２０３）
次に、ステップＳ２０３において、番組情報解析部２５は、上述のステップＳ１０３と同様に、文字情報化された付随情報からレシピ情報作成に必要な情報を抽出して出力する。
【００４３】
（ステップＳ２０４）
次に、ステップＳ２０４において、レシピ情報作成判断部５２０は、上述のステップＳ１０４と同様に、実際にレシピ情報を作成するかについて判断を行う。
Ｙｅｓと判断した場合、レシピ情報作成判断部５２０は、処理をステップＳ２０５に進める。
Ｎｏと判断した場合は、レシピ情報作成判断部５２０は、処理をステップＳ２１１に進める。
【００４４】
（ステップＳ２０５）
ステップＳ２０５において、映像受信処理部１０は、映像データ保存処理を行う。
ここでは、上述のステップＳ２０１でデコードした映像データについて、記憶部４０のＨＤＤやフラッシュメモリ等に、所定時間分の映像データを一次的に記憶する。この所定時間としては、追いかけ再生の時間（例えば、５分）等、デフォルト又はユーザが予め設定している時間とする。
また、この一次的に記憶されている映像データは、デコードしたＴＳのデータをそのまま保存することができる。また、静止画データを取得しやすく、早送りや巻き戻しの計算がしやすいデータ形式、たとえば非圧縮形式や、ＭｏｔｉｏｎＪＰＥＧ形式等に変換した上で記憶していてもよい。
【００４５】
（ステップＳ２０６）
次に、ステップＳ２０６において、キャプチャ部３０は、映像データ読み出し処理を行う。
具体的には、キャプチャ部３０は、上述の一時的に記憶されている映像データを記憶部４０から読み出す。
さらに、上述のステップＳ１０５と同様に、静止画データを作成して記憶部４０の主記憶部に確保された一次記憶メモリに保存する。
【００４６】
（ステップＳ２０７）
次に、ステップＳ２０７において、上述のステップＳ１０６と同様に、画像認識処理部６０と自然言語処理部７０により、文字情報解析処理を行う。
この文字情報解析においては、上述の一時的に記憶されている映像データから作成した静止画データを用いる。
【００４７】
さらに、ユーザがリモコンのレシピ作成処理を呼び出すボタンを受信している番組の途中で押下したことを検出し、更に静止画データを解析した際にレシピ情報の文字データを確認できなかった場合は、上述の一時的に記憶されている映像データを遡って静止画データを作成して、文字情報解析処理を繰り返す。
これにより、ユーザがとっさにレシピを保存したいと思ったところ、リモコンの操作に手間取ってボタンの押下が遅れた場合等のシチュエーションに対処することができる。
【００４８】
（ステップＳ２０８）
次に、ステップＳ２０８において、上述のステップＳ１０７と同様に、文字データ判断処理部５４０は、レシピ情報の文字データがあったかについて判定する。
Ｙｅｓの場合、文字データ判断処理部５４０は、処理をステップＳ２０９に進める。
Ｎｏの場合、文字データ判断処理部５４０は、処理をステップＳ２１１に進める。
【００４９】
（ステップＳ２０９）
次に、ステップＳ２０９において、上述のステップＳ１０８と同様に、キャプチャ部３０は、静止画データ保存処理を行う。
上述の一時的に記憶されている映像データから静止画データを作成した場合は、キャプチャ部３０は、その静止画データについて静止画保存処理を行う。さらに、ユーザの設定により、所定時間まで、又はＣＭの検出や映像の切れ目の検出をしてそれまでの間まで、一時的に記憶されている映像データを保存することもできる。
【００５０】
（ステップＳ２１０）
次に、ステップＳ２１０において、上述のステップＳ１０９と同様に、レシピ情報管理データ作成部５１０は、レシピ情報管理データの作成・保存処理を行う。
【００５１】
（ステップＳ２１１）
次に、ステップＳ２１１において、上述のステップＳ１１０と同様に、レシピ情報作成判断部５２０は、レシピ情報作成処理を終えるかどうかについて判定する。
Ｙｅｓの場合は、レシピ情報作成判断部５２０は、レシピ情報作成処理を終了する。これにより、情報処理装置Ｘは待機状態に戻る。
Ｎｏの場合は、レシピ情報作成判断部５２０は、ステップＳ２０１に処理を戻して、さらに映像信号を受信し、付随情報を取得する。
【００５２】
以上により、一旦、番組の映像データを記憶部４０に記憶して、レシピ情報を抽出する場合のレシピ情報作成処理を終了する。
このように、追いかけ再生等、番組の映像データを蓄積した上で、レシピ情報を抽出することで、上述のように、ユーザがとっさにレシピを保存しておきたいと意図した際に対応することができる。
さらに、追いかけ再生は、通常は標準でＯＮになっているため、ユーザが特に録画していない番組においても、とっさのレシピ情報の記憶に対応することができる。
また、ＥＰＧ等において、料理番組というジャンルになっていない番組でも、レシピ情報が公開されていることもある（例えば、ニュース番組や、ショッピング番組）。ユーザがこれをリアルタイムに視聴中、レシピを保存しようと思ったところレシピのテロップがすぐ消えてしまった場合等に対処できる。
【００５３】
なお、録画して記憶部４０のＨＤＤ等に記憶しているファイルからは、上述の一旦、記憶した映像データからのレシピ情報作成処理と同様の処理によりレシピ情報を作成することができる。
この場合、ＥＰＧのデータや文字放送等の付随情報はすでに記憶部４０に記憶しているため、上述のステップＳ２０６から処理を開始することもできる。
また、上述した設定（４）のような場合は、この記憶部４０に記憶されたジャンル等の情報を基にして、録画ファイルが料理番組である場合に、レシピ情報作成処理を行うこともできる。
さらに、ユーザの設定により、料理番組でない場合でもレシピ抽出を行うこともできる。
【００５４】
また、記憶部４０にＭＰＥＧ２やＭＰＥＧ４形式等の映像データを、ＬＡＮや無線ＬＡＮ等のネットワーク・ＵＳＢ・ｅＳＡＴＡ・ｉ−ｌｉｎｋ・電話回線・光ファイバ等を経由して入力し、ここから直接、上述のレシピ情報作成機能を実行するようにすることもできる。
この場合は、ＥＰＧのデータや文字放送等の付随情報は入力せずに、上述のステップＳ２０６から処理を開始することもできる。
【００５５】
〔レシピ情報検索機能〕
次に、上述のレシピ情報作成処理において作成されたレシピ情報を検索する、レシピ情報検索機能について説明する。
このレシピ情報検索機能は、上述したレシピ情報管理データを保存したデータベースを用いて、ユーザにより指定された材料名や料理名などの検索キーワードと日時や属性の絞り込みを基に、レシピ情報管理データを直接検索してもよい。
【００５６】
また、記憶部４０に記憶した静止画データの情報を用いて再び文字情報解析処理を行い、得られた文字情報を用いて再検索するようにしてレシピ情報検索機能を実現することもできる。
すなわち、検索キーワードを使用して、レシピ情報である静止画データからＯＣＲ等の文字認識技術を用い、合致する静止画データがあるかどうか調べ、合致した静止画データがあれば、そのレシピを表示することでレシピ情報検索機能を実現する。
これにより、記憶部４０に記憶された文字情報認識処理の際に蓄積されたデータやユーザによる修正のデータを参照することができるため、より検索の精度を上げることができる。
以下で、図６、図７を参照して、再び文字情報解析処理を行う場合のレシピ情報検索機能を実現するための処理について詳しく説明する。
【００５７】
（ステップＳ３０１）
まず、ステップＳ３０１において、図３の検索キーワード入力処理部８１０は、検索キーワード受け取り処理を行う。
具体的には、ＧＵＩ処理部８０の検索キーワード入力処理部８１０は、表示部にソフトキーボード等を表示して、ユーザがこのソフトキーボードを用いてリモコンのボタンの押下等により入力した検索キーワードを検知する。
なお、検索キーワード入力処理部８１０は、ＵＳＢ接続等のキーボードのキーの押下信号を検知するか、情報処理装置Ｘが内蔵するｗｅｂサーバとＣＧＩの機能を用いて、ＰＣ等のウェブブラウザに表示されるフォームにユーザ入力したキーワードを検知する等により検索を行うこともできる。
また、この検索キーワードの他に、「料理名」「放送日時」「素材」といった条件の絞り込みが可能である。さらに、「スープ」「低塩食（塩分７ｇ以下）」「夕食向け（５００ｋｃａｌ以上）」「おかず」「一汁」といったレシピ情報管理データの属性データに関する条件の絞り込みをすることもできる。
【００５８】
（ステップＳ３０２）
次に、ステップＳ３０２において、静止画データ読込／書込処理部５６０は、静止画データ読み込み処理を行う。
具体的には、静止画データ読込／書込処理部５６０は、記憶部４０から上述のステップにて記憶した静止画データを１枚づつ読み込み、画像認識処理部６０に送る。
この際に、記憶したすべての静止画データを読み込む処理を行うことも可能であるが、レシピ情報管理データをまず検索して、キーワードと一致文字が多いものに対応する静止画データから読み込むようにすると好適である。
【００５９】
（ステップＳ３０３）
次に、ステップＳ３０３において、画像認識処理部６０は、文字情報解析処理を行う。
この文字情報認識処理は、上述のステップＳ３０２で読み込まれた１枚の静止画データについて、上述のステップＳ１０６と同等の処理を行う。
【００６０】
（ステップＳ３０４）
次に、文字データ判断処理部５４０は、レシピ情報の文字データが検索キーワードと一致していたか判定する。
具体的には、上述のステップＳ３０３において自然言語処理部７０によりレシピ情報の文字データが存在すると確認された場合、この文字データと検索キーワードとの間で動的プログラミング等によりアラインメント（すり合わせ）を行う。さらに、ユーザが検索キーワードの入力時に絞り込んだ条件についても一致させる。
これにより、所定文字数又は統計的に有意な文字数が一致して、更にユーザが絞り込んだ条件についても一致した場合は、文字データ判断処理部５４０は、文字情報解析処理を行った静止画データは、検索キーワードが含まれた静止画データである、すなわちＹｅｓと判断する。それ以外の場合は、文字データ判断処理部５４０は、Ｎｏと判断する。
Ｙｅｓの場合、文字データ判断処理部５４０は、処理をステップＳ３０５に進める。
Ｎｏの場合、文字データ判断処理部５４０は、処理をステップＳ３０７に進める。
【００６１】
（ステップＳ３０５）
ここで、レシピ情報抽出部５５０とレシピ情報管理データ読み込み処理部５８０は、レシピ情報管理データ抽出処理を行う。
具体的には、まず、上述のステップＳ３０４で文字データ判断処理部５４０が検索キーワードが含まれている静止画データであると判断した場合、レシピ情報抽出部５５０は、この静止画データのレシピ情報管理データを取得する。また、メモリカードに記憶されているレシピ情報管理データを取得することもできる。レシピ情報抽出部５５０は、実際に読み込む際には、この静止画データのインデックス番号等を指定して、レシピ情報管理データ読み込み処理部５８０を介して、記憶部４０からレシピ情報管理データを取得する。
その後、レシピ情報抽出部５５０は、静止画データと抽出したデータを、記憶部４０に記憶する。
【００６２】
（ステップＳ３０６）
次に、ステップＳ３０６において、レシピ一覧表示処理部５７０は、上述の静止画データと抽出したデータを表示するための表示処理を行う。
具体的には、ステップＳ３０５でレシピ情報抽出部５５０が記憶したデータを、表示部に表示するために、実際に表示部にレンダリング（画像描画）を行うための描画用データを作成する処理を行う。
また、表示処理において画像描画をする場合は、後述するレシピ情報一覧表示を表示部に表示することができる。この場合は、先に、レシピ一覧表示処理部５７０により、静止画データと抽出したデータを配列した表示用データを作成する。この表示用データを、レシピ一覧表示処理部５７０でレンダリングして表示部に表示する。表示の際には、サムネイル表示を行い、フィルムロールのような形式で表示することも可能である。
また、ウェブサーバ経由で表示する場合には、レシピ一覧表示処理部５７０により、ＣＧＩのプログラムにより、サムネイル画像とＨＴＭＬデータのような描画用データを作成する。このＨＴＭＬには、ユーザがリンクをクリックすることで、大きなレシピの静止画を表示するためのリンクを貼り付けておく。なお、ｗｅｂブラウザにより静止画を表示するためには、当然、静止画データをｗｅｂブラウザで表示可能なｊｐｅｇ、ＧＩＦ、ＰＮＧ等の画像のデータ形式に変換して表示する必要がある。
【００６３】
（ステップＳ３０７）
次に、ステップＳ３０７において、静止画データ読込／書込処理部５６０は、検索結果に係る静止画データをすべて読み出したか判断する。
この判断においては、当然、上述のユーザ検索キーワードの入力時に絞り込んだ条件も基にして判断する。例えば、ユーザが日時を指定していた場合は、この日時にまでの静止画データを検索したかを判断し、ユーザが属性データに関する絞り込みを行っていた場合は、その属性データに関連する静止画データのみを検索したかを判断する。
Ｙｅｓの場合は、静止画データ読込／書込処理部５６０は、処理をステップＳ３０８に進める。
Ｎｏの場合は、静止画データ読込／書込処理部５６０は、処理をステップＳ３０１に戻す。
【００６４】
（ステップＳ３０８）
次に、ステップＳ３０８において、レシピ一覧表示処理部５７０は、検索終了表示処理を行う。
具体的には、表示部に「検索終了」等の文字を表示して、検索された静止画の数を表示する。また、更に絞り込みを行うかについてのダイアログボックス等を表示することもできる。
ｗｅｂサーバ経由で表示する場合は、ここで作成したサムネイル画像とＨＴＭＬデータとを、ｗｅｂサーバにてｈｔｔｐプロトコルで送信する。一旦検索してから、一度に送信することで、検索途中でタイムアウトした場合のｗｅｂブラウザでの表示不具合を抑えることができる。
以上により、再び文字情報解析処理を行う場合のレシピ情報検索機能を実現するための処理を終了する。
【００６５】
これらの処理により、静止画データから再び文字情報解析処理を行うことで、受信状態がよくないアナログ放送から文字認識を行った場合や、使用されている文字フォントやレイアウトが共通する同じシリーズの番組を文字認識した場合に、より認識効率を上げることができる。よって、検索効率を高めることが可能になる。
【００６６】
なお、上述の複数のＤＳＰ等を用いたハードウェアによる文字認識が可能な高速な画像認識処理部６０がある場合は、いつでも文字認識を行いながら検索が可能であるため、レシピ情報管理データに文字認識後の文字データを含んでいなくてもよい。
これにより、記憶部４０のデータベースの構成が簡単になり、文字データ用に必要な領域を少なくすることもできる。この場合、レシピ情報検索機能には、番組の放送日等の情報のみを記憶しておくことができる。
【００６７】
〔レシピ一覧表示機能〕
次に、上述のレシピ情報やレシピ情報管理データを一覧表示する、レシピ一覧表示機能について説明する。
本発明の実施の形態に係る情報処理装置Ｘでは、ユーザが保存されたレシピ情報を閲覧する場合、管理データを使ってレシピ一覧を表示し、ユーザに選択された料理番組をダイジェスト的に再生するようなレシピ一覧表示機能を実現することができる。
このレシピ一覧表示機能は、上述のレシピ情報作成機能でユーザが（５）の設定を行ったように、自動でレシピ情報を蓄積するような場合に適用するのが好適である。
また、上述したように、キーワードの検索結果を一覧として表示することもできる。
以下で、図８の機能ブロック図と、図９のフローチャートと、図１０の一覧表示の例を参照して、レシピ情報一覧表示機能の具体的な処理について説明する。
【００６８】
（ステップＳ４０１）
まず、ステップＳ４０１において、図３のレシピ一覧表示受付処理部８２０が、レシピ一覧表示の受付処理を行う。
具体的には、レシピ一覧表示受付処理部８２０は、ユーザがリモコンのレシピ表示機能やレシピ一覧表示のためのボタン押下を感知するか、外部機器からのｈｔｔｐリクエスト等によって、レシピの一覧表示を受け付ける。
この際に、ユーザがリモコンの「戻る」ボタンやキャンセルボタンや押下したことを検知した場合は、レシピ一覧表示機能を終了する。
【００６９】
（ステップＳ４０２）
次に、ステップＳ４０２において、レシピ情報抽出部５５０は、レシピ情報管理データ抽出処理を行う。
具体的には、レシピ情報抽出部５５０は、すべての静止画データについて、データベースからレシピ情報管理データを取得する。この際に、レシピ情報管理データ読み込み処理部５８０を介して、記憶部４０に記憶している静止画データのレシピ情報管理データを読み込む。また、記憶部４０であるメモリカード等から取得してもよい。
この上で、レシピ情報抽出部５５０は、レシピ情報一覧表示機能に必要な、例えば日付データやタイトル名といったデータを抽出する。
【００７０】
（ステップＳ４０３）
次に、ステップＳ４０３において、レシピ一覧表示処理部５７０は、レシピ情報の表示データ作成処理を行う。
具体的には、上述のステップで取得したレシピ情報管理データについて、実際にレシピ一覧表示処理部５７０で表示するための表示データを作成する。
この表示データとしては、図１０の表のようなものを実際のレンダリング用のデータやＨＴＭＬ形式で作成することができる。この表においては、静止画データからの文字抽出や文字放送の情報から料理名等の属性と、ＥＰＧにて取得した番組タイトル・放送局名・放送日・放送時刻などを表示データとして作成できる。
加えて、文字放送の情報から自然言語処理部７０が抽出して得た、料理関係の単語が含まれる文字放送情報を表示データとして作成することができる。これにより、放送者側の意図した信頼性の高い料理関係の情報と、文字認識で得た料理名とを比較することができる。
【００７１】
さらに、図１０の表においては、映像データがあるかないかについても表示データを作成することができる。
たとえば、予約録画の際にレシピ情報を作成した場合は、その録画データが存在することの表示データを作成する。また、メモリカードやＨＤＤの容量不足又はユーザが削除した等で録画した映像データがない場合や、リアルタイムでレシピ情報を作成したために映像データがない場合（例えば、図１０の表の「ミックスジュース」の場合）は、映像データを「なし」又は「静止画のみ」の表示データを作成する。
さらに、追っかけ再生等でレシピ情報検索機能を使用した場合等で、短い映像データのみ存在する場合（例えば、図８の表の「グリーンカレー」の場合）は、時分単位で映像データの量を示す表示データを作成する。
【００７２】
また、ユーザが設定することで、レシピ情報管理データの他の属性（例えば、低塩等）についても、表示データを作成することができる。
加えて、この表に上述のサムネイル表示データを組み合わせることもできる。
さらに、ユーザのリモコン操作やネットワークからのリクエストに従って、アイウエオ順、静止画作成が新しい順、カロリー順、カテゴリー別等の順番にて並び替えが可能である。この並び替えは、レシピ一覧表示受付処理部８２０が、レシピ一覧表示の受付処理を行っている際にユーザのＧＵＩでの操作を検知して行う。
【００７３】
（ステップＳ４０４）
次に、ステップＳ４０４において、レシピ情報管理データ読み込み処理部５８０は、レシピ情報管理データをすべて読み出したか判断する。
Ｙｅｓの場合は、レシピ情報管理データ読み込み処理部５８０は、ステップＳ４０５に処理を進める。
Ｎｏの場合は、レシピ情報管理データ読み込み処理部５８０は、ステップＳ４０１に処理を戻してまたレシピ情報管理データの読み込みを続ける。
【００７４】
（ステップＳ４０５）
ステップＳ４０５においては、レシピ一覧表示処理部５７０がレシピ情報一覧表示処理を行う。
ここでは、上述のステップＳ３０８のように、レシピ一覧表示処理部５７０が上述のレシピ一覧表示処理部５７０が作成した表示データを用いて、レンダリングを行ったり、ｗｅｂサーバから出力したりすることができる。
ここで、図１０の表が映像表示装置のＧＵＩに表示されており、レシピ情報が多数あった場合は、ユーザがカーソルキーを押下することを検知して、レシピ一覧表示処理部５７０はスクロール表示等を行うことができる。
また、この表でユーザがカーソルを移動して「決定」ボタン等を押下したことを検知した場合、レシピ一覧表示処理部５７０は、その行のレシピ情報管理データに係る静止画データを表示する。
さらに、映像データがある場合は、この映像を小さく表示することも可能である。
この映像が表示されている状態で、ユーザが「再生」ボタン等を押下したことを検知した場合、レシピ一覧表示処理部５７０は、この映像を大きな画面で通常再生する。
このレシピ情報一覧表示処理が終了すると、レシピ一覧表示機能の処理は終了する。
【００７５】
以上のように構成することにより、本発明の実施の形態に係る情報処理装置Ｘは、以下のような効果を得ることができる。
まず、従来技術１では、料理メニュー、材料表、作り方、調理時間、調理器具の制御情報、栄養情報、価格等の文字または音声または画像からなる、放送者側で付加されたコード情報が配信され、これを記憶したメディア媒体を用いた食情報装置を提供していた。
しかし、従来技術１は、対応する機器のために放送者側で配信した情報しか利用することができないという問題があった。
そもそも、従来技術１では、放送者側がコード情報として入れ込んでいないレシピの情報を用いることはできないという問題があった。すなわち、文字情報の入っていない単なる映像から食情報装置でレシピ情報を抽出することはできなかった。
【００７６】
しかしながら、本発明の実施の形態に係る情報処理装置Ｘは、放送者が予めコード化されたレシピ情報を提供していない番組においても、映像データからレシピ情報を作成することができる。
つまり、情報処理装置Ｘは、文字認識技術を用い、料理番組として放映されている映像からレシピ情報を抽出する。これにより、料理番組の放映中の映像においてテロップなどの文字データ入っている映像を認識し、その映像を静止画でキャプチャし保存することができる。
また、リアルタイムや追いかけ再生時に映像からレシピ情報を作成することができるため、ユーザが映像を視聴する際に、映像を一時停止してメモ書きをするといった手間を省くことが可能になる。
さらに、情報処理装置Ｘは、ユーザの設定によりレシピ情報の作成を自動的に行うことで、映像からレシピ情報を蓄積し、後でダイジェスト的にその料理の手順や材料、分量を見ることができる。
【００７７】
このため、情報処理装置Ｘの利用者であるユーザは、一般に配信されている多種多様な料理番組の映像に表示されたレシピをレシピ情報として用いることができる。加えて、外部入力から入力を行うことで、本発明の情報処理装置Ｘ以外の機種でユーザが録画した番組の映像データもレシピ情報として用いることもできる。
結果として、好みの番組を選んでレシピ情報を蓄積することができ、ユーザの利便性が高まる。
【００７８】
また、文字データが入っている映像のみを抽出し、それを自動的に保存することで、いわば料理本を自動的に作成してくれるので、料理番組をすべて見なくても料理を作ることができるという効果が得られる。
また、これらの静止画データを指定した材料名や料理名などで検索する機能を搭載することにより、レシピを探しやすくするという効果が得られる。
さらに、材料名や料理名などをキーワードとして検索する機能を装備することにより、蓄積された膨大なレシピ情報からニーズに合ったレシピを容易に探し出すことができるという効果が得られる。
また、静止画データも同時に記憶しているので、その静止画データを基に誤認識があった場合でも、修正することが容易である。
【００７９】
また、情報処理装置Ｘにおいて、リアルタイムで又はジャンル情報を指定しないでも、レシピ情報の抽出を行うことができるため、料理番組とは認識されていないショッピング番組・ニュース番組・バラエティ番組等からでもレシピ情報を保存しておくことができる。
【００８０】
なお、本発明の実施の形態に係る情報処理装置Ｘにおいては、レシピ情報の静止画データを記憶したが、これを特に編集等を行わずに表示するように記載した。
しかし、実際に地上デジタルテレビジョン放送表示器やＤＶＤレコーダ等を用いて表示する際には、このレシピ情報と文字情報を組み合わせて編集した上で表示することも可能である。
さらに、文字情報を半透明で描画して、静止画データの情報と重ね合わせて表示することも可能である。
【００８１】
また、記憶部４０に記憶されたレシピ情報は、互換性が高いテキストやＨＴＭＬ形式で保存することも可能であり、スチームオーブンや電子レンジの液晶表示パネルや、携帯電話のディスプレイ、電子手帳、テレビジョン受信機等で閲覧可能である。
また、情報処理装置Ｘは、脱着可能なメモリカード等の記憶媒体に記憶させることも、ＬＡＮや無線ＬＡＮ等のネットワークで送信・受信することもできる。
【００８２】
このような、情報処理装置Ｘと他の機器を組み合わせた情報処理システムの１例である情報処理システムＺについて、図１１を参照して説明する。
この情報処理システムＺにおいては、情報処理装置Ｘが、一般的なＰＣ／ＡＴ互換機等であるＰＣ１０００と、例えばスチームオーブンや電子レンジ等の調理器であるスチームオーブン１５００とが、家庭内のＰＬＣ（Ｐｏｗｅｒ  Ｌｉｎｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）ネットワークや無線ＬＡＮ、有線ＬＡＮ、無線ＵＳＢ（ウルトラ・ワイド・バンド）等である、ネットワーク５に接続している。
【００８３】
情報処理システムＺにおいては、情報処理装置ＸはＧＵＩ処理部８０にｗｅｂサーバ等とネットワーク接続部を備える。よって、情報処理装置Ｘはネットワーク５を介して、ＰＣ１０００やスチームオーブン１５００から送付されたリクエストを検知してレシピ情報を送信する。
これにより、ＰＣ１０００とスチームオーブン１５００においては、情報処理装置Ｘと記憶部４０に記憶されたレシピ情報を閲覧可能である。
さらに、このスチームオーブン１５００が閲覧しやすいデータ形式に変換し、この機器で読み込ませて調理の際に用いることも可能である。
【００８４】
また、ＤＬＮＡ（Ｄｉｇｉｔａｌ  Ｌｉｖｉｎｇ  Ｎｅｔｗｏｒｋ  Ａｌｌｉａｎｃｅ）の伝送規格等に対応した無線伝送のテレビデバイスが普及しているため、これに送信してレシピを見ながら調理することもできる。
以上のように情報処理システムＺを構成することにより、蓄積したレシピ情報を活用する際の、ユーザの利便性を向上させることが可能になる。
【００８５】
また、上述したように、本発明の実施の形態に係る情報処理装置Ｘは、静止画データのみ記憶部４０に記憶して、レシピ情報管理データとして文字認識したレシピの文字データを含んでいなくてもよい。
この例として、アナログチューナからの映像データに対しては文字データを付加せずに静止画データのみ保存し、デジタルチューナからの映像データに対しては文字データも保存するという構成が可能である。
これは、アナログチューナからの映像データは放送の受信状態やノイズのために、文字認識の効率が低くなる場合があるためである。この場合も、ユーザはＥＰＧの番組情報を基にして番組の内容をチェックし、静止画データを視認して調理を行うことが可能である。
また、アナログチューナからの映像データを画像解析した際に、ＧＵＩ処理部８０により、ユーザに文字データの確認を求めて修正してもらうように構成することも可能である。
【００８６】
上述したように、デジタルチューナから受信した映像データは、放送者側の機器でデジタル的にテロップ画像を作成することが多いため、文字認識の効率が高い。
このため、本発明の実施の形態に係る情報処理装置において、地上アナログチューナと地上デジタルチューナを同時に受信可能な場合は、地上アナログ放送と地上デジタル放送を同時に受信して、この両方の映像データを用いてレシピ情報の抽出を行うことも可能である。
また、レシピ情報の抽出においては地上デジタル放送の映像からキャプチャを行い、実際に録画保存するデータとしては、データ量が少ない地上アナログ放送の映像データを保存するといった構成も可能である。
【００８７】
さらに、上述した構成では、静止画データを記憶部に記憶して、この静止画データを基にキャプチャを行うように説明したが、リアルタイムでＯＣＲを行う場合は、ＴＳデータから直接文字認識を行うように構成することも当然可能である。
この場合、ＭＰＥＧ２のＴＳデータの場合は、Ｉピクチャのように画像データがほぼ含まれる箇所のデータを用いて文字認識を行うと処理の負担を抑えることができて好適である。また、それ以外のフレームについても、デコードしながら文字認識を行うことも可能である。
【００８８】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施の形態に係る情報処理装置Ｘの制御構成を示すブロック図である。
【図２】本発明の実施の形態に係るリアルタイムのレシピ情報作成の際の制御構成を示すブロック図である。
【図３】本発明の実施の形態に係るリアルタイムのレシピ情報作成処理のフローチャートである。
【図４】本発明の実施の形態に係る記憶した映像データからのレシピ情報作成の際の制御構成を示すブロック図である。
【図５】本発明の実施の形態に係る記憶した映像データからのレシピ情報作成処理のフローチャートである。
【図６】本発明の実施の形態に係る再び文字情報解析処理を行う場合の制御構成を示すブロック図である。
【図７】本発明の実施の形態に係る再び文字情報解析処理を行う場合のレシピ情報検索機能のフローチャートである。
【図８】レシピ一覧表示機能の制御構成を示すブロック図である。
【図９】本発明の実施の形態に係るレシピ一覧表示機能のフローチャートである。
【図１０】本発明の実施の形態に係るレシピ一覧表示機能による一覧表示の例を示す概念図である。
【図１１】本発明の実施の形態に係る情報処理システムのブロック図である。
【符号の説明】
【００９０】
５  ネットワーク
１０  映像受信処理部
２０  番組情報取得部
２５  番組情報解析部
３０  キャプチャ部
４０  記憶部
５０  レシピ情報作成処理部
６０  画像認識処理部
７０  自然言語処理部
８０  ＧＵＩ処理部
５１０  レシピ情報管理データ作成部
５２０  レシピ情報作成判断部
５４０  文字データ判断処理部
５５０  レシピ情報抽出部
５６０  静止画データ読込／書込処理部
５７０  レシピ一覧表示処理部
５８０  レシピ情報管理データ読み込み処理部
８１０  検索キーワード入力処理部
８２０  レシピ一覧表示受付処理部
１０００  ＰＣ
１５００  スチームオーブン
Ｘ  情報処理装置
Ｚ  情報処理システム
【図１】
2009100351.tif 000003
【図２】
2009100351.tif 000004
【図３】
2009100351.tif 000005
【図４】
2009100351.tif 000006
【図５】
2009100351.tif 000007
【図６】
2009100351.tif 000008
【図７】
2009100351.tif 000009
【図８】
2009100351.tif 000010
【図９】
2009100351.tif 000011
【図１０】
2009100351.tif 000012
【図１１】
2009100351.tif 000013