(57)【要約】      （修正有）【課題】文書に画像又は図形を挿入した場合に、挿入した画像又は図形に対して文字列や音情報を適切に関連付ける。【解決手段】文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムにおいて、情報処理装置は、ＤＢから文書に挿入された画像又は図形に関連付けられた所定の文字列を取得し、文書から所定の文字列を検索し、文書に挿入された画像又は図形と所定の文字列とを一体化して表示する。また、ＤＢから所定の文字列の属性情報を取得し、属性情報に基づいて所定の文字列を変更した後、画像又は図形と所定の文字列とを一体化して表示し、ＤＢから文書に挿入された画像又は図形に関連付けられた音情報を取得し、画像又は図形と音情報とを一体化する。【選択図】図１
2020013235.tif 000002
【特許請求の範囲】
【請求項１】
文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムであって、
前記情報処理装置は、
前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた所定の文字列を取得する情報取得部と、
前記文書から、前記所定の文字列を検索する検索部と、
前記文書から、前記所定の文字列が検索された場合に、前記文書に挿入された画像又は図形と前記所定の文字列とを一体化して表示する一体化処理部と、を備える、
ことを特徴とする情報処理システム。
【請求項２】
前記ＤＢは、画像又は図形に、文字列の属性情報を関連付けて記憶しており、
前記情報取得部は、前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた前記所定の文字列の属性情報を取得し、
前記一体化処理部は、前記属性情報に基づいて前記所定の文字列を変更した後、前記画像又は図形と前記所定の文字列とを一体化して表示する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記属性情報は、前記文字列の前記画像又は図形に対する位置、前記文字列の前記画像又は図形からの距離、前記文字列の文字サイズ、前記文字列のフォント、前記文字列の装飾、前記文字列の色の中から選択される１以上を含む、
ことを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記ＤＢは、画像又は図形に、音情報を関連付けて記憶しており、
前記情報取得部は、前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた音情報を取得し、
前記一体化処理部は、前記画像又は図形と前記音情報とを一体化する、
ことを特徴とする請求項１乃至３のいずれか一に記載の情報処理システム。
【請求項５】
前記検索部は、前記文書内の検索範囲の指定、又は、前記文書に挿入された前記画像又は図形に対する検索方向の指定を受け付け、指定された前記検索範囲又は前記検索方向に従って、前記文書から前記所定の文字列を検索する、
ことを特徴とする請求項１乃至４のいずれか一に記載の情報処理システム。
【請求項６】
前記検索部は、前記文書から検索した前記所定の文字列を、当該所定の文字列の周囲の文字列と区別できるように表示する、
ことを特徴とする請求項１乃至５のいずれか一に記載の情報処理システム。
【請求項７】
前記一体化処理部は、前記文書から複数の前記所定の文字列が検索された場合、一体化する前記所定の文字列の指定を受け付け、前記画像又は図形と指定された前記所定の文字列とを一体化して表示する、
ことを特徴とする請求項１乃至６のいずれか一に記載の情報処理システム。
【請求項８】
前記一体化処理部は、一体化した前記画像又は図形と前記所定の文字列とが配置される領域に存在する前記文書の文字列が、前記領域外に配置されるように、前記文書のレイアウトを変更する、
ことを特徴とする請求項１乃至７のいずれか一に記載の情報処理システム。
【請求項９】
前記一体化処理部は、前記画像又は図形と一体化する前記所定の文字列を、一体化後に前記文書から削除するかどうかの指定を受け付ける、
ことを特徴とする請求項１乃至８のいずれか一に記載の情報処理システム。
【請求項１０】
前記一体化処理部は、前記画像又は図形と前記所定の文字列の一方に対して、移動、拡大／縮小、変形、色変更のいずれかの編集操作が行われた場合、前記画像又は図形と前記所定の文字列の他方に対して、互いの位置関係を維持した移動、同じ倍率での拡大／縮小、同じ割合での変形、同じ色への変更を行う、
ことを特徴とする請求項１乃至９のいずれか一に記載の情報処理システム。
【請求項１１】
前記一体化処理部は、前記所定の文字列に対して、移動、拡大／縮小、変形、色変更のいずれかの編集が行われた場合でも、前記所定の文字列の情報をフォント情報として保持する、
ことを特徴とする請求項１０に記載の情報処理システム。
【請求項１２】
前記一体化処理部は、前記文書の他の文字列に対する、文字サイズ、フォント、装飾、色の少なくとも１つの変更は、前記画像又は図形と一体化する前記所定の文字列に対して適用しない、
ことを特徴とする請求項１乃至１１のいずれか一に記載の情報処理システム。
【請求項１３】
前記情報処理装置は、更に、
前記文書を印刷装置に印刷させる印刷データを生成する印刷データ生成部を備え、
前記印刷データ生成部は、前記文書の印刷ページの区切り位置を特定し、一体化した前記画像又は図形と前記所定の文字列とを印刷する領域が前記区切り位置を跨ぐ場合、前記領域の移動又は拡大／縮小を促す警告を行う、
ことを特徴とする請求項１乃至１２のいずれか一に記載の情報処理システム。
【請求項１４】
前記情報管理装置は、
前記通信ネットワークに接続される装置から文書を取得する収集部と、
取得した前記文書を解析して前記ＤＢを作成するＤＢ作成部と、を備え、
前記ＤＢ作成部は、前記文書に含まれる画像又は図形を特定し、特定した前記画像又は図形の周辺又は内部に存在する文字列を抽出し、抽出した前記文字列の中に、複数の文書又は複数のページに共通して存在する文字列がある場合、当該文字列を、前記画像又は図形に関連付けて前記ＤＢに登録する、
ことを特徴とする請求項１乃至１３のいずれか一に記載の情報処理システム。
【請求項１５】
前記ＤＢ作成部は、特定した前記画像又は図形の周辺の文字列を含む領域を切り取り、複数の前記領域を、前記画像又は図形の大きさ及び向きを合わせて重ね合わせることにより、特定した前記画像又は図形の周辺又は内部に共通して存在する文字列を抽出する、
ことを特徴とする請求項１４に記載の情報処理システム。
【請求項１６】
前記一体化処理部は、前記文書に挿入された画像又は図形の周辺に存在する文字列の中から、一体化して表示する文字列の指定を受け付け、前記画像又は図形と指定された前記文字列とを前記情報管理装置に通知し、
前記ＤＢ作成部は、前記情報処理装置から通知された前記画像又は図形と前記文字列とを、前記ＤＢに追加する、
ことを特徴とする請求項１４又は１５に記載の情報処理システム。
【請求項１７】
前記一体化処理部は、前記文書に挿入された画像又は図形と一体化する音情報の指定を受け付け、前記画像又は図形と指定された前記音情報とを前記情報管理装置に通知し、
前記ＤＢ作成部は、前記情報処理装置から通知された前記画像又は図形と前記音情報とを、前記ＤＢに追加する、
ことを特徴とする請求項１６に記載の情報処理システム。
【請求項１８】
文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムにおける情報処理方法であって、
前記情報処理装置は、
前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた所定の文字列を取得する情報取得処理と、
前記文書から、前記所定の文字列を検索する検索処理と、
前記文書から、前記所定の文字列が検索された場合に、前記文書に挿入された画像又は図形と前記所定の文字列とを一体化して表示する一体化処理と、を実行する、
ことを特徴とする情報処理方法。
【請求項１９】
前記ＤＢは、画像又は図形に、文字列の属性情報を関連付けて記憶しており、
前記情報取得処理では、前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた前記所定の文字列の属性情報を取得し、
前記一体化処理では、前記属性情報に基づいて前記所定の文字列を変更した後、前記画像又は図形と前記所定の文字列とを一体化して表示する、
ことを特徴とする請求項１８に記載の情報処理方法。
【請求項２０】
前記属性情報は、前記文字列の前記画像又は図形に対する位置、前記文字列の前記画像又は図形からの距離、前記文字列の文字サイズ、前記文字列のフォント、前記文字列の装飾、前記文字列の色の中から選択される１以上を含む、
ことを特徴とする請求項１９に記載の情報処理方法。
【請求項２１】
前記ＤＢは、画像又は図形に、音情報を関連付けて記憶しており、
前記情報取得処理では、前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた音情報を取得し、
前記一体化処理では、前記画像又は図形と前記音情報とを一体化する、
ことを特徴とする請求項１８乃至２０のいずれか一に記載の情報処理方法。
【請求項２２】
前記検索処理では、前記文書内の検索範囲の指定、又は、前記文書に挿入された前記画像又は図形に対する検索方向の指定を受け付け、指定された前記検索範囲又は前記検索方向に従って、前記文書から前記所定の文字列を検索する、
ことを特徴とする請求項１８乃至２１のいずれか一に記載の情報処理方法。
【請求項２３】
前記検索処理では、前記文書から検索した前記所定の文字列を、当該所定の文字列の周囲の文字列と区別できるように表示する、
ことを特徴とする請求項１８乃至２２のいずれか一に記載の情報処理方法。
【請求項２４】
前記一体化処理では、前記文書から複数の前記所定の文字列が検索された場合、一体化する前記所定の文字列の指定を受け付け、前記画像又は図形と指定された前記所定の文字列とを一体化して表示する、
ことを特徴とする請求項１８乃至２３のいずれか一に記載の情報処理方法。
【請求項２５】
前記一体化処理では、一体化した前記画像又は図形と前記所定の文字列とが配置される領域に存在する前記文書の文字列が、前記領域外に配置されるように、前記文書のレイアウトを変更する、
ことを特徴とする請求項１８乃至２４のいずれか一に記載の情報処理方法。
【請求項２６】
前記一体化処理では、前記画像又は図形と一体化する前記所定の文字列を、一体化後に前記文書から削除するかどうかの指定を受け付ける、
ことを特徴とする請求項１８乃至２５のいずれか一に記載の情報処理方法。
【請求項２７】
前記一体化処理では、前記画像又は図形と前記所定の文字列の一方に対して、移動、拡大／縮小、変形、色変更のいずれかの編集操作が行われた場合、前記画像又は図形と前記所定の文字列の他方に対して、互いの位置関係を維持した移動、同じ倍率での拡大／縮小、同じ割合での変形、同じ色への変更を行う、
ことを特徴とする請求項１８乃至２６のいずれか一に記載の情報処理方法。
【請求項２８】
前記一体化処理では、前記所定の文字列に対して、移動、拡大／縮小、変形、色変更のいずれかの編集が行われた場合でも、前記所定の文字列の情報をフォント情報として保持する、
ことを特徴とする請求項２７に記載の情報処理方法。
【請求項２９】
前記一体化処理では、前記文書の他の文字列に対する、文字サイズ、フォント、装飾、色の少なくとも１つの変更は、前記画像又は図形と一体化する前記所定の文字列に対して適用しない、
ことを特徴とする請求項１８乃至２８のいずれか一に記載の情報処理方法。
【請求項３０】
前記情報処理装置は、更に、
前記文書を印刷装置に印刷させる印刷データを生成する印刷データ生成処理を実行し、
前記印刷データ生成処理では、前記文書の印刷ページの区切り位置を特定し、一体化した前記画像又は図形と前記所定の文字列とを印刷する領域が前記区切り位置を跨ぐ場合、前記領域の移動又は拡大／縮小を促す警告を行う、
ことを特徴とする請求項１８乃至２９のいずれか一に記載の情報処理方法。
【請求項３１】
前記情報管理装置は、
前記通信ネットワークに接続される装置から文書を取得する収集処理と、
取得した前記文書を解析して前記ＤＢを作成するＤＢ作成処理と、を実行し、
前記ＤＢ作成処理では、前記文書に含まれる画像又は図形を特定し、特定した前記画像又は図形の周辺又は内部に存在する文字列を抽出し、抽出した前記文字列の中に、複数の文書又は複数のページに共通して存在する文字列がある場合、当該文字列を、前記画像又は図形に関連付けて前記ＤＢに登録する、
ことを特徴とする請求項１８乃至３０のいずれか一に記載の情報処理方法。
【請求項３２】
前記ＤＢ作成処理では、特定した前記画像又は図形の周辺の文字列を含む領域を切り取り、複数の前記領域を、前記画像又は図形の大きさ及び向きを合わせて重ね合わせることにより、特定した前記画像又は図形の周辺又は内部に共通して存在する文字列を抽出する、
ことを特徴とする請求項３１に記載の情報処理方法。
【請求項３３】
前記一体化処理では、前記文書に挿入された画像又は図形の周辺に存在する文字列の中から、一体化して表示する文字列の指定を受け付け、前記画像又は図形と指定された前記文字列とを前記情報管理装置に通知し、
前記ＤＢ作成処理では、前記情報処理装置から通知された前記画像又は図形と前記文字列とを、前記ＤＢに追加する、
ことを特徴とする請求項３１又は３２に記載の情報処理方法。
【請求項３４】
前記一体化処理では、前記文書に挿入された画像又は図形と一体化する音情報の指定を受け付け、前記画像又は図形と指定された前記音情報とを前記情報管理装置に通知し、
前記ＤＢ作成処理では、前記情報処理装置から通知された前記画像又は図形と前記音情報とを、前記ＤＢに追加する、
ことを特徴とする請求項３３に記載の情報処理方法。
【請求項３５】
文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムで動作する情報処理プログラムであって、
前記情報処理装置に、
前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた所定の文字列を取得する情報取得処理、
前記文書から、前記所定の文字列を検索する検索処理、
前記文書から、前記所定の文字列が検索された場合に、前記文書に挿入された画像又は図形と前記所定の文字列とを一体化して表示する一体化処理、を実行させる、
ことを特徴とする情報処理プログラム。
【請求項３６】
前記ＤＢは、画像又は図形に、文字列の属性情報を関連付けて記憶しており、
前記情報取得処理では、前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた前記所定の文字列の属性情報を取得し、
前記一体化処理では、前記属性情報に基づいて前記所定の文字列を変更した後、前記画像又は図形と前記所定の文字列とを一体化して表示する、
ことを特徴とする請求項３５に記載の情報処理プログラム。
【請求項３７】
前記ＤＢは、画像又は図形に、音情報を関連付けて記憶しており、
前記情報取得処理では、前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた音情報を取得し、
前記一体化処理では、前記画像又は図形と前記音情報とを一体化する、
ことを特徴とする請求項３５又は３６に記載の情報処理プログラム。
【請求項３８】
文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムで動作する情報処理プログラムであって、
前記情報管理装置に、
前記通信ネットワークに接続される装置から文書を取得する収集処理、
取得した前記文書を解析して前記ＤＢを作成するＤＢ作成処理、
前記情報処理装置から前記画像又は図形が通知された場合に、前記ＤＢから、当該画像又は図形に関連付けられた文字列を抽出して通知する通知処理、を実行させ、
前記ＤＢ作成処理では、前記文書に含まれる画像又は図形を特定し、特定した前記画像又は図形の周辺又は内部に存在する文字列を抽出し、抽出した前記文字列の中に、複数の文書又は複数のページに共通して存在する文字列がある場合、当該文字列を、前記画像又は図形に関連付けて前記ＤＢに登録する、
ことを特徴とする情報処理プログラム。
【請求項３９】
前記ＤＢ作成処理では、特定した前記画像又は図形の周辺の文字列を含む領域を切り取り、複数の前記領域を、前記画像又は図形の大きさ及び向きを合わせて重ね合わせることにより、特定した前記画像又は図形の周辺又は内部に共通して存在する文字列を抽出する、
ことを特徴とする請求項３８に記載の情報処理プログラム。
【請求項４０】
前記収集処理では、前記通信ネットワークに接続される装置から音情報を取得し、
前記ＤＢ作成処理では、前記画像又は図形に、前記音情報を関連付け、
前記通知処理では、前記情報処理装置から前記画像又は図形が通知された場合に、前記ＤＢから、当該画像又は図形に関連付けられた前記音情報を抽出して通知する、
ことを特徴とする請求項３８又は３９に記載の情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関し、特に、画像又は図形と当該画像又は図形に関連付けられた文字列や音情報とを一体化して扱う情報処理システム、当該情報処理システムにおける情報処理方法及び当該情報処理システムで動作する情報処理プログラムに関する。
【背景技術】
【０００２】
東京オリンピックのエンブレム（登録商標、以下省略）の画像とTokyo2020（登録商標、以下省略）の文字列のように、画像や図形（以下、画像等と称する。）と文字列とがセットになってメッセージ性のあるシンボルになっているものが多く見られる。会社のマークも同様であり、一緒に用いられるメッセージ性のある文字列が、マークと共にその会社のイメージ作りに役立っている。このような文字列は、画像等に対する位置や画像等との距離、文字のサイズやフォントなども含めて画像等と一体化してシンボルを形成している。
【０００３】
このようなシンボルでは、文字列の情報は画像等の一部としてビットマップ形式で含まれている場合が多く、シンボルを編集しようとすると、文字列の部分の画像品質が問題になることがある。この画像品質の問題を回避するために、シンボルの編集時に、画像等と文字列とを切り離して取り扱う方法があり、この場合は、ユーザが画像等とセットになる文字列を調べ、キーボードなどで打ち込むことによって文字列のデータを作成している。
【０００４】
このような画像等と文字列とを関連付ける技術に関して、例えば、下記特許文献１には、文書に含まれる文字及び図形を取得する文字図形取得手段と、前記文字と前記図形との幾何学的関係に基づき、前記図形及び、前記図形に関連付けられている前記文字を含む図形領域を取得する図形領域取得手段と、を有する図形領域取得装置が開示されている。
【０００５】
また、下記特許文献２には、テキストと、当該テキストに関する図表とを含む文書を、表示画面上に表示する文書表示装置であって、前記文書を解析し、文書に含まれるテキストと図表との関連性を判定する文書関連性判定手段と、前記文書に含まれるテキストおよび図表の前記表示画面における表示タイミングを制御し、所定の図表と、前記文書関連性判定手段によって当該図表と関連性があると判定されたテキストとの表示期間を一致させる表示タイミング制御手段と、を備える構成が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−０５４８２５号公報
【特許文献２】特開２００６−２４３８６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像等とその画像等に関係が深い文字列との組み合わせはある程度決まっており、その組み合わせにより全体のイメージが出来上がる。従って、きちんとしたメッセージ性があるシンボルを作るためには、画像等と文字列とを適切に組み合わせなければならないが、文字列の部分の画像品質の問題を回避するために、画像等と文字列とを切り離して取り扱う場合、画像等に対応する文字列を知らない人は文字列を調べて文字列のデータを作成しなければならず、煩雑である。
【０００８】
また、文字列を別データとした場合は、画像等と一体化して取り扱うことができないため、編集時は、画像等と文字列の両方について、個別に大きさ、配置、色、字体、修飾などを設定しなければならず、煩雑である。また、印刷時は、画像等と文字列とが別ページに分割されないように、プレビューで印刷仕上がり具合を確認したり、その結果に応じて更に移動や縮小、再配置等の追加編集を行ったりしなければならず、煩雑である。
【０００９】
更に、近年、音の商標登録が進んでおり、画像等と音が一体化して使われるようになってきている。文書の中には音の埋め込みや再生が可能なフォーマットがあるが、画像と音はリンクしていない。そのため、編集時には、画像等に対応する音を調べ、画像等に対して個別に音を関連付けなければならず、煩雑である。
【００１０】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、文書に画像又は図形を挿入した場合に、挿入した画像又は図形に対して文字列や音情報を適切に関連付けることができる情報処理システム、情報処理方法及び情報処理プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一側面は、文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムであって、前記情報処理装置は、前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた所定の文字列を取得する情報取得部と、前記文書から、前記所定の文字列を検索する検索部と、前記文書から、前記所定の文字列が検索された場合に、前記文書に挿入された画像又は図形と前記所定の文字列とを一体化して表示する一体化処理部と、を備えることを特徴とする。
【００１２】
本発明の一側面は、文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムにおける情報処理方法であって、前記情報処理装置は、前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた所定の文字列を取得する情報取得処理と、前記文書から、前記所定の文字列を検索する検索処理と、前記文書から、前記所定の文字列が検索された場合に、前記文書に挿入された画像又は図形と前記所定の文字列とを一体化して表示する一体化処理と、を実行することを特徴とする。
【００１３】
本発明の一側面は、文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムで動作する情報処理プログラムであって、前記情報処理装置に、前記ＤＢから、前記文書に挿入された画像又は図形に関連付けられた所定の文字列を取得する情報取得処理、前記文書から、前記所定の文字列を検索する検索処理、前記文書から、前記所定の文字列が検索された場合に、前記文書に挿入された画像又は図形と前記所定の文字列とを一体化して表示する一体化処理、を実行させることを特徴とする。
【００１４】
本発明の一側面は、文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムで動作する情報処理プログラムであって、前記情報管理装置に、前記通信ネットワークに接続される装置から文書を取得する収集処理、取得した前記文書を解析して前記ＤＢを作成するＤＢ作成処理、前記情報処理装置から前記画像又は図形が通知された場合に、前記ＤＢから、当該画像又は図形に関連付けられる文字列を抽出して通知する通知処理、を実行させ、前記ＤＢ作成処理では、前記文書に含まれる画像又は図形を特定し、特定した前記画像又は図形の周辺又は内部に存在する文字列を抽出し、抽出した前記文字列の中に、複数の文書又は複数のページに共通して存在する文字列がある場合、当該文字列を、前記画像又は図形に関連付けて前記ＤＢに登録することを特徴とする。
【発明の効果】
【００１５】
本発明の情報処理システム、情報処理方法及び情報処理プログラムによれば、文書に画像又は図形を挿入した場合に、挿入した画像又は図形に対して文字列や音情報を適切に関連付けることができる。
【００１６】
その理由は、文書の編集を行う情報処理装置と、画像又は図形に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムにおいて、情報処理装置は、ＤＢから、文書に挿入された画像又は図形に関連付けられた所定の文字列を取得し、文書から所定の文字列を検索し、文書に挿入された画像又は図形と所定の文字列とを一体化して表示するからである。また、画像又は図形に文字列の属性情報が関連付けられている場合、ＤＢから、所定の文字列の属性情報を取得し、属性情報に基づいて所定の文字列を変更した後、画像又は図形と所定の文字列とを一体化して表示したり、画像又は図形に音情報が関連付けられている場合、ＤＢから、文書に挿入された画像又は図形に関連付けられた音情報を取得し、画像又は図形と音情報とを一体化したりするからである。また、印刷装置に印刷させる印刷データを生成する際に、文書の印刷ページの区切り位置を特定し、一体化した画像又は図形と所定の文字列とを印刷する領域が区切り位置を跨ぐ場合、その領域の移動又は拡大／縮小を促す警告を行うからである。
【００１７】
このように、本発明では、文書に画像又は図形を挿入した時に、画像又は図形との結びつきが強い文字列（又は文字列及び音情報）があれば、画像又は図形と文字列（又は文字列及び音情報）とが一体として取り扱われるため、画像又は図形に対応する文字列や音情報をユーザが調べる必要がなくなる。また、文字列については、属性（画像又は図形に対する位置、画像又は図形からの距離、文字サイズ、フォント、修飾、色など）が適用されるため、文字列に対して属性設定をする必要がなくなる。文書の印刷時に、画像又は図形と文字列とが別ページに分割される場合は警告が行われるため、画像又は図形と文字列とが分断されてしまう不都合を未然に回避することができる。これらにより、画像を挿入するだけでメッセージ性のあるシンボルを作成することができ、ユーザの利便性を向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態に係る情報処理方法（画像と文字列との一体化処理）を説明する模式図である。
【図２】本発明の一実施の形態に係るＤＢに記憶される情報を説明するテーブルである。
【図３】本発明の一実施の形態に係る情報処理方法（画像と文字列との一体化／登録処理）を説明する模式図である。
【図４】本発明の一実施の形態に係る情報処理方法（一体化後の文書の印刷処理）を説明する模式図である。
【図５】本発明の一実施の形態に係る情報処理方法（データの蓄積処理）を説明する模式図である。
【図６】本発明の一実施の形態に係る情報処理方法（解析処理）を説明する模式図である。
【図７】本発明の第１の実施例に係る情報処理システムの構成を示す模式図である。
【図８】本発明の第１の実施例に係る情報処理装置の構成を示すブロック図である。
【図９】本発明の第１の実施例に係る情報管理装置の構成を示すブロック図である。
【図１０】本発明の第１の実施例に係る情報処理装置の動作を示すフローチャート図である。
【図１１】本発明の第１の実施例に係る情報処理装置の動作（拡大縮小処理）を示すフローチャート図である。
【図１２】本発明の第１の実施例に係る情報処理装置の動作（移動処理）を示すフローチャート図である。
【図１３】本発明の第１の実施例に係る情報処理装置の動作（変形処理）を示すフローチャート図である。
【図１４】本発明の第１の実施例に係る情報処理装置の動作（印刷データ生成処理）を示すフローチャート図である。
【図１５】本発明の第１の実施例に係る情報管理装置の動作を示すフローチャート図である。
【図１６】本発明の第１の実施例に係る一体化した画像と文字列の変形例を示す模式図である。
【図１７】本発明の第２の実施例に係る情報管理装置の構成を示すブロック図である。
【図１８】本発明の第２の実施例に係る情報管理装置の動作（ＤＢ作成処理）を示すフローチャート図である。
【発明を実施するための形態】
【００１９】
背景技術で示したように、画像等（画像や図形）と文字列とがセットになってメッセージ性のあるシンボルになっているものが多い。このようなシンボルでは、文字列の情報は画像等の一部としてビットマップ形式で含まれている場合が多く、シンボルを編集しようとすると、文字列の部分の画像品質が問題になることから、画像等と文字列とを切り離して取り扱う方法が用いられる。
【００２０】
しかしながら、画像等と文字列とを切り離して取り扱う場合、画像等に対応する文字列を知らない人は文字列を調べて文字列のデータを作成しなければならず、煩雑である。また、文字列を別データとした場合は、画像等と一体化して取り扱うことができないため、編集時は、画像等と文字列の両方について、個別に大きさ、配置、色、字体、修飾などを設定しなければならず、煩雑である。また、印刷時は、画像等と文字列とが別ページに分割されないように、プレビューで印刷仕上がり具合を確認したり、更に移動や縮小、再配置等の追加編集を行ったりしなければならず、煩雑である。更に、近年、画像等と音が一体化して使われるようになってきているが、画像と音はリンクしていないため、編集時には、画像等に対応する音を調べ、画像等に対して個別に音を関連付けなければならず、煩雑である。
【００２１】
そこで、本発明の一実施の形態では、文書中に画像等を挿入する際、予め作成したデータベース（以下、ＤＢと略記する。）から、その画像等に関連付けられる文字列（又は文字列及び音情報）を取得し、文書からその文字列を検索し、文書中にその文字列がある場合は、挿入した画像等と文字列（又は文字列及び音情報）とを一体化して取り扱う。
【００２２】
具体的には、文書の編集を行う情報処理装置と、画像等に文字列を関連付けるＤＢを管理する情報管理装置と、が通信ネットワークで接続された情報処理システムにおいて、情報処理装置は、ＤＢから、文書に挿入された画像等に関連付けられた所定の文字列を取得し、文書から所定の文字列を検索し、文書に挿入された画像等と所定の文字列とを一体化して表示する。また、画像等に文字列の属性情報が関連付けられている場合、ＤＢから、所定の文字列の属性情報を取得し、属性情報に基づいて所定の文字列を変更した後、画像等と所定の文字列とを一体化して表示する。また、画像等に音情報（音のデータ若しくは音のデータを保存する場所を示す情報）が関連付けられている場合、ＤＢから、文書に挿入された画像等に関連付けられた音情報を取得し、画像等と音情報とを一体化する。また、印刷装置に印刷させる印刷データを生成する際に、文書の印刷ページの区切り位置を特定し、一体化した画像等と所定の文字列とを印刷する領域が区切り位置を跨ぐ場合、その領域の移動又は拡大／縮小を促す警告を行う。
【００２３】
これにより、画像等と共に用いられる文字列（又は文字列及び音情報）を知らなくても、画像等と文字列（又は文字列及び音情報）とを合わせたメッセージ性のあるシンボルを作成することができる。また、文字列にはＤＢから取得した文字サイズ、フォント、修飾、色、画像等に対する位置、画像等からの距離などの属性も一緒に適用されるため、画像等に対した形態で文字列を一体化させることができる。また、一体化後に画像等（又は文字列）に対して行われた移動、拡大／縮小、変形、色変更などの編集操作は、文字列（又は画像等）に対しても適用されるため、画像等と文字列とを別々に操作する必要がなくなり、煩雑さを低減することができる。また、印刷時に、画像等と文字列とがページの切れ目を跨ぐ場合は、その旨を警告するため、画像等と文字列とが別々のページに分割して印刷される不都合を防止することができる。
【００２４】
以下、図面を参照して具体的に説明する。
【００２５】
図１は、画像と文字列の一体化処理を示している。まず、（１）に示すように、文書中に画像（ここでは、東京オリンピックのエンブレムの画像）を挿入する。例えば、文書を編集する装置の表示部に文書を表示させた状態で、操作部を操作して画像を挿入する。すると、（２）に示すように、文書を編集する装置は、画像に紐付けられた（関連付けられた）文字列の有無を、ＤＢを管理する装置に問い合わせる。
【００２６】
このＤＢには、図２に示すように、画像と、その画像に紐付けられる文字列と、その文字の属性情報（画像に対する位置、画像との距離、文字サイズ、フォント、装飾、色など）と、必要に応じて音情報（図示せず）と、を関連付けた情報が記憶されており、（３）に示すように、ＤＢを管理する装置は、上記の問い合わせに対して、ＤＢから、画像に紐付けられた文字列（又は文字列及び音情報）を検索し、画像に紐付けられた文字列（又は文字列及び音情報）がある場合は、文字列（又は文字列及び音情報）と文字列の属性情報とを全て応答する。例えば、東京オリンピックのエンブレムの画像に紐付けられた文字列の問い合わせがあった場合は、「Tokyo2020」と「今、ニッポンにはこの夢の力が必要だ」の文字列と、各々の文字列の属性情報とを応答する。なお、ここでは、文書を編集する装置がＤＢを管理する装置に問い合わせを行い、ＤＢを管理する装置がこの問い合わせに対して応答を返すものとしたが、文書を編集する装置が、ＤＢから、画像に紐付けられた文字列（又は文字列及び音情報）を取得してもよい。
【００２７】
文書を編集する装置は、ＤＢを管理する装置からの応答を受信すると、文書の中から、画像に紐付けられた文字列を検索する。その際、画像に紐付けられた文字列が複数ある場合（例えば、上述したように「Tokyo2020」と「今、ニッポンにはこの夢の力が必要だ」の２つが存在する場合）、画像と一体化する文字列をマウスクリックなどで個別に選択する。なお、複数の文字列の内の１つを選択してもよいし、文字列の位置が重ならなければ複数選択してもよいし、一体化したくない場合は全てを非選択にしてもよい。また、文書の全体から文字列を検索してもよいし、ページ単位で文字列を検索してもよいし、（４）に示すように、文字列を検索する範囲や方向をマウスクリックで指定（例えば、矩形の領域を指定、又は、上下左右の方向を指定）してもよい。
【００２８】
そして、文書を編集する装置は、（５）に示すように、指定された範囲や方向で文字列を検索した結果、文字列が見つかった場合は、その文字列を周囲の文字列と区別できるように表示する。例えば、その文字列を周囲の文字列とは異なる太さで表示したり、異なる色（例えば、赤）で表示したり、反転（画面と文字列の明暗を反転）して表示したり、点滅させたりする。なお、文字列が複数ある場合は、画像と文字列との紐付けは個別に設定することができる。
【００２９】
その後、ユーザが画像に紐付けする文字列をマウスクリックなどで選択すると、文書を編集する装置は、画像と文字列と必要に応じて音情報を一体化する。例えば、（６）に示すように、文字列に属性情報を適用して画像と一体化して表示する（必要に応じて画像と一体化した文字列を文書から削除する）と共に、一体化した画像と文字列の配置に応じて文書の他の文字列を再レイアウト（一体化した画像と文字列の周囲にレイアウトし直したり、一体化した画像と文字列の外周の形に沿ってレイアウトしたり）する。更に、必要に応じて、画像に音データを保存する場所を示す情報を埋め込んだり、音データを保存する場所を示すバーコードなどを画像の近傍に表示したりする。なお、文字列は、ＤＢから取得した属性情報に従って、画像に対する位置や画像からの距離、文字サイズ、フォント、装飾、色などを適用することが好ましいが、適用の要否を切り換え可能にしてもよく、適用しない場合は、一体化指示がされた時の画像と文字列との位置関係を保って一体化することができる。その場合は、文字サイズ、フォント、修飾、色は元の文書に存在していたときのままとなる。また、一体化した画像と文字列の一方を編集（移動、拡大／縮小、変形、色変更）すると、他方にも同じ編集が実施されるようにする。
【００３０】
図３は、画像と文字列の一体化／登録処理の例を示している。まず、図１と同様に、文書中に画像を挿入すると（（１）参照）、文書を編集する装置は、画像に紐付けられた文字列の有無を、ＤＢを管理する装置に問い合わせ（（２）参照）、ＤＢを管理する装置は、ＤＢから画像に紐付けられた文字列（又は文字列及び音情報）を検索し、画像に紐付けられた文字列（又は文字列及び音情報）がある場合は、文字列（又は文字列及び音情報）と文字列の属性情報を全て応答する（（３）参照）。そして、一体化する文字列をマウスクリックなどで個別に選択し、文字列を検索する範囲や方向を指定すると（（４）参照）、文書を編集する装置は、指定された範囲や方向で文字列を検索し、文字列が見つかった場合は、その文字列を周囲の文字列と区別できるように表示する。
【００３１】
ここで、図１の例では、検索した文字列の中から一体化する文字列を選択したが、（６）に示すように、検索した文字列をマウスクリックなどでキャンセルして、自分が一体化したい文字列を選び直すこともできる。例えば、検索した文字列が、「Tokyo2020」と「今、ニッポンにはこの夢の力が必要だ」の２つであり、ユーザはそのどちらの文字列も画像と一体化したくない場合は、これらの文字列をキャンセルし、自分が一体化したい文字列（ここでは、「東京オリンピック」）を選択することもできる。その場合、選択した文字列は、表示されている文字サイズ、フォント、装飾、色などを適用し、現在の位置関係（画像に対する位置及び画像からの距離）で画像と一体化する。
【００３２】
そして、文書を編集する装置は、ＤＢを管理する装置に、画像と選択した文字列とその文字列の属性情報とを通知する。ＤＢを管理する装置では、一連のデータを蓄積し、蓄積したデータが一定数を超えたらＤＢに登録する。すなわち、蓄積したデータが一定数を超えなければ、画像に対する文字列の応答には影響はない。なお、ここでは、検索した文字列をキャンセルして自分が一体化したい文字列を選択したが、検索した文字列に加えて自分が選択した文字列（例えば、「Tokyo2020」と「東京オリンピック」の双方）を画像と一体化することもできる。
【００３３】
図４は、一体化後の文書の印刷処理を示している。例えば、東京オリンピックのエンブレムの画像と「Tokyo2020」の文字列を一体化する場合、一体化した文字列は画像ではないため、この画像と文字列とがページを跨いで印刷される場合がある。その場合、文書を編集する装置は、印刷ページの区切り位置を特定し、一体として取り扱う領域（枠線内）が区切り位置を跨ぐ場合、上記一体化領域の移動や拡大／縮小を促す警告を出す。この警告に対して、ユーザが一体化領域の移動や拡大／縮小等の編集を行うことで、画像と文字列の分断を回避することができる。なお、この警告の表示形態は特に限定されないが、例えば、印刷指示画面の目立つ場所に表示したり、警告に対してユーザが所定の操作を行わないと印刷が実行されないようにしたりすることができる。
【００３４】
図５は、画像と文字列（又は文字列及び音情報）とを関連付けるデータの蓄積処理を示している。図５のように、ＤＢを管理する装置は、サーバやＨＰなど、通信ネットワークを介してアクセスできる場所に置かれている様々な文書を取得し、文書に画像が含まれている場合、画像の周辺にどのような文字列が存在するか、画像にどのような音が関連付けられているかを解析し、その結果を蓄積していく。この解析は、画像を中心とした周辺の特定範囲（例えば、前後左右に２行２列離れた範囲まで）などに限定して行うことができる。
【００３５】
具体的には、まず、様々な場所から取得した画像を含む文書に含まれる画像を特定し、特定した画像に注目して同じ画像が含まれる文書群を作る。次に、その文書群の各文書について、文書内で画像の周辺の限定範囲内に共通する文字列があるか、画像に共通する音情報があるかを探す。複数の文書を解析した結果、共通度の高い文字列（又は文字列及び音情報）があれば、この文字列（又は文字列及び音情報）を画像に対して紐付ける候補として登録する。次に、各文書について、個別にその文字列に着目して、画像に対する位置、画像からの距離、文字サイズ、フォント、修飾、色などの属性情報を蓄積していく。ある一定の割合を超えて高い共通性が確認できた場合、それらの属性を文字列に共通する属性として登録する。
【００３６】
なお、画像に紐付ける文字列を抽出する方法として以下の方法を用いることも出来る。例えば、画像を中心とした文字を含む領域を切り取り、複数の領域を、画像の大きさ及び向きを合わせるように回転、拡大／縮小を行って重ね合わせる。共通の場所に共通の文字列がある場合は、重ね合わせた後もその文字列を判読することができるので、判読できる文字列を画像に紐付ける候補とすることができる。また、文字列は画像の周辺だけでなく、画像の内部を含めても解析しても良い。その場合は、ＯＣＲ（Optical Character Recognition）技術を用いて、画像から文字を抽出すればよい。
【００３７】
そして、文字列（又は文字列及び音情報）の候補を抽出したら、次の画像に注目して同じ解析を繰り返し、ＤＢに画像と文字列（又は文字列及び音情報）と属性情報とを関連付けて蓄積する。
【００３８】
図６は、上記文書の解析処理の一例を示している。まず、画像に注目する。次に、各々の文書に対して文字列を探す範囲（図の破線で囲んだ範囲）を設定し、注目する画像と一緒に用いられる文字列を抽出する。次に、抽出した文字列に中から共通する文字列を抽出する。例えば、文書Ａでは画像の上１行、下２行に文字列あり、文書Ｂでは画像の下２行に文字列あることから、下２行の文字列（「KONICA MINOLTA」と「Giving shape to ideas」）は共通と認識する。そして、共通する文字列について、画像に対する位置、画像からの距離、文字サイズ、フォント、修飾、色などを解析して結果を蓄積し、高い共通性が確認できたら、それらの属性を文字列に共通する属性として登録する。
【００３９】
なお、特定した画像の解析数全体に対して同じ文字列が同じ場所に存在する割合が所定の値（例えば８０％）を超えた場合や存在する回数が所定数を超えた場合に、問い合わせに対して応答する文字列として登録することができる。また、属性情報についても、同じ割合や回数で判断しても良いし、属性情報は文字列とは別の割合や回数で判断しても良い。
【実施例１】
【００４０】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る情報処理システム、情報処理方法及び情報処理プログラムについて、図７乃至図１６を参照して説明する。図７は、本実施例の情報処理システムの構成を示す模式図であり、図８は、本実施例の情報処理装置の構成を示すブロック図、図９は、本実施例の情報管理装置の構成を示すブロック図である。また、図１０乃至図１４は、本実施例の情報処理装置の動作を示すフローチャート図、図１５は、本実施例の情報管理装置の動作を示すフローチャート図であり、図１６は、一体化した画像と文字列の変形例を示す模式図である。
【００４１】
なお、以下の説明では、文書に挿入される画像又は図形を画像とする。また、音情報とは、ＷＡＶ又はＷＡＶＥ（RIFF waveform Audio Format）などの音声データや音楽データ、若しくは、これらのデータを保存する場所を示すリンク情報などである。また、以下の説明では、ＤＢには、画像と文字列（又は文字列及び音情報）と属性情報とが関連付けて記憶されるものとするが、少なくとも、画像と文字列とが関連付けて記憶されていればよい。
【００４２】
図７に示すように、本実施例の情報処理システム１０は、情報処理装置２０と情報管理装置３０などで構成され、これらは、イーサネット（登録商標）、トークンリング、ＦＤＤＩ（Fiber-Distributed Data Interface）等の規格により定められるＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の通信ネットワーク４０を介して接続されている。以下、各装置について説明する。
【００４３】
［情報処理装置］
情報処理装置２０は、文書の編集を行うコンピュータ装置であり、図８（ａ）に示すように、制御部２１、記憶部２５、ネットワークＩ／Ｆ部２６、表示部２７、操作部２８などで構成される。
【００４４】
制御部２１は、ＣＰＵ（Central Processing Unit）２２とＲＯＭ（Read Only Memory）２３やＲＡＭ（Random Access Memory）２４などのメモリとで構成され、ＣＰＵ２２は、ＲＯＭ２３や記憶部２５に記憶した制御プログラムをＲＡＭ２４に展開して実行することにより、情報処理装置２０全体の動作を制御する。また、図８（ｂ）に示すように、上記制御部２１は、情報取得部２１ａ、検索部２１ｂ、一体化処理部２１ｃ、印刷データ生成部２１ｄなどとして機能する。
【００４５】
情報取得部２１ａは、文書に挿入された画像に関連付けられた文字列（又は文字列及び音情報）及び文字列の属性情報を取得する。具体的には、表示部２７に表示されている文書に対して、画像を挿入する操作が行われた場合、その画像のデータ又はその画像を特定する情報（例えば、画像の名称など）を情報管理装置３０に送信し、その画像に関連付けられた文字列（又は文字列及び音情報）及び文字列の属性情報を情報管理装置３０から取得する。若しくは、情報取得部２１ａは、情報管理装置３０に記憶されたＤＢを参照して、文書に挿入された画像に関連付けられた文字列（又は文字列及び音情報）を特定し、文字列（又は文字列及び音情報）及び文字列の属性情報を取得する。なお、属性情報とは、文字列の画像に対する位置、文字列の画像からの距離、文字列の文字サイズ、文字列のフォント、文字列の装飾、文字列の色などである。
【００４６】
検索部２１ｂは、文書の中から、情報取得部２１ａが取得した文字列を検索する。文字列の検索範囲は、文書全体としても良いし、表示部２７に表示されているページ内としてもよいし、文書内の検索範囲の指定、又は、文書に挿入した画像に対する検索方向の指定を受け付け、指定された検索範囲又は検索方向に従って、文書から文字列を検索してもよい。また、検索部２１ｂは、文字列が見つかった場合、その文字列を当該文字列の周囲の文字列と区別できるように表示（例えば、文字の太さを変えたり、色を変えたり、白黒を反転させたり、文字を点滅させたり）する。
【００４７】
一体化処理部２１ｃは、文書から文字列が検索された場合に、画像と文字列（又は文字列及び音情報）とを一体化する。具体的には、属性情報に基づいて文字列を変更した後、画像と文字列とを一体化して表示する。その際、文書から複数の文字列が検索された場合は、一体化する文字列の指定を受け付け、画像と指定された文字列とを一体化して表示する。また、情報取得部２１ａが画像に関連付けられた音情報も取得した場合は、画像と音情報とを一体化する。例えば、画像に音のデータのリンク先情報を埋め込んだ後（既に画像にリンク先情報が埋め込まれている場合はリンク先情報を差し替えた後）、画像と文字列とを一体化して表示し、画像に対して音の再生を指示することによって音が再生されるようにする。また、画像と文字列と音のデータのリンク先情報を示すバーコードとを一体化して表示し（既にリンク先情報を示すバーコードが表示されている場合はバーコードを差し替えて表示し）、バーコードに対して音の再生を指示することによって音が再生されるようにする。
【００４８】
また、一体化処理部２１ｃは、一体化した画像と文字列とが配置される領域に存在する文字列が、その領域外に配置されるように、文書のレイアウトを変更する。なお、元の文書は必ずしも再レイアウトする必要はなく、一体化した画像と文字列とを元の文書に上書きしても良い。また、一体化処理部２１ｃは、画像と一体化する文字列を、一体化後に元の文書から削除するかどうかの指定を受け付け、削除が指定された場合は、当該文字列を元の文書から削除する。この文字列を削除するかどうかの指定方法は特に限定されないが、例えば、文書を表示する画面にポップアップ画面を表示して指定を受け付けても良いし、文字列を削除するかどうかを予め設定できるようにしてもよい。
【００４９】
また、一体化処理部２１ｃは、画像と文字列の一方に対して、移動、拡大／縮小、変形、色変更などの編集操作が行われた場合、画像と文字列の他方に対して、互いの位置関係を維持した移動、同じ倍率での拡大／縮小、同じ割合での変形、同じ色への変更を行う。その際、文字列に対して、移動、拡大／縮小、変形、色変更のいずれかの編集が行われた場合でも、文字列の情報はフォント情報として保持する。また、色の変更に際して、文字列の色を所定の色に変更した場合、画像は全ての部分を上記所定の色に変更しても良いし、一部（例えば、主要な部分や文字列に近い部分）を上記所定の色に変更しても良い。また、文書の他の文字列に対する、文字サイズ、フォント、装飾、色などの変更は、画像と一体化する文字列に対して適用しないようにしてもよい。
【００５０】
印刷データ生成部２１ｄは、文書の印刷指示を受けた場合に、外部の印刷装置に文書を印刷させるための印刷データを生成する。その際、文書の印刷ページの区切り位置を特定し、一体化した画像と文字列とを印刷する領域が印刷ページの区切り位置を跨ぐ場合、その領域の移動、拡大／縮小などの編集を促す警告を行う。例えば、一体化した画像と文字列とが印刷ページの区切り位置を跨ぐ旨、及び、区切り位置を跨がないようにするためには、一体化した画像と文字列とに対する移動、拡大／縮小などの編集が必要である旨をユーザに通知する警告画面を表示部２７に表示させる。
【００５１】
なお、上記情報取得部２１ａ、検索部２１ｂ、一体化処理部２１ｃ、印刷データ生成部２１ｄはハードウェアとして構成してもよいし、制御部２１を、情報取得部２１ａ、検索部２１ｂ、一体化処理部２１ｃ、印刷データ生成部２１ｄ（特に、情報取得部２１ａ、検索部２１ｂ、一体化処理部２１ｃ）として機能させる情報処理プログラム（文書編集アプリケーションの一機能を実行するプログラム、若しくは、文書編集アプリケーションから読み出されるプログラム）として構成し、当該情報処理プログラムをＣＰＵ２２に実行させるようにしてもよい。
【００５２】
記憶部２５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵ２２が各部を制御するための各種プログラムや各種情報（文書のデータ、挿入する画像のデータ、情報管理装置３０から取得した文字列（又は文字列及び音情報）及び文字列の属性情報など）を記憶する。
【００５３】
ネットワークＩ／Ｆ部２６は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、情報処理装置２０を通信ネットワーク４０に接続し、情報管理装置３０との通信を可能にする。
【００５４】
表示部２７は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（electroluminescence）表示装置などで構成され、各種画面（例えば、文書の編集画面、上述した警告画面など）を表示する。
【００５５】
操作部２８は、マウスやキーボードなどで構成され、各種操作（例えば、文書への画像の挿入操作、画像に関連付けられた文字列（又は文字列及び音情報）を情報管理装置３０に問い合わせる操作、文字列の検索範囲や検索方向を指定する操作、一体化する文字列を選択する操作、一体化の指示、画像と一体化する文字列を一体化後に文書から削除するかどうかを指定する操作、検索された文字列に属性情報を適用するかしないかを指定する操作など）を受け付ける。
【００５６】
［情報管理装置］
情報管理装置３０は、ＤＢを管理するコンピュータ装置であり、画像と、その画像に紐付けられた文字列（又は文字列及び音情報）と、その文字列の属性情報と、を関連付けたＤＢを記憶／管理する。この情報管理装置３０は、図９（ａ）に示すように、制御部３１、記憶部３５、ネットワークＩ／Ｆ部３６、必要に応じて、表示部３７及び操作部３８などで構成される。
【００５７】
制御部３１は、ＣＰＵ３２とＲＯＭ３３やＲＡＭ３４などのメモリとで構成され、ＣＰＵ３２は、ＲＯＭ３３や記憶部３５に記憶した制御プログラムをＲＡＭ３４に展開して実行することにより、情報管理装置３０全体の動作を制御する。また、図９（ｂ）に示すように、上記制御部３１は、ＤＢ管理部３１ａなどとして機能する。
【００５８】
ＤＢ管理部３１ａは、情報処理装置２０からの文字列（又は文字列及び音情報）の問い合わせに対して、記憶部３５などに予め記憶した、画像と文字列（又は文字列及び音情報）と文字列の属性情報とを関連付けるＤＢを参照して、情報処理装置２０から通知された画像と同じ（と推定される）画像を探し、その画像に関連付けられた文字列（又は文字列及び音情報）と属性情報を取得して、情報処理装置２０に返す。応答の際、ある一定の割合を超えて高い共通性が確認できる文字列を全て返し、そのような文字列がない場合は、該当なしを返す。また、ＤＢ管理部３１ａは、情報処理装置２０から画像と文字列（又は文字列及び音情報）と属性情報とが通知されたら、これらをＤＢに蓄積する。
【００５９】
記憶部３５は、ＨＤＤやＳＳＤなどで構成され、ＣＰＵ３２が各部を制御するための各種プログラム、画像と文字列（又は文字列及び音情報）と文字列の属性情報とを関連付けるＤＢなどを記憶する。
【００６０】
ネットワークＩ／Ｆ部３６は、ＮＩＣやモデムなどで構成され、情報管理装置３０を通信ネットワーク４０に接続し、情報処理装置２０との通信を可能にする。
【００６１】
なお、図７乃至図９は本実施例の情報処理システム１０の一例であり、その構成や制御は適宜変更可能である。例えば、図９では、情報管理装置３０の記憶部３５にＤＢを記憶する（情報管理装置３０にＤＢを構築する）構成としたが、クラウド上にＤＢを仮想的に構築しても良い。
【００６２】
以下、本実施例の情報処理システム１０の動作について具体的に説明する。まず、情報処理装置２０の動作について、図１０乃至図１４のフローチャート図を参照して説明する。情報処理装置２０のＣＰＵ２２は、ＲＯＭ２３又は記憶部２５に記憶した情報処理プログラムをＲＡＭ２４に展開して実行することにより、図１０乃至図１４のフローチャート図に示す各ステップの処理を実行する。
【００６３】
［一体化処理］
まず、制御部２１は、表示部２７に表示している文書に対して画像が挿入されたかを判断する（Ｓ１０１）。文書に画像が挿入されない場合は（Ｓ１０１のＮｏ）、一体化処理が不要であるので一連の処理を終了する。
【００６４】
文書に画像が挿入された場合は（Ｓ１０１のＹｅｓ）、制御部２１（情報取得部２１ａ）は、挿入された画像のデータ若しくは画像を特定する情報を情報管理装置３０に送信して、画像に紐付く文字列（又は文字列及び音情報）の有無をＤＢに問い合わせる（Ｓ１０２）。なお、制御部２１（情報取得部２１ａ）自身が、ＤＢを参照して、画像に紐付く文字列（又は文字列及び音情報）を特定し、文字列（又は文字列及び音情報）及び属性情報を取得しても良い。
【００６５】
問い合わせた結果、画像に紐付く文字列（又は文字列及び音情報）があり、情報管理装置３０から文字列（又は文字列及び音情報）及び属性情報を取得した場合は（Ｓ１０３のＹｅｓ）、制御部２１（検索部２１ｂ）は、必要に応じて、文字列を検索する範囲や方向の指定を受け付け、指定された範囲や方向で取得した文字列を検索する（Ｓ１０４）。
【００６６】
検索の結果、取得した文字列が文書に存在する場合は（Ｓ１０５のＹｅｓ）、制御部２１（検索部２１ｂ）は、検索で見つかった文字列を文書内の他の文字列とは別の色で表示するなどして、検索で見つかった文字列を周囲の文字列と区別できるように表示する（Ｓ１０６）。
【００６７】
次に、制御部２１（一体化処理部２１ｃ）は、画像に紐付ける別の文字列（又は音情報）の指定があるか（すなわち、ユーザが画像に紐付ける文字列（又は音情報）を選択するか）を判断し（Ｓ１０７）、画像に紐付ける別の文字列（又は音情報）の指定がある場合は（Ｓ１０７のＹｅｓ）、Ｓ１１７に遷移し、画像に紐付ける文字列（又は文字列及び音情報）をＤＢに登録する処理（図の右側の処理）を実施する。この処理の詳細は後述する。
【００６８】
一方、画像に紐付ける別の文字列（又は音情報）の指定がない場合は（Ｓ１０７のＮｏ）、制御部２１（一体化処理部２１ｃ）は、ユーザの指定により取得した文字列（又は文字列及び音情報）を一体化処理の対象とするかを判断する（Ｓ１０８）。一体化処理の対象としない場合は（Ｓ１０８のＮｏ）、Ｓ１１２に遷移し、一体化処理の対象とする場合は（Ｓ１０８のＹｅｓ）、ＤＢから属性情報を取得したかを判断する（Ｓ１０９）。ＤＢから属性情報を取得しなかった（例えば、属性情報を適用しない旨の指定がある）場合は（Ｓ１０９のＮｏ）、Ｓ１１１に遷移し、ＤＢから属性情報を取得した場合は（Ｓ１０９のＹｅｓ）、制御部２１（一体化処理部２１ｃ）は、取得した文字列に属性情報を適用し（Ｓ１１０）、その後、一体化文字列として選択する（Ｓ１１１）。
【００６９】
そして、制御部２１（一体化処理部２１ｃ）は、ＤＢから他の文字列（又は他の音情報）を取得したかを判断し（Ｓ１１２）、他の文字列（又は他の音情報）を取得した場合は（Ｓ１１２のＹｅｓ）、Ｓ１０４に戻って同様の処理を繰り返す。ＤＢから他の文字列（又は他の音情報）を取得しなかった場合は（Ｓ１１２のＮｏ）、一体化指示があるかを判断し（Ｓ１１３）、一体化指示があった場合は（Ｓ１１３のＹｅｓ）、指定された全ての文字列（又は文字列及び音情報）を画像と一体化する（Ｓ１１５）。一体化指示がない場合は（Ｓ１１３のＮｏ）、一体化がキャンセルされたかを判断し（Ｓ１１４）、一体化がキャンセルされた場合は（Ｓ１１４のＹｅｓ）、一連の処理を終了し、一体化がキャンセルされなかった場合は（Ｓ１１４のＮｏ）、Ｓ１１３に戻って一体化指示を待つ。
【００７０】
また、ＤＢから画像に紐付く文字列が無いと回答を受けた場合（Ｓ１０３のＮｏ）や、ＤＢから取得した文字列が文書に存在しない場合（Ｓ１０５のＮｏ）は、制御部２１（一体化処理部２１ｃ）は、画像に紐付ける別の文字列（又は別の音情報）の指定があるかを判断し（Ｓ１１６）、別の文字列（又は別の音情報）の指定がない場合は（Ｓ１１６のＮｏ）、一連の処理を終了する。
【００７１】
一方、画像に紐付ける別の文字列（又は別の音情報）の指定がある場合は（Ｓ１０７のＹｅｓ、又は、Ｓ１１６のＹｅｓ）、制御部２１（一体化処理部２１ｃ）は、一体化指示があるかを判断し（Ｓ１１７）、一体化指示がない場合は（Ｓ１１７のＮｏ）、一体化がキャンセルされたかを判断する（Ｓ１１８）。一体化がキャンセルされた場合は（Ｓ１１８のＹｅｓ）、一連の処理を終了し、一体化がキャンセルされなかった場合は（Ｓ１１８のＮｏ）、Ｓ１１７に戻って一体化指示を待つ。一方、一体化指示があった場合は（Ｓ１１７のＹｅｓ）、制御部２１（一体化処理部２１ｃ）は、指定された文字列（又は文字列及び音情報）とその属性情報を取得し（Ｓ１１９）、指定された文字列を画像との現在の位置関係で一体化し（Ｓ１２０）、画像と文字列（又は文字列及び音情報）と属性情報をＤＢに通知する（Ｓ１２１）。
【００７２】
［一体化後の拡大／縮小処理］
図１１に示すように、制御部２１（一体化処理部２１ｃ）は、一体化した画像又は文字列を選択した状態で、マウスをクリックしながら移動した所までの距離を取得する（Ｓ２０１）。次に、制御部２１（一体化処理部２１ｃ）は、クリックした座標を中心に、画像に対する文字列の位置関係を保ちながら、マウスの移動距離に応じて画像、文字列の両方のサイズを変更し、リアルタイムに表示する（Ｓ２０２）。その際、文字列の情報は画像として持たず、変更後は元とは違うサイズのフォント情報として保持する。その後、制御部２１（一体化処理部２１ｃ）は、マウスのクリックを解除した座標までの距離に応じて変化させたサイズで画像、文字列のサイズを確定する（Ｓ２０３）。
【００７３】
［一体化後の移動処理］
図１２に示すように、制御部２１（一体化処理部２１ｃ）は、一体化した画像又は文字列をマウスクリックで選択し、マウスを移動後、マウスクリックを解除した座標に、一体化した画像及び文字列を移動して文書に挿入し、リアルタイムに表示する（Ｓ３０１）。次に、制御部２１（一体化処理部２１ｃ）は、移動挿入した、一体化した画像及び文字列の外周に合わせて文字領域を確保し、元々文書にある他の文字列をその文字領域に再レイアウトし、リアルタイムに表示する（Ｓ３０２）。
【００７４】
［一体化後の変形処理］
図１３に示すように、制御部２１（一体化処理部２１ｃ）は、マウスクリックで選択された一体化した画像及び文字列について、外周に沿って矩形領域を設定する（Ｓ４０１）。次に、制御部２１（一体化処理部２１ｃ）は、矩形の任意の辺を選択した状態でクリックした座標からマウスを移動した所までの距離を取得する（Ｓ４０２）。次に、制御部２１（一体化処理部２１ｃ）は、マウスの移動距離に応じて、選択した辺の長さを変更する。例えば、図１６に示すように、画像に対する文字列の位置を保ちながら選択していない辺側は元のサイズ、選択した辺側は変更後のサイズになるように、その画像及び文字列のサイズをリニアに変更し、リアルタイムに表示する（Ｓ４０３）。その際、文字列については左右や上下のサイズが違う特殊なフォントを用いてもよい。そして、制御部２１（一体化処理部２１ｃ）は、マウスのクリックを解除した座標までの距離に応じて変化させたサイズで画像及び文字列の変形を確定する（Ｓ４０４）。
【００７５】
［一体化後の印刷データ生成処理］
図１４に示すように、制御部２１（印刷データ生成部２１ｄ）は、選択された用紙への印刷時に、文書のどのデータをどのページに印刷するかを決定する（Ｓ５０１）。次に、制御部２１（印刷データ生成部２１ｄ）は、一体化した画像及び文字列の領域がページの区切り位置に存在するかを判断する（Ｓ５０２）。一体化した画像及び文字列の領域がページの区切り位置に存在する場合は（Ｓ５０２のＹｅｓ）、制御部２１（印刷データ生成部２１ｄ）は、一体化した画像と文字列の領域がページの区切り位置を跨ぐ旨、及び、一体化した画像と文字列の領域に対して移動、拡大／縮小などの編集を促す旨をユーザに通知する警告画面などを表示部２７に表示させる（Ｓ５０３）。
【００７６】
次に、情報管理装置３０の動作について説明する。情報管理装置３０のＣＰＵ３２は、ＲＯＭ３３又は記憶部３５に記憶した情報処理プログラムをＲＡＭ３４に展開して実行することにより、図１５のフローチャート図に示す各ステップの処理を実行する。
【００７７】
制御部３１（ＤＢ管理部３１ａ）は、情報処理装置２０からの文字列（又は文字列及び音情報）の問い合わせを監視し（Ｓ６０１）、文字列（又は文字列及び音情報）の問い合わせがあったら（Ｓ６０１のＹｅｓ）、情報処理装置２０から通知された画像の特徴を解析して画像を特定し（Ｓ６０２）、ＤＢに、特定した画像に紐付けた文字列（又は文字列及び音情報）が登録されていれば全てを回答し、画像に紐付けた文字列（又は文字列及び音情報）が登録されていなければ「無し」を回答する（Ｓ６０３）。一方、文字列（又は文字列及び音情報）の問い合わせでない場合は（Ｓ６０１のＮｏ）、制御部３１（ＤＢ管理部３１ａ）は、任意の文字列（又は文字列及び音情報）の登録であるかを判断し（Ｓ６０４）、任意の文字列（又は文字列及び音情報）の登録の場合は（Ｓ６０４のＹｅｓ）、画像と文字列（又は文字列及び音情報）と属性情報をＤＢに蓄積する（Ｓ６０５）。
【００７８】
以上説明したように、画像（画像又は図形）と文字列（又は文字列及び音情報）と属性情報とを関連付けたＤＢから、文書に挿入した画像に関連付けられた文字列（又は文字列及び音情報）及び属性情報を取得し、文書からその文字列を検索し、その文字列が文書に存在する場合に、画像と文字列（又は文字列及び音情報）とを一体的に取り扱うことにより、ユーザの利便性を向上させることができる。また、印刷時に、画像と文字列とが印刷ページの区切り位置を跨ぐ場合に警告を行うことにより、一体化した画像と文字列とが別々のページに分割して印刷される不都合を防止することができる。
【実施例２】
【００７９】
次に、本発明の第２の実施例に係る情報処理システム、情報処理方法及び情報処理プログラムについて、図１７及び図１８を参照して説明する。図１７は、本実施例の情報管理装置の構成を示すブロック図であり、図１８は、本実施例の情報管理装置の動作を示すフローチャート図である。
【００８０】
第１の実施例では、画像とその画像に紐付けられた文字列（又は文字列及び音情報）とその文字列の属性情報とを関連付けるＤＢが予め作成されて記憶されているものとしたが、情報管理装置３０がＤＢを作成してもよい。その場合、図１７（ｂ）に示すように、情報管理装置３０の制御部３１は、第１の実施例で示したＤＢ管理部３１ａに加えて、収集部３１ｂ、ＤＢ作成部３１ｃ、ＯＣＲデータ生成部３１ｄなどとして機能する。
【００８１】
収集部３１ｂは、通信ネットワーク４０に接続されている装置から画像を含む様々な文書やＨＰのデータなどを取得する。また、収集部３１ｂは、通信ネットワーク４０に接続されている装置から音情報を取得する。
【００８２】
ＤＢ作成部３１ｃは、複数の文書やＨＰのデータを解析してＤＢを作成する。例えば、文書に含まれる画像を特定し、特定した画像の周辺又は内部に存在する文字列を抽出し、抽出した文字列の中に、複数の文書又は複数のページに共通して存在する文字列がある場合、その文字列を、画像に関連付けてＤＢに登録する。また、文字列の抽出に際して、特定した画像の周辺の文字列を含む領域を切り取り、複数の領域を、画像の大きさ及び向きを合わせて重ね合わせることにより、特定した画像の周辺又は内部に共通に存在する文字列を抽出する。
【００８３】
ＯＣＲデータ生成部３１ｄは、画像の中に文字列がある場合に、画像から文字列を取り出す処理を行う。
【００８４】
なお、上記ＤＢ管理部３１ａ、収集部３１ｂ、ＤＢ作成部３１ｃ、ＯＣＲデータ生成部３１ｄはハードウェアとして構成してもよいし、制御部３１を、ＤＢ管理部３１ａ、収集部３１ｂ、ＤＢ作成部３１ｃ、ＯＣＲデータ生成部３１ｄ（特に、収集部３１ｂ、ＤＢ作成部３１ｃ）として機能させる情報処理プログラムとして構成し、当該情報処理プログラムをＣＰＵ３２に実行させるようにしてもよい。
【００８５】
以下、情報管理装置３０の動作（ＤＢ作成処理）について説明する。情報管理装置３０のＣＰＵ３２は、ＲＯＭ３３又は記憶部３５に記憶した情報処理プログラムをＲＡＭ３４に展開して実行することにより、図１８のフローチャート図に示す各ステップの処理を実行する。
【００８６】
まず、制御部３１（収集部３１ｂ）は、通信ネットワーク４０を介して取得できる範囲の文書やＨＰのデータを収集する（Ｓ７０１）。次に、制御部３１（ＤＢ作成部３１ｃ）は、文書から画像を特定する（Ｓ７０２）。次に、情報処理装置２０からの要求があった場合、それが任意の文字列（ユーザが選択した文字列）の登録であるかを判断する（Ｓ７０３）。
【００８７】
任意の文字列の登録でない場合は（Ｓ７０３のＮｏ）、制御部３１（ＤＢ作成部３１ｃ）は、画像を含む文書を同じ画像毎に振り分け（Ｓ７０４）、文字列を探す範囲を画像周辺に設定し、複数の文書の画像周辺に共通して存在する文字列をその範囲内で検索し（Ｓ７０５）、共通して存在する文字列と、その文字列の属性情報を取得する（Ｓ７０６）。その際、文字列を探す範囲を画像内に設定しても良く、その場合は、ＯＣＲ処理を行って画像から文字列への変換を行う。一方、任意の文字列の登録の場合は（Ｓ７０３のＹｅｓ）、制御部３１（ＤＢ作成部３１ｃ）は、情報処理装置２０から画像と共に渡された文字列と属性情報を取得する（Ｓ７０７）。
【００８８】
その後、制御部３１（ＤＢ作成部３１ｃ）は、画像と文字列（又は文字列及び音情報）と属性情報を統計的に蓄積し（Ｓ７０８）、共通する文字列（又は文字列及び音情報）、属性情報が、特定した画像の解析数に対して一定以上であるかを判断し（Ｓ７０９）、一定以上の場合は（Ｓ７０９のＹｅｓ）、画像に対し、その文字列（又は文字列及び音情報）及び属性情報を正式に紐付ける（Ｓ７１０）。その後、制御部３１（ＤＢ作成部３１ｃ）は、正式な紐付け結果をＤＢに登録する（Ｓ７１１）。
【００８９】
このように、通信ネットワーク４０に繋がっている様々な装置から文書を取得して解析し、画像と文字列（又は文字列及び音情報）と属性情報とを関連付けてＤＢを作成することにより、文書に挿入された画像に対して適切な文字列（又は文字列及び音情報）を関連付けることができるため、文書の利用価値を高めることができる。
【００９０】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、情報処理装置２０や情報管理装置３０の構成や制御は適宜変更可能である。
【００９１】
例えば、上記各実施例では、文書に画像又は図形を挿入する場合について記載したが、画像又は図形に文書を挿入したり、図形に画像を挿入したりする場合に対して、本発明の情報処理方法を同様に適用することができる。
【産業上の利用可能性】
【００９２】
本発明は、画像又は図形と当該画像又は図形に関連付けられた文字列や音情報とを一体化して扱う情報処理システム、当該情報処理システムにおける情報処理方法、当該情報処理システムで動作する情報処理プログラム、及び当該情報処理プログラムを記録した記録媒体に利用可能である。
【符号の説明】
【００９３】
１０  情報処理システム
２０  情報処理装置
２１  制御部
２１ａ  情報取得部
２１ｂ  検索部
２１ｃ  一体化処理部
２１ｄ  印刷データ生成部
２２  ＣＰＵ
２３  ＲＯＭ
２４  ＲＡＭ
２５  記憶部
２６  ネットワークＩ／Ｆ部
２７  表示部
２８  操作部
３０  情報管理装置
３１  制御部
３１ａ  ＤＢ管理部
３１ｂ  収集部
３１ｃ  ＤＢ作成部
３１ｄ  ＯＣＲデータ生成部
３２  ＣＰＵ
３３  ＲＯＭ
３４  ＲＡＭ
３５  記憶部
３６  ネットワークＩ／Ｆ部
３７  表示部
３８  操作部
４０  通信ネットワーク
【図１】
2020013235.tif 000003
【図２】
2020013235.tif 000004
【図３】
2020013235.tif 000005
【図４】
2020013235.tif 000006
【図５】
2020013235.tif 000007
【図６】
2020013235.tif 000008
【図７】
2020013235.tif 000009
【図８】
2020013235.tif 000010
【図９】
2020013235.tif 000011
【図１０】
2020013235.tif 000012
【図１１】
2020013235.tif 000013
【図１２】
2020013235.tif 000014
【図１３】
2020013235.tif 000015
【図１４】
2020013235.tif 000016
【図１５】
2020013235.tif 000017
【図１６】
2020013235.tif 000018
【図１７】
2020013235.tif 000019
【図１８】
2020013235.tif 000020