(57)【要約】  【課題】  被写体に表示された文字、記号または図形等を含む記述情報に関連する関連情報を投影手段によって被写体に投影することにより、記述情報と関連情報の対応を使用者に分かりやすく提示することができる画像入出力装置を提供すること。  【解決手段】  原稿Ｐに記載されている文字情報は、撮像手段によって撮像され、その撮像データから文字情報が認識され、その文字情報に対応する翻訳情報が抽出される。そして、その抽出された翻訳情報が、投影手段によって原稿Ｐ上の文字情報の近傍に投影される。よって、文字情報に関する関連情報としての翻訳情報を使用者に分かりやすく提示することができる。  【選択図】        図２４
2006031506.tif 000002
【特許請求の範囲】
【請求項１】
記述情報が表示されている被写体を撮像し、その被写体に関する撮像データを取得する撮像手段と、
その撮像手段で取得した撮像データから前記記述情報を認識する記述情報認識手段と、  その記述情報認識手段によって認識された前記記述情報に関する関連情報を前記被写体に投影する投影手段とを備えていることを特徴とする画像入出力装置。
【請求項２】
前記記述情報に対応した関連情報を予め格納した関連情報格納手段と、
前記記述情報認識手段によって認識された記述情報に従って前記関連情報格納手段から関連情報を抽出する関連情報抽出手段とを備えていることを特徴とする請求項１に記載の画像入出力装置。
【請求項３】
前記投影手段によって投影される関連情報の投影位置を、その関連情報に対応する記述情報の近傍に設定する投影位置設定手段を備えていることを特徴とする請求項１又は２に記載の画像入出力装置。
【請求項４】
前記投影位置設定手段は、異なる記述情報毎に対応する各関連情報の投影位置を、各関連情報に対応する各記述情報の近傍に設定することを特徴とする請求項３に記載の画像入出力装置。
【請求項５】
前記記述情報認識手段に認識させる記述情報を、前記撮像データに含まれる記述情報の全体に特定する第１特定手段を備え、
前記投影手段は、その第１特定手段により特定された記述情報に関する関連情報を投影することを特徴とする請求項１から４のいずれかに記載の画像入出力装置。
【請求項６】
前記記述情報認識手段に認識させる記述情報を、前記撮像データに含まれる記述情報の一部に特定する第２特定手段を備え、
前記投影手段は、その第２特定手段により特定された記述情報に関する関連情報を投影することを特徴とする請求項１から５のいずれかに記載の画像入出力装置。
【請求項７】
前記被写体上において指定される指定範囲を検出する指定範囲検出手段を備え、
前記第２特定手段は、その指定範囲検出手段によって検出された指定範囲に基づき、前記記述情報認識手段に認識させる記述情報を特定することを特徴とする請求項６の記載の画像入出力装置。
【請求項８】
前記投影手段は、前記指定範囲検出手段によって検出される指定範囲と他の被写体上の部分とを区別させる画像を投影することを特徴とする請求項７に記載の画像入出力装置。
【請求項９】
前記投影手段は、前記指定範囲検出手段によって検出される指定範囲と他の被写体上の部分とを区別させる範囲指定画像を、その指定範囲に向けて投影することを特徴とする請求項８に記載の画像入出力装置。
【請求項１０】
前記被写体に対してパターン光が投影されている状態を前記撮像手段によって撮像して取得される撮像データに基づき、前記被写体の３次元形状に関する３次元情報を検出する３次元情報検出手段と、
その３次元情報検出手段によって検出される３次元情報に基づき、前記投影手段によって投影される関連情報を、前記被写体の形状に従って変形させる様にする変形関連情報設定手段とを備えていることを特徴とする請求項１から９いずれかに記載の画像入出力装置。
【請求項１１】
前記３次元情報検出手段によって検出される３次元情報に基づき、前記被写体に関する撮像データにおける前記被写体の表面が形成する立体形状を、平面に展開した平面撮像データを生成する平面撮像データ生成手段を備え、
前記記述情報認識手段は、その平面撮像データ生成手段によって生成される撮像データから前記記述情報を認識することを特徴とする請求項１０に記載の画像入出力装置。
【請求項１２】
前記関連情報は、意味情報、翻訳情報、読み方情報、図形情報を含む辞典情報と、記述情報の誤字、誤記に関する修正情報と、郵便番号情報と、住所情報とのいずれかであることを特徴とする請求項１から１１のいずれかに記載の画像入力装置。
【請求項１３】
前記投影手段は、光を出射する複数個の半導体発光素子と、その複数個の半導体発光素子から出射された光に対して空間変調を施して画像信号光を出力する空間変調素子と、その空間変調素子から出力される画像信号光を投影面に向けて投影する投影光学系とを備え、
前記複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に千鳥状に配置されていることを特徴とする請求項１から１２のいずれかに記載の画像入出力装置。
【請求項１４】
１の前記半導体発光素子と、その１の半導体発光素子の周辺の半導体発光素子との間隔は、前記半導体発光素子の１つから出射された光によって空間変調素子において形成される照度分布の半値全幅以下となるように配設されていることを特徴とする請求項１３に記載の画像入出力装置。
【請求項１５】
前記複数の半導体発光素子の各々は、同一色を発光することを特徴とする請求項１３または１４に記載の画像入出力装置。
【請求項１６】
前記複数の半導体発光素子は発光ダイオードであり、その各々から発光される発光色は、アンバー色であることを特徴とする請求項１５に記載の画像入出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に表示された文字、記号または図形等を含む記述情報に関連する関連情報を投影手段によって被写体に投影することにより、記述情報と関連情報の対応を使用者に分かりやすく提示することができる画像入出力装置に関する。
【背景技術】
【０００２】
従来より、原稿に印刷されている文字をフラットヘッドスキャナで読み取り、その読み取った文字を、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）機能を有するパーソナルコンピュータを利用して認識させる装置が知られている。
【０００３】
また、特許文献１には、プロジェクタ装置から原稿に対して可視光イメージを投射し、その可視光イメージをユーザが原稿の所望する位置に案内し、その可視光イメージが案内された部分の文字をカメラ装置で捕捉し、その捕捉した文字をＯＣＲにより認識することで、ユーザーが所望する文字を認識させることができる装置が開示されている。
【０００４】
また、特許文献２には、ユーザが指し示した範囲の文字をビデオカメラによって捕捉し、その捕捉した範囲の文字をＯＣＲにより認識し、その認識した範囲の文字をプロジェクタ装置によって、ユーザが所望する投影面に配置していくことで、新しい形式の文書を作成することができる装置が開示されている。
【特許文献１】特開２００３−２０８６０４号公報
【特許文献２】特開平７−１６８９４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した何れの装置であってもＯＣＲにより原稿中の文字を認識することは可能であるが、その認識された文字からなる文章、単語等に関し、例えば、文章に対する他言語への翻訳情報や、単語に対する辞典情報や、文章、単語等が誤っている場合の修正指示情報等の関連情報については、その都度、辞典を引いたり、翻訳用ソフトを搭載した装置を別途、利用したりして、取得する必要があり、関連情報を求める事が非常に面倒であり、同時に非効率的であるという問題点があった。
【０００６】
本発明は、上述した問題点を解決するためになされたものであり、被写体に表示された文字、記号または図形等を含む記述情報に関連する関連情報を投影手段によって被写体に投影することにより、記述情報と関連情報の対応を使用者に分かりやすく提示することができる画像入出力装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
この目的を達成するために請求項１記載の画像入出力装置は、記述情報が表示されている被写体を撮像し、その被写体に関する撮像データを取得する撮像手段と、その撮像手段で取得した撮像データから前記記述情報を認識する記述情報認識手段と、その記述情報認識手段によって認識された前記記述情報に関する関連情報を前記被写体に投影する投影手段とを備えている。
【０００８】
この請求項１記載の画像入出力装置によれば、被写体に表示されている記述情報は、撮像手段によって、その被写体を撮像して得られる撮像データから、記述情報認識手段によって認識される。そして、投影手段によって、記述情報認識手段によって認識される記述情報に関する関連情報が被写体に投影される。
【０００９】
請求項２記載の画像入出力装置は、請求項１記載の画像入出力装置において、前記記述情報に対応した関連情報を予め格納した関連情報格納手段と、前記記述情報認識手段によって認識された記述情報に従って前記関連情報格納手段から関連情報を抽出する関連情報抽出手段とを備えている。
【００１０】
請求項３記載の画像入出力装置は、請求項１又は２記載の画像入出力装置において、前記投影手段によって投影される関連情報の投影位置を、前記記述情報認識手段によって認識される記述情報の近傍に設定する投影位置設定手段を備えている。
【００１１】
請求項４記載の画像入出力装置は、請求項３に記載の画像入出力装置において、前記投影位置設定手段は、異なる記述情報毎に対応する各関連情報の投影位置を、各関連情報に対応する各記述情報の近傍に設定する。
【００１２】
請求項５記載の画像入出力装置は、請求項１から４のいずれかに記載の画像入出力装置において、前記記述情報認識手段に認識させる記述情報を、前記撮像データに含まれる記述情報の全体に特定する第１特定手段を備え、前記投影手段は、その第１特定手段により特定された記述情報に関する関連情報を投影する。
【００１３】
請求項６記載の画像入出力装置は、請求項１から５のいずれかに記載の画像入出力装置において、前記記述情報認識手段に認識させる記述情報を、前記撮像データに含まれる記述情報の一部に特定する第２特定手段を備え、前記投影手段は、その第２特定手段により特定された記述情報に関する関連情報を投影する。
【００１４】
請求項７記載の画像入出力装置は、請求項６に記載の画像入出力装置において、前記被写体上において指定される指定範囲を検出する指定範囲検出手段を備え、前記第２特定手段は、その指定範囲検出手段によって検出された指定範囲に基づき、前記記述情報認識手段に認識させる記述情報を特定する。
【００１５】
請求項８記載の画像入出力装置は、請求項７に記載の画像入出力装置において、前記投影手段は、前記指定範囲検出手段によって検出される指定範囲と他の被写体上の部分とを区別させる画像を投影する。
【００１６】
請求項９載の画像入出力装置は、請求項８に記載の画像入出力装置において、前記投影手段は、前記指定範囲検出手段によって検出される指定範囲と他の被写体上の部分とを区別させる範囲指定画像を、その指定範囲に向けて投影する。
【００１７】
請求項１０記載の画像入出力装置は、請求項１から９のいずれかに記載の画像入出力装置において、前記被写体に対してパターン光が投影されている状態を前記撮像手段によって撮像して取得される撮像データに基づき、前記被写体の３次元形状に関する３次元情報を検出する３次元情報検出手段と、その３次元情報検出手段によって検出される３次元情報に基づき、前記投影手段によって投影される関連情報を、前記被写体の形状に従って変形させる様にする変形関連情報設定手段とを備えている。
【００１８】
請求項１１記載の画像入出力装置は、請求項１０に記載の画像入出力装置において、前記３次元情報検出手段によって検出される３次元情報に基づき、前記被写体に関する撮像データにおける前記被写体の表面が形成する立体形状を、平面に展開した平面撮像データを生成する平面撮像データ生成手段を備え、前記記述情報認識手段は、その平面撮像データ生成手段によって生成される撮像データから前記記述情報を認識する。
【００１９】
請求項１２記載の画像入出力装置は、請求項１から１１のいずれかに記載の画像入出力装置において、前記関連情報は、意味情報、翻訳情報、読み方情報、図形情報を含む辞典情報と、記述情報の誤字、誤記に関する修正情報と、郵便番号情報と、住所情報とのいずれかである。
【００２０】
請求項１３記載の画像入出力装置は、請求項１から１２のいずれかに記載の画像入出力装置において、前記投影手段は、光を出射する複数個の半導体発光素子と、その複数個の半導体発光素子から出射された光に対して空間変調を施して画像信号光を出力する空間変調素子と、その空間変調素子から出力される画像信号光を投影面に向けて投影する投影光学系とを備え、前記複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に千鳥状に配置されている。
【００２１】
請求項１４記載の画像入出力装置は、請求項１３に記載の画像入出力装置において、１の前記半導体発光素子と、その１の半導体発光素子の周辺の半導体発光素子との間隔は、前記半導体発光素子の１つから出射された光によって空間変調素子において形成される照度分布の半値全幅以下となるように配設されている。
【００２２】
請求項１５記載の画像入出力装置は、請求項１３又は１４に記載の画像入出力装置において、前記複数の半導体発光素子の各々は、同一色を発光する。
【００２３】
請求項１６記載の画像入出力装置は、請求項１５に記載の画像入出力装置において、前記複数の半導体発光素子は発光ダイオードであり、その各々から発光される発光色は、アンバー色である。
【発明の効果】
【００２４】
請求項１記載の画像入出力装置によれば、被写体に関する撮像データに含まれる被写体に表示されている記述情報は、記述情報認識手段によって認識され、投影手段によって記述情報に関する関連情報が投影されるので、その投影された投影画像により記述情報と関連情報との対応が使用者に分かりやすく表示される。例えば、記述情報がドイツ語であり、そのの日本語訳を取得したいような場合には、記述情報に関する関連情報として、翻訳情報を投影することで、そのドイツ語に対する日本語訳を、原稿のドイツ語原文の近傍に直接に日本語訳として投影させる事で分かりやすく提示することができるという効果がある。
【００２５】
請求項２記載の画像入出力装置によれば、請求項１に記載の画像入出力装置の奏する効果に加え、記述情報認識手段によって認識される記述情報に関する関連情報は、予め記述情報に対応つけて格納されている関連情報格納手段から抽出されるので、高速に関連情報を抽出することができ、ストレスなく関連情報を取得することができるという効果がある。
【００２６】
請求項３記載の画像入出力装置によれば、請求項１又は２に記載の画像入出力装置の奏する効果に加え、投影手段によって投影される関連情報は、記述情報の近傍に投影されるので、視覚的に記述情報と関連情報との対応付けを容易にすることができるという効果がある。
【００２７】
請求項４記載の画像入出力装置によれば、請求項３に記載の画像入出力装置の奏する効果に加え、投影位置設定手段は、異なる記述情報毎に対応する各関連情報の投影位置を、各関連情報に対応する各記述情報の近傍に設定するので、異なる記述情報毎に対応する関連情報を容易に把握することができるという効果がある。
【００２８】
請求項５記載の画像入出力装置によれば、請求項１から４のいずれかに記載の画像入出力装置の奏する効果に加え、第１特定手段により撮像データに含まれる記述情報の全体を特定し、撮像手段は、その第１特定手段により特定された記述情報に関する関連情報を投影するので、撮像データに含まれている全部の記述情報についての関連情報を取得したいような場合、その記述情報を逐一特定する必要がなく、簡易に撮像データに含まれている全部の記述情報についての関連情報を取得することができるという効果がある。
【００２９】
請求項６記載の画像入出力装置によれば、請求項１から５のいずれかに記載の画像入出力装置の奏する効果に加え、第２特定手段により撮像データに含まれる記述情報の一部を特定し、撮像手段は、その第２特定手段により特定された記述情報に関する関連情報を投影するので、撮像データに含まれる全ての記述情報のうち、第２特定手段により特定された記述情報に関する関連情報だけを認識することができるという効果がある。また、撮像データに含まれる全ての記述情報に関する関連情報を投影する場合に比べて、その処理量が少ないので高速に関連情報を投影することができるという効果がある。
【００３０】
請求項７記載の画像入出力装置によれば、請求項６に記載の画像入出力装置の奏する効果に加え、記述情報認識手段によって認識される記述情報は、被写体上において指定される指定範囲に基づき特定されるので、被写体上に多くの記述情報が表示されていたとしても、ユーザの要求する記述情報に対応する関連情報だけを高速に投影することができるという効果がある。
【００３１】
請求項８記載の画像入出力装置によれば、請求項７に記載の画像入出力装置の奏する効果に加え、投影手段は、指定範囲検出手段によって検出される指定範囲と他の被写体上の部分とを区別させる画像を投影するので、被写体上において、指定範囲した部分とそれ以外の部分とを明確に区別でき、指定範囲を明確に把握することができるという効果がある。
【００３２】
請求項９記載の画像入出力装置によれば、請求項８に記載の画像入出力装置の奏する効果に加え、投影手段は、指定範囲検出手段によって検出される指定範囲と他の被写体上の部分とを区別させる範囲指定画像を、その指定範囲に向けて投影するので、指定範囲を一層明確に把握することができるという効果がある。
【００３３】
請求項１０記載の画像入出力装置は、請求項１から９のいずれかに記載の画像入出力装置において、投影手段によって投影される関連情報の形態は、変形関連情報設定手段により被写体の形状に従って変形されるので、関連情報を被写体上に投影した場合に、その関連情報の形態を被写体の形状に従った形態にすることができる。よって、被写体上の関連情報を自然な感覚で読み取れることができるという効果がある。
【００３４】
請求項１１記載の画像入出力装置によれば、請求項６に記載の画像入出力装置の奏する効果に加え、記述情報認識手段は、被写体に関する撮像データにおける被写体の表面が形成する立体形状を、撮像手段の光軸と垂直な平面に配置した平面撮像データから記述情報を認識するので、記述情報認識手段による記述情報の認識精度を向上させることができるという効果がある。
【００３５】
例えば、湾曲している被写体を撮像したり、被写体を斜め方向から撮像したりした場合には、被写体上の記述情報は、歪んだ状態で捕捉される。しかし、平面撮像データにおいては、被写体に表示されている記述情報は、撮像手段の光軸と垂直な平面に配置されるので、記述情報認識手段は、本来有する姿勢の記述情報を認識することができる。よって、、記述情報認識手段による記述情報の認識精度を向上させることができるという効果がある。
【００３６】
請求項１２記載の画像入出力装置によれば、請求項１から１１のいずれかに記載の奏する効果に加え、関連情報は、意味情報、翻訳情報、読み方情報、図形情報を含む辞典情報と、記述情報の誤字、誤記に関する修正情報と、郵便番号情報と、住所情報とのいずれかであるので、辞典やアドレス帳等を調べることなく、これらの情報を簡易に取得することができるという効果がある。
【００３７】
請求項１３記載の画像入出力装置によれば、請求項１から１２のいずれかに記載の画像入出力装置の奏する効果に加え、複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に千鳥状に配置されているので、隣接する半導体発光素子間の照度を、その前列又は後列の半導体発光素子によって補うことができる。よって、空間変調素子における照度ムラを抑制することができる。従って、略均一な光を空間変調素子に照射することができ、高品質な投影画像を投影することができるという効果がある。
【００３８】
請求項１４記載の画像入出力装置によれば、請求項１３に記載の画像入出力装置の奏する効果に加え、１の前記半導体発光素子と、その１の半導体発光素子の周辺の半導体発光素子との間隔は、前記半導体発光素子の１つから出射された光によって空間変調素子において形成される照度分布の半値全幅以下となるように設定されているので、１の半導体発光素子と、その周りの半導体発光素子との間の照度の低下を抑制することができるという効果がある。
【００３９】
請求項１５記載の画像入出力装置によれば、請求項１３又は１４に記載の画像入出力装置の奏する効果に加え、複数の半導体発光素子の各々は、同一色を発光するので、投影手段において複数色の発光色を発光させる場合に生ずる色収差の補正を考慮する必要はなく、色収差を補正するために複雑な色消しレンズを採用する必要がない。よって、簡単な面構成および安価な材料の投影手段を提供することができるという効果がある。
【００４０】
請求項１６記載の画像入出力装置によれば、請求項１５に記載の画像入出力装置の奏する効果に加え、複数の発光ダイオードの各々から発光される発光色は、アンバー色であるので、他の色を発光させる場合に比べて、電気を光に変換する効率（電気光変換効率）を高めることができる。よって、省電力で駆動でき、節電化、長寿命化を図ることができるという効果がある。
【発明を実施するための最良の形態】
【００４１】
以下、本発明の好ましい実施例について、添付図面を参照して説明する。図１は、画像入出力装置１の外観斜視図である。尚、本発明の投影装置および３次元形状検出装置は、この画像入出力装置１に含まれる装置である。
【００４２】
画像入出力装置１は、デジタルカメラとして機能するデジカメモード、ウェブカメラとして機能するｗｅｂｃａｍモード、３次元形状を検出して立体画像を取得するための立体画像モード、湾曲した原稿等を平面化した平面化画像を取得するための平面化画像モード、原稿Ｐに記載されている文字情報についての翻訳情報、修正情報、ルビ情報を取得するための辞典情報モード、郵便番号から住所を取得したり、住所から郵便番号を取得するための郵便情報モード等の各種のモードを備えた装置である。
【００４３】
図１では、特に、立体画像モードや平面化画像モードや辞典情報モードにおいて、被写体としての原稿Ｐの３次元形状を検出するために、後述する画像投影部１３から明暗を交互に並べてなる縞状のパターン光を投影している様子を図示している。
【００４４】
画像入出力装置１は、略箱状に形成された撮像ヘッド２と、その撮像ヘッド２と一端が連結されたパイプ状のアーム部材３と、そのアーム部材３の他端と連結され、平面視略Ｌ型に形成されたベース４とを備えている。
【００４５】
撮像ヘッド２は、その内部に後述する画像投影部１３や画像撮像部１４を内包するケースである。撮像ヘッド２の正面には、その中央部に筒状の鏡筒５と、鏡筒５の斜め上方にファインダ６と、そのファインダ６の反対側にフラッシュ７とが配置されている。また、ファインダ６とフラッシュ７との間に、後述する画像撮像部１４の一部である撮像光学系２１のレンズの一部が外面に露出しており、この露出部分から被写体の画像が入力される。
【００４６】
鏡筒５は、撮像ヘッド２の正面から突出し、その内部に画像投影部１３の一部である投影光学系２０を内包するカバーである。この鏡筒５によって、投影光学系２０が保持され、全体を焦点調節のため移動可能とされ、且つ、傷つくのが防止されている。また、鏡筒５端面からは、画像投影部１３の一部である投影光学系２０のレンズの一部が外面に露出しており、この露出部分から投影面に向かって画像信号光が投影される。
【００４７】
ファインダ６は、撮像ヘッド２の背面から正面を通して配設される光学レンズで構成されている。撮像装置１の背面から使用者がのぞき込んだ時に、撮像光学系２１がＣＣＤ２２上に結像する範囲とほぼ一致する範囲が見えるようになっている。
【００４８】
フラッシュ７は、例えば、デジカメモードにおいて、必要な光量を補足するための光源であり、キセノンガスが充填された放電管で構成されている。よって、撮像ヘッド２に内蔵されているコンデンサ（図示せず）からの放電により繰り返し使用することができる。
【００４９】
また、撮像ヘッド２の上面には、手前側にレリーズボタン８と、そのレリーズボタン８の奥方にモード切替スイッチ９と、モード切替スイッチ９の反対側にモニタＬＣＤ１０とが配置されている。
【００５０】
レリーズボタン８は、「半押し状態」と「全押し状態」との２種類の状態に設定可能な２段階の押しボタン式のスイッチで構成されている。レリーズボタン８の状態は後述するプロセッサ１５に管理されており、「半押し状態」で周知のオートフォーカス（ＡＦ）および自動露出（ＡＥ）機能が起動し、ピント、絞り、シャッタスピードが調節され、「全押し状態」で撮像等が行われる。
【００５１】
モード切替スイッチ９は、デジカメモード、ｗｅｂｃａｍモード、立体画像モード、平面化画像モード、辞典情報モード、郵便情報モード、オフモード等の種々のモードに設定可能なスイッチである。モード切替スイッチ９の状態はプロセッサ１５に管理されており、モード切替スイッチ９の状態がプロセッサ１５によって検出されることで各モードの処理が実行される。
【００５２】
モニタＬＣＤ１０は、液晶ディスプレイ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）で構成されており、プロセッサ１５からの画像信号を受けて画像を使用者に表示する。例えば、モニタＬＣＤ１０には、デジカメモードやｗｅｂｃａｍモードにおける撮像画像や、立体画像モードにおける３次元形状検出結果画像、平面化画像モードにおける平面化画像等が表示される。
【００５３】
更に、撮像ヘッド２の側面には、その上方にＲＦ（無線）インターフェイスとしてのアンテナ１１と、撮像ヘッド２とアーム部材３とを連結する連結部材１２とが配置されている。
【００５４】
アンテナ１１は、後述するＲＦドライバ２４を介してデジカメモードで取得した撮像画像データや立体画像モードで取得した立体画像データ等を外部インターフェイスに無線通信によって送信する。
【００５５】
連結部材１２は、内周面に雌ねじが形成されたリング状に形成され、撮像ヘッド２の側面に回動可能に固定されている。また、アーム部材３の一端側には雄ねじが形成されている。この雌ねじと雄ねじとを嵌合させることで、撮像ヘッド２とアーム部材３とを着脱自在に連結することができると共に、撮像ヘッド２を任意の角度で固定することができるようになっている。従って、撮像ヘッド２を取り外し、通常のデジカメ（デジタルカメラ）として使用できる。
【００５６】
アーム部材３は、撮像ヘッド２を所定の撮像位置に変化可能に保持するためのものであり、任意の形状に屈曲可能な蛇腹状のパイプで構成されている。よって撮像ヘッド２を任意の位置に向けることができる。
【００５７】
ベース４は、机上等の載置台に載置され、撮像ヘッド２とアーム部材３とを支持するものである。平面視略Ｌ字型に形成されているので、安定して撮像ヘッド２等を支持することができる。また、ベース４とアーム部材３とは着脱自在に連結されているので、持ち運びに便利であり、省スペースで収納することもできる。
【００５８】
図２は、撮像ヘッド２の内部構成を模式的に示す図である。撮像ヘッド２の内部には、主に、画像投影部１３と、画像撮像部１４と、プロセッサ１５とが内蔵されている。
【００５９】
画像投影部１３は、投影面に任意の投影画像を投影するためのユニットであり、投影方向に沿って、基板１６と、複数個のＬＥＤ１７（その総称として以下「ＬＥＤアレイ１７Ａ」という）と、光源レンズ１８と、投影ＬＣＤ１９と、投影光学系２０とを備えている。尚、この画像投影部１３については、図３において詳細に説明する。
【００６０】
画像撮像部１４は、被写体としての原稿Ｐを撮像するためのユニットであり、光の入力方向に沿って、撮像光学系２１と、ＣＣＤ２２とを備えている。
【００６１】
撮像光学系２１は、複数枚のレンズで構成され、周知のオートフォーカス機能を有し、自動で焦点距離及び絞りを調整して外部からの光をＣＣＤ２２上に結像する。
【００６２】
ＣＣＤ２２は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）素子などの光電変換素子をマトリクス状に配列して構成され、撮像光学系２１を介して表面に結像される画像の光の色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ１５に出力する。
【００６３】
プロセッサ１５には、フラッシュ７、レリーズボタン８、モード切替スイッチ９、モニタＬＣＤドライバ２３を介してモニタＬＣＤ１０、ＲＦドライバ２４を介してアンテナ１１、電源インターフェイス２５を介してバッテリ２６、外部メモリ２７、キャッシュメモリ２８、光源ドライバ２９を介してＬＥＤアレイ１７Ａ、投影ＬＣＤドライバ３０を介して投影ＬＣＤ１９、ＣＣＤインターフェイス３１を介してＣＣＤ２２の各々が電気的に接続され、プロセッサ１５によって管理されている。
【００６４】
外部メモリ２７は、着脱自在なフラッシュＲＯＭであり、デジカメモードやｗｅｂｃａｍモード、そして立体画像モードにおいて撮像した撮像画像や３次元情報を記憶する。具体的には、ＳＤカード、コンパクトフラッシュ（登録商標）カード等を使用することができる。
【００６５】
キャッシュメモリ２８は、高速な記憶装置である。例えば、デジカメモードや辞典情報モードや郵便情報モードにおいて撮像した撮像画像を高速でキャッシュメモリ２８に転送し、プロセッサ１５で画像処理を行ってから外部メモリ２７に格納されるように使われる。具体的には、ＳＤＲＡＭ、ＤＤＲＲＡＭ等を使用することができる。
【００６６】
尚、電源インターフェイス２５はバッテリ２６を、光源ドライバ２９はＬＥＤアレイ１７Ａを、投影ＬＣＤドライバ３０は投影ＬＥＤ１９を、ＣＣＤインターフェイス３１はＣＣＤ２２を各々制御する各種のＩＣ（Integrated Circuit：集積回路）によって構成されている。
【００６７】
図３（ａ）は画像投影部１３の拡大図であり、（ｂ）は光源レンズ１８の平面図であり、（ｃ）は投影ＬＣＤ１９とＣＣＤ２２との配置関係を示す図である。
【００６８】
上述した通り、画像投影部１３は、投影方向に沿って、基板１６と、ＬＥＤアレイ１７Ａと、光源レンズ１８と、投影ＬＣＤ１９と、投影光学系２０とを備えている。
【００６９】
基板１６は、ＬＥＤアレイ１７Ａを実装すると共に、ＬＥＤアレイ１７Ａとの電気的な配線をするためのものである。具体的には、アルミ製基板に絶縁樹脂を塗布してから無電解メッキにてパターンを形成したものやカラエポ基材をコアとする単層または多層構造の基板を使用することができる。
【００７０】
ＬＥＤアレイ１７Ａは、投影ＬＣＤ１９に向けて放射状の光を発光する光源であり、基板１６上に、複数個のＬＥＤ１７（発光ダイオード）が千鳥状に配列され、銀ペーストを介して接着されている。また、ボンディングワイヤを介して電気的に結線されている。
【００７１】
このように光源として複数個のＬＥＤ１７を使用することで、光源として白熱電球、ハロゲンランプ等を使用する場合に比べて、電気を光に変換する効率（電気光変換効率）を高め、同時に赤外線や紫外線の発生を抑えることができる。よって、省電力で駆動でき、節電化、長寿命化を図ることができる。また、装置の温度上昇を低減させることができる。
【００７２】
この様に、ＬＥＤ１７はハロゲンランプ等に比べて熱線の発生が極めて低いので、後述する光源レンズ１８や投影光学系２０として、樹脂製のレンズを採用することができる。よって、ガラス製のレンズを採用する場合に比べて、各レンズ１８，２０を安価で軽量に構成することができる。
【００７３】
また、ＬＥＤアレイ１７Ａを構成する各ＬＥＤ１７は、各々同じ発光色を発光するもので、材料にＡｌ、Ｉｎ、Ｇａ、Ｐの４元素を用いたアンバー色を発光するもので構成されている。よって、複数色の発光色を発光させる場合に生ずる色収差の補正を考慮する必要はなく、色収差を補正するために投影光学系２０として色消しレンズを採用する必要はないので、簡単な面構成および安価な材料の投影手段を提供することができるという効果がある。
【００７４】
また、他の発光色に比べて電気光変換率が約８０ｌｕｍｅｎ／Ｗと高い４元素材料のアンバー色ＬＥＤを採用することで、一層、高輝度、節電、長寿命化を図ることができる。尚、各ＬＥＤ１７を千鳥状に配置する事に関する効果については、図４を参照して説明する。
【００７５】
具体的には、ＬＥＤアレイ１７Ａは５９個のＬＥＤ１７からなり、各ＬＥＤ１７は５０ｍＷ（２０ｍＡ，２．５Ｖ）で駆動され、結局、全５９個のＬＥＤ１７は略３Ｗの消費電力で駆動される。また、各ＬＥＤ１７から発光される光が、光源レンズ１８、投影ＬＣＤ１９を通過して投影光学系２０から照射される場合の光束値としての明るさは、全面照射の場合であっても２５ＡＮＳＩルーメン程度に設定されている。
【００７６】
この明るさを採用することで、例えば、立体画像モードにおいて、人や動物の顔面等の被写体の３次元形状を検出する場合に、人や動物に眩しさを与えず、人や動物が目をつぶっていない状態の３次元形状を検出することができる。
【００７７】
光源レンズ１８は、ＬＥＤアレイ１７Ａから放射状に発光される光を集光するレンズであり、その材質はアクリルに代表される光学樹脂で構成されている。
【００７８】
具体的には、光源レンズ１８は、ＬＥＤアレイ１７Ａの各ＬＥＤ１７に対向する位置に投影ＬＥＤ１９側に向けて凸設された凸状のレンズ部１８ａと、そのレンズ部１８ａを支持するベース部１８ｂと、そのベース部１８ｂの内部空間であってＬＥＤアレイ１７Ａを内包する開口に充填されるＬＥＤ１７の封止および基板１６と光源レンズ１８との接着を目的としたエポキシまたはシリコン樹脂の封止材１８ｃと、ベース部１８ｂから基板１６側に突設され、光源レンズ１８と基板１６とを接続する位置決めピン１８ｄとを備えている。
【００７９】
光源レンズ１８は、開口の内部にＬＥＤアレイ１７Ａを内包させつつ、基板１６に穿設されている長孔１６に位置決めピン１８ｄを差込み、基板１６上に固定される。
【００８０】
よって、省スペースで光源レンズ１８を配置することができる。また、基板１６にＬＥＤアレイ１７Ａを実装するという機能の他に、光源レンズ１８を支持するという機能を兼任させることで、光源レンズ１８を支持する部品を別途必要とせず、部品の点数を削減することができる。
【００８１】
また、各レンズ部１８ａは、ＬＥＤアレイ１７Ａの各ＬＥＤ１７と１対１の関係で対向する位置に配置されている。
【００８２】
よって、各ＬＥＤ１７から発光される放射状の光は、各ＬＥＤ１７に対向する各レンズ部１８によって効率良く集光され、図に示すような指向性の高い放射光として投影ＬＥＤ１９に照射される。この様に指向性を高めたのは、投影ＬＣＤ１９に略垂直に光を入射することによって、面内の透過率ムラが抑制され得るためである。また同時に、投影光学系２０は、テレセントリック特性を持ち、その入射ＮＡが０．１程度であるため、垂直±５°以内の光のみが内部の絞りを通過できるように規制されているためである。
【００８３】
従って、ＬＥＤ１７からの光を出射角度を垂直に揃え、且つ、±５°にほどんどの光束を入れることが画質向上の要点となる。なぜなら投影ＬＣＤ１９に垂直から外れた光を入射すると、液晶の旋光性により、透過率が入射角度に依存して変わってしまい、透過率ムラとなるからである。
【００８４】
投影ＬＣＤ１９は、光源レンズ１８を通過して集光された光に空間変調を施して、投影光学系２０に向けて画像信号光を出力する空間変調素子であって、具体的には、縦横の比率の異なる板状の液晶ディスプレイ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）で構成されている。
【００８５】
また、（Ｃ）に示すように、この投影ＬＣＤ１９を構成する各画素は、その液晶ディスプレイの長手方向に沿って一直線状に並べられた１の画素列と、その１の画素列とは液晶ディスプレイの長手方向に所定間隔ずれた他の画素列とを交互に並列に並べて配置されている。
【００８６】
尚、（Ｃ）は紙面手前側に撮像ヘッド２の正面を向け、紙面裏側から光が投影ＬＣＤ１９に向けて照射され、紙面手間側からＣＣＤ２２に被写体像が結像される状態であるとする。
【００８７】
このように、投影ＬＣＤ１９を構成する画素を長手方向に千鳥状に配置することで、長手方向と直交する方向（短手方向）において、投影ＬＣＤ１９によって空間変調が施される光を１／２ピッチで制御することができる。従って、細いピッチで投影パターンを制御でき、分解能を上げて高精度に３次元の形状を検出することができる。
【００８８】
特に、後述する立体画像モードや平面化画像モードにおいて、被写体の３次元形状を検出すべく、被写体に向けて明暗を交互に並べてなる縞状のパターン光を投光する場合に、その縞方向を投影ＬＣＤ１９の短手方向に一致させることで、明暗の境界を１／２ピッチで制御することができるので、同様に高精度に３次元の形状を検出することができる。
【００８９】
また、撮像ヘッド２の内部において、投影ＬＣＤ１９とＣＣＤ２２とは、（Ｃ）に示すような関係で配置される。具体的には、投影ＬＣＤ１９の幅広面とＣＣＤ２２の幅広面とは略同一の方向に向いて配置されているので、投影ＬＣＤ１９から投影面に投影されている画像をＣＣＤ２２に結像させる場合に、投影画像をハーフミラー等で屈曲させることなく、そのままの状態で投影画像を結像させることができる。
【００９０】
また、ＣＣＤ２２は、投影ＬＣＤ１９の長手方向側（画素列が延びる方向側）に配置されている。よって、特に、立体画像モードや平面化画像モードにおいて、三角測量の原理を利用して被写体の３次元形状を検出する場合には、ＣＣＤ２２と被写体とのなす傾きを１／２ピッチで制御することができるので、同様に高精度に３次元の形状を検出することができる。
【００９１】
投影光学系２０は、投影ＬＥＤ１９を通過した画像信号光を投影面に向けて投影する複数のレンズであり、ガラス及び樹脂の組み合わせからなるテレセントリックレンズで構成されている。テレセントリックとは、投影光学系２０を通過する主光線は、入射側の空間では光軸に平行になり、射出瞳の位置は無限になる構成をいう。このようにテレセントリックにすることで、前述のように投影ＬＣＤ１９を垂直±５°で通過する光のみを投影し得るので、画質を向上させることができる。
【００９２】
図４は、ＬＥＤアレイ１７Ａの配列に関する説明をするための図である。（ａ）は光源レンズ１８を通過した光の照度分布を示す図であり、（ｂ）はＬＥＤアレイ１７Ａの配列状態を示す平面図であり、（ｃ）は投影ＬＣＤ１９面における合成照度分布を示す図である。
【００９３】
（ａ）に示すように、光源レンズ１８を通過した光は、半値拡がり半角θ（＝略５°）で、（ａ）左側に図示するような照度分布を有する光として投影ＬＣＤ１９の表面に到達するように設計されている。
【００９４】
また、（ｂ）に示すように、複数のＬＥＤ１７は基板上１６に千鳥状に配列されている。具体的には、複数個のＬＥＤ１７をｄピッチで直列に並べたＬＥＤ列を、√３／２ｄピッチで並列に並べ、更に、そのＬＥＤ列を１列おきに同じ方向に１／２ｄ移動させた状態になるように配置されている。
【００９５】
換言すれば、１のＬＥＤ１７と、その１のＬＥＤ１７の周辺のＬＣＤ１７との間隔はｄになるように設定されている（三角格子配列）。
【００９６】
そして、このｄの長さは、ＬＥＤ１７の１つから出射された光によって投影ＬＣＤ１９において形成される照度分布の半値全幅（ＦＷＨＭ（Full  Width  Half  Maximun））以下となる様に決定されている。
【００９７】
よって、光源レンズ１８を通過して投影ＬＣＤ１９の表面に到達する光の合成照度分布は、（ｃ）に示すように小さなリップルを含んだ略直線状になり、投影ＬＣＤ１９の面に略均一に光を照射することができる。従って、投影ＬＣＤ１９における照度ムラを抑制することができ、結果的に、高品質な画像を投影することができる。
【００９８】
図５は、画像入出力装置１の電気的なブロック図である。尚、既に上述した構成ついては、その説明を省略する。プロセッサ１５は、ＣＰＵ３５と、ＲＯＭ３６と、ＲＡＭ３７とを備えている。
【００９９】
ＣＰＵ３５は、ＲＯＭ３６に記憶されたプログラムによる処理に応じて、ＲＡＭ３７を利用して、レリーズボタン８の押下げ操作の検知、ＣＣＤ２２から画像データの取り込み、その画像データの転送、格納、モード切替スイッチ９の状態の検出等の各種処理を行う。
【０１００】
ＲＯＭ３６には、カメラ制御プログラム３６ａと、パターン光撮影プログラム３６ｂと、輝度画像生成プログラム３６ｃと、コード画像生成プログラム３６ｄと、コード境界抽出プログラム３６ｅと、レンズ収差補正プログラム３６ｆと、三角測量演算プログラム３６ｇと、原稿姿勢演算プログラム３６ｈと、平面変換プログラム３６ｉと、検出領域認識プログラム３６ｊと、文字情報認識プログラム３６ｋと、関連情報抽出プログラム３６ｌと、投影画像生成プログラム３６ｍと関連情報格納部３６ｎとが格納されている。
【０１０１】
カメラ制御プログラム３６ａは、図６に示すメイン処理を含む撮像装置１全体の制御に関するプログラムである。
【０１０２】
パターン光撮影プログラム３６ｂは、原稿Ｐの３次元形状を検出するために被写体にパターン光を投影した状態と、投影していない状態とを撮像するプログラムである。
【０１０３】
輝度画像生成プログラム３６ｃは、パターン光撮影プログラム３６ｂによってパターン光を投影した状態を撮像したパターン光有画像と、パターン光を投影していない状態を撮像したパターン光無画像との差分をとり、投影されたパターン光の輝度画像を生成するプログラムである。
【０１０４】
また、パターン光は複数種類のものが時系列に投影され各パターン光毎に撮像され、撮像された複数枚のパターン光有画像の各々とパターン光無画像との差分がとられ、複数種類の輝度画像が生成される。
【０１０５】
コード画像生成プログラム３６ｄは、輝度画像生成プログラム３６ｃによって生成される複数枚の輝度画像を重ね合わせ、各画素毎に所定のコードを割り当てたコード画像を生成するプログラムである。
【０１０６】
コード境界抽出プログラム３６ｅは、コード画像生成プログラム３６ｄによっって生成されるコード画像と、輝度画像生成プログラム３６ｃによって生成される輝度画像とを利用して、コードの境界座標をサブピクセル精度で求めるプログラムである。
【０１０７】
レンズ収差補正プログラム３６ｆは、コード境界抽出プログラム３６ｅによってサブピクセル精度で求められているコードの境界座標に対して、撮像光学系２０の収差補正を行うプログラムである。
【０１０８】
三角測量演算プログラム３６ｇは、レンズ収差補正プログラム３６ｆによって収差補正がなされたコードの境界座標から、その境界座標に関する実空間の３次元座標を演算するプログラムである。
【０１０９】
原稿姿勢演算プログラム３６ｈは、三角測量演算プログラム３６ｇで演算された３次元座標から原稿Ｐの３次元形状を推定して求めるプログラムである。
【０１１０】
平面変換プログラム３６ｉは、原稿姿勢演算プログラム３６ｈで演算される原稿Ｐの３次元形状に基づき、原稿Ｐの正面から撮像したような平面化画像を生成するプログラムである。
【０１１１】
検出領域認識プログラム３６ｊは、辞典情報モードや郵便情報モードにおいて、ユーザーが関連情報としての辞典情報（意味情報、翻訳情報、読み方情報）や郵便番号情報や住所情報を取得したい文字情報を指定するために、その文字情報を囲んだ領域を検出するプログラムである。
【０１１２】
文字情報認識プログラム３６ｋは、辞典情報モードや郵便情報モードにおいて、検出領域認識プログラム３６ｊによって検出される検出領域内の文字情報を認識するプログラムである。
【０１１３】
関連情報抽出プログラム３６ｌは、辞典情報モードや郵便情報モードにおいて、文字情報認識プログラム３６ｋによって認識された文字情報についての関連情報としての辞典情報等を関連情報格納部３６ｎに格納されている関連情報から抽出するプログラムである。
【０１１４】
投影画像生成プログラム３６ｍは、関連情報抽出プログラム３６ｌによって抽出された関連情報を、原稿Ｐの所定の位置に、所定の形態で投影するための投影画像を生成するプログラムである。
【０１１５】
関連情報格納部３６ｎは、辞典情報モードや郵便情報モードにおいて関連情報として投影される辞典情報（意味情報、翻訳情報、読み方情報）や郵便番号情報や住所情報が文字情報に関連と付けて記憶されている。
【０１１６】
尚、本実施例では、この関連情報格納部３６ｎに関連情報を格納する場合について説明するが、この関連情報は関連情報格納部６ｎに格納する場合に限られず、これらの関連情報を本装置とは別体の外部装置に格納し、その外部装置に格納したデータベースからアンテナ１１やＲＦドライバ２４を含む無線通信手段や有線通信手段により所定の関連情報を抽出するように構成しても良い。また、本装置をインターネットに接続可能に構成し、そのインターネットから所定の関連情報を抽出するように構成しても良い。
【０１１７】
ＲＡＭ３７には、パターン光有画像格納部３７ａと、パターン光無画像格納部３７ｂと、輝度画像格納部３７ｃと、コード画像格納部３７ｄと、コード境界座標格納部３７ｅと、ＩＤ格納部３７ｆと、収差補正座標格納部３７ｇと、３次元座標格納部３７ｈと、原稿姿勢演算結果格納部３７ｉと、平面変換結果格納部３７ｊと、投影画像格納部３７ｋと、指差座標格納部３７ｌと、ワーキングエリア３７ｍとが記憶領域として割り当てられている。
【０１１８】
パターン光有画像格納部３７ａは、パターン光撮影プログラム３６ｂによって原稿Ｐにパターン光を投影した状態を撮像したパターン光有画像を格納する。パターン光無画像格納部３７ｂは、パターン光撮影プログラム３６ｂによって原稿Ｐにパターン光を投影していない状態を撮像したパターン光無画像を格納する。
【０１１９】
輝度画像格納部３７ｃは、輝度画像生成プログラム３６ｃによって生成される輝度画像を格納する。コード画像格納部３７ｄは、コード画像生成プログラム３６ｄによって生成されるコード画像を格納する。コード境界座標格納部３７ｅは、コード境界抽出プログラム３６ｅによって、抽出されるサブピクセル精度で求められた各コードの境界座標を格納する。ＩＤ格納部３７ｆは、境界を有する画素位置において明暗の変化を有する輝度画像に割り当てられるＩＤ等を格納する。収差補正座標格納部３７ｇは、レンズ収差補正プログラム３６ｆによって収差補正がなされたコードの境界座標を格納する。３次元形状座標格納部３７ｈは、三角測量演算プログラム３６ｇによって演算される実空間の３次元座標を格納する。
【０１２０】
原稿姿勢演算結果格納部３７ｉは、原稿姿勢演算プログラム３６ｈによって演算される原稿Ｐの３次元形状に関するパラメータを格納する。平面変換結果格納部３７ｊは、平面変換プログラム３６ｉよって生成される平面変換結果を格納する。投影画像格納部３７ｋは、画像投影部１３から投影する画像情報を格納する。指差座標格納部３７ｌは、辞典情報モードや郵便情報モードにおいてユーザーが人差し指を使って指定した人差し指の先端の座標を格納する。この人差し指の先端の座標の軌跡によりユーザーの指定する検出領域が求められる。ワーキングエリア３７ｍは、ＣＰＵ１５での演算のために一時的に使用するデータを格納する。
【０１２１】
図６は、メイン処理のフローチャートである。尚、このメイン処理におけるデジカメ処理（Ｓ６０５）、ｗｅｂｃａｍ処理（Ｓ６０７）、立体画像処理（Ｓ６０７）、平面化画像処理（Ｓ６１１）の各処理についての詳細は後述する。
【０１２２】
メイン処理では、まず、電源が起動されると（Ｓ６０１）、プロセッサ１５やその他のインターフェイス等が初期化される（Ｓ６０２）。
【０１２３】
そして、モード切替スイッチ９の状態を判別するキースキャンが行われ（Ｓ６０３）、モード切替スイッチ９の設定がデジカメモードか否かが判断され（Ｓ６０４）、デジカメモードであれば（Ｓ６０４：Ｙｅｓ）、後述するデジカメ処理に移行する（Ｓ６０５）。
【０１２４】
一方、デジカメモードでなければ（Ｓ６０４：Ｎｏ）、モード切替スイッチ９の設定がｗｅｂｃａｍモードか否かが判断され（Ｓ６０６）、ｗｅｂｃａｍモードであれば（Ｓ６０６：Ｙｅｓ）、後述するｗｅｂｃａｍ処理に移行する（Ｓ６０７）。
【０１２５】
一方、ｗｅｂｃａｍモードでなければ（Ｓ６０５：Ｎｏ）、モード切替スイッチ９の設定が立体画像モードか否かが判断され（Ｓ６０８）、立体画像モードであれば（Ｓ６０８：Ｙｅｓ）、後述する立体画像処理に移行する（Ｓ６０９）。
【０１２６】
一方、立体画像モードでなければ（Ｓ６０８：Ｎｏ）、モード切替スイッチ９の設定が平面化画像モードか否かが判断され（Ｓ６１０）、平面化画像モードであれば（Ｓ６１０：Ｙｅｓ）、後述する平面化画像処理に移行する（Ｓ６１１）。
【０１２７】
一方、平面化画像モードでなければ（Ｓ６１０：Ｎｏ）、モード切替スイッチ９の設定が辞典情報モードか否かが判断され（Ｓ６１２）、辞典情報モードであれば（Ｓ６１２：Ｙｅｓ）、後述する辞典情報処理に移行する（Ｓ６１３）。
【０１２８】
一方、辞典情報モードでなければ（Ｓ６１２：Ｎｏ）、モード切替スイッチ９の設定が郵便情報モードか否かが判断され（Ｓ６１４）、郵便情報モードであれば（Ｓ６１４：Ｙｅｓ）、後述する郵便情報処理に移行する（Ｓ６１５）。
【０１２９】
そして、郵便情報モードでなければ（Ｓ６１４：Ｎｏ）、モード切替スイッチ９がオフモードか否かが判断され（Ｓ６１６）、オフモードでなければ（Ｓ６１６：Ｎｏ）、Ｓ６０３からの処理を繰り返し、オフモードであれば（Ｓ６１６：Ｙｅｓ）、当該処理を終了する。
【０１３０】
図７は、デジカメ処理（図６のＳ６０５）のフローチャートである。デジカメ処理は、画像撮像部１４によって撮像した画像を取得する処理である。
【０１３１】
この処理では、まず、ＣＣＤ２２に高解像度設定信号を送信する（Ｓ７０１）。これにより高品質の撮像画像を使用者に提供することができる。
【０１３２】
次に、モニタＬＣＤ１０にファインダ画像（ファインダ６を介して見える範囲の画像）を表示する（Ｓ７０２）。よって、使用者は、ファインダ６を覗き込むことなく、モニタＬＣＤ１０に表示された画像によって実際の撮像の前に、撮像画像（撮像範囲）を確認することができる。
【０１３３】
次に、レリーズボタン８をスキャンし（Ｓ７０３ａ）、レリーズボタン８が半押しされたか否かを判断する（Ｓ７０３ｂ）。半押しされていれば（Ｓ７０３ｂ：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ７０３ｃ）。尚、半押しされていなければ（Ｓ７０３ｂ：Ｎｏ）、Ｓ７０３ａからの処理を繰り返す。
【０１３４】
次に、再び、レリーズボタン８をスキャンし（Ｓ７０３ｄ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ７０３ｅ）。全押しされていれば（Ｓ７０３ｅ：Ｙｅｓ）、フラッシュモードか否かを判断する（Ｓ７０４）。
【０１３５】
その結果、フラッシュモードであれば（Ｓ７０４：Ｙｅｓ）、フラッシュ７を投光して（Ｓ７０５）、撮影し（Ｓ７０６）、フラッシュモードでなければ（Ｓ７０４：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ７０６）。尚、Ｓ７０３ｅの判断において、全押しされていなければ（Ｓ７０３ｅ：Ｎｏ）、Ｓ７０３ａからの処理を繰り返す。
【０１３６】
次に、撮影した撮像画像をＣＣＤ２２からキャッシュメモリ２８に転送し（Ｓ７０７）、キャッシュメモリ２８に記憶された撮像画像をモニタＬＣＤ１０に表示する（Ｓ７０８）。このように、撮像画像をキャッシュメモリ２８に転送することでメインメモリに転送する場合に比較して、撮像画像を高速にモニタＬＣＤ１０に表示させることができる。そして、その撮像画像を外部メモリ２７に格納する（Ｓ７０９）。
【０１３７】
最後に、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ７１０）、変化が無ければ（Ｓ７１０：Ｙｅｓ）、Ｓ７０２からの処理を繰り返し、変化があれば（Ｓ７１０：Ｎｏ）、当該処理を終了する。
【０１３８】
図８は、ｗｅｂｃａｍ処理（図６のＳ６０７）のフローチャートである。ｗｅｂｃａｍ処理は、画像撮像部１４で撮像した撮像画像（静止画および動画を含む）を外部ネットワークに送信する処理である。尚、本実施例では、撮像画像として動画を外部ネットワークに送信する場合を想定している。
【０１３９】
この処理では、ます、ＣＣＤ２２に低解像度設定信号を送信し（Ｓ８０１）、周知のオートフォーカス（ＡＦ）及び自動露出（ＡＥ）機能を起動して、ピント、絞り、シャッター速度を調節した後に（Ｓ８０２）、撮影を開始する（Ｓ８０３）。
【０１４０】
そして、撮影された撮像画像をモニタＬＣＤ１０に表示し（Ｓ８０４）、ファインダ画像を投影画像格納部３７ｋに格納し（Ｓ８０５）、後述する投影処理を行い（Ｓ８０６）、投影画像格納部３７ｋに格納されている画像を投影面に投影する。
【０１４１】
また、撮像画像をＣＣＤ２２からキャッシュメモリ２８に転送し（Ｓ８０７）、キャッシュメモリ２８に転送された撮像画像をＲＦインターフェイスであるＲＦドライバ２４及びアンテナ１１を介して外部ネットワークに送信する（Ｓ８０８）。
【０１４２】
そして、最後に、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ８０９）、変化が無ければ（Ｓ８０９：Ｙｅｓ）、Ｓ８０２からの処理を繰り返し、変化があれば（Ｓ８０９：Ｎｏ）、当該処理を終了する。
【０１４３】
図９は、投影処理（図８のＳ８０６）のフローチャートである。この処理は、投影画像投影部１３から投影画像格納部３７ｋに格納されている画像を投影面に投影する処理である。この処理では、まず、投影画像格納部３７ｋに画像が格納されているか否かを確認する（Ｓ９０１）。格納されていれば（Ｓ９０１：Ｙｅｓ）、投影画像格納部３７ｋに格納されている画像を投影ＬＣＤドライバ３０に転送し（Ｓ９０２）、投影ＬＣＤドライバ３０から、その画像に応じた画像信号を投影ＬＣＤ１９に送り、投影ＬＣＤ１９に画像を表示する（Ｓ９０３）。
【０１４４】
次に、光源ドライバ２９を駆動し（Ｓ９０４）、その光源ドライバ２９からの電気信号によってＬＥＤアレイ１７Ａを点灯し（Ｓ９０５）、当該処理を終了する。
【０１４５】
こうして、ＬＥＤアレイ１７Ａが点灯すると、ＬＥＤアレイ１７Ａから発光する光は、光源レンズ１８を介して投影ＬＣＤ１９に到達し、投影ＬＣＤ１９において、投影ＬＣＤドライバ３０から送信される画像信号に応じた空間変調が施され、画像信号光として出力される。そして、その投影ＬＣＤ１９から出力される画像信号光は、投影光学系２０を介して投影面に投影画像として投影される。
【０１４６】
図１０は、立体画像処理（図６のＳ６０９）のフローチャートである。立体画像処理は、被写体の３次元形状を検出し、その立体画像としての３次元形状検出結果画像を取得、表示、投影する処理である。
【０１４７】
この処理では、まず、ＣＣＤ２２に高解像度設定信号を送信し（Ｓ１００１）、モニタＬＣＤ１０にファインダ画像を表示する（Ｓ１００２）。
【０１４８】
次に、レリーズボタン８をスキャンし（Ｓ１００３ａ）、レリーズボタン８が半押しされたか否かを判断する（Ｓ１００３ｂ）。半押しされていれば（Ｓ１００３ｂ：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ１００３ｃ）。尚、半押しされていなければ（Ｓ１００３ｂ：Ｎｏ）、Ｓ１００３ａからの処理を繰り返す。
【０１４９】
次に、再び、レリーズボタン８をスキャンし（Ｓ１００３ｄ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ１００３ｅ）。全押しされていれば（Ｓ１００３ｅ：Ｙｅｓ）、フラッシュモードか否かを判断する（Ｓ１００３ｆ）。
【０１５０】
その結果、フラッシュモードであれば（Ｓ１００３ｆ：Ｙｅｓ）、フラッシュ７を投光して（Ｓ１００３ｇ）、撮影し（Ｓ１００３ｈ）、フラッシュモードでなければ（Ｓ１００３ｆ：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ１００３ｈ）。尚、Ｓ１００３ｅの判断において、全押しされていなければ（Ｓ１００３ｅ：Ｎｏ）、Ｓ１００３ａからの処理を繰り返す。
【０１５１】
次に、後述する３次元形状検出処理を行い、被写体の３次元形状を検出する（Ｓ１００６）。
【０１５２】
次に、３次元形状検出処理（Ｓ１００６）における３次元形状検出結果を外部メモリ２７に格納し（Ｓ１００７）、３次元形状検出結果をモニタＬＣＤ１０に表示する（Ｓ１００８）。尚、この３次元形状検出結果とは、各計測頂点の実空間における３次元座標（Ｘ，Ｙ，Ｚ）の集合体として表示する。
【０１５３】
次に、３次元形状検出結果としての計測頂点をポリゴンで結んでそのサーフェスを表示した立体画像（３ＤのＣＧ画像）としての３次元形状検出結果画像を投影画像格納部３７ｋに格納し（Ｓ１００９）、図８のＳ８０６の投影処理と同様な投影処理を行う（Ｓ１０１０）。尚、この場合には、図１８において説明する投影ＬＣＤ１９上の座標を３次元空間座標に変換する式の逆関数を利用して、求められた３次元座標に対する投影ＬＣＤ１９上の座標を求めることで、３次元形状結果座標を投影面に投影させることができる。
【０１５４】
そして、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ１０１１）、変化が無ければ（Ｓ１０１１：Ｙｅｓ）、Ｓ７０２からの処理を繰り返し、変化があれば（Ｓ１０１１：Ｎｏ）、当該処理を終了する。
【０１５５】
図１１（ａ）は、上述した３次元形状検出処理（図１０のＳ１００６）において、３次元形状を検出するために利用する空間コード法の原理を説明するための図であり、（ｂ）は（ａ）とは異なるパターン光を示す図である。パターン光にはこれら（ａ）または（ｂ）のいずれを用いても良く、更には、多階調コードであるグレイレベルコードを用いても良い。
【０１５６】
尚、この空間コード法につての詳細は、佐藤宏介、他１名、「空間コード化による距離画像入力」、電子通信学会論文誌、８５／３Ｖｏｌ．Ｊ  ６８−Ｄ  Ｎｏ３  ｐ３６９〜３７５に詳細に開示されている。
【０１５７】
空間コード法は、投影光と観測画像間の三角測量に基づいて被写体の３次元形状を検出する方法の１種であり、（ａ）に示すように、投影光源Ｌと観測器Ｏとを距離Ｄだけ離して設置し、空間を細長い扇状領域に分割しコード化することを特徴とする。
【０１５８】
図中の３枚のマスクパターンＡ，Ｂ，ＣをＭＳＢから順番に投影すると、各扇状領域はマスクによって明「１」と暗「０」とにコード化される。例えば、点Ｐを含む領域は、マスクＡ，Ｂでは光が当たらず、マスクＣでは明になるので、００１（Ａ＝０、Ｂ＝０、Ｃ＝１）とコード化される。
【０１５９】
各扇状の領域には、その方向φに相当するコードが割り当てられ、それぞれを１本のスリット光線とみなすことができる。そこで各マスクごとに情景を観測機器としてのカメラで撮影し、明暗パターンを２値化してメモリの各ビットプレーンを構成していく。
【０１６０】
こうして、得られた多重ビットプレーン画像の横方向の位置（アドレス）は、観測方向θに相当し、このアドレスのメモリの内容は投影光コード、即ち、φを与える。このθとφとから注目点の座標を決定する。
【０１６１】
また、この方法で使用するマスクパターンとしては、（ａ）ではマスクパターンＡ，Ｂ，Ｃのような純２進コードを用いる場合を図示しているが、マスクの位置ズレが起こると領域の境界で大きな誤差が生ずる危険性がある。
【０１６２】
例えば、（ａ）の点Ｑは領域３（０１１）と領域４（１００）の境界を示しているが、もしマスクＡの１がずれ込むと領域７（１１１）のコードが生ずる可能性がある。換言すれば、隣接する領域間でハミング距離が２以上のところで、大きな誤差が発生する可能性がある。
【０１６３】
そこで、この方法で使用するマスクパターンとしては、（ｂ）に示すように、隣接する領域間でハミング距離が常に１であるコードを使うことで、上述したようなコード化誤差を避けることができるとされている。
【０１６４】
図１２（ａ）は、３次元形状検出処理（図１０のＳ１００６）のフローチャートである。この処理では、まず、撮像処理を行う（Ｓ１２１０）。この撮像処理は、図１１（ａ）に示す複数枚の純２進コードのマスクパターンを利用して画像投影部１３から、明暗を交互に並べてなる縞状のパターン光（図１参照）を時系列的に被写体に投影し、各パターン光が投影されている状態を撮像したパターン光有画像と、パターン光が投影されていな状態を撮像したパターン光無画像とを取得する処理である。
【０１６５】
撮像処理を終了すると（Ｓ１２１０）、３次元計測処理を行う（Ｓ１２２０）。３次元計測処理は、撮像処理によって取得したパターン光有画像とパターン光無画像とを利用して、実際に被写体の３次元形状を計測する処理である。こうして、３次元計測処理を終了すると（Ｓ１２２０）、当該処理を終了する。
【０１６６】
図１２（ｂ）は、撮像処理（図１２（ａ）のＳ１２１０）のフローチャートである。この処理は、パターン光撮影プログラム３６ａに基づき実行され、まず、画像投影部１３からパターン光を投影することなく、画像撮像部１４によって被写体を撮像することで、パターン光無画像を取得する（Ｓ１２１１）。尚、取得したパターン光無画像はパターン光無画像格納部３７ｂに格納される。
【０１６７】
次に、カウンタｉを初期化し（Ｓ１２１２）、そのカウンタｉの値が最大値ｉｍａｘか否かを判断する（Ｓ１２１３）。尚、最大値ｉｍａｘは使用するマスクパターンの数によって決定される。例えば、８種類のマスクパターンを使用する場合には、最大ｉｍａｘ（＝８）となる。
【０１６８】
そして、判断の結果、カウンタｉの値が最大値ｉｍａｘより小さい場合には（Ｓ１２１３：Ｙｅｓ）、使用するマスクパターンの内、ｉ番のマスクパターンを投影ＬＣＤ１９に表示し、そのｉ番のマスクパターンによって投影されるｉ番のパターン光を投影面に投影し（Ｓ１２１４）、そのパターン光が投影されている状態を画像撮像部１４によって撮影する（Ｓ１２１５）。
【０１６９】
こうして、被写体にｉ番のパターン光が投影された状態を撮像したパターン光有画像を取得する。尚、取得したパターン光有画像は、パターン光有画像格納部３７ａに格納される。
【０１７０】
撮影を終了すると、ｉ番のパターン光の投影を終了し（Ｓ１２１６）、次のパターン光を投影すべく、カウンタｉに「１」を加算して（Ｓ１２１７）、Ｓ１２１３からの処理を繰り返す。
【０１７１】
そして、カウンタｉの値が最大値ｉｍａｘより大きいと判断すると（Ｓ１２１３：Ｎｏ）、当該処理を終了する。即ち、この撮像処理においては、１枚のパターン光無画像と、最大値ｉｍａｘ枚のパターン光有画像とを取得することになる。
【０１７２】
図１２（ｃ）は、３次元計測処理（図１２（ａ）のＳ１２２０）のフローチャートである。この処理は、輝度画像生成プログラム３６ｃに基づき実行され、まず、輝度画像を生成する（Ｓ１２２１）。ここで、輝度は、ＹＣｂＣｒ空間におけるＹ値であり、各画素のＲＧＢ値よりＹ＝０．２９８９・Ｒ＋０．５８６６・Ｇ＋０．１１４５・Ｂから計算される値である。各画素についてＹ値を求めることにより、各パターン光有及び無し画像に関する輝度画像を生成する。生成した輝度画像は、輝度画像格納部３７ｃに格納される。また、パターン光の番号に対応した番号を各輝度画像に割り付けておく。
【０１７３】
次に、コード画像生成プログラム３６ｄにより、上述した空間コード法を利用して、生成した輝度画像を組み合わせることで、各画素毎にコード化されたコード画像を生成する（Ｓ１２２２）。
【０１７４】
このコード画像は、輝度画像格納部３７ｃに格納したパターン光有り画像に関する輝度画像の各画素について、あらかじめ設定した輝度閾値あるいはパターン光無画像と比較することで２値化し、その結果を図１１（ａ），（ｂ）に説明した様に、ＬＳＢ〜ＭＳＢに割り当てることで生成することができる。生成されたコード画像はコード画像格納部３７ｄに格納される。
【０１７５】
次に、コード境界抽出プログラム３６ｅにより、後述するコード境界座標検出処理を行い（Ｓ１２２３）、各画素毎に割り当てられたコードの境界座標をサブピクセル精度で検出する。
【０１７６】
次に、レンズ収差補正プログラム３６ｆにより、レンズ収差補正処理を行う（Ｓ１２２４）。この処理によって、撮像光学系２１の歪みなどの影響で誤差を含んでいるＳ１２２３で検出されるコード境界座標の誤差を補正することができる。
【０１７７】
次に、三角測量演算プログラム３６ｇにより、三角測量原理による実空間変換処理を行う（Ｓ１２２５）。この処理によって収差補正が施された後のＣＣＤ空間上のコード境界座標は、実空間における３次元座標に変換され、３次元形状検出結果としての３次元座標が求められる。
【０１７８】
図１３は、コード境界座標検出処理（図１２のＳ１２２３）の概略を説明するための図である。上側の図は、ＣＣＤ空間において実際のパターン光の明暗の境界を境界線Ｋで示し、そのパターン光を上述した空間コード法でコード化し、１のコードと他のコードとの境界を図中太線で示した図である。
【０１７９】
即ち、上述した空間コード法におけるコード化は、各画素単位で行われるため、実際のパターン光の境界線Ｋと、コード化された境界（図中太線）とではサブピクセル精度の誤差が生ずる。そこで、このコード境界座標検出処理は、コードの境界座標をサブピクセル精度で検出することを目的とする。
【０１８０】
この処理では、まず、ある検出位置（以下「ｃｕｒＣＣＤＸ」と称す）において、ある着目コード（以下「ｃｕｒＣｏｄｅ」という）から他のコードに変化する第１画素Ｇを検出する（第１画素検出工程）。
【０１８１】
例えば、ｃｕｒＣＣＤＸにおいて、上から順番に各画素を検出すると、境界（太線）まではｃｕｒＣｏｄｅを有する画素であるが、境界の次の画素、即ち、第１画素Ｇにおいて、ｃｕｒＣｏｄｅは変化しているので、これを第１画素Ｇとして検出する。
【０１８２】
次に、その第１画素Ｇの画素位置において、図１２のＳ１２２１において輝度画像格納部３７ｃに格納された輝度画像の内から、明暗の変化を持つ輝度画像の全部を抽出する（輝度画像抽出工程）。
【０１８３】
次に、近似に利用するための画素領域を特定するために検出位置を「２」左側に移動させ、検出位置ｃｕｒＣＣＤＸ−２の位置において、コード画像を参照して、着目コード（ｃｕｒＣｏｄｅ）から他のコードに変化する画素（境界画素（ｃｕｒＣＣＤＸ−２の検出位置では画素Ｈ））を探し、その画素を中心に予め定めた範囲（本実施例の場合Ｙ軸方向に−３画素と＋２画素の範囲）の画素範囲を特定する（画素領域特定工程の一部）。
【０１８４】
次に、その予め定めた範囲内において、図中の下側の左側のグラフに示すように、Ｙ方向の画素位置と輝度とに関する近似式（図中実線で示す）を求め、その近似式における輝度閾値ｂＴｈとの交点におけるＹ座標Ｙ１を求める（境界座標検出工程の一部）。
【０１８５】
尚、輝度閾値ｂＴｈは、予め定められた範囲内から算出（例えば、各画素の輝度の平均の２分の１）しても良く、予め与えられた固定値であっても良い。これにより、明と暗との境界をサブピクセル精度で検出することができる。
【０１８６】
次に、検出位置をｃｕｒＣＣＤＸ−２から「１」右側に移動させ、ｃｕｒＣＣＤＸ−１において上述したのと同様な処理を行い、ｃｕｒＣＣＤＸ−１における代表値を求める（境界座標検出工程の一部）。
【０１８７】
このように、境界画素を中心にＹ軸方向に予め定めた範囲と、Ｘ軸方向におけるｃｕｒＣＣＤＸ−２からｃｕｒＣＣＤＸ＋２の範囲とで構成される画素領域（図中右下がり斜線部参照）において、各検出位置における代表値を求める。
【０１８８】
これまでの処理をｃｕｒＣｏｄｅから他のコードへ変化する画素を持つ輝度画像の全てに行い、各輝度画像についての代表値の加重平均値を最終的にｃｕｒＣｏｄｅにおける境界座標として採用する（境界座標検出工程の一部）。
【０１８９】
これにより、コードの境界座標を高精度にサブピクセル精度で検出することができ、この境界座標を利用して上述した三角測量原理による実空間変換処理（図１２のＳ１２２５）を行うことで、高精度に被写体の３次元形状を検出することができる。
【０１９０】
また、このように輝度画像に基づき算出される近似式を利用して境界座標をサブピクセル精度で検出することができるため、従来のように撮像枚数を増加させることもなく、また、純２進コードで明暗付けられたパターン光であっても良く、特殊なパターン光であるグレイコードを用いる必要はない。
【０１９１】
尚、本実施例では、各検出位置において境界画素を中心にＹ軸方向に「−３」から「＋２」の範囲と、Ｘ軸方向における検出位置としてのｃｕｒＣＣＤＸ−２からｃｕｒＣＣＤＸ＋２の範囲とで構成される領域を、近似を求めるための画素領域として説明したが、この画素領域のＹ軸、Ｘ軸の範囲はこれらに限定されるものではない。例えば、ｃｕｒＣＣＤＸの検出位置における境界画素を中心としたＹ軸方向への所定範囲だけを画素領域としても良い。
【０１９２】
図１４は、コード境界座標検出処理（図１２のＳ１２２３）のフローチャートである。この処理は、コード境界抽出プログラム３６ｅに基づき実行され、まず、ＣＣＤ空間におけるコード境界座標列の各要素を初期化し（Ｓ１４０１）、ｃｕｒＣＣＤＸを開始座標に設定する（Ｓ１４０２）。
【０１９３】
次に、ｃｕｒＣＣＤＸが終了座標以下か否かを判断し（Ｓ１４０３）、終了座標以下であれば（Ｓ１４０３：Ｙｅｓ）、ｃｕｒＣｏｄｅを「０」に設定する（Ｓ１４０４）。即ち、ｃｕｒＣｏｄｅは当初、最小値に設定される。
【０１９４】
次に、ｃｕｒＣｏｄｅが最大コードより小さいか否かを判断する（Ｓ１４０５）。ｃｕｒＣｏｄｅが最大コードより小さければ（Ｓ１４０５：Ｙｅｓ）、ｃｕｒＣＣＤＸにおいてコード画像を参照して、ｃｕｒＣｏｄｅの画素を探し（Ｓ１４０６）、ｃｕｒＣｏｄｅの画素が存在するか否かを判断する（Ｓ１４０７）。
【０１９５】
その結果、ｃｕｒＣｏｄｅの画素が存在していれば（Ｓ１４０７：Ｙｅｓ）、ｃｕｒＣＣＤＸにおいて、そのｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素をコード画像を参照して探し（Ｓ１４０８）、そのｃｕｒＣｏｄｅよりも大きなｃｕｒＣｏｄｅの画素が存在するか否かを判断する（Ｓ１４０９）。
【０１９６】
その結果、ｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素が存在していれば（Ｓ１４０９：Ｙｅｓ）、後述する境界をサブピクセル精度で求める処理を行う（Ｓ１４１０）。そして、次のｃｕｒＣｏｄｅについて境界座標を求めるべく、ｃｕｒＣｏｄｅに「１」を加算して（Ｓ１４１１）、Ｓ１４０５からの処理を繰り返す。
【０１９７】
即ち、境界は、ｃｕｒＣｏｄｅを有する画素の画素位置またはｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素の画素位置に存在しているため、本実施例では、暫定的に境界は、ｃｕｒＣｏｄｅより大きなｃｕｒＣｏｄｅの画素の画素位置にあると仮定して処理を進めるものである。
【０１９８】
また、ｃｕｒＣｏｄｅが存在していない場合や（Ｓ１４０７：Ｎｏ）、ｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素が存在していない場合には（Ｓ１４０９：Ｎｏ）、次のｃｕｒＣｏｄｅについて境界座標を求めるべく、ｃｕｒＣｏｄｅに「１」を加算して（Ｓ１４１１）、Ｓ１４０５からの処理を繰り返す。
【０１９９】
こうして、０から最大コードまでのｃｕｒＣｏｄｅについて、Ｓ１４０５からＳ１４１１までの処理を繰り返し、ｃｕｒＣｏｄｅが最大コードより大きくなると（Ｓ１４０５：Ｎｏ）、検出位置を変更すべく、ｃｕｒＣＣＤＸに「ｄＣＣＤＸ」を加算し（Ｓ１４１２）、新たな検出位置において、上述したのと同様にＳ１４０３からの処理を繰り返す。
【０２００】
そして、ｃｕｒＣＣＤＸを変更してゆき、最終的にｃｕｒＣＣＤＸが終了座標より大きくなると（Ｓ１４０３）、即ち、開始座標から終了座標までの検出が終了すると、当該処理を終了する。
【０２０１】
図１５は、コード境界座標をサブピクセル精度で求める処理（図１４のＳ１４１０）のフローチャートである。
【０２０２】
この処理では、まず、図１２のＳ１２２１において輝度画像格納部３７ｃに格納された輝度画像の内から、図１４のＳ１４０９において検出されたｃｕｒＣｏｄｅよりも大きなＣｏｄｅを有する画素の画素位置において、明暗の変化を持つ輝度画像の全部を抽出する（Ｓ１５０１）。
【０２０３】
そして、その抽出した輝度画像のマスクパターン番号を配列ＰａｔＩＤ［］へ格納し、その抽出した輝度画像の画像数をｎｏＰａｔＩＤへ格納する（Ｓ１５０２）。尚、配列ＰａｔＩＤ［］とｎｏＰａｔＩＤとはＩＤ格納部３７ｆに格納される。
【０２０４】
次に、カウンタｉを初期化し（Ｓ１５０３）、カウンタｉの値がｎｏＰａｔＩＤより小さいか否かを判断する（Ｓ１５０４）。その結果、小さいと判断されれば（Ｓ１５０４：Ｙｅｓ）、カウンタｉに対応するＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像について、境界のＣＣＤＹ値を求め、その値をｆＣＣＤＹ［ｉ］へ格納する（Ｓ１５０５）。
【０２０５】
このＳ１５０５の処理を終了すると、カウンタｉに「１」を加算し（Ｓ１５０６）、Ｓ１５０４からの処理を繰り返す。そして、Ｓ１５０４において、カウンタｉの値がｎｏＰａｔＩＤより大きいと判断されると（Ｓ１５０４：Ｎｏ）、即ち、Ｓ１５０１で抽出された全部の輝度画像についてＳ１５０５の処理が終了すると、Ｓ１５０５の処理で求めたｆＣＣＤＹ［ｉ］の加重平均値を計算し、その結果を境界値とする（Ｓ１５０７）。
【０２０６】
尚、加重平均値に代えて、Ｓ１５０５の処理で求めたｆＣＣＤＹ［ｉ］の中央値を計算し、その結果を境界値としたり、統計的な計算により境界値を計算したりすることもできる。
【０２０７】
即ち、境界座標は、ｃｕｒＣＣＤＸの座標と、Ｓ１５０７で求められる加重平均値とで表現され、この境界座標をコード境界座標格納部３７ｅに格納して、当該処理を終了する。
【０２０８】
図１６は、ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像について、境界のＣＣＤＹ値を求める処理（図１５のＳ１５０５）のフローチャートである。
【０２０９】
この処理では、まず、「ｃｕｒＣＣＤＸ−ｄｘ」と「０」との内、大きい値をｃｃｄｘとして設定する「ｃｃｄｘ＝ＭＡＸ（ｃｕｒＣＣＤＸ−ｄｘ，０）」で表される処理を行うと共に、カウンタｊを初期化する（Ｓ１６０１）。
【０２１０】
具体的には、Ｓ１６０１でいう「０」はＣＣＤＸ値の最小値を意味し、例えば、今、検出位置としてのｃｕｒＣＣＤＸ値が「１」で、予め設定されているｄｘ値が「２」であったとすると、「ｃｕｒＣＣＤＸ−ｄｘ」は「−１」となり、ＣＣＤＸ値の最小値である「０」よりも小さくなるため、「−１」における以降の処理は、「ｃｃｄｘ＝０」として設定する処理を行う。
【０２１１】
即ち、ＣＣＤＸ値の最小値よりも小さい位置については、以降の処理を除外する処理を行う。
【０２１２】
尚、この「ｄｘ」の値は、予め「０」を含む適当な整数に設定することができ、図１３で説明した例では、この「ｄｘ」は「２」に設定されており、図１３の例に従えば、このｃｃｄｘは「ｃｕｒＣＣＤＸ−２」に設定されることになる。
【０２１３】
次に、ｃｃｄｘ＜＝ＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）であるか否かを判断する（Ｓ１６０２）。つまり、左辺の「ＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）」は、「ｃｕｒＣＣＤＸ＋ｄｘ」と、ＣＣＤＸ値の最大値「ｃｃｄＷ」から「１」を減算した「ｃｃｄＷ−１」との内、小さい値であることを意味しているので、その値と「ｃｃｄｘ」値との大小を比較する。
【０２１４】
即ち、ＣＣＤＸ値の最大値よりも大きい位置については、以降の処理を除外する処理を行う。
【０２１５】
そして、判断の結果、ｃｃｄｘがＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）よりも小さければ（Ｓ１６０２：Ｙｅｓ）、コード画像とＰａｔＩＤ［ｉ］が割り当てられた輝度画像とを参照して、境界の存在する画素の画素位置のｅＣＣＤＹ値を求める（Ｓ１６０３）。
【０２１６】
例えば、検出位置を図１３に示すｃｕｒＣＣＤＸ−１であるとすると、画素Ｉを境界が存在する画素候補として検出し、画素Ｉの位置においてｅＣＣＤＹ値を求める。
【０２１７】
次に、ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像から、ＭＡＸ（ｅＣＣＤＹ−ｄｙ，０）＜＝ｃｃｄｙ＜＝ＭＩＮ（ｅＣＣＤＹ＋ｄｙ−１，ｃｃｄＨ−１）の範囲で、ｃｃｄｙ方向における輝度に関する近似多項式Ｂｔ＝ｆｂ（ｃｃｄｙ）を求める（Ｓ１６０４）。
【０２１８】
次に、その近似多項式Ｂｔと輝度閾値ｂＴｈとの交差するｃｃｄｙ値を求め、その値をｅｆＣＣＤＹ［ｊ］へ格納する（Ｓ１６０５）。このＳ１６０４とＳ１６０５とによって、サブピクセル精度の境界座標の検出をすることができる。
【０２１９】
次に、ｃｃｄｘとカウンタｊとに各々「１」を加算し（Ｓ１６０５）、Ｓ１６０２からの処理を繰り返す。即ち、ｃｕｒＣＣＤＸを中心とした左右の所定範囲内における各検出位置において、サブピクセル精度の境界を検出するのである。
【０２２０】
そして、Ｓ１６０２において、「ｃｃｄｘ」が「ＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）」より大きいと判断されると（Ｓ１６０２：Ｎｏ）、ｃｕｒＣＣＤＸ−ｄｘからｃｕｒＣＣＤＸ＋ｄｘの範囲で計算されたｅｆＣＣＤＹ［ｊ］について、ｃｃｄｙ＝ｆｙ（ｃｃｄｘ）の近似多項式を求める（Ｓ１６０６）。この処理によってＳ１６０５において検出された各値を用いるので、１つの検出位置において境界座標を検出しようとする場合に比べて、境界座標の検出精度を向上させることができる。
【０２２１】
こうして得られた近似多項式とｃｕｒＣＣＤＸとの交点を、ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像についての境界のＣＣＤＹ値として（Ｓ１６０７）、当該処理を終了する。ここまでの処理を図１５のフローチャートに示すように、抽出した全部の輝度画像の１枚、１枚に実行し、求められた境界座標について加重平均値を計算して、その結果を最終的な境界座標としているので（Ｓ１５０７）、更に、境界座標の検出精度を向上させることができる。
【０２２２】
図１７は、レンズ収差補正処理（図１２のＳ１２２４）を説明するための図である。レンズ収差補正処理は、図１７（ａ）に示すように、撮像光学系２１の収差により、入射した光束が理想レンズにより結像すべき位置からずれてしまうことに対して、撮像された画素の位置を本来結像すべき位置へ補正する処理である。
【０２２３】
この収差補正は、例えば、図１７（ｂ）に示すように、撮像光学系２１の撮像範囲において、入射光の角度である半画角ｈｆａをパラメータとして光学系の収差を計算して求めたデータを基に補正する。
【０２２４】
この収差補正処理では、レンズ収差補正プログラム３６ｆに基づき実行され、コード境界座標格納部３７ｅに格納されているコード境界座標について行なわれ、収差補正処理がなされたデータは、収差補正座標格納部３７ｇに格納される。
【０２２５】
具体的には、実画像における任意点座標（ｃｃｄｘ、ｃｃｄｙ）を理想カメラ画像での座標（ｃｃｄｃｘ、ｃｃｄｃｙ）に変換する次の（ａ）から（ｃ）のカメラキャリブレーション（近似式）を用いて補正する。
【０２２６】
本実施例では、収差量ｄｉｓｔ（％）は、半画角ｈｆａ（ｄｅｇ）を用いてｄｉｓｔ＝ｆ（ｈｆａ）と記述する。また、撮像光学系２１の焦点距離をｆｏｃａｌｌｅｎｇｔｈ（ｍｍ）、ｃｃｄ画素長ｐｉｘｅｌｌｅｎｇｔｈ（ｍｍ）、ＣＣＤ２２におけるレンズの中心座標を（Ｃｅｎｔｘ、Ｃｅｎｔｙ）とする。
【０２２７】
（ａ）ｃｃｄｃｘ＝（ｃｃｄｘ−Ｃｅｎｔｘ）／（１＋ｄｉｓｔ／１００）＋Ｃｅｎｔｘ
（ｂ）ｃｃｄｃｙ＝（ｃｃｄｙ−Ｃｅｎｔｙ）／（１＋ｄｉｓｔ／１００）＋Ｃｅｎｔｙ
（ｃ）ｈｆａ＝ａｒｃｔａｎ［（（（ｃｃｄｘ−Ｃｅｎｔｘ）２＋（ｃｃｄｙ−Ｃｅｎｔｙ）２）０．５）×ｐｉｘｅｌｌｅｎｇｔｈ／ｆｏｃａｌｌｅｎｇｔｈ］
図１８は、三角測量原理による実空間変換処理（図１２のＳ１２２５）において、ＣＣＤ空間における座標から、３次元空間における３次元座標を算出する方法を説明するための図である。
【０２２８】
三角測量原理による実空間変換処理では、三角測量演算プログラム３６ｇによって、収差補正座標格納部３７ｇに格納されている収差補正がなされたコード境界座標についての３次元空間における３次元座標が算出される。こうして算出される３次元座標は、３次元座標格納部３７ｈに格納される。
【０２２９】
本実施例では、撮像される横方向に湾曲した原稿Ｐに対する画像入力出力装置１の座標系として、撮像光学系２１の光軸方向をＺ軸、そのＺ軸に沿って撮像レ光学系２１の主点位置からＶＰＺ離れた地点を原点、画像入出力装置１に対して水平方向をＸ軸、垂直方向をＹ軸とする。
【０２３０】
また、３次元空間（Ｘ，Ｙ，Ｚ）への画像投影部１３からの投影角度θｐ、撮像レンズ光学系２０の光軸と画像投影部１３の光軸との距離をＤ、撮像光学系２１のＹ方向の視野をＹｆｔｏｐからＹｆｂｏｔｔｏｍ、Ｘ方向の視野をＸｆｓｔａｒｔからＸｆｅｎｄ、ＣＣＤ２２のＹ軸方向の長さ（高さ）をＨｃ、Ｘ軸方向の長さ（幅）をＷｃとする。尚、投影角度θｐは、各画素毎に割り当てられたコードに基づき与えられる。
【０２３１】
この場合、ＣＣＤ２２の任意座標（ｃｃｄｘ，ｃｃｄｙ）に対応する３次元空間位置（Ｘ，Ｙ，Ｚ）は、ＣＣＤ２２の結像面上の点と、パターン光の投影点と、Ｘ−Ｙ平面に交差する点とで形成される三角形について５つの式を解くことで得ることができる。
（１）Ｙ＝−（ｔａｎθｐ）Ｚ＋ＰＰＺ＋ｔａｎθｐ−Ｄ＋ｃｍｐ（Ｘｔａｒｇｅｔ）
（２）Ｙ＝−（Ｙｔａｒｇｅｔ／ＶＰＺ）Ｚ＋Ｙｔａｒｇｅｔ
（３）Ｘ＝−（Ｘｔａｒｇｅｔ／ＶＰ）Ｚ＋Ｘｔａｒｇｅｔ
（４）Ｙｔａｒｇｅｔ＝Ｙｆｔｏｐ−（ｃｃｄｃｙ／Ｈｃ）×（Ｙｆｔｏｐ−Ｙｆｂｏｔｔｏｍ）
（５）Ｘｔａｒｇｅｔ＝Ｘｆｓｔａｒｔ＋（ｃｃｄｃｘ／Ｗｃ）×（Ｘｆｅｎｄ−Ｘｆｓｔａｒｔ）
尚、（１）におけるｃｍｐ（Ｘｔａｒｇｅｔ）は、撮像光学系２０と画像投影部１３とのズレを補正する関数であり、ズレが無い理想的な場合にはｃｍｐ（Ｘｔａｒｇｅｔ）＝０とみなすことができる。この式は、湾曲した原稿Ｐに限られるものではなく、任意の三次元形状を有するものに対しても利用できるものである。
【０２３２】
一方、上述したのと同様に、画像投影部１３に含まれる投影ＬＣＤ１９上の任意座標（ｌｃｄｃｘ、ｌｃｄｃｙ）と３次元空間中の３次元座標（Ｘ，Ｙ，Ｚ）との関係は次の（６）から（９）の式で表せる。
【０２３３】
尚、本実施例では、画像投影部１３の主点位置（０，０，ＰＰＺ）、画像投影部１３のＹ方向の視野をＹｐｆｔｏｐからＹｐｆｂｏｔｔｏｍ、Ｘ方向の視野をＸｐｆｓｔａｒｔからＸｐｆｅｎｄ、投影ＬＥＤ１９のＹ軸方向の長さ（高さ）をＨｐ、Ｘ軸方向の長さ（幅）Ｗｐとする。
（６）Ｙ＝−（Ｙｐｔａｒｇｅｔ／ＰＰＺ）Ｚ＋Ｙｐｔａｒｇｅｔ
（７）Ｘ＝−（Ｘｐｔａｒｇｅｔ／ＰＰＺ）Ｚ＋Ｘｐｔａｒｇｅｔ
（８）Ｙｐｔａｒｇｅｔ＝Ｙｐｆｔｏｐ−（ｌｃｄｃｙ／Ｈｐ）×（Ｙｐｆｔｏｐ−Ｙｐｆｂｏｔｔｏｍ）
（９）Ｘｐｔａｒｇｅｔ＝Ｘｐｆｓｔａｒｔ＋（ｌｃｄｃｘ／Ｗｐ）×（Ｘｐｆｅｎｄ−Ｘｐｆｓｔａｒｔ）
この関係式を利用することで、３次元空間座標（Ｘ，Ｙ，Ｚ）を上記（６）から（９）の式に与えることで、ＬＣＤ空間座標を（ｌｃｄｃｘ，ｌｃｄｃｙ）を算出することができる。よって、例えば、３次元空間に任意の形状、文字を投影するためのＬＣＤ素子パターンを算出することができる。
【０２３４】
図１９は、平面化画像処理（図６のＳ６１１）のフローチャートである。平面化画像処理は、例えば、図１に示すような湾曲した状態の原稿Ｐを撮像した場合や矩形状の原稿を斜め方向から撮像した場合（撮像された画像は台形状になる）であっても、その原稿が湾曲していない状態やその面に対して垂直方向から撮像したような状態に補正された平面化画像を取得、表示する処理である。
【０２３５】
この処理では、まず、ＣＣＤ２２に高解像度設定信号を送信し（Ｓ１９０１）、モニタＬＣＤ１０にファインダ画像を表示する（Ｓ１９０２）。
【０２３６】
次に、レリーズボタン８をスキャンし（Ｓ１９０３ａ）、レリーズボタン８が半押しされたか否かを判断する（Ｓ１９０３ｂ）。半押しされていれば（Ｓ１９０３ｂ：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ１９０３ｃ）。尚、半押しされていなければ（Ｓ１９０３ｂ：Ｎｏ）、Ｓ１９０３ａからの処理を繰り返す。
【０２３７】
次に、再び、レリーズボタン８をスキャンし（Ｓ１９０３ｄ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ１９０３ｅ）。全押しされていれば（Ｓ１９０３ｅ：Ｙｅｓ）、フラッシュモードか否かを判断する（Ｓ１９０３ｆ）。
【０２３８】
その結果、フラッシュモードであれば（Ｓ１９０３ｆ：Ｙｅｓ）、フラッシュ７を投光して（Ｓ１９０３ｇ）、撮影し（Ｓ１９０３ｈ）、フラッシュモードでなければ（Ｓ１９０３ｆ：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ１９０３ｈ）。尚、Ｓ１９０３ｅの判断において、全押しされていなければ（Ｓ１９０３ｅ：Ｎｏ）、Ｓ１９０３ａからの処理を繰り返す。
【０２３９】
次に、上述した３次元形状検出処理（図１０のＳ１００６）と同一の処理である３次元形状検出処理を行い、被写体の３次元形状を検出する（Ｓ１９０６）。
【０２４０】
次に、３次元形状検出処理（Ｓ１９０６）によって得られた３次元形状検出結果に基づき、原稿Ｐの姿勢を演算する原稿姿勢演算処理を行う（Ｓ１９０７）。この処理によって原稿Ｐの姿勢パラメータとして、原稿Ｐの画像入力装置１に対する位置Ｌや角度θ、湾曲φ（ｘ）が演算される。
【０２４１】
次に、その演算結果に基づき、後述する平面変換処理を行い（Ｓ１９０８）、たとえ、原稿Ｐが湾曲していたとしても湾曲していない状態に平面化された平面化画像を生成する。
【０２４２】
次に、平面変化処理（Ｓ１９０８）によって得られた平面化画像を外部メモリ２７に格納し（Ｓ１９０９）、平面化画像をモニタＬＣＤ１０に表示する（Ｓ１９１０）。
【０２４３】
そして、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ１９１１）、その結果、変化が無ければ（Ｓ１９１１：Ｙｅｓ）、再び、Ｓ７０２からの処理を繰り返し、変化があれば（Ｓ１９１１：Ｎｏ）、当該処理を終了する。
【０２４４】
図２０は、原稿姿勢演算処理（図１９のＳ１９０７）を説明するための図である。尚、本等の原稿の仮定条件として、原稿Ｐの湾曲はｙ方向に一様であるとする。この原稿姿勢演算処理では、まず、図２０（ａ）に示すように、３次元座標格納部３７ｈに格納されているコード境界に関する座標データから３次元空間位置において２列に並ぶ点を回帰曲線近似した２本の曲線を求める。
【０２４５】
例えば、パターン光を投影した範囲の上下それぞれ４分の１の位置情報（コード６３とコード６４の境界と、コード１９１とコード１９２との境界とに関する境界）から求めることができる。
【０２４６】
その２本の曲線のＸ軸方向の位置が「０」における点を結ぶ直線を想定し、この直線がＺ軸と交わる点、つまり、光軸が原稿Ｐと交差する点を、原稿Ｐの３次元空間位置（０，０，Ｌ）とし、この直線がＸ−Ｙ平面となす角を原稿ＰのＸ軸まわりの傾きθとする。
【０２４７】
次に、図２０（ｂ）に示すように、原稿Ｐを、先に求めたＸ軸まわりの傾きθ分だけ逆方向に回転変換し、つまり、原稿ＰをＸ−Ｙ平面に対して平行にした状態を想定する。
【０２４８】
そして、図２０（ｃ）に示すように、Ｘ−Ｚ平面における原稿Ｐの断面について、Ｚ軸方向の変位をＸの関数として湾曲φ（Ｘ）で表すことができる。こうして、原稿姿勢パラメータとして、原稿Ｐの位置Ｌや角度θ、湾曲φ（ｘ）が演算され、当該処理を終了する。
【０２４９】
図２１は、平面変換処理（図１９のＳ１９０８）のフローチャートである。この処理は、まず、ＲＡＭ３７のワーキングエリア３７ｎに当該処理の処理領域を割り当て、当該処理に用いるカウンタｂの変数を初期値（ｂ＝０）に設定する（Ｓ２１０１）。
【０２５０】
次に、原稿姿勢演算プログラム３６ｈでの演算結果による原稿Ｐの位置Ｌと、傾きθと、湾曲φ（ｘ）とに基づき、パターン光無画像格納部３７ｂに格納されたパターン光無画像の４隅の点を、それぞれ、Ｚ方向に−Ｌ移動し、Ｘ軸方向に−θ回転し、更にφ（ｘ）にする湾曲の逆変換（後述する「湾曲処理」と同等な処理）により求められる点で取成される矩形領域（つまり、原稿Ｐの文字等が書かれた面が略直交方向から観察されたような画像となる矩形領域）を設定すると共に、この矩形領域内に含まれる画素数ａを求める（Ｓ２１０２）。
【０２５１】
次に、設定された矩形領域を構成する各画素に対応するパターン光無画像上の座標を求めて、この座標周辺の画素情報から、平面化画像の各画素の画素情報を設定する。
【０２５２】
つまり、まず、カウンタｂが画素数ａに到達したか否かを判断する（Ｓ２１０３）。カウンタｂが画素数ａに到達していなけば（Ｓ２１０３：Ｎｏ）、矩形領域を構成する１つの画素について、Ｙ軸を中心に湾曲φ（ｘ）回転移動させる湾曲計算処理を行い（Ｓ２１０４）、Ｘ軸を中心に傾きθ回転移動させ（Ｓ２１０５）、Ｚ軸方向に距離Ｌだけシフトさせる（Ｓ２１０６）。
【０２５３】
次に、求められた３次元空間位置を、先の３角測量の逆関数により理想カメラで写されたＣＣＤ画像上の座標（ｃｃｄｃｘ，ｃｃｄｃｙ）を求め（Ｓ２１０７）、使用している撮像光学系２０の収差特性に従って、先のカメラキャリブレーションの逆関数により、実際のカメラで写されたＣＣＤ画像上の座標（ｃｃｄｘ，ｃｃｄｙ）を求め（Ｓ２１０８）、この位置に対応するパターン光無画像の画素の状態を求めて、ＲＡＭ３７のワーキングエリア３７ｎに格納する（Ｓ２１０９）。
【０２５４】
そして、次の画素について上述したＳ２１０３からＳ２１０９までの処理を実行すべく、カウンタｂに「１」を加算する（Ｓ２１１０）。
【０２５５】
こうして、Ｓ２１０４からＳ２１１０までの処理をカウンタｂが画素数ａになるまで繰り返すと（Ｓ２１０３：Ｙｅｓ）、Ｓ２１０１において、当該処理を実行するためにワーキングエリア３７ｎに割り当てた処理領域を開放して（Ｓ２１１１）、当該処理を終了する。
【０２５６】
図２２（ａ）は、湾曲処理（図２１のＳ２１０４）についての概略を説明するための図であり、（ｂ）は平面変換処理（図１９のＳ１９０８）によって平面化された原稿Ｐを示している。尚、この湾曲処理についての詳細については、電子情報通信学会論文誌ＤＩＩＶｏｌ.Ｊ８６−Ｄ２  Ｎｏ.３  ｐ４０９「アイスキャナによる湾曲ドキュメント撮影」に詳細に開示されている。
【０２５７】
湾曲Ｚ＝φ（ｘ）は、求められたコード境界座標列（実空間）で構成される３次元形状を、任意のＹ値におけるＸＺ平面に平行な平面切断された断面形状を、最小２乗法により多項式で近似した式で表現される。
【０２５８】
湾曲する曲面を平面化する場合、（ａ）に示すように、Ｚ＝φ（ｘ）上の点に対応する平面化された点は、Ｚ＝φ（０）からＺ＝φ（ｘ）までの曲線の長さによって対応付けられることになる。
【０２５９】
こうした湾曲処理を含む平面変換処理によって、例えば、図１のように湾曲している状態の原稿Ｐを撮像した場合であっても、図２２（ｂ）に示すように、平面化された平面画像を取得することができ、このように平面化された画像を用いればＯＣＲ処理の精度を高めることができるため、その画像によって、原稿に記載された文字や図形等を明確に認識することができる。
【０２６０】
図２３は、辞典情報モードにおいて、ユーザが特定した文字情報の翻訳情報を投影する場合におけるユーザーの操作を説明するための図である。辞典情報モードは、関連情報として翻訳情報、修正情報、ルビ情報を原稿Ｐに投影するモードである。辞典情報モードでは、原稿Ｐの下方に向けて画像入出力装置１から翻訳マーク６４と、修正マーク６５と、ルビマーク６６と、範囲マーク６７とが投影される。
【０２６１】
翻訳マーク６４は関連情報として文字情報に関する翻訳情報の投影を指示するマークであり、修正マーク６５は関連情報として文字情報に関する修正情報の投影を指示するマークであり、ルビマーク６６は関連情報として文字情報に関するルビ情報の投影を指示するマークであり、範囲マーク６７は、文字情報の指定を指示するマークである。
【０２６２】
原稿Ｐに記載された文字情報の中から特定の文字情報について翻訳情報を取得したい場合、ユーザーは、まず、範囲マーク６７を人差し指６３で指定し、その後で翻訳情報を取得したい特定の文字情報（本実施例では「Ｉｃｈ  ｍｏｃｈｔｅ  ｉｈｎ  ｇａｎｚ  ｇｅｒｎ」）を選択する。
【０２６３】
この選択は、例えば、ユーザーが原稿Ｐ上において人差し指６３を使って矢印Ａ，Ｂ，Ｃ，Ｄの順番で翻訳情報を取得したい文字情報を囲むことにより行われる。文字情報を選択した後は、再び、範囲マーク６７を指定する。この範囲マーク６７の指定により文字情報の選択が終了する。そして、その後で翻訳マーク６４に人差し指６３を移動させる。
【０２６４】
この間、画像入出力装置１は、動画撮影をしており、撮影された各フレーム画像間の差分情報を利用して人差し指６３の動きを検出し、ユーザーが指定したマークやユーザーが指定した検出領域（図中一点鎖線）を認識する。また、特定した検出領域内の文字情報を文字情報認識プログラム３６ｋによって認識する。そして、関連情報格納部３６ｎに格納されているデータベースから認識した文字情報に対応する翻訳情報を抽出し、その抽出した翻訳情報を投影する。
【０２６５】
図２４は、画像入出力装置１から翻訳情報が投影されている状態を示す図である。上述したように、選択した文字情報（「Ｉｃｈ  ｍｏｃｈｔｅ  ｉｈｎ  ｇａｎｚ  ｇｅｒｎ」）に対応する翻訳情報（「私は彼が大好きだった」）を関連情報格納部３６ｎから抽出すると、画像入出力装置１は、検出領域に含まれる文字情報（「Ｉｃｈ  ｍｏｃｈｔｅ  ｉｈｎ  ｇａｎｚ  ｇｅｒｎ」）をハイライト表示しつつ、その翻訳情報を、図に示すように、ユーザーが指定した文字情報の近傍（本実施例では、その文字情報の直下）に投影する。
【０２６６】
よって、文字情報「Ｉｃｈ  ｍｏｃｈｔｅ  ｉｈｎ  ｇａｎｚ  ｇｅｒｎ」に対応する翻訳情報が「私は彼が大好きだった」であるという対応付けを視覚的に容易にすることができる。また、文字情報「Ｉｃｈ  ｍｏｃｈｔｅ  ｉｈｎ  ｇａｎｚ  ｇｅｒｎ」がハイライト表示されるので、指定した文字情報を他の文字情報と区別して明確に認識することができる。また、原稿Ｐに投影する翻訳情報は、原稿Ｐの形状に沿うように投影されるので、ユーザーは原稿Ｐ上の翻訳情報を自然な感覚で読み取れることができる。更に、原稿Ｐに記載された文字情報の中からユーザーが指定した文字情報だけについて翻訳情報を投影するので、原稿Ｐに記載された文字情報の全部について翻訳情報を投影する場合に比べて、高速に翻訳情報を投影することができる。
【０２６７】
図２５は、辞典情報モードにおいて、原稿Ｐに記載された全部の文字情報について翻訳情報をまとめて投影する場合におけるユーザーの操作を説明するための図である。この場合、ユーザーは、上述したように、範囲マーク６７や原稿Ｐに記載されている文字情報の中から特定の文字情報を指定することなく、翻訳マーク６４だけを選択する。
【０２６８】
すると、画像入出力装置１は、原稿Ｐに記載されている全部の文字情報を文字情報認識プログラム３６ｋによって認識し、関連情報格納部３６ｎに格納されているデータベースから認識した文字情報に対応する翻訳情報を抽出し、その抽出した翻訳情報をまとめて投影する。
【０２６９】
図２６は、画像入出力装置１から翻訳情報がまとめて投影されている状態を示す図である。上述したように、原稿Ｐに記載された全部の文字情報についての翻訳情報を抽出すると、画像入出力装置１は、その翻訳情報を、図に示すように、対応する文字情報の近傍（本実施例では、その文字情報の直下）に投影する。よって、ユーザーは翻訳マーク６４を指定するという簡単な操作をするだけで、原稿Ｐに記載された文字情報についての翻訳情報をまとめて認識することができる。
【０２７０】
図２７は、辞典情報モードにおいて、ユーザが特定した文字情報の修正情報を投影する場合におけるユーザーの操作を説明するための図である。
【０２７１】
この場合、ユーザーは、まず、範囲マーク６７を人差し指６３で指定し、その後で修正情報を取得したい特定の文字情報（本実施例では「Ｔｈｉｓ  ｉｓ  ａ  ｐｅｎｃｌ」）を選択する。この選択は、上述したのと同様に、修正情報を取得したい文字情報を囲むことにより行われる。文字情報を選択した後は、再び範囲マーク６７を指定する。そして、その後で修正マーク６５を指定する。
【０２７２】
この間、画像入出力装置１は、動画撮影をしており、上述したのと同様に、人差し指６３の動きを検出し、ユーザーが指定したマークやユーザーが指定した検出領域（図中一点鎖線）を認識する。また、特定した検出領域内の文字情報を文字情報認識プログラム３６ｋによって認識する。そして、関連情報格納部３６ｎに格納されているデータベースから認識した文字情報に対応する修正情報を抽出し、その抽出した修正情報を投影する。
【０２７３】
図２８は、画像入出力装置１から修正情報が投影されている状態を示す図である。上述したように、認識した文字情報（「Ｔｈｉｓ  ｉｓ  ａ  ｐｅｎｃｌ」）に対応する修正情報（「ｐｅｎｃｉｌ」、「Ｐｅｎｎａｌ」、「ｐｅｎｃｅ」）を関連情報格納部３６ｎから抽出すると、画像入出力装置１は、検出領域に含まれる文字情報の中から修正情報が検出された文字「Ｐｅｎｃｌ」をハイライト表示しつつ、その修正情報を、図に示すように、その文字情報の直下に投影する。よって、ユーザーは、自ら指定した文字情報の内から誤った文字を認識することができると共に、修正情報から正しい文字情報を把握することができる。
【０２７４】
図２９は、辞典情報モードにおいて、ユーザが特定した文字情報のルビ情報を投影する場合におけるユーザーの操作を説明するための図である。
【０２７５】
この場合、ユーザーは、まず、範囲マーク６７を人差し指６３で指定し、その後でルビ情報を取得したい特定の文字情報（本実施例では「臥薪嘗胆」）を選択する。この選択は、上述したのと同様に、ルビ情報を取得したい文字情報を囲むことにより行われる。文字情報を選択した後は、再び範囲マーク６７を指定するう。そして、その後、ルビマーク６５を指定する。
【０２７６】
この間、画像入出力装置１は、動画撮影をしており、上述したのと同様に、人差し指６３の動きを検出し、ユーザーが指定したマークやユーザーが指定した検出領域（図中一点鎖線）を認識する。また、特定した検出領域内の文字情報を文字情報認識プログラム３６ｋによって認識する。そして、関連情報格納部３６ｎに格納されているデータベースから認識した文字情報に対応するルビ情報を抽出し、その抽出したルビ情報を投影する。
【０２７７】
図３０は、画像入出力装置１からルビ情報が投影されている状態を示す図である。上述したように、認識した文字情報（「臥薪嘗胆」）に対応するルビ情報（「がしんしょうたん」）を関連情報格納部３６ｎから抽出すると、画像入出力装置１は、検出領域に含まれる文字「臥薪嘗胆」をハイライト表示しつつ、そのルビ情報を、図に示すように、その文字情報の直上に投影する。よって、ユーザーは、自ら指定した文字情報に関するルビ情報を認識することができる。
【０２７８】
図３１は、辞典情報処理（図６のＳ６１３）のフローチャートである。この処理では、まず、ＣＣＤ２２に高解像度設定を送信し（Ｓ３１０１）、モニタＬＣＤ１０にファインダ画像を表示する（Ｓ３１０２）。
【０２７９】
次に、レリーズボタン８をスキャンし（Ｓ３１０３）、レリーズボタン８が半押しされたか否かを判断する（Ｓ３１０４）。レリーズボタン８が半押しされていなければ（Ｓ３１０４：Ｎｏ）、Ｓ３１０３から処理を繰り返し、半押しされていれば（Ｓ３１０４：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ３１０５）。
【０２８０】
そして、再び、レリーズボタンをスキャンし（Ｓ３１０５ａ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ３１０６）。全押しされていなければ（Ｓ３１０６：Ｎｏ）、上述したＳ３１０３からの処理を繰り返す。
【０２８１】
一方、全押しされていれば（Ｓ３１０６：Ｙｅｓ）、フラッシュモードか否か判断し（Ｓ３１０７）、フラッシュモードであれば（Ｓ３１０７：Ｙｅｓ）、フラッシュ７を投光して（Ｓ３１０８）、撮影する（Ｓ３１０９）。一方、フラッシュモードでなけば（Ｓ３１０７：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ３１０９）。
【０２８２】
次に、上述した３次元形状検出処理（図１０のＳ１００６）と同一の処理である３次元形状検出処理を行い、被写体の３次元形状を検出する（Ｓ３１１０）。
【０２８３】
次に、上述した原稿姿勢演算処理（図１９のＳ１９０７）と同一の処理である原稿姿勢演算処理を行い、３次元形状検出結果に基づき、原稿Ｐの姿勢パラメータとして、原稿Ｐの画像入力装置１に対する位置Ｌや角度θ、湾曲φ（ｘ）が演算する（Ｓ３１１１）。
【０２８４】
次に、上述した平面変換処理（図１９のＳ１９０８）と同一の処理である平面変換処理を行い、平面化された平面化画像を生成し（Ｓ３１１２）、この平面変換処理によって得られた平面化画像を外部メモリ２７に格納する（Ｓ３１１３）。
【０２８５】
次に、ＣＣＤ２２に高解像度設定を送信し（Ｓ３１１４）、ＣＣＤ２２の解像度の設定を高解像度から低解像度に切り替える。
【０２８６】
次に、辞典情報種別マーク（翻訳マーク６４、修正マーク６５、ルビマーク６６、範囲マーク６７）を投影して（Ｓ３１１５）、動画撮影を開始する（Ｓ３１１６）。即ち、この動画撮影された各フレーム画像間の差分情報を利用して人差し指６３の動きを検出する。
【０２８７】
尚、辞典情報種別マークを投影するのと同時に、ユーザの操作方法に関する所定のメッセージを原稿Ｐ上に投影させるように構成しても良い。このメッセージにより操作方法の未熟なユーザにとっても、操作方法を容易に把握することができる。
【０２８８】
動画撮影を開始すると（Ｓ３１１６）、指差座標格納部３７ｌを初期化し（Ｓ３１１７）、範囲マーク６７が指定されたか否かを判断する（Ｓ３１１８）。その結果、範囲マーク６７が指定されたと判断した場合には（Ｓ３１１８：Ｙｅｓ）、指定された指差座標を検出し、検出した指差座標を指差座標格納部３７ｌに格納する（Ｓ３１１９）。
【０２８９】
そして、再び、範囲マーク６７が指定されたか否かを判断し（Ｓ３１２０）、再び、範囲マーク６７が指定された判断した場合には（Ｓ３１２０：Ｙｅｓ）、Ｓ３１１９において指差座標格納部３７ｌに格納した指差座標に基づき、指定された領域を検出領域として設定する（Ｓ３１２１）。尚、Ｓ３１２０の判断において、範囲マーク６７が指定されていない判断した場合には（Ｓ３１２０：Ｎｏ）、再びＳ３１１９からの処理を繰り返す。
【０２９０】
こうして、原稿Ｐの中から使用者が指定した領域（検出領域）を設定すると、次に、Ｓ３１１５で投影した翻訳マーク６４、修正マーク６５、ルビマーク６６のうちいずれかのマークが指定されたか否かを判断し（Ｓ３１２２）、いずれかのマークが指定された場合には（Ｓ３１２２：Ｙｅｓ）、後述するＳ３１２５の処理に移行し、いずれのマークも指定されない場合には（Ｓ３１２２：Ｎｏ）Ｓ３１２２の処理を繰り返す。
【０２９１】
一方、Ｓ３１１８の処理において、範囲マーク６７が指定されていないと判断した場合には（Ｓ３１１８：Ｎｏ）、Ｓ３１１５で投影した翻訳マーク６４、修正マーク６５、ルビマーク６６のうちいずれかのマークが指定されたか否かを判断し（Ｓ３１２３）、いずれかのマークが指定された場合には（Ｓ３１２３：Ｙｅｓ）、原稿Ｐの全体を検出領域として設定し（Ｓ３１２４）、後述するＳ３１２５処理に移行する。尚、Ｓ３１２３の処理において、いずれのマークも指定されない場合には（Ｓ３１２３：Ｎｏ）、Ｓ３１１８からの処理を繰り返す。
【０２９２】
こうして、検出領域と、関連情報として如何なる情報（翻訳情報、修正情報、ルビ情報）を抽出するかとが選択されると、Ｓ３１１２で生成した平面化画像上における検出領域の中から文字情報認識プログラム３６ｋにより、その検出領域内の文字情報を認識する（Ｓ３１２５）。
【０２９３】
このように平面化画像上において文字情報を認識するので、たとえ、原稿Ｐが湾曲し、その湾曲している原稿Ｐを斜め方向から撮像したとしても、平面化画像上では、文字情報の本来の有する姿勢で文字情報を認識することができる。よって、文字情報認識プログラム３６ｋによる文字情報の認識精度を向上させることができる。
【０２９４】
次に、認識した文字情報に対応する翻訳情報、修正情報、ルビ情報のいずれかを関連情報格納部３６ｎから抽出し（Ｓ３１２６）、その抽出した文字情報について、無歪投影画像変換処理を行う（Ｓ３１２７）。
【０２９５】
この処理は、投影画像生成プログラム３６ｍによって実行され、抽出した翻訳情報等が、原稿Ｐの所定位置に、所定の形態で投影されるような投影画像を生成する処理である。尚、生成された投影画像は投影画像格納部３７ｋに格納される。
【０２９６】
次に、上述した投影処理（図８のＳ８０６）と同様な投影処理を行うことで（Ｓ３１２８）、ユーザが所望する文字情報に関する翻訳情報等が、投影画像として原稿Ｐの所定位置に、所定の形態で投影される。
【０２９７】
そして、最後に、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ３１２９）、その結果、変化が無ければ（Ｓ３１２９：Ｙｅｓ）、再び、Ｓ３１０２からの処理を繰り返し、変化があれば（Ｓ３１２９：Ｎｏ）、当該処理を終了する。
【０２９８】
図３２は、その無歪投影用画像変換処理のフローチャートである。この無歪投影用画像変換処理は、図３１のＳ３１２７の処理において投影する翻訳情報等の投影画像を、原稿Ｐの所定位置に、所定の形態で投影するための投影画像を生成する処理である。
【０２９９】
この処理では、まず、ＲＡＭ３７のワーキングエリア３７ｎに当該処理の処理領域を割り当て、当該処理に用いるカウンタｑの変数を初期値（ｑ＝０）に設定する（Ｓ３２０１）。具体的には、ＲＡＭ３７内にＣＣＤ領域に相当する領域（図示していない領域）を確保し、その領域に翻訳情報等を表す文字列のビットマップ情報を書き込む処理である。
【０３００】
次に、無歪投影用画像（つまり、湾曲した被写体上において無歪である画像）に変換された後の画像となる矩形領域として、ＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）の空間に相当するメモリをＲＡＭ３７のワーキングエリア３７ｎに確保し、設定すると共に、この矩形領域内に含まれる画素数Ｑａを求める（Ｓ３２０２）。
【０３０１】
次に、投影画像格納部３７ｋに格納された翻訳情報等の画像情報の各画素値を、理想カメラ画像座標系（ｃｃｄｃｘ，ｃｃｄｃｙ）の矩形領域（この矩形領域も同様にＲＡＭ３７のワーキングエリア３７ｎに確保する）の各画素に配置する（Ｓ３２０３）。
【０３０２】
次に、設定された矩形領域を構成するＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）上の各画素について、上述した式（６）〜（９）により、３次元座標格納部３７ｈに格納された被写体の表面上の対応点である三次元座標（Ｘ，Ｙ，Ｚ）を求め、さらに式（１）〜（５）において、（ｃｃｄｃｘ，ｃｃｄｃｙ）について解くことにより、無歪投影用画像の各画素の画素情報を算出し設定する。
【０３０３】
つまり、まず、カウンタｑが画素数Ｑａに到達したか否かを判断する（Ｓ３２０４）。カウンタｑが画素数Ｑａに到達していなければ（Ｓ３２０４：Ｎｏ）、カウンタｑの値に対応する画素のＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）を、式（６）〜（９）により、ワーキングエリア３７ｎに格納された被写体上の座標（Ｘ，Ｙ，Ｚ）に変換する（Ｓ３２０５）。
【０３０４】
次に、Ｓ３２０５の処理により変換されて得られた被写体上の座標（Ｘ，Ｙ，Ｚ）を、式（１）〜（５）において、（ｃｃｄｃｘ，ｃｃｄｃｙ）について解いた式を利用して理想カメラ画像上の座標（ｃｃｄｃｘ，ｃｃｄｃｙ）に変換する（Ｓ３２０６）。
【０３０５】
次に、Ｓ３２０６の処理により変換されて得られた座標（ｃｃｄｃｘ，ｃｃｄｃｙ）に配置されている画素情報を取得し、その画素情報を、カウンタｑの値に対応するＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）に書き込む（Ｓ３２０７）。
【０３０６】
そして、次の画素について上述したＳ３２０４からＳ３２０７までの処理を実行すべく、カウンタｑに「１」を加算する（Ｓ３２０８）。
【０３０７】
こうして、Ｓ３２０４からＳ３２０８までの処理を、カウンタｑが画素数Ｑａになるまで繰り返すと（Ｓ３２０４：Ｙｅｓ）、設定された矩形領域を構成するＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）に対応付けられた画素情報を、投影ＬＣＤドライバ３０に転送する（Ｓ３２０９）。
【０３０８】
最後に、Ｓ３２０１において、当該処理を実行するためにワーキングエリア３７ｎに割り当てた処理領域を開放して（Ｓ３２１０）、当該処理を終了する。
【０３０９】
Ｓ３２０９の処理により、ＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）上の画素情報が投影ＬＣＤドライバ３０へ転送されることにより、投影ＬＣＤ１９は、歪曲面上において無歪に投影される投影画像が表示される。よって、被写体上に無歪な画像が投影される。
【０３１０】
従って、無歪投影用画像変換処理を実行することにより、投影方向が斜めである場合だけでなく、被写体が３次元形状を有し、そのためにその表面が湾曲している場合であっても、無歪な投影画像を投影することができる。その結果として、翻訳情報等を投影する場合に、使用者にその情報を正確に認識させることができる。
【０３１１】
上記例では、画像上述した実施例では、画像撮像部１４からの視点で無歪な投影画像に変換したが、任意の視点から無歪な投影画像に変換することも可能である。その場合にも視点に合わせたパラメータに変換した式（６）〜（９）を用いれば良い。
【０３１２】
図３３は、郵便情報モードにおいて、関連情報としてユーザが特定した住所の郵便番号を投影する場合におけるユーザーの操作を説明するための図である。郵便番号情報モードは、関連情報として住所情報、郵便番号情報を原稿Ｐに投影するモードである。郵便情報モードでは、原稿Ｐの下方に向けて画像入出力装置１から住所マーク６８と、郵便番号マーク６９と、範囲マーク７０とが投影される。
【０３１３】
住所マーク６８は関連情報として住所の投影を指示するマークであり、郵便番号マーク６９は関連情報として郵便番号の投影を指示するマークであり、範囲マーク７０は、文字情報の指定を指示するマークである。
【０３１４】
原稿Ｐとしての官製ハガキに記載された住所についての郵便番号情報を取得したい場合、ユーザーは、まず、範囲マーク７０を人差し指６３で指定し、その後で住所（本実施例では「静岡県浜松市竜禅寺町ＸＸＸ番地」）を選択する。この選択は、上述したのと同様に、郵便番号を取得したい住所を囲むことにより行われる。住所を指定した後は、再び範囲マーク６７を指定する。そして、その後、郵便番号マーク６９を指定する。
【０３１５】
この間、画像入出力装置１は、動画撮影をしており、上述したのと同様に、人差し指６３の動きを検出し、ユーザーが指定したマークやユーザーが指定した検出領域（図中一点鎖線）を認識する。また、特定した検出領域内の住所を文字情報認識プログラム３６ｋによって認識する。そして、関連情報格納部３６ｎに格納されているデータベースから認識した住所に対応する郵便番号を抽出し、その抽出した郵便番号を投影する。
【０３１６】
図３４は、画像入出力装置１から郵便番号が投影されている状態を示す図である。上述したように、認識した住所（「静岡県浜松市竜禅寺町ＸＸＸ番地」）に対応する郵便番号（「４３０−０９２４」）を関連情報格納部３６ｎから抽出すると、画像入出力装置１は、検出領域に含まれる住所「静岡県浜松市竜禅寺町ＸＸＸ番地」をハイライト表示しつつ、その郵便番号を、図に示すように、その住所の直上に投影する。よって、ユーザは、住所から郵便番号を簡易に取得することができる。
【０３１７】
尚、図３３および図３４では、住所を指定して関連情報として郵便番号を投影する場合について説明したが、郵便番号を指定して関連情報として住所を投影することもできる。
【０３１８】
また、宛先人の住所と差出人の住所とが官製ハガキに記載されている場合であって、その両方の郵便番号を投影させたい場合には、範囲マーク７０を指定することなく、郵便番号マーク６９を指定するこで、原稿Ｐとしての官製ハガキに記載された宛先人の住所と差出人の住所とが認識され、その両方の住所に関する郵便番号をまとめて投影することもできる。
【０３１９】
図３５は、郵便情報処理（図６のＳ６１５）のフローチャートである。この処理では、まず、ＣＣＤ２２に高解像度設定を送信し（Ｓ３５０１）、モニタＬＣＤ１０にファインダ画像を表示する（Ｓ３５０２）。
【０３２０】
次に、レリーズボタン８をスキャンし（Ｓ３５０３）、レリーズボタン８が半押しされたか否かを判断する（Ｓ３５０４）。レリーズボタン８が半押しされていなければ（Ｓ３５０４：Ｎｏ）、Ｓ３５０３から処理を繰り返し、半押しされていれば（Ｓ３５０４：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ３５０５）。
【０３２１】
そして、再び、レリーズボタンをスキャンし（Ｓ３５０５ａ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ３５０６）。全押しされていなければ（Ｓ３５０６：Ｎｏ）、上述したＳ３５０３からの処理を繰り返す。
【０３２２】
一方、全押しされていれば（Ｓ３５０６：Ｙｅｓ）、フラッシュモードか否か判断し（Ｓ３５０７）、フラッシュモードであれば（Ｓ３５０７：Ｙｅｓ）、フラッシュ７を投光して（Ｓ３５０８）、撮影する（Ｓ３５０９）。一方、フラッシュモードでなけば（Ｓ３５０７：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ３５０９）。
【０３２３】
次に、上述した３次元形状検出処理（図１０のＳ１００６）と同一の処理である３次元形状検出処理を行い、被写体の３次元形状を検出する（Ｓ３５１０）。
【０３２４】
次に、上述した原稿姿勢演算処理（図１９のＳ１９０７）と同一の処理である原稿姿勢演算処理を行い、３次元形状検出結果に基づき、原稿Ｐの姿勢パラメータとして、原稿Ｐの画像入力装置１に対する位置Ｌや角度θ、湾曲φ（ｘ）が演算する（Ｓ３５１１）。
【０３２５】
次に、上述した平面変換処理（図１９のＳ１９０８）と同一の処理である平面変換処理を行い、平面化された平面化画像を生成し（Ｓ３５１２）、この平面変換処理によって得られた平面化画像を外部メモリ２７に格納する（Ｓ３５１３）。
【０３２６】
次に、ＣＣＤ２２に高解像度設定を送信し（Ｓ３５１４）、ＣＣＤ２２の解像度の設定を高解像度から低解像度に切り替える。
【０３２７】
次に、郵便情報種別マーク（住所マーク６８、郵便番号マーク６９、範囲マーク７０）を投影して（Ｓ３５１５）、動画撮影を開始する（Ｓ３５１６）。即ち、この動画撮影された各フレーム画像間の差分情報を利用して人差し指６３の動きを検出する。
【０３２８】
動画撮影を開始すると（Ｓ３５１６）、指差座標格納部３７ｌを初期化し（Ｓ３５１７）、範囲マーク７０が指定されたか否かを判断する（Ｓ３５１８）。その結果、範囲マーク７０が指定されたと判断した場合には（Ｓ３５１８：Ｙｅｓ）、指定された指差座標を検出し、検出した指差座標を指差座標格納部３７ｌに格納する（Ｓ３５１９）。
【０３２９】
そして、再び、範囲マーク７０が指定されたか否かを判断し（Ｓ３５２０）、再び、範囲マーク７０が指定された判断した場合には（Ｓ３５２０：Ｙｅｓ）、Ｓ３５１９において指差座標格納部３７ｌに格納した指差座標に基づき、指定された領域を検出領域として設定する（Ｓ３５２１）。尚、Ｓ３５２０の判断において、範囲マーク７０が指定されていないと判断した場合には（Ｓ３５２０：Ｎｏ）、再びＳ３５１９からの処理を繰り返す。
【０３３０】
こうして、原稿Ｐの中から使用者が指定した領域（検出領域）を設定すると、次に、Ｓ３５１５で投影した住所マーク６８、郵便番号マーク６９のうちいずれかのマークが指定されたか否かを判断し（Ｓ３５２２）、いずれかのマークが指定された場合には（Ｓ３５２２：Ｙｅｓ）、後述するＳ３５２４の処理に移行し、いずれのマークも指定されない場合には（Ｓ３５２２：Ｎｏ）、Ｓ３５２２の処理を繰り返す。
【０３３１】
一方、Ｓ３５１８の処理において、範囲マーク７０が指定されていないと判断した場合には（Ｓ３５１８：Ｎｏ）、Ｓ３５１５で投影した住所マーク６８、郵便番号マーク６９のうちいずれかのマークが指定されたか否かを判断し（Ｓ３５２３）、いずれかのマークが指定された場合には（Ｓ３５２３：Ｙｅｓ）、原稿Ｐの全体を検出領域として設定し（Ｓ３５２３ａ）、後述するＳ３５２４の処理に移行する。尚、Ｓ３５２３の処理において、いずれのマークも指定されない場合には（Ｓ３５２３：Ｎｏ）、Ｓ３５１８からの処理を繰り返す。
【０３３２】
こうして、検出領域と、関連情報として如何なる情報（住所情報、郵便番号情報）を抽出するかとが選択されると、Ｓ３５１２で生成した平面化画像上における検出領域の中から文字情報認識プログラム３６ｋにより、その検出領域内の文字情報を認識する（Ｓ３５２４）。
【０３３３】
次に、関連情報格納部３６ｎから認識した文字情報に対応する郵便番号、住所のいずれかを抽出し（Ｓ３５２５）、その抽出した文字情報について、無歪投影用画像変換処理を行う（Ｓ３５２６）。
【０３３４】
次に、上述した投影処理（図８のＳ８０６）と同様な投影処理を行うことで（Ｓ３５２７）、ユーザが所望する文字情報に関する郵便番号等が、投影画像として原稿Ｐとしての官製ハガキの所定位置に、所定の形態で投影される。
【０３３５】
そして、最後に、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ３５２８）、その結果、変化が無ければ（Ｓ３５２８：Ｙｅｓ）、再び、Ｓ３５０２からの処理を繰り返し、変化があれば（Ｓ３５２８：Ｎｏ）、当該処理を終了する。
【０３３６】
図３６は、上述した第１実施例の光源レンズ１８に関する第２実施例の光源レンズ６０を説明するための図であり、（ａ）は第２実施例の光源レンズ６０を示す側面図であり、（ｂ）は第２実施例の光源レンズ６０を示す平面図である。尚、上述したのと同一な部材には、同一の符号を付し、その説明は省略する。
【０３３７】
第１実施例における光源レンズ１８は、各ＬＥＤ１７に対応する凸状の非球面形状からレンズ部１８ａをベース１８ｂ上に一体的に並べて配置して構成されているのに対し、この第２実施例の光源レンズ５０は、ＬＥＤ１７の各々を内包する砲弾型に形成された樹脂製レンズを各々別体に構成したものである。
【０３３８】
このように、各ＬＥＤ１７を内包する光源レンズ５０を各々別体に構成することで、各々のＬＥＤ１７とそれに対応する各々の光学レンズ５０との位置が１対１で決められるので、相対的な位置精度を高めることができ、光の出射方向が揃うという効果がある。
【０３３９】
これに対し、基板１６上にレンズアレイをまとめて位置合わせをすると、各々のＬＥＤ１７がダイボンディングされる際の位置決め誤差やレンズアレイと基板の線膨張係数の違いから、光の出射方向がバラバラになってしまう恐れがある。
【０３４０】
従って、投影ＬＣＤ１９の面には、ＬＥＤ１７からの光の入射方向が投影ＬＣＤ１９の面に垂直にそろった光が照射され、投影光学系２０の絞りを均一に通過できる様になるため、投影画像の照度ムラを抑えることができ、結果的に高品質な画像を投影することができる。尚、光源レンズ５０に内包されているＬＥＤ１７はリードおよびリフレクタからなる電極５１を介して基板１６に実装されている。
【０３４１】
また、この第２実施例における１群の光源レンズ５０の外周面には、各光源レンズ５０を束ねて所定の方向に規制する枠状の弾性を有する固定部材５２が配置されている。この固定部材５２は、ゴム、プラスチック等の樹脂製材料で構成されている。
【０３４２】
第２実施例の光源レンズ５０は各ＬＥＤ１７に対して各々別体に構成されているので、各光源レンズ５０の凸状の先端部が形成する光軸の角度を正しく揃えて投影ＬＣＤ１９と対向するように設置することが困難である。
【０３４３】
そこで、この固定部材５２によって１群の光源レンズ５０を取り囲み、各光源レンズ５０の外周面同士を接触させ、各光源レンズ５０の光軸が投影ＬＣＤ１９と正しい角度で対向するように各光源レンズ５０の位置を規制することで、各光源レンズ５０から投影ＬＣＤ１９に向けて光を略垂直に照射させることができる。よって、投影ＬＣＤ１９の面に垂直にそろった光が照射され、投影レンズの絞りを均一に通過できる様になるため、投影画像の照度ムラを抑えることができる。従って、一層、高品質な画像を投影することができる。
【０３４４】
尚、この固定部材５２は、予め所定の大きさに規定された剛性を有するものであっても良く、弾性力を有する材料で構成してその弾性力によって各光源レンズ５０の位置を所定の位置に規制するようにしても良い。
【０３４５】
図３７は、図３６で説明した光源レンズ５０を所定位置に規制する固定部材５２に関する第２実施例を説明するための図であり、（ａ）は光源レンズ５０を固定した状態を示す斜視図であり、（ｂ）はその部分的な断面図である。尚、上述したのと同一の部材には、同一の符号を付し、その説明は省略する。
【０３４６】
この第２実施例の固定部材６０は、各光源レンズ５０の外周面に沿った断面を有する断面視円錐形状の貫通孔６０ａが穿設された板状に形成されている。各光源レンズ５０は、この各貫通孔６０ａに差し込まれて固定される。
【０３４７】
また、この固定部材６０と基板１６との間には弾性を有する付勢プレート６１が介装されており、更に、この付勢プレート６１と各光源レンズ５０の下面との間には、電極５１を囲むように弾性を有する環状のＯリング６２が配置されている。
【０３４８】
尚、光源レンズ５０に内包されるＬＥＤ１７は、付勢プレート６１、基板１６に穿設されたスルーホールを貫通する電極５１を介して基板１６に実装されている。
【０３４９】
上述した固定部材６０によれば、各光源レンズ５０を、その光源レンズの外周面に沿った断面を有する各貫通孔６０ａに各々貫通させて固定するので、上述した固定部材５０よりも、一層確実に光源レンズ５０の光軸を正しい角度で投影ＬＣＤ１９に向くように固定することができる。
【０３５０】
また、組立時に、Ｏリング６２の付勢力によってＬＥＤ１７を正しい位置に付勢して固定することができる。
【０３５１】
また、本装置１を運搬する場合等に生ずる可能性のある衝撃力を、Ｏリング６２の弾性力によって吸収することができ、その衝撃の影響で光源レンズ５０の位置がずれてしまい、光源レンズ５０から垂直に投影ＬＣＤ１９に向けて光を照射できないという不都合を防止することができる。
【０３５２】
上記実施例において、請求項１記載の撮像手段としては、図３１のＳ３１０９の処理や図３５のＳ３５０９の処理が該当し、記述情報認識手段としては、図３１のＳ３１２５の処理や図３５のＳ３５２４の処理が該当し、投影手段としては図３１のＳ３１２８の処理や図３５のＳ３５２７の処理が該当する。
【０３５３】
請求項２記載の関連情報抽出手段としては、図３１のＳ３１２６の処理や図３５のＳ３５２５の処理が該当する。請求項３記載の投影位置設定手段としては、図３１のＳ３１２７の処理や図３５のＳ３５２６の処理が該当する。請求項５記載の第１特定手段としては、図３１のＳ３１２４の処理や図３５のＳ３５２３ａの処理が該当する。
【０３５４】
請求項６記載の第２特定手段としては、図３１のＳ３１２１の処理や図３５のＳ３５２１の処理が該当する。請求項７記載の指定範囲検出手段としては、図３１のＳ３１１９の処理や図３５のＳ３５１９の処理が該当する。請求項１０記載の３次元情報検出手段としては、図３１のＳ３１１０の処理や図３５のＳ３５１０の処理が該当し、変形関連情報設定手段としては、図３１のＳ３１２７の処理や図３５のＳ３５２６の処理が該当する。請求項１１記載の平面撮像データ生成手段としては、図３１のＳ３１１２の処理や図３５のＳ３５１２の処理が該当する。
【０３５５】
以上実施例に基づき本発明を説明したが、本発明は上記実施例に何ら限定されるものでなく、本発明の主旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。
【０３５６】
例えば、上記実施例では、辞典情報モードとして、原稿Ｐに記載された文字情報についての翻訳情報、修正情報、ルビ情報を投影する場合について説明したが、投影する関連情報としては、これらの情報に限定されるものではなく、意味情報、部首情報、総画数情報等を投影するように構成しても良い。
【０３５７】
また、原稿Ｐに記載されている情報が、例えば、図形情報としてある動物の図形が表示されている場合に、その動物に関する主な生息地や、食料、大きさ等の情報を含む関連情報を投影するように構成しても良い。かかる場合には、本実施例の場合と同様に、辞典等を調べることなく、簡易に関連情報を取得することができる。
【０３５８】
また、上述した郵便情報モードでは、原稿Ｐとしての官製ハガキに記述された住所や郵便番号を認識させ、関連情報として住所に対する郵便番号や郵便番号に対する住所を投影する場合について説明した。しかしならが、例えば、関連情報格納部３６ｎに氏名と住所と郵便番号と電話番号とＦＡＸ番号とメールアドレスとの各々を対応つけてたアドレスデータベースを格納し、原稿Ｐに記述されている氏名と住所と郵便番号と電話番号とＦＡＸ番号とメールアドレスとの内いずれかの情報を認識させ、その認識させた情報に関する他の情報を関連情報として投影するようにしても良い。
【０３５９】
また、上述した郵便情報モードでは、関連情報としての郵便番号を住所の直上に投影する場合について説明したが、郵便番号を投影する位置としては、かかる位置に限られず、官製葉書の郵便番号欄に投影するようにしても良い。かかる場合には、投影された郵便番号をなぞることで、誤ることなく郵便番号を描くことができる。尚、関連情報として住所を投影する場合ついても、同様な事を行うことができ、更に、投影した字体に合わせて、きれいで、正確に描くことができる。
【０３６０】
また、本実施例では、ユーザーが翻訳情報、修正情報等を要求する文字情報は、ユーザーが、その文字情報を指で囲んで指定する場合について説明したが、文字情報を指定する方法としては、この方法に限定されるものではない。例えば、要求する文字情報の下部分に沿って指を直線的に移動させ、その直線部分の上にある文字情報をユーザーが指定した文字情報であると認識するように構成しても良い。
【０３６１】
また、関連情報を投影する位置としては、文字情報の直下部分や直上部分の他に、横部分等であっても良い。また、原稿Ｐ上のおいて、原稿Ｐを撮像した撮像画像の輝度データを利用して、原稿Ｐにおける空白部分を検出する手段を設け、その空白部分に関連情報を投影するように構成することもできる。かかる場合には、投影する関連情報を明確にユーザーに明示することができる。
【０３６２】
また、画像入出力装置１にマイクロフォンを内蔵させ、ユーザーの声、例えばユーザーが「文字情報の選択終了」と発音したか否かによって文字情報の選択の終了を判断するようにしても良い。
【０３６３】
また、上記実施例における図１０のＳ１５０１においては、明暗の変化を持つ輝度画像の全部を抽出し、その全部について暫定的なＣＣＤＹ値を求める場合について説明したが、抽出する輝度画像としては、全部である必要はなく、２枚以上であれば、その枚数に限定されることはない。抽出する枚数を減らすことで境界座標を高速に求めることができる。
【０３６４】
また、関連情報は、ＲＯＭ３６内の翻訳情報格納部３６ｎに格納する場合に限られず、ＲＦドライバやアンテナ１１を介して外部のＰＣ、あるいは、インターネットに接続し、本画像入力装置１の外部にある関連情報を利用する形態としても良い。
【０３６５】
また、上記実施例における図１０のＳ１５０７では、ｆＣＣＤＹ［ｉ］を加重平均し、図１６のＳ１６０７ではｅｆＣＣＤＹ［ｊ］を近似多項式として、各値を平均化する場合について説明したが、各値を平均化する方法としては、これらに限定されるものではなく、例えば、各値の単純平均値を採る方法、各値の中央値を採用する方法、各値の近似式を算出し、その近似式における検出位置を境界座標とする方法等であっても良い。
【０３６６】
また、例えば、上記実施例における平面化画像モードにおける３次元形状検出処理においては、原稿Ｐの３次元形状を検出するために、複数種類の明暗を交互に並べてなる縞状のパターン光を投影する場合について説明したが、３次元形状を検出するための光は、かかるパターン光に限定されるものではない。
【０３６７】
例えば、図３８に示すように、湾曲原稿の３次元形状の検出を簡便に行う場合には、画像投影部１３から２本の帯状のスリット光７０，７１を投影するようにしても良い。この場合には、８枚のパターン光を投影する場合にくらべ、僅か２枚の撮像画像から高速に３次元形状の検出をすることができる。
【図面の簡単な説明】
【０３６８】
【図１】画像入出力装置の外観斜視図である。
【図２】撮像ヘッドの内部構成を示す図である。
【図３】（ａ）は画像投影部の拡大図であり、（ｂ）は光源レンズの平面図であり、（ｃ）は投影ＬＣＤ１９の正面図である。
【図４】ＬＥＤアレイの配列に関する説明をするための図である。
【図５】画像入出力装置の電気的なブロック図である。
【図６】メイン処理のフローチャートである。
【図７】デジカメ処理のフローチャートである。
【図８】ｗｅｂｃａｍ処理のフローチャートである。
【図９】投影処理のフローチャートである。
【図１０】立体画像処理のフローチャートである。
【図１１】（ａ）は、空間コード法の原理を説明するための図であり、（ｂ）は（ａ）とは異なるマスクパターン（グレイコード）を示す図である。
【図１２】（ａ）は３次元形状検出処理のフローチャートである。（ｂ）は撮像処理のフローチャートである。（ｃ）は３次元計測処理のフローチャートである。。
【０３６９】
【図１３】コード境界座標検出処理の概略を説明するための図である。
【図１４】コード境界座標検出処理のフローチャートである。
【図１５】コード境界座標をサブピクセル精度で求める処理のフローチャートである。
【図１６】ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像について、境界のＣＣＤＹ値を求める処理のフローチャートである。
【図１７】レンズ収差補正処理を説明するための図である。
【図１８】ＣＣＤ空間における座標から３次元空間における３次元座標を算出する方法を説明するための図である。
【図１９】平面化画像処理のフローチャートである。
【図２０】原稿姿勢演算処理を説明するための図である。
【図２１】平面変換処理のフローチャートである。
【図２２】（ａ）は、湾曲計算処理についての大略を説明するための図であり、（ｂ）は平面変換処理によって平面化された平面化画像を示す図である。
【図２３】辞典情報モードにおいて、ユーザが特定した文字情報の翻訳情報を投影する場合におけるユーザーの操作を説明するための図である。
【図２４】画像入出力装置から翻訳情報が投影されている状態を示す図である。
【図２５】辞典情報モードにおいて、原稿Ｐに記載された全部の文字情報について翻訳情報をまとめて投影する場合におけるユーザーの操作を説明するための図である。
【図２６】画像入出力装置から翻訳情報がまとめて投影されている状態を示す図である。
【図２７】辞典情報モードにおいて、ユーザが特定した文字情報の修正情報を投影する場合におけるユーザーの操作を説明するための図である。
【図２８】画像入出力装置から修正情報が投影されている状態を示す図である。
【図２９】辞典情報モードにおいて、ユーザが特定した文字情報のルビ情報を投影する場合におけるユーザーの操作を説明するための図である。
【図３０】画像入出力装置からルビ情報が投影されている状態を示す図である。
【図３１】辞典情報処理のフローチャートである。
【図３２】無歪投影用画像変換処理のフローチャートである。
【図３３】郵便情報モードにおいて、ユーザが特定した住所に関する郵便番号を投影する場合におけるユーザーの操作を説明するための図である。
【図３４】画像入出力装置から郵便番号が投影されている状態を示す図である。
【図３５】郵便情報処理のフローチャートである。
【図３６】（ａ）は第２実施例の光源レンズ６０を示す側面図であり、（ｂ）は第２実施例の光源レンズ６０を示す平面図である。
【図３７】（ａ）は、光源レンズ５０を固定した状態を示す斜視図であり、（ｂ）はその部分的な断面図である。
【図３８】被写体に投影するパターン光としての他の例を示す図である。
【符号の説明】
【０３７０】
１３        画像投影部（投影手段の一部）
１４        撮像光学系（撮像手段の一部）
１７        ＬＥＤ（半導体発光素子）
１９        投影用ＬＣＤ（空間変調素子）
２０        投影光学系（投影手段の一部）
２１        画像撮像部撮像手段と、（撮像手段の一部）
２２        ＣＣＤ（撮像手段の一部）
２７ａ      翻訳情報格納部（関連情報格納部の一部）
３６ｇ      三角測量演算プログラム（３次元情報検出手段の一部）
３６ｉ      平面変換プログラム（平面撮像データ生成手段の一部）
３６ｊ      検出領域認識プログラム（指定範囲検出手段の一部）
３６ｋ      文字情報認識プログラム（記述情報認識手段の一部）
３６ｌ      翻訳情報抽出プログラム（関連情報抽出手段の一部）
３６ｍ      投影画像生成プログラム（投影位置設定手段の一部、変形関連情報設定手段の一部）
【図１】
2006031506.tif 000003
【図２】
2006031506.tif 000004
【図３】
2006031506.tif 000005
【図４】
2006031506.tif 000006
【図５】
2006031506.tif 000007
【図６】
2006031506.tif 000008
【図７】
2006031506.tif 000009
【図８】
2006031506.tif 000010
【図９】
2006031506.tif 000011
【図１０】
2006031506.tif 000012
【図１１】
2006031506.tif 000013
【図１２】
2006031506.tif 000014
【図１３】
2006031506.tif 000015
【図１４】
2006031506.tif 000016
【図１５】
2006031506.tif 000017
【図１６】
2006031506.tif 000018
【図１７】
2006031506.tif 000019
【図１８】
2006031506.tif 000020
【図１９】
2006031506.tif 000021
【図２０】
2006031506.tif 000022
【図２１】
2006031506.tif 000023
【図２２】
2006031506.tif 000024
【図２３】
2006031506.tif 000025
【図２４】
2006031506.tif 000026
【図２５】
2006031506.tif 000027
【図２６】
2006031506.tif 000028
【図２７】
2006031506.tif 000029
【図２８】
2006031506.tif 000030
【図２９】
2006031506.tif 000031
【図３０】
2006031506.tif 000032
【図３１】
2006031506.tif 000033
【図３２】
2006031506.tif 000034
【図３３】
2006031506.tif 000035
【図３４】
2006031506.tif 000036
【図３５】
2006031506.tif 000037
【図３６】
2006031506.tif 000038
【図３７】
2006031506.tif 000039
【図３８】
2006031506.tif 000040