(57)【要約】  画像を撮像する電子装置において、画像内の文字を正確に認識する。  電子装置は、撮像部、測距部、形状推定部、および、座標変換部を具備する。撮像部は、物体を撮像して画像データを撮像する。測距部は、撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する。形状推定部は、測定された距離から物体の形状を推定する。座標変換部は、推定された形状に基づいて物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う。
2017203777.tif 000002
【特許請求の範囲】
【請求項１】
物体を撮像して画像データを撮像する撮像部と、
前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距部と、
前記測定された距離から前記物体の形状を推定する形状推定部と、
前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換部と
を具備する電子装置。
【請求項２】
前記座標変換が行われた画像データにおいて前記物体の表面上の文字を認識する文字認識部をさらに具備する
請求項１記載の電子装置。
【請求項３】
照射光を照射する照射部をさらに具備し、
前記測距部は、前記照射光に対する反射光と前記照射光との位相差から前記距離を測定する請求項１記載の電子装置。
【請求項４】
前記撮像部は、前記画像データを撮像する処理と前記照射光を受光する処理とを行う
請求項３記載の電子装置。
【請求項５】
前記照射部は、所定の周期信号に同期したパルス光を前記照射光として照射する
請求項３記載の電子装置。
【請求項６】
前記照射部は、スポット光および拡散光のいずれかを所定の操作に従って選択して前記照射光として照射し、
前記測距部は、前記拡散光が照射されたときに前記距離を測定する
請求項３記載の電子装置。
【請求項７】
前記照射部は、所定のボタンが半押しされた場合には前記照射光の照射を開始し、
前記撮像部は、前記所定のボタンが全押しされた場合には前記画像データを撮像する
請求項３記載の電子装置。
【請求項８】
前記電子装置は、ウェアラブル端末に取付けられるカメラユニットである
請求項１記載の電子装置。
【請求項９】
前記形状推定部は、前記距離に基づいて複数の候補形状のいずれかを前記物体の形状として推定する
請求項１記載の電子装置。
【請求項１０】
前記形状推定部は、
前記距離から前記複数の測定点のそれぞれの座標を測定座標として検出する座標検出部と、
前記複数の候補形状のそれぞれについて当該候補形状の座標と所定の基準座標系における座標との間の関係を示す関数を前記測定座標を用いて取得する関数取得部と、
前記取得された関数と前記測定座標とから前記複数の候補形状のそれぞれについて前記物体の形状を想定した際の誤差を演算する誤差演算部と、
前記複数の候補形状のうち前記誤差の最も少ない形状を前記物体の形状として推定する推定処理部と
を備える請求項９記載の電子装置。
【請求項１１】
前記画像データは、複数の画素データを含み、
前記撮像部は、
瞳分割された２つの像の位相差を検出する位相差検出画素と、
光を光電変換して前記複数の画素データのいずれかを生成する通常画素と
を備え、
前記測距部は、前記位相差検出画素により検出された位相差から前記距離を測定する
請求項１記載の電子装置。
【請求項１２】
撮像部が、物体を撮像して画像データを撮像する撮像手順と、
前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距手順と、
前記測定された距離から前記物体の形状を推定する形状推定手順と、
前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換手順と
を具備する電子装置の制御方法。
【請求項１３】
撮像部が、物体を撮像して画像データを撮像する撮像手順と、
前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距手順と、
前記測定された距離から前記物体の形状を推定する形状推定手順と、
前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換手順と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、電子装置、その制御方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、文字認識を行う電子装置、その制御方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来より、印刷物に記載された文字を情報処理装置によって取り込んで処理するために、光学文字認識（ＯＣＲ：Optical Character Recognition）と呼ばれる技術が用いられている。例えば、車載カメラによって道路の標識を撮像して、その標識に記載された文字をＯＣＲを用いて読み取り、翻訳するシステムが提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３２３６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、標識に記載された文字の意味を、光学文字認識によって認識している。しかしながら、上述の従来技術では、湾曲した面や車載カメラから見て傾いた面に文字が記載されていた場合に、文字の形が歪んで光学文字認識を正確に行うことができないという問題がある。【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、画像を撮像する電子装置において、画像内の文字を正確に認識することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、物体を撮像して画像データを撮像する撮像部と、上記撮像部から上記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距部と、上記測定された距離から上記物体の形状を推定する形状推定部と、上記推定された形状に基づいて上記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を上記画像データに対して行う座標変換部とを具備する電子装置、その制御方法、および、その方法をコンピュータに実行させるためのプログラムである。これにより、物体の表面上の立体座標が、基準平面上の平面座標に変換されるという作用をもたらす。【０００７】
また、この第１の側面において、上記座標変換が行われた画像データにおいて上記物体の表面上の文字を認識する文字認識部をさらに具備してもよい。これにより、文字が認識されるという作用をもたらす。【０００８】
また、この第１の側面において、照射光を照射する照射部をさらに具備し、上記測距部は、上記照射光に対する反射光と上記照射光との位相差から上記距離を測定してもよい。これにより、反射光と上記照射光との位相差から距離が測定されるという作用をもたらす。【０００９】
また、この第１の側面において、上記撮像部は、上記画像データを撮像する処理と上記照射光を受光する処理とを行ってもよい。これにより、同一の撮像部で画像データの撮像と照射光の受光とが行われるという作用をもたらす。【００１０】
また、この第１の側面において、上記照射部は、所定の周期信号に同期したパルス光を上記照射光として照射してもよい。これにより、パルス光が照射されるという作用をもたらす。【００１１】
また、この第１の側面において、上記照射部は、スポット光および拡散光のいずれかを所定の操作に従って選択して上記照射光として照射し、上記測距部は、上記拡散光が照射されたときに上記距離を測定してもよい。これにより、スポット光および拡散光のいずれかが照射されるという作用をもたらす。【００１２】
また、この第１の側面において、上記照射部は、所定のボタンが半押しされた場合には上記照射光の照射を開始し、上記撮像部は、上記所定のボタンが全押しされた場合には上記画像データを撮像してもよい。これにより、ボタンの操作に従って、照射光の照射と撮像とが行われるという作用をもたらす。【００１３】
また、この第１の側面において、上記電子装置は、ウェアラブル端末に取付けられるカメラユニットであってもよい。これにより、カメラユニットにおいて物体の表面上の立体座標が、基準平面上の平面座標に変換されるという作用をもたらす。【００１４】
また、この第１の側面において、上記形状推定部は、上記距離に基づいて複数の候補形状のいずれかを上記物体の形状として推定してもよい。これにより、複数の候補形状のいずれかが物体の形状として推定されるという作用をもたらす。【００１５】
また、この第１の側面において、上記形状推定部は、上記距離から上記複数の測定点のそれぞれの座標を測定座標として検出する座標検出部と、上記複数の候補形状のそれぞれについて当該候補形状の座標と所定の基準座標系における座標との間の関係を示す関数を上記測定座標を用いて取得する関数取得部と、上記取得された関数と上記測定座標とから上記複数の候補形状のそれぞれについて上記物体の形状を想定した際の誤差を演算する誤差演算部と、上記複数の候補形状のうち上記誤差の最も少ない形状を上記物体の形状として推定する推定処理部とを備えてもよい。これにより、複数の候補形状のうち誤差の最も少ない形状が物体の形状として推定されるという作用をもたらす。【００１６】
また、この第１の側面において、上記画像データは、複数の画素データを含み、上記撮像部は、瞳分割された２つの像の位相差を検出する位相差検出画素と、光を光電変換して上記複数の画素データのいずれかを生成する通常画素とを備え、上記測距部は、上記位相差検出画素により検出された位相差から上記距離を測定してもよい。これにより、位相差検出画素により検出された位相差から距離が測定されるという作用をもたらす。
【発明の効果】
【００１７】
本技術によれば、画像を撮像する電子装置において、画像内の文字を正確に認識することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１８】
【図１】本技術の第１の実施の形態における電子装置の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における立体形状推定部の一構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における距離情報の一例を示す図である。
【図４】本技術の第１の実施の形態における測定座標の一例を示す図である。
【図５】本技術の第１の実施の形態におけるパラメータの一例を示す図である。
【図６】本技術の第１の実施の形態における撮像素子の一構成例を示すブロック図である。
【図７】本技術の第１の実施の形態における画素回路の一構成例を示すブロック図である。
【図８】本技術の第１の実施の形態における座標変換部の一構成例を示すブロック図である。
【図９】本技術の第１の実施の形態におけるレーザ光の形状の一例を示す図である。
【図１０】本技術の第１の実施の形態におけるＱ１Ｑ２検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。
【図１１】本技術の第１の実施の形態におけるＱ３Ｑ４検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。
【図１２】本技術の第１の実施の形態における撮像期間内の画素回路の露光制御の一例を示すタイミングチャートである。
【図１３】本技術の第１の実施の形態における基準座標系と平面座標系との関係の一例を示す図である。
【図１４】本技術の第１の実施の形態における基準座標系と円柱座標系との関係の一例を示す図である。
【図１５】本技術の第１の実施の形態における傾いた平面を撮像する際の電子装置の利用シーンの一例を示す図である。
【図１６】本技術の第１の実施の形態における平面形状と変換前後の画像と翻訳結果の一例を示す図である。
【図１７】本技術の第１の実施の形態における円柱を撮像する際の電子装置の利用シーンの一例を示す図である。
【図１８】本技術の第１の実施の形態における円柱形状と変換前後の画像と翻訳結果の一例を示す図である。
【図１９】本技術の第１の実施の形態における電子装置の動作の一例を示すフローチャートである。
【図２０】本技術の第１の実施の形態の変形例における撮像システムの一構成例を示すブロック図である。
【図２１】本技術の第１の実施の形態の変形例における撮像システムの外観図の一例である。
【図２２】本技術の第２の実施の形態における電子装置の一構成例を示すブロック図である。
【図２３】本技術の第２の実施の形態における撮像素子の一構成例を示すブロック図である。
【図２４】本技術の第２の実施の形態における電子装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（形状を推定して座標変換を行う例）
２．第２の実施の形態（位相差検出画素で測距した結果から形状を推定して座標変換を行う例）
【００２０】
＜１．第１の実施の形態＞
［電子装置の構成例］
図１は、第１の実施の形態における電子装置１００の一構成例を示すブロック図である。この電子装置１００は、操作部１１１、制御部１１２、レーザ光照射部１１３、挿抜部１１４、拡散板１１５、立体形状推定部２００、測距部１１６、スイッチ１１７および撮像素子３００を備える。また、電子装置１００は、撮像レンズ１１８、座標変換部４００、光学文字認識部１１９、翻訳処理部１２０および音声出力部１２１を備える。
【００２１】
操作部１１１は、ボタンやスイッチに対するユーザの操作に従って操作信号を生成するものである。電子装置１００には、例えば、２段階に押し下げることのできるボタンが設けられる。操作部１１１は、そのボタンが押下されていない状態、半押しの状態、および、全押しの状態のいずれであるかを示す操作信号を生成して制御部１１２に供給する。
【００２２】
レーザ光照射部１１３は、制御部１１２の制御に従って、指向性を持たせた可視光（赤色光など）をレーザ光として所定の方向に照射するものである。レーザ光は、例えば、撮像レンズ１１８の光軸方向に略平行な方向に照射される。なお、レーザ光照射部１１３は、特許請求の範囲に記載の照射部の一例である。
【００２３】
挿抜部１１４は、制御部１１２の制御に従って、レーザ光の光路に拡散板１１５を挿入する処理、または、その光路から拡散板１１５を抜去する処理を行うものである。この挿抜部１１４は、モータなどのアクチュエータにより実現される。
【００２４】
拡散板１１５は、レーザ光を拡散するものである。拡散板１１５の挿入前においてレーザ光の形状はスポット状である。一方、拡散板１１５を挿入するとレーザ光は拡散して、例えば、円状となる。なお、拡散後のレーザ光の形状は、円に限定されず、線や三角形であってもよい。
【００２５】
また、レーザ光の形状の切替えは、例えば、サンワサプライ株式会社製のレーザポインタＬＰ−ＲＤ３１２ＢＫＮや、コクヨ株式会社製のレーザポインタＥＬＰ−Ｇ２０と同様のものをレーザ光照射部１１３として用いることにより実現することができる。
【００２６】
撮像レンズ１１８は、光を集光して撮像素子３００に導くものである。撮像素子３００は、制御部１１２の制御に従って、物体を撮像して画像データを生成するものである。この撮像素子３００には、二次元格子状に配列された複数の画素が配置される。画素のそれぞれは、受光量に応じたレベルの画素データを生成する。撮像素子３００は、それらの画素データを含む画像データをスイッチ１１７に供給する。なお、撮像レンズ１１８および撮像素子３００は、特許請求の範囲に記載の撮像部の一例である。
【００２７】
スイッチ１１７は、制御部１１２の制御に従って、撮像素子３００からの画像データの出力先を切り替えるものである。このスイッチ１１７は、測距部１１６および座標変換部４００のいずれかに画像データを出力する。
【００２８】
測距部１１６は、制御部１１２の制御に従って、物体上の複数の測定点のそれぞれについて、撮像素子３００から測定点のそれぞれまでの距離を測定するものである。ここで、測定点は、拡散されたレーザ光が照射された点である。この測距部１１６は、照射したレーザ光と、そのレーザ光に対する反射光との位相差から距離を測定する。この測距方式は、ＴｏＦ（Time of Flight）方式と呼ばれる。測距部１１６は、測定点毎の距離を示す距離情報を立体形状推定部２００に供給する。
【００２９】
立体形状推定部２００は、距離情報に基づいて、物体の形状を推定するものである。この立体形状推定部２００は、推定した物体の形状に関連するパラメータを座標変換部４００に供給する。このパラメータについての詳細は後述する。なお、立体形状推定部２００は、特許請求の範囲に記載の形状推定部の一例である。
【００３０】
座標変換部４００は、立体形状推定部２００からのパラメータを用いて、画像データに対して所定の座標変換を行うものである。この座標変換は、レーザ光が照射された物体の表面上の座標を、所定の基準平面上の座標に変換する処理である。例えば、撮像素子３００の像面に平行な（言い換えれば、正対した）平面が、基準平面として用いられる。座標変換部４００は、座標変換後の画像データを光学文字認識部１１９に供給する。
【００３１】
制御部１１２は、電子装置１００全体を制御するものである。所定のボタンが半押しされると制御部１１２は、レーザ光照射部１１３を制御して連続的なレーザ光の照射を開始させる。また、制御部１１２は、挿抜部１１４に拡散板１１５を抜去させる。
【００３２】
そして、ボタンが全押しされると制御部１１２は、レーザ光照射部１１３を制御して間欠的なレーザ光の照射を開始させる。例えば、制御部１１２は、矩形波やサイン波の発光制御信号ＣＬＫｐをレーザ光照射部１１３に供給し、レーザ光照射部１１３は、その信号に同期して発光する。この制御により、例えば、周波数が２０メガヘルツ（ＭＨｚ）のパルス光が照射される。
【００３３】
また、ボタンの全押し時に制御部１１２は、挿抜部１１４に拡散板１１５を挿入させる。さらに、制御部１１２は、撮像素子３００を制御して画像データを撮像させる。そして、スイッチ１１７を制御して画像データを測距部１１６に供給させ、一定の測距期間に亘って測距部１１６に測距を行わせる。
【００３４】
測距期間が経過すると、制御部１１２は、撮像素子３００を制御して、再度、画像データを撮像させる。また、制御部１１２は、スイッチ１１７を制御して画像データを座標変換部４００に供給させる。
【００３５】
光学文字認識部１１９は、画像データに対してＯＣＲを行うものである。光学文字認識部１１９は、ＯＣＲの結果を翻訳処理部１２０に供給する。
【００３６】
翻訳処理部１２０は、ＯＣＲで認識された文字からなる文章の言語（日本語など）を、他の所定の言語（英語など）に置き換える翻訳処理を行うものである。翻訳処理部１２０は、翻訳処理の結果を音声出力部１２１に供給する。音声出力部１２１は、翻訳処理部１２０の翻訳結果を音声で出力するものである。
【００３７】
なお、レーザ光照射部１１３や撮像素子３００などの各部を１つの装置（電子装置１００）内に設けているが、これらを複数の装置に分散して設けてもよい。例えば、レーザ光照射部１１３、挿抜部１１４および拡散板１１５を、電子装置１００に外付けする外部のレーザポインタユニット内に設けてもよい。また、光学文字認識部１１９や翻訳処理部１２０を、電子装置１００の外部の情報処理装置に設けてもよい。この場合には、電子装置１００は、画像データや文字情報を、その情報処理装置に送信し、ＯＣＲや翻訳の結果を受信すればよい。
【００３８】
また、電子装置１００は、ＯＣＲを行っているが、ＯＣＲ以外の処理を画像データに対して行ってもよい。例えば、電子装置１００は、特定の物体（顔など）や二次元バーコードの認識処理をＯＣＲの代わりに行ってもよい。また、電子装置１００は、翻訳結果を音声出力しているが、その翻訳結果を液晶モニタなどの表示部に表示してもよい。
【００３９】
［立体形状推定部の構成例］
図２は、第１の実施の形態における立体形状推定部２００の一構成例を示すブロック図である。この立体形状推定部２００は、測定座標保持部２１０、測定座標検出部２２０、距離情報保持部２３０、最小二乗法演算部２４０、パラメータ保持部２５０、誤差演算部２６０およびパラメータ供給部２７０を備える。
【００４０】
距離情報保持部２３０は、測距部１１６により測定された測定点毎の距離を示す距離情報を保持するものである。
【００４１】
測定座標検出部２２０は、距離情報に基づいて、所定の基準座標系における立体座標を測定点ごとに測定座標として検出するものである。この基準座標系として、例えば、撮像素子３００の像面に平行なＸ０軸およびＹ０軸と、像面に垂直なＺ０軸とからなる座標系が用いられる。測定座標検出部２２０は、拡散されたレーザ光の方向と所定の基準軸（Ｘ０、Ｙ０およびＺ０軸など）とのなす角度を予め取得しておき、その角度と測定された距離とから三角関数を用いて、測定点毎に測定座標を演算する。測定座標検出部２２０は、測定点毎の測定座標を測定座標保持部２１０に保持させる。以下、測定点の個数をＮ（Ｎは２以上の整数）個とし、ｉ（ｉは、０乃至Ｎ−１の整数）番目の測定点の測定座標を（ｘ０ｉ、ｙ０ｉ、ｚ０ｉ）とする。
【００４２】
最小二乗法演算部２４０は、最小二乗法を用いて、候補形状ごとに測定座標群に最もフィットする関数を演算するものである。複数の候補形状は、例えば、基準平面に対して傾いた平面形状と、円柱形状とを含む。また、ここで、演算により求められる関数は、候補形状の座標系における座標と、基準座標系における座標との間の関係を示す関数である。
【００４３】
ここで、互いに直交するＸｐ軸、Ｙｐ軸およびＺｐ軸からなる座標系を、傾いた平面の平面座標系とすると、この平面座標系上の座標と、基準座標系上の座標との間の関係は、例えば、次の式により表される。
【数１】
2017203777.tif 000003
【００４４】
上式において、（ｘｐｉ、ｙｐｉ、ｚｐｉ）は、平面座標系における座標を示す。また、Ｒｐは、回転行列であり、次の式により表される。
Ｒｐ＝Ｒｘｐ・Ｒｙｐ・Ｒｚｐ
【００４５】
上式において、Ｒｘｐはｘ０軸周りに角度ｔｒｘｐだけ回転させる際の回転行列である。また、Ｒｙｐはｙ０軸周りに角度ｔｒｙｐだけ回転させる際の回転行列であり、Ｒｚｐはｚ０軸周りに角度ｔｒｚｐだけ回転させる際の回転行列である。
【００４６】
また、Ｔｐは、ｘ０成分、ｙ０成分、およびｚ０成分からなる平行移動ベクトルである。これらのｘ０成分、ｙ０成分、およびｚ０成分の値をＡ、ＢおよびＣとする。
【００４７】
ＸｐＹｐ平面上に測定点が位置する際には、その測定点の座標のＺｐ成分は零となるはずである。このため、Ｚｐ成分が零とならないときには、この成分は誤差として扱われる。次の式により、この誤差の二乗和Ｅｐが最小となるときのＲｐおよびＴｐが求められる。
【数２】
2017203777.tif 000004
【００４８】
上式を解くために、例えば、上式の両辺をｔｒｘｐ、ｔｒｙｐ、ｔｒｚｐ、Ａ、ＢおよびＣのそれぞれで偏微分する偏微分法が用いられる。
【００４９】
次に、互いに直交するＸｃ軸、Ｙｃ軸およびＺｃ軸からなる座標系を円柱の円柱座標系とすると、この円柱座標系上の座標と、基準座標系上の座標との間の関係は、例えば、次の式により表される。
【数３】
2017203777.tif 000005
【００５０】
上式において、（ｘｃｉ、ｙｃｉ、ｚｃｉ）は、円柱座標系における座標を示す。また、Ｒｃは、回転行列であり、次の式により表される。
Ｒｃ＝Ｒｘｃ・Ｒｙｃ・Ｒｚｃ
【００５１】
上式において、Ｒｘｃはｘ０軸周りに角度ｔｒｘｃだけ回転させる際の回転行列である。また、Ｒｙｃはｙ０軸周りに角度ｔｒｙｃだけ回転させる際の回転行列であり、Ｒｚｃはｚ０軸周りに角度ｔｒｚｃだけ回転させる際の回転行列である。ｒは円柱の半径である。
【００５２】
また、Ｔｃは、ｘ０成分、ｙ０成分、およびｚ０成分からなる平行移動ベクトルである。これらのｘ０成分、ｙ０成分、およびｚ０成分の値をＤ、ＥおよびＦとする。
【００５３】
ｒを円柱の半径とすると、円柱の表面上に測定点が位置する際は、その測定点のＸｃおよびＺｃ座標の二乗和は、ｒの二乗に等しくなるはずである。このため、これらの差分が零にならないときは、この差分は誤差として扱われる。次の式により、この誤差の二乗和Ｅｃが最小となるときのＲｃ、Ｔｃおよびｒが求められる。
【数４】
2017203777.tif 000006
【００５４】
上式を解くために、例えば、上式の両辺をｔｒｘｃ、ｔｒｙｃ、ｔｒｚｃ、Ｄ、ＥおよびＦのそれぞれで偏微分する偏微分法が用いられる。
【００５５】
最小二乗法演算部２４０は、求めたＲｐおよびＴｐのパラメータ群とＲｃ、Ｔｃおよびｒのパラメータ群とをパラメータ保持部２５０に保持させる。
【００５６】
誤差演算部２６０は、候補形状ごとに、その候補形状に対応するパラメータを用いて、その形状を想定した際の誤差を演算するものである。この誤差演算部２６０は、例えば、式２および式４を用いて傾き平面形状に対応する誤差の二乗和Ｅｐと、円柱形状に対応する誤差の二乗和Ｅｃとを演算し、パラメータ供給部２７０に供給する。
【００５７】
パラメータ供給部２７０は、誤差に基づいて、複数の候補形状のいずれかを実際の物体の形状として推定するものである。このパラメータ供給部２７０は、誤差の二乗和ＥｐおよびＥｃを比較して、値の小さな方に対応する候補形状を物体の形状として推定する。そして、パラメータ供給部２７０は、その形状に対応するパラメータ群をパラメータ保持部２５０から読み出して、推定した形状の識別情報とともに座標変換部４００に供給する。なお、パラメータ供給部２７０は、特許請求の範囲に記載の推定処理部の一例である。
【００５８】
なお、立体形状推定部２００は、平面形状および円柱形状の２つの候補形状を想定して形状を推定しているが、候補形状の種類はこれらに限定されない。候補形状は、例えば、球や立方体であってもよい。また、候補形状の個数は２つに限定されず、３つ以上であってもよい。候補形状が３つ以上の場合にパラメータ供給部２７０は、誤差が最も少ない候補形状を物体の形状として推定する。
【００５９】
図３は、第１の実施の形態における距離情報の一例を示す図である。この距離情報は、測定点ごとに、撮像レンズ１１８から測定点までの距離を含む。例えば、測定点Ｐ１までの距離が１００メートルであり、測定点Ｐ２までの距離が１０２メートルであった場合には、立体形状推定部２００は、Ｐ１に対応する「１００」と、Ｐ２に対応する「１０２」とを距離情報保持部２３０内に保持する。
【００６０】
図４は、第１の実施の形態における測定座標の一例を示す図である。測定点までの距離と、レーザ光の照射角度とから、測定点ごとにＸ０、Ｙ０およびＺ０軸上の測定座標が算出される。測定点Ｐ１のＸ０座標、Ｙ０座標およびＺ０座標として５０、５０および５１が算出され、測定点Ｐ２のＸ０座標、Ｙ０座標およびＺ０座標として５０、５１および５１が算出されたものとする。この場合に、立体形状推定部２００は、測定点Ｐ１に対応する測定座標（５０、５０、５１）と測定点Ｐ２に対応する測定座標（５０、５１、５１）とを測定座標保持部２１０内に保持する。
【００６１】
図５は、第１の実施の形態におけるパラメータの一例を示す図である。平面形状に対応する式１の関数は、回転行列Ｒｐおよび平行移動ベクトルＴｐのパラメータを含み、円柱形状に対応する式２の関数は、回転行列Ｒｃおよび平行移動ベクトルＴｃおよび半径ｒのパラメータを含む。立体形状推定部２００は、最小二乗法により、これらのパラメータを算出してパラメータ保持部２５０内に保持する。
【００６２】
［撮像素子の構成例］
図６は、第１の実施の形態における撮像素子３００の一構成例を示すブロック図である。この撮像素子３００は、行走査回路３１０と、画素アレイ部３２０と、タイミング制御部３４０と、複数のＡＤ（Analog to Digital）変換部３５０と、列走査回路３６０と、信号処理部３７０とを備える。画素アレイ部３２０には、二次元格子状に複数の画素回路３３０が配置される。以下、所定の方向に配列された画素回路３３０の集合を「行」と称し、行に垂直な方向に配列された画素回路３３０の集合を「列」と称する。前述のＡＤ変換部３５０は、列ごとに設けられる。
【００６３】
タイミング制御部３４０は、垂直同期信号に同期して行走査回路３１０、ＡＤ変換部３５０および列走査回路３６０を制御するものである。
【００６４】
行走査回路３１０は、全行を同時に露光させ、露光終了後に行を順に選択して画素信号を出力させるものである。画素回路３３０は、行走査回路３１０の制御に従って、受光量に応じたレベルの画素信号を出力するものである。
【００６５】
ＡＤ変換部３５０は、対応する列からの画素信号をＡＤ変換するものである。このＡＤ変換部３５０は、列走査回路３６０の制御に従って、ＡＤ変換した画素信号を画素データとして信号処理部３７０に出力する。列走査回路３６０は、ＡＤ変換部３５０を順に選択して画素データを出力させるものである。
【００６６】
信号処理部３７０は、画素データからなる画像データに対して、ＣＤＳ(Correlated Double Sampling)処理などの信号処理を行うものである。この信号処理部３７０は、信号処理後の画像データをスイッチ１１７に供給する。
【００６７】
［画素回路の構成例］
図７は、第１の実施の形態における画素回路３３０の一構成例を示すブロック図である。この画素回路３３０は、受光素子３３１と、転送スイッチ３３２と、電荷蓄積部３３３および３３４と、選択スイッチ３３５および３３６とを備える。
【００６８】
受光素子３３１は、光を光電変換して電荷を生成するものである。この受光素子３３１として、例えば、フォトダイオードが用いられる。
【００６９】
転送スイッチ３３２は、行走査回路３１０の制御に従って受光素子３３１を電荷蓄積部３３３、電荷蓄積部３３４およびリセット電源Ｖｒｓｔのいずれかに接続するものである。この転送スイッチ３３２は、例えば、複数のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどにより実現される。リセット電源Ｖｒｓｔに接続された際において、ＭＯＳトランジスタのドレインから出力された電荷は破棄され、受光素子３３１の電荷が初期化される。
【００７０】
電荷蓄積部３３３および３３４は、電荷を蓄積して、その蓄積量に応じた電圧を生成するものである。これらの電荷蓄積部３３３および３３４として、例えば、浮遊拡散層が用いられる。
【００７１】
選択スイッチ３３５は、行走査回路３１０の制御に従って、電荷蓄積部３３３とＡＤ変換部３５０との間の線路を開閉するものである。選択スイッチ３３６は、行走査回路３１０の制御に従って、電荷蓄積部３３４とＡＤ変換部３５０との間の線路を開閉するものである。例えば、行走査回路３１０によりＦＤ読出し信号ＲＤ_ＦＤ１が供給された際に選択スイッチ３３５が閉状態に遷移し、行走査回路３１０によりＦＤ読出し信号ＲＤ_ＦＤ２が供給された際に選択スイッチ３３６が閉状態に遷移する。これらの選択スイッチ３３５および３３６のそれぞれは、例えば、ＭＯＳトランジスタなどにより実現される。
【００７２】
［座標変換部の構成例］
図８は、第１の実施の形態における座標変換部４００の一構成例を示すブロック図である。この座標変換部４００は、切り出し処理部４２０、フレームメモリ４１０およびアドレス変換部４３０を備える。
【００７３】
切り出し処理部４２０は、画像データにおいて、円状のレーザ光で囲まれた部分を含む所定形状（例えば、長方形）の領域を切り出すものである。この切り出し処理部４２０は、切り出した領域を切り出し領域としてフレームメモリ４１０に保持させる。フレームメモリ４１０は、切り出し領域を保持するものである。
【００７４】
アドレス変換部４３０は、切り出し領域内の画素のそれぞれについて、その座標を基準平面上の座標に変換するものである。この座標変換部４００は、立体形状推定部２００により推定された形状の識別情報と、その形状のパラメータ群とを受け取る。平面形状であると推定された場合には式１の回転行列Ｒｐおよび平行移動ベクトルＴｐがパラメータとして座標変換部４００に供給される。一方、立体形状であると推定された場合には式２の回転行列Ｒｃ、平行移動ベクトルＴｃおよび半径ｒがパラメータとして座標変換部４００に供給される。
【００７５】
平面形状であると推定された場合に、撮像素子３００上の座標（ｕｉ、ｖｉ）と、傾いた平面上の座標（ｘｅｉ、ｙｅｉ）との間の位置関係はパラメータＲｐおよびＴｐを用いて次の式により表される。
【数５】
2017203777.tif 000007
【００７６】
上式においてｆは、焦点距離である。アドレス変換部４３０は、上式を用いてフレームメモリ４１０に保持された画像（切り出し領域）において座標（ｕｉ、ｖｉ）の画素値を基準平面上の座標（ｘｅｉ、ｙｅｉ）の画素値として出力する。これにより、アドレス変換部４３０は、像面に正対した画像を生成することができる。
【００７７】
一方、円柱形状であると推定された場合に、撮像素子３００上の座標（ｕｉ、ｖｉ）と円柱上の座標（ｘｅｉ、ｙｅｉ）との間の位置関係はパラメータＲｐ、Ｔｐおよびｒを用いて次の式により表される。
【数６】
2017203777.tif 000008
【００７８】
アドレス変換部４３０は、上式を用いてフレームメモリ４１０に保持された画像において座標（ｕｉ、ｖｉ）の画素値を基準平面上の座標（ｘｅｉ、ｙｅｉ）の画素値として出力する。これにより、アドレス変換部４３０は、像面に正対した画像を生成することができる。
【００７９】
なお、座標変換部４００は、レーザ光で囲まれた部分の周辺のみを切り出して座標変換を行っているが、切り出しを行わずに画像全体に対して座標変換を行ってもよい。
【００８０】
図９は、第１の実施の形態におけるレーザ光の形状の一例を示す図である。同図におけるａは、ボタンを半押しした際のレーザ光の形状の一例を示す図である。同図におけるａに例示するように、ボタンを半押しすると、拡散板１１５が抜去された状態でスポット状のレーザ光５００が照射される。
【００８１】
また、図９におけるｂは、ボタンを全押しした際のレーザ光の形状の一例を示す図である。同図におけるｂに例示するように、ボタンを全押しすると、拡散板１１５が挿入され、円状のレーザ光５０１が照射される。ユーザは、ＯＣＲ対象の文字（値札の文字など）がレーザ光の円内に入るように、レーザ光の照射位置を調整する。
【００８２】
なお、ＴｏＦ方式では、測距対象の面全体にレーザ光を照射する面照射が一般的である。しかしながら、ＯＣＲ対象の部分のみを測距するのであれば、電子装置１００は、面全体を照射する必要はなく、その部分のみにレーザ光を照射すれば十分である。レーザ光の照射範囲を絞ることにより、面全体に照射する場合よりも電子装置１００の消費電力を抑制することができる。
【００８３】
また、ＴｏＦ方式では、赤外光など、可視光でない光を照射するのが一般的である。しかしながら、想定される電子装置１００の利用シーンでは、レーザ光の照射位置をユーザが視認する必要があるため、電子装置１００は、赤色光などの可視光を照射している。可視光を用いる場合も、ＴｏＦによる測距原理は、赤外光と同様である。
【００８４】
図１０は、第１の実施の形態におけるＱ１Ｑ２検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。ボタンが全押しされると、画素回路３３０は、受光量Ｑ１およびＱ２の検出と、受光量Ｑ３およびＱ４の検出とを交互に繰り返し行う。以下、受光量Ｑ１およびＱ２の検出期間を「Ｑ１Ｑ２検出期間」と称し、受光量Ｑ３およびＱ４の検出期間を「Ｑ３Ｑ４検出期間」と称する。Ｑ１Ｑ２検出期間およびＱ３Ｑ４検出期間のそれぞれの長さは、垂直同期信号ＶＳＹＮＣの周期（例えば、１／６０秒）である。
【００８５】
ここで、受光量Ｑ１は、レーザ光の発光制御信号ＣＬＫｐの特定の位相（例えば、立上り）を０度として、０度から１８０度までの受光量ｑ１をＱ１Ｑ２検出期間に亘って累積したものである。発光制御信号ＣＬＫｐの周波数は２０メガヘルツ（ＭＨｚ）と高いため、その１周期（１／２０マイクロ秒）当たりの受光量ｑ１は非常に少なく、検出が困難である。このため、画素回路３３０は、発光制御信号ＣＬＫｐの周期（１／２０マイクロ秒）より長い１／６０秒などのＱ１Ｑ２検出期間に亘って、ｑ１のそれぞれを累積し、その総量を受光量Ｑ１として検出する。また、受光量Ｑ２は、１８０度から３６０度までの反射光の受光量ｑ２をＱ１Ｑ２検出期間に亘って累積したものである。
【００８６】
また、受光量Ｑ３は、９０度から２７０度までの反射光の受光量ｑ３をＱ３Ｑ４検出期間に亘って累積したものである。また、受光量Ｑ４は、２７０度から９０度までの反射光の受光量ｑ４をＱ３Ｑ４検出期間に亘って累積したものである。
【００８７】
これらの受光量Ｑ１、Ｑ２、Ｑ３およびＱ４を次の式に代入することにより、測距部１１６は、測定点までの距離ｄを算出することができる。この式の導出方法は、例えば、「Larry Li、"Time-of-Flight Camera - An Introduction"、テキサスインスツルメンツ、Technical White Paper SLOA190B January 2014 Revised May 2014」に記載されている。
ｄ＝（ｃ／４πｆ）×ｔａｎ−１｛（Ｑ３−Ｑ４）／（Ｑ１−Ｑ２）｝
上式においてｄは距離であり、単位は、例えば、メートル（ｍ）である。ｃは光速であり、単位は、例えば、メートル毎秒（ｍ／ｓ）である。ｔａｎ−１（）は、正接関数の逆関数を示す。
【００８８】
例えば、タイミングＴ１からタイミングＴ２までのＱ１Ｑ２検出期間において、その期間の受光量Ｑ１およびＱ２が検出される。まず、行走査回路３１０は、タイミングＴ１から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給する。このリセット信号ＲＳＴにより、全行の電荷蓄積部３３３および３３４の電荷蓄積量が初期化される。また、行走査回路３１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子３３１の電荷を初期化する。
【００８９】
そして、行走査回路３１０は、Ｑ１Ｑ２検出期間において、発光制御信号ＣＬＫｐの周期内の０度から１８０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３３に転送させる。この制御により、電荷蓄積部３３３に受光量ｑ１が蓄積される。
【００９０】
また、行走査回路３１０は、Ｑ１Ｑ２検出期間において、発光制御信号ＣＬＫｐの周期内の１８０度から３６０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３４に転送させる。この制御により、電荷蓄積部３３４に受光量ｑ２が蓄積される。
【００９１】
そして、タイミングＴ２の直前のタイミングＴ１１において行走査回路３１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の受光量Ｑ１およびＱ２に応じた画素信号が読み出される。次に、行走査回路３１０は、２行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給して画素信号を読み出す。以下、同様に行走査回路３１０は、行を順に選択して画素信号を読み出す。
【００９２】
このように、Ｑ１Ｑ２検出期間において画素回路３３０のそれぞれは、０度から１８０度までの受光量Ｑ１と、１８０度から３６０度までの受光量Ｑ２とを検出する。
【００９３】
図１１は、第１の実施の形態におけるＱ３Ｑ４検出期間内の画素回路３３０の露光制御の一例を示すタイミングチャートである。例えば、タイミングＴ２からタイミングＴ３までのＱ３Ｑ４検出期間において、その期間の受光量Ｑ３およびＱ４が検出される。まず、行走査回路３１０は、タイミングＴ２から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給し、全行の電荷蓄積部３３３および３３４の電荷蓄積量を初期化する。また、行走査回路３１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子３３１の電荷を初期化する。
【００９４】
そして、行走査回路３１０は、最初の０度から９０度において、全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３４に転送させる。この制御により、電荷蓄積部３３４に受光量ｑ４が蓄積される。以降において行走査回路３１０は、発光制御信号ＣＬＫｐの周期内の９０度から２７０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３３に転送させる。この制御により、電荷蓄積部３３３に受光量ｑ３が蓄積される。
【００９５】
また、行走査回路３１０は、Ｑ３Ｑ４検出期間において、発光制御信号ＣＬＫｐの周期内の２７０度から９０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３４に転送させる。この制御により、電荷蓄積部３３４に受光量ｑ４が蓄積される。
【００９６】
そして、タイミングＴ３の直前のタイミングＴ２１において行走査回路３１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の受光量Ｑ３およびＱ４に応じた画素信号が読み出される。以下、同様に行走査回路３１０は、行を順に選択して画素信号を読み出す。
【００９７】
このように、Ｑ３Ｑ４検出期間において画素回路３３０のそれぞれは、９０度から２７０度までの受光量Ｑ３と、２７０度か９０度までの受光量Ｑ４とを検出する。
【００９８】
図１２は、第１の実施の形態における撮像期間内の画素回路３３０の露光制御の一例を示すタイミングチャートである。まず、行走査回路３１０は、タイミングＴ３から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給し、全行の電荷蓄積量を初期化する。また、行走査回路３１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子３３１の電荷を初期化する。
【００９９】
そして、行走査回路３１０は、全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３３に転送させる。続いてタイミングＴ４の直前のタイミングＴ３１において行走査回路３１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１を供給して画素信号を読み出す。次に、行走査回路３１０は、２行目にＦＤ読出し信号ＲＤ_ＦＤ１を供給して画素信号を読み出す。以下、同様に行走査回路３１０は、行を順に選択して画素信号を読み出す。これにより、画像データが撮像される。
【０１００】
図１３は、第１の実施の形態における基準座標系と平面座標系との関係の一例を示す図である。前述したように、Ｘ０軸、Ｙ０軸およびＺ０軸からなる基準座標系をＲｐおよびＴｐにより回転および平行移動させた、Ｘｐ軸、Ｙｐ軸およびＺｐ軸からなる平面座標系を想定する。この想定に基づいて電子装置１００は、測定点５０２および５０３などのＮ個の測定点が、ＸｐＹｐ平面５１０に位置すると仮定して誤差の二乗和Ｅｐを算出する。
【０１０１】
図１４は、第１の実施の形態における基準座標系と円柱座標系との関係の一例を示す図である。前述したように、Ｘ０軸、Ｙ０軸およびＺ０軸からなる基準座標系をＲｃおよびＴｃにより回転および平行移動させた、Ｘｃ軸、Ｙｃ軸およびＺｃ軸からなる円柱座標系を想定する。この想定に基づいて電子装置１００は、測定点５０２および５０３などのＮ個の測定点が、円柱５１１の表面上に位置すると仮定して誤差Ｅｃを算出する。
【０１０２】
図１５は、第１の実施の形態における傾いた平面を撮像する際の電子装置１００の利用シーンの一例を示す図である。同図におけるａは、ボタンを半押しした際のレーザ光の形状の一例を示す図である。同図におけるａに例示するように、ボタンを半押しするとスポット状のレーザ光５００が照射される。ここで、電子装置１００は、例えば、スティック状の装置であり、ユーザは、その電子装置１００を手に把持して、レーザ光の向きを変えることができる。ユーザは、レーザ光５００の照射点を移動させ、ＯＣＲ対象の文字の位置でボタンを全押しする。例えば、魚の切り身に平面状の値札がついており、その値札の文字をＯＣＲで読み取る際に、ユーザは、その値札にレーザ光５００の照射点を移動させる。この値札の平面が、図１３の平面５１０に対応する。
【０１０３】
図１５におけるｂは、ボタンを全押しした際のレーザ光の形状の一例を示す図である。同図におけるｂに例示するように、ボタンを全押しすると円状のレーザ光５０１が値札（平面５１０）に照射される。
【０１０４】
図１６は、第１の実施の形態における平面形状と変換前後の画像と翻訳結果の一例を示す図である。同図におけるａは、候補となる平面形状の一例を示す図である。色の濃淡は、奥行きを表す。例えば、撮像素子３００の像面に対して傾いた平面が想定される。
【０１０５】
図１６におけるｂは、撮像した画像データのうち、レーザ光が照射された部分の一例を示す。「サーモン」および「１００円」の文字列が値札に記載されているが、値札の平面が像面に正対していないため、文字が歪んでいる。このため、このままでは、ＯＣＲで正確に文字を読み取ることができないおそれがある。
【０１０６】
そこで、電子装置１００は、傾いた平面上の座標を基準平面上の座標に変換する。図１６におけるｃは、座標変換後の画像の一例である。同図におけるｃに例示するように、像面に正対していない平面が、正対する基準平面に変換され、文字の歪みが無くなっている。電子装置１００は、ＯＣＲにより、変換後の画像内の文字を読み取り、翻訳を行う。
【０１０７】
図１６におけるｄは、翻訳結果の一例を示す図である。日本語の「サーモン」および「１００円」は、英語の「Salmon」および「One hundred yen」に翻訳され、音声出力される。
【０１０８】
図１７は、第１の実施の形態における、円柱形状の物体を撮像する際の電子装置１００の利用シーンの一例を示す図である。同図におけるａは、ボタンを半押しした際のレーザ光の形状の一例を示す図である。例えば、ワインボトルの円柱の部分にラベルが貼り付けられており、そのラベルの文字をＯＣＲで読み取らせたい場合にユーザは、そのラベルにレーザ光５００の照射点を移動させる。このワインボトルの円柱部分が、図１４の円柱５１１に対応する。
【０１０９】
図１７におけるｂは、ボタンを全押しした際のレーザ光の形状の一例を示す図である。同図におけるｂに例示するように、ボタンを全押しすると円状のレーザ光５０１がラベル（円柱５１１）に照射される。
【０１１０】
図１８は、第１の実施の形態における円柱形状と変換前後の画像と翻訳結果の一例を示す図である。同図におけるａｂは、候補となる円柱形状の一例を示す図である。
【０１１１】
図１８におけるｂは、撮像した画像データのうち、レーザ光が照射された部分の一例を示す。「酸化防止剤無添加のおいしいワイン」の文字列がラベルに記載されているが、ラベルの面が湾曲しているため、文字が歪んでいる。このため、このままでは、ＯＣＲで正確に文字を読み取ることができないおそれがある。
【０１１２】
そこで、電子装置１００は、円柱上の座標を基準平面上の座標に変換する。図１８におけるｃは、座標変換後の画像の一例である。同図におけるｃに例示するように、円柱上の湾曲した面が基準平面に変換され、文字の歪みが無くなっている。電子装置１００は、ＯＣＲにより、変換後の画像内の文字を読み取り、翻訳を行う。
【０１１３】
図１８におけるｄは、翻訳結果の一例を示す図である。日本語の「酸化防止剤無添加のおいしいワイン」は、英語の「Antioxidant free nice wine」に翻訳され、音声出力される。
【０１１４】
［電子装置の動作例］
図１９は、第１の実施の形態における電子装置１００の動作の一例を示すフローチャートである。この動作は、例えば、電子装置１００に電源が投入されたときに開始する。電子装置１００は、ユーザによりボタンが半押しされたか否かを判断する（ステップＳ９０１）。ボタンが半押しされた場合に（ステップＳ９０１：Ｙｅｓ）、電子装置１００は、拡散板を抜去し（ステップＳ９０２）、スポット状のレーザ光を照射する（ステップＳ９０３）。そして、電子装置１００は、ユーザによりボタンが全押しされたか否かを判断する（ステップＳ９０４）。
【０１１５】
ボタンが半押しされていない場合（ステップＳ９０１：Ｎｏ）、または、ボタンが全押しされていない場合（ステップＳ９０４：Ｎｏ）、電子装置１００は、ステップＳ９０１以降を繰り返し実行する。
【０１１６】
ボタンが全押しされた場合に（ステップＳ９０４：Ｙｅｓ）、電子装置１００は、拡散板を挿入し（ステップＳ９０５）、円状のレーザ光の照射と、その反射光の受光とを行う（ステップＳ９０６）。電子装置１００は、測定点毎にＴｏＦ方式で測距を行い（ステップＳ９０７）、測定された距離に基づいて物体の立体形状を推定する（ステップＳ９０８）。
【０１１７】
そして、電子装置１００は、物体を撮像し（ステップＳ９０９）、画像データに対して座標変換を行う（ステップＳ９１０）。電子装置１００は、座標変換した画像において光学文字認識を行い（ステップＳ９１１）、翻訳および音声出力を行う（ステップＳ９１２）。ステップＳ９１２の後に、電子装置１００は、ＯＣＲのための動作を終了する。
【０１１８】
このように、本技術の第１の実施の形態によれば、電子装置１００は、測定点までの距離から物体の形状を推定し、その形状に基づいて座標変換を行うため、文字の歪みを無くしてＯＣＲの精度を向上させることができる。
【０１１９】
［変形例］
上述の第１の実施の形態では、スティック状の電子装置１００内に、操作部１１１や撮像素子３００などを設けていたが、ウェアラブル端末に装着されるカメラユニットに、操作部１１１等を設けてもよい。この第１の実施の形態の変形例における撮像システムは、ウェアラブル端末に装着されるカメラユニットに、操作部１１１等を設けた点において第１の実施の形態と異なる。
【０１２０】
図２０は、撮像システムの一構成例を示すブロック図である。この撮像システムは、ウェアラブル端末１５０とカメラユニット１０１とを備える。また、ウェアラブル端末１５０は、操作部１５１および端末制御部１５２を備える。また、カメラユニット１０１の構成は、制御部１１２およびスイッチ１１７の代わりにカメラユニット制御部１２２およびスイッチ１２３を備える点以外は、第１の実施の形態の電子装置１００と同様である。なお、カメラユニット１０１は、特許請求の範囲に記載の電子装置の一例である。
【０１２１】
操作部１５１は、スイッチやボタンに対するユーザの操作に従って操作信号を生成するものである。例えば、画像データを撮像させるための操作（シャッターボタンの押下など）が行われる。操作部１５１は、生成した操作信号を端末制御部１５２に供給する。
【０１２２】
端末制御部１５２は、ウェアラブル端末１５０全体を制御するものである。この端末制御部１５２は、操作信号をカメラユニット制御部１２２に供給し、カメラユニット制御部１２２から画像データなどを受け取る。
【０１２３】
カメラユニット制御部１２２は、カメラユニット１０１全体を制御するものである。このカメラユニット制御部１２２は、ウェアラブル端末１５０にカメラユニット１０１が装着されていない場合に、第１の実施の形態と同様の制御を行う。一方、ウェアラブル端末１５０にカメラユニット１０１が装着されている場合に、カメラユニット制御部１２２は、画像データを撮像させるための操作（シャッターボタンの押下など）が行われたか否かを判断する。シャッターボタンが押下されると、カメラユニット制御部１２２はスイッチ１２３を制御して画像データをウェアラブル端末１５０に出力させる。
【０１２４】
スイッチ１２３は、カメラユニット制御部１２２の制御に従って、画像データの出力先を切り替えるものである。
【０１２５】
図２１は、第１の実施の形態の変形例における撮像システムの外観図の一例である。ウェアラブル端末１５０は、眼鏡型の端末であり、カメラユニット１０１を連結具１５５により側面に取付けることができる。この端末のレンズ部分は、同図において省略されている。連結具１５５として、例えば、特表２０１５−５１５６３８号公報の図１や図２に記載のものを用いることができる。
【０１２６】
カメラユニット１０１は、ウェアラブル端末１５０から取り外した状態でも動作する。単体のカメラユニット１０１の機能は、第１の実施の形態の電子装置１００と同様である。
【０１２７】
また、ウェアラブル端末１５０には、遮蔽部材１５６が設けられる。この遮蔽部材１５６は、カメラユニット１０１が取り付けられた際に、カメラユニット１０１からのレーザ光を遮蔽するものである。ただし、撮像素子３００への入射光は遮蔽されない。
【０１２８】
例えば、カメラユニット１０１の下部にレーザ光照射部１１３が配置され、上部に撮像素子３００が配置されるものとする。この場合に遮蔽部材１５６は、カメラユニットの１０１の下部のみを遮蔽する。これにより、レーザ光のみがマスクされる。測距が不要な状況でレーザ光を遮蔽することにより、撮像した画像データにレーザ光が写ることを防止することができる。これにより、撮像システムの利便性を向上させることができる。
【０１２９】
カメラユニット１０１は、ウェアラブル端末１５０に装着された状態では、測距を行わず、画像データの撮像などを行う。ウェアラブル端末１５０は、その画像データを解析して、端末のヘッドアップディスプレイに所定の情報を表示する。例えば、現在の位置情報や、認識した物体に合成する画像などが表示される。
【０１３０】
このように、本技術の第１の実施の形態の変形例によれば、ウェアラブル端末１５０に装着時に遮蔽部材１５６がレーザ光を遮蔽するため、撮像した画像データにレーザ光が写ることを防止することができる。
【０１３１】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、ＴｏＦ方式で測距を行っていたが、このＴｏＦ方式では
レーザ光を照射する部品が必要となるため、その分、コストの低減や小型化が困難となる。この第２の実施の形態の電子装置１００は、小型化およびコストの低減を実現した点において第１の実施の形態と異なる。
【０１３２】
図２２は、第２の実施の形態における電子装置１００の一構成例を示すブロック図である。この第２の実施の形態の電子装置１００としては、デジタル一眼レフレックスカメラなどのデジタルカメラが想定される。また、第２の実施の形態の電子装置１００は、レーザ光照射部１１３の代わりに表示部１２３をさらに備える点において第１の実施の形態と異なる。
【０１３３】
また、第２の実施の形態の撮像素子３００は、瞳分割された一対の像の位相差を検出する位相差検出画素と、通常画素とが配置される。
【０１３４】
制御部１１２は、シャッターボタンなどのボタンが半押しされると、撮像素子３００を制御して解像度が比較的低い画像をライブビュー画像として垂直同期信号に同期して撮像させる。そして、制御部１１２は、スイッチ１１７を制御して、ライブビュー画像を表示部１２３に供給させる。
【０１３５】
また、ボタンが全押しされると制御部１１２は、ライブビュー画像より解像度の高い画像データを撮像素子３００に撮像させる。そして、制御部１１２は、スイッチ１１７を制御して、画像データを測距部１１６に供給させる。
【０１３６】
表示部１２３は、画像データを表示するものである。この表示部１２３は、例えば、液晶モニタなどにより実現される。
【０１３７】
測距部１１６は、位相差画素の画素信号から距離を測定し、画像データと距離情報とを立体形状推定部２００に供給する。この画像データにおいて、位相差画素の位置の画素値は、周囲の画素から補間される。座標変換部４００以降の処理は、第１の実施の形態と同様である。
【０１３８】
なお、電子装置１００は、測距情報を立体形状の推定に用いているが、この測距情報はＡＦ（Auto Focus）にも用いられる。図２２において、測距情報に基づいてフォーカスレンズの位置を制御するＡＦ制御部は省略されている。
【０１３９】
図２３は、第２の実施の形態における撮像素子３００の一構成例を示すブロック図である。この第２の実施の形態の撮像素子３００は、画素回路３３０の代わりに、通常画素回路３８０および位相差検出画素回路３９０が設けられる点において第１の実施の形態と異なる。
【０１４０】
通常画素回路３８０は、Ｒ（Red）、Ｇ(Green)およびＢ(Blue)などの可視光を光電変換して画素信号を生成する画素である。位相差検出画素回路３９０は、瞳分割された一対の像の位相差を検出するための画素である。このように、位相差検出のための画素が像面に配置され、その画素の信号から距離を測定する方式は、像面位相差方式と呼ばれる。このような像面位相差方式の撮像素子３００の構造は、例えば、特開２０１２−１２４７９１号公報に搭載されている。
【０１４１】
図２４は、第２の実施の形態における電子装置１００の動作の一例を示すフローチャートである。電子装置１００は、ユーザによりボタンが半押しされたか否かを判断する（ステップＳ９０１）。ボタンが半押しされた場合に（ステップＳ９０１：Ｙｅｓ）、電子装置１００は、ライブビュー画像を撮像して表示する（ステップＳ９２１）。ユーザは、ライブビュー画像を視認しながら、ＯＣＲ対象の文字が、モニタ（表示部１２３）内に収まるように電子装置１００の向きを調整する。調整後にユーザは、ボタンを全押しする。
【０１４２】
そして、電子装置１００は、ユーザによりボタンが全押しされたか否かを判断する（ステップＳ９０４）。ボタンが全押しされると、電子装置１００は、画像データを撮像するとともに、位相差検出画素回路３９０で検出された位相差から測定点ごとに距離を求める（ステップＳ９２２）。また、電子装置１００は、立体形状を推定し（ステップＳ９０８）、画像データにおいて位相差画素を補間する（ステップＳ９２３）。そして電子装置１００は、ステップＳ９１０以降を実行する。
【０１４３】
このように、本技術の第２の実施の形態によれば、位相差検出画素で検出された位相差から距離を測定するため、レーザ光照射部１１３や拡散板１１５を設ける必要が無くなり、部品点数を削減することができる。これにより、小型化やコストの低減が容易となる。
【０１４４】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１４５】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１４６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【０１４７】
なお、本技術は以下のような構成もとることができる。
（１）物体を撮像して画像データを撮像する撮像部と、
前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距部と、
前記測定された距離から前記物体の形状を推定する形状推定部と、
前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換部と
を具備する電子装置。
（２）前記座標変換が行われた画像データにおいて前記物体の表面上の文字を認識する文字認識部をさらに具備する
前記（１）記載の電子装置。
（３）照射光を照射する照射部をさらに具備し、
前記測距部は、前記照射光に対する反射光と前記照射光との位相差から前記距離を測定する前記（１）または記載の電子装置。
（４）前記撮像部は、前記画像データを撮像する処理と前記照射光を受光する処理とを行う
前記（３）記載の電子装置。
（５）前記照射部は、所定の周期信号に同期したパルス光を前記照射光として照射する
前記（３）または（４）に記載の電子装置。
（６）前記照射部は、スポット光および拡散光のいずれかを所定の操作に従って選択して前記照射光として照射し、
前記測距部は、前記拡散光が照射されたときに前記距離を測定する
前記（３）から（５）のいずれかに記載の電子装置。
（７）前記照射部は、所定のボタンが半押しされた場合には前記照射光の照射を開始し、
前記撮像部は、前記所定のボタンが全押しされた場合には前記画像データを撮像する
前記（３）から（６）のいずれかに記載の電子装置。
（８）前記電子装置は、ウェアラブル端末に取付けられるカメラユニットである
前記（１）から（７）のいずれかに記載の電子装置。
（９）前記形状推定部は、前記距離に基づいて複数の候補形状のいずれかを前記物体の形状として推定する
前記（１）から（８）のいずれかに記載の電子装置。
（１０）前記形状推定部は、
前記距離から前記複数の測定点のそれぞれの座標を測定座標として検出する座標検出部と、
前記複数の候補形状のそれぞれについて当該候補形状の座標と所定の基準座標系における座標との間の関係を示す関数を前記測定座標を用いて取得する関数取得部と、
前記取得された関数と前記測定座標とから前記複数の候補形状のそれぞれについて前記物体の形状を想定した際の誤差を演算する誤差演算部と、
前記複数の候補形状のうち前記誤差の最も少ない形状を前記物体の形状として推定する推定処理部と
を備える前記（９）記載の電子装置。
（１１）前記画像データは、複数の画素データを含み、
前記撮像部は、
瞳分割された２つの像の位相差を検出する位相差検出画素と、
光を光電変換して前記複数の画素データのいずれかを生成する通常画素と
を備え、
前記測距部は、前記位相差検出画素により検出された位相差から前記距離を測定する
前記（１）または（２）に記載の電子装置。
（１２）撮像部が、物体を撮像して画像データを撮像する撮像手順と、
前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距手順と、
前記測定された距離から前記物体の形状を推定する形状推定手順と、
前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換手順と
を具備する電子装置の制御方法。
（１３）撮像部が、物体を撮像して画像データを撮像する撮像手順と、
前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距手順と、
前記測定された距離から前記物体の形状を推定する形状推定手順と、
前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１４８】
１００  電子装置
１０１  カメラユニット
１１１、１５１  操作部
１１２  制御部
１１３  レーザ光照射部
１１４  挿抜部
１１５  拡散板
１１６  測距部
１１７、１２３  スイッチ
１１８  撮像レンズ
１１９  光学文字認識部
１２０  翻訳処理部
１２１  音声出力部
１２２  カメラユニット制御部
１２３  表示部
１５０  ウェアラブル端末
１５２  端末制御部
１５５  連結具
１５６  遮蔽部材
２００  立体形状推定部
２１０  測定座標保持部
２２０  測定座標検出部
２３０  距離情報保持部
２４０  最小二乗法演算部
２５０  パラメータ保持部
２６０  誤差演算部
２７０  パラメータ供給部
３００  撮像素子
３１０  行走査回路
３２０  画素アレイ部
３３０  画素回路
３３１  受光素子
３３２  転送スイッチ
３３３、３３４  電荷蓄積部
３３５、３３６  選択スイッチ
３４０  タイミング制御部
３５０  ＡＤ変換部
３６０  列走査回路
３７０  信号処理部
３８０  通常画素回路
３９０  位相差検出画素回路
４００  座標変換部
４１０  フレームメモリ
４２０  切り出し処理部
４３０  アドレス変換部
【図１】
2017203777.tif 000009
【図２】
2017203777.tif 000010
【図３】
2017203777.tif 000011
【図４】
2017203777.tif 000012
【図５】
2017203777.tif 000013
【図６】
2017203777.tif 000014
【図７】
2017203777.tif 000015
【図８】
2017203777.tif 000016
【図９】
2017203777.tif 000017
【図１０】
2017203777.tif 000018
【図１１】
2017203777.tif 000019
【図１２】
2017203777.tif 000020
【図１３】
2017203777.tif 000021
【図１４】
2017203777.tif 000022
【図１５】
2017203777.tif 000023
【図１６】
2017203777.tif 000024
【図１７】
2017203777.tif 000025
【図１８】
2017203777.tif 000026
【図１９】
2017203777.tif 000027
【図２０】
2017203777.tif 000028
【図２１】
2017203777.tif 000029
【図２２】
2017203777.tif 000030
【図２３】
2017203777.tif 000031
【図２４】
2017203777.tif 000032
【国際調査報告】
2017203777.tif 000033
2017203777.tif 000034