(57)【要約】      （修正有）【課題】撮像装置と被写体との距離の変化によらず、常に合焦画像を得ることができる多焦点画像撮像方法および装置を提供する。【解決手段】撮像素子１１と結像レンズ１２とは、所定の距離Ａ０の被写体Ｐ１に合焦するように位置決めされている。被写体と結像レンズ１２との間には、光路を折り曲げるミラーＢ１、Ｂ２が配設される。距離Ａ０に位置する被写体Ｐ１に対しては、撮像素子１１に形成される像の内、光路Ａを経て形成された像の部分を選択する一方、距離Ａ０よりも短い距離Ｂ０に位置する被写体Ｐ３に対しては、撮像素子１１上に形成される像の内、ミラーＢ１、Ｂ２及び結像レンズ１２を通る光路Ｂを経て形成された像の部分を選択して、より鮮鋭な画像を得る。【選択図】図１
2015087428.tif 000002
【特許請求の範囲】
【請求項１】
像側主点と撮像素子の受光面との距離を一定に保持した結像レンズ系を介して、被写体の像を撮像素子に合焦状態で結像させるために、
上記被写体と上記結像レンズ系の被写体側主点との実距離が、相対的に長い場合には、上記撮像素子の受光面と上記被写体との距離である撮影距離が一定となるように、上記被写体の撮影を行う一方、
上記実距離が、相対的に短い場合には、上記一定の撮影距離と同じ光路長となるように、物理的に曲折させた光路を介して上記被写体の撮影を行うこと
を特徴とする多焦点画像撮像方法。
【請求項２】
撮像素子と、
被写体の像を上記撮像素子に結像させる結像レンズ系と、
上記被写体から上記結像レンズ系の被写体側主点までの光路を物理的に曲折させる光路折り曲げ手段とを備え、
上記被写体と上記結像レンズ系の被写体側主点との実距離が、相対的に長い場合には、上記光路折り曲げ手段を介さずに一定の撮影距離にて上記被写体の像を上記撮像素子に合焦状態で結像させるように、上記撮像素子および上記結像レンズ系が配置されている一方、
上記実距離が、相対的に短い場合には、上記一定の撮影距離と同じ光路長となるように、物理的に曲折させた光路を介して上記被写体の像を上記撮像素子に合焦状態で結像させるように、上記撮像素子および上記結像レンズ系に対して、上記光路折り曲げ手段が配置されていること
を特徴とする多焦点画像撮像装置。
【請求項３】
上記光路折り曲げ手段は、複数の反射鏡の組み合わせによって構成されていること
を特徴とする請求項２に記載の多焦点画像撮像装置。
【請求項４】
上記複数の反射鏡は、上記結像レンズ系の光軸に沿って移動可能に構成されていること
を特徴とする請求項３に記載の多焦点画像撮像装置。
【請求項５】
上記複数の反射鏡のうち、少なくとも、上記被写体からの光を最初に受ける反射鏡は、角度が変更可能に構成されていること
を特徴とする請求項３または４に記載の多焦点画像撮像装置。
【請求項６】
筆記具のペンとして機能し、ペン型の筐体を具備したペン構成部を備えたデジタルペンであって、
ペン先から入光した被写体からの光を撮るように、上記筐体内に搭載された請求項２から５のいずれか１項に記載の多焦点画像撮像装置と、
ユーザが上記デジタルペンを使用した筆跡を表す筆跡データを、上記撮像素子の出力信号に基づいて生成する生成手段とを備えたこと
を特徴とするデジタルペン。
【請求項７】
上記多焦点画像撮像装置は、上記デジタルペンを用いて筆記する紙の紙繊維模様を撮像するように構成されていること
を特徴とする請求項６に記載のデジタルペン。
【請求項８】
上記撮像素子が、上記光路折り曲げ手段を介して撮像することによって生成された上記被写体の画像データと、上記光路折り曲げ手段を介さずに撮像することによって生成された上記被写体の画像データとのうち、相対的に焦点が合っている方の画像データを判定し、上記生成手段に出力する判定手段を備え、
上記生成手段は、相対的に焦点が合っている方の画像データを、上記筆跡データの生成に使用すること
を特徴とする請求項６または７に記載のデジタルペン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から異なる距離にある複数の被写体の画像を近接撮影する多焦点画像撮像方法および多焦点画像撮像装置と、多焦点画像撮像装置を搭載したデジタルペンに関する。
【背景技術】
【０００２】
１回の撮像操作によって、対物レンズと被写体との距離が異なる複数の画像を撮影する多焦点撮像装置が、下掲の特許文献１に開示されている。
【０００３】
また、携帯可能な装置を手で把持して自らの画像を撮影するような近接撮影を行う場合に、広角レンズを用いることなく撮影することができる撮像装置が、下掲の特許文献２に開示されている。
【０００４】
特許文献１の多焦点撮像装置では、対物レンズを通った光がビームスプリッタの分光面で、透過光と反射光とに二分され、二分されたそれぞれの光の光路長を異らせた後に、撮像装置に到達するように構成されている。これにより、３次元形状を持った微細な部品のような被写体の異なる位置に焦点が合った画像が１回の撮像操作で得られると、特許文献１に記載されている。
【０００５】
また、携帯可能な装置を手で把持して自らの画像を撮影するような近接撮影を行う場合に、広角レンズを用いることなく撮影することができる撮像装置が、下掲の特許文献２に開示されている。
【０００６】
特許文献２の撮像装置は、１つの撮像素子に画像光がそれぞれ入射する第一の光路と第二の光路とを有している。これら２つの光路のうち、何れか一方の光路中に、画像を反射させる複数のミラーが設けられている。これにより、２つの光路を入射する撮像素子が小さくても、第一の光路と第二の光路とを物理的に離すことが可能になり、広角レンズを用いなくても、被写体を全体的に撮像することが可能になると、特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−５９１２１号公報（２００８年３月１３日公開）
【特許文献２】特開２００３−６９８６７号公報（２００３年３月７日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の従来技術では、いずれも、撮像装置を被写体に近づけたり、被写体から遠ざけたりしたときに、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことはできないという問題がある。
【０００９】
特許文献１の多焦点撮像装置の場合、被写体距離が異なる複数の被写体に対して撮像装置を静止させた状態で、１回の撮像が行われる。したがって、撮像装置を被写体に近づけたり、被写体から遠ざけたりしたときには、それぞれ撮像装置側でピント合わせが必要になる。マニュアルのピント合わせは言うに及ばず、オートフォーカスによるピント合わせであっても、ピント合わせにある程度の時間を要する。
【００１０】
また、特許文献２の撮像装置の場合、第一の光路と第二の光路とを介して、人物の顔のような同一の被写体を撮影し、各光路を介して得た画像を１つの画像に合成することが主眼なので、被写体距離の変化に合わせて高速に合焦を行うことは全く意図されていない。
【００１１】
本発明は、上記の問題に鑑みてなされたものであり、その目的は、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことができる多焦点画像撮像技術を提案することにある。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明の一態様に係る多焦点画像撮像方法は、
(1)像側主点と撮像素子の受光面との距離を一定に保持した結像レンズ系を介して、被写体の像を撮像素子に合焦状態で結像させるために、
(2)上記被写体と上記結像レンズ系の被写体側主点との実距離が、相対的に長い場合には、上記撮像素子の受光面と上記被写体との距離である撮影距離が一定となるように、上記被写体の撮影を行う一方、
(3)上記実距離が、相対的に短い場合には、上記一定の撮影距離と同じ光路長となるように、物理的に曲折させた光路を介して上記被写体の撮影を行うことを特徴とする。
【００１３】
また、上記の課題を解決するために、本発明の一態様に係る多焦点画像撮像装置は、
(1)撮像素子と、
(2)被写体の像を上記撮像素子に結像させる結像レンズ系と、
(3)上記被写体から上記結像レンズ系の被写体側主点までの光路を物理的に曲折させる光路折り曲げ手段とを備え、
(4)上記被写体と上記結像レンズ系の被写体側主点との実距離が、相対的に長い場合には、上記光路折り曲げ手段を介さずに一定の撮影距離にて上記被写体の像を上記撮像素子に合焦状態で結像させるように、上記撮像素子および上記結像レンズ系が配置されている一方、
(5)上記実距離が、相対的に短い場合には、上記一定の撮影距離と同じ光路長となるように、物理的に曲折させた光路を介して上記被写体の像を上記撮像素子に合焦状態で結像させるように、上記撮像素子および上記結像レンズ系に対して、上記光路折り曲げ手段が配置されていることを特徴とする。
【発明の効果】
【００１４】
本発明の上記一態様によれば、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態１から３に係る多焦点画像撮像装置の構成を示す説明図である。
【図２】上記多焦点画像撮像装置が具備する撮像素子の受光面を示す説明図である。
【図３】本発明の実施形態４に係る多焦点画像撮像装置において、被写界深度の重なりを示す模式図である。
【図４】本発明の実施形態５に係る多焦点画像撮像装置において、撮像装置と被写体との距離を変えるミラーユニットの構成例を示す説明図である。
【図５】上記デジタルペンの外観を示す斜視図である。
【図６】（ａ）は紙繊維模様の画像を示す図であり、（ｂ）は当該画像に特徴点抽出処理を施した後の画像を示す図である。
【図７】上記多焦点画像撮像装置が近接カメラとして搭載された本発明の実施形態６に係るデジタルペンにおいて、筆跡データの生成に関わる構成を示す機能ブロック図である。
【図８】上記デジタルペンにおける筆跡データの生成処理の流れを示すフローチャートである。
【図９】（ａ）は１つの文字を書くときの上記デジタルペンの軌跡を示す説明図であり、（ｂ）は上記近接カメラで撮影した隣接する２つのフレーム画像を示す説明図である。
【発明を実施するための形態】
【００１６】
〔実施形態１〕
（多焦点画像撮像方法の要点）
初めに、本発明の実施形態に係る多焦点画像撮像方法の要点を図１を参照しながら説明する。図１は、本発明の実施形態に係る多焦点画像撮像装置１０の構成を示す説明図である。本多焦点画像撮像方法は、撮像素子１１に被写体（紙Ｐ１，Ｐ２，Ｐ３）の像を結像させる結像レンズ系（結像レンズ１２）の被写体側主点（主点Ｍ）から被写体までの距離が１０ｍｍオーダー程度の近接撮影に適している。
【００１７】
かつ、本多焦点画像撮像方法は、結像レンズ系の像側主点（主点Ｍ）と撮像素子１１との距離を一定値に固定し、被写体側主点から被写体までの実距離を変化させた撮影に対応する方法である。なお、以降の説明において、上記実距離は、被写体のある点から、結像レンズ系の被写体側主点を含み、かつ結像レンズ系の光軸に垂直な平面に至る垂線を引いたときに、その垂線の長さを意味する。
【００１８】
例えば、紙Ｐ１から結像レンズ系を経て撮像素子１１に至る光路Ａは直線光路である。一方、紙Ｐ１の実距離を変化させ、被写体としては同一の紙Ｐ２から結像レンズ系を経て撮像素子１１に至る光路Ｃは、紙Ｐ１から上記被写体側主点までの光路Ｌ１を物理的に曲折させた光路である。また、紙Ｐ１の実距離を変化させ、紙Ｐ２の実距離とも異なるが、被写体としては同一の紙Ｐ３から結像レンズ系を経て撮像素子１１に至る光路Ｂは、上記直線光路Ｌ１を、光路Ｃと異なる折り曲げ方によって物理的に曲折させた光路である。ただし、光路Ａ，Ｂ，Ｃの光路長は全て等しい。
【００１９】
このように、本多焦点画像撮像方法によれば、被写体から結像レンズ系の被写体側主点までの光路を物理的に折り曲げることによって、前記実距離を変えることができる。この結果、実距離の変化に関わらずピントの合った（合焦状態の）画像を得ることができるので、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことができる。
【００２０】
（多焦点画像撮像装置の構成）
上記多焦点画像撮像方法を実施するための多焦点画像撮像装置１０の構成について、以下説明する。なお、本実施形態１として、ミラー（反射鏡）Ｃ１，Ｃ２を備えた構成について説明し、ミラーＢ１，Ｂ２をさらに備えた構成については実施形態２として後述する。
【００２１】
図１に示すように、多焦点画像撮像装置１０は、基本構成として、撮像素子１１と、被写体としての紙Ｐ１，Ｐ２の像（後述する紙繊維模様の像）を撮像素子１１に結像させる結像レンズ１２と、紙Ｐ１から結像レンズ１２の主点Ｍまでの光路Ｌ１を物理的に曲折させる光路折り曲げ手段としてのミラー（反射鏡）Ｃ１，Ｃ２とを備えている。
【００２２】
なお、結像レンズ１２は単レンズなので、被写体側主点と像側主点とは一致し、主点Ｍとなる。主点Ｍは、結像レンズ１２の光軸上における結像レンズ１２の中心位置によって表される。結像レンズ１２を、収差の解消を図った結像レンズ系としての組合せレンズに置き換えてもよい。組合せレンズの場合、被写体側主点と像側主点とは一致せず、主点間距離を持つ。
【００２３】
結像レンズ１２の主点Ｍから紙Ｐ１までの実距離Ａ０（被写体距離に等しい）をａ、主点Ｍと撮像素子１１の受光面との距離（像距離）をｂとする。また、紙Ｐ１から結像レンズ１２を経て、撮像素子１１に至る光路Ａ（第１光路）は直線状である。光路Ａは、紙Ｐ１から主点Ｍまでの光路Ｌ１と、主点Ｍから撮像素子１１の受光面までの光路Ｌ２とに分けて考えることができる。光路Ｌ１の光路長は上記距離ａに等しくなっている。また、光路Ｌ２の光路長は上記距離ｂに等しくなっている。したがって、光路Ａ全体の光路長はａ＋ｂである。
【００２４】
なお、撮像素子１１の受光面と被写体との距離（図１の形態ではａ＋ｂに等しい）は、撮影距離と呼ばれている。結像レンズ１２の代わりに組合せレンズを用いた場合には、光路長ａ＋ｂには、被写体側主点と像側主点との間の主点間距離が含まれる。
【００２５】
一方、紙Ｐ２から結像レンズ１２を経て、撮像素子１１に至る光路Ｃ（第２光路）において、紙Ｐ２から主点Ｍまでの光路は、上記ミラーＣ１，Ｃ２によって物理的に折り曲げられている。言い換えると、紙Ｐ２から主点Ｍまでの光路は、上記光路Ｌ１を物理的に折り曲げたのと同等になっている。ただし、光路Ｃの光路長は、光路Ａの光路長と同じであり、ａ＋ｂである。
【００２６】
ここで、重要なことは、紙Ｐ１の実距離はａであるのに対して、紙Ｐ２の実距離は、光路を曲折させたことによって、ａより小さくなっていることである。したがって、撮像素子１１は、被写体が相対的に遠くに位置していても、相対的に近くに位置していても、いずれも鮮明に撮像することができる。また、撮像素子１１は、相対的に遠くに位置する被写体と、相対的に遠くに位置する被写体とを、いずれも鮮明に、かつ同時に撮像することもできる。
【００２７】
（光路折り曲げ手段の詳細な構成）
折れ曲がった光路Ｃを形成するミラーＣ１，Ｃ２の構成についてより詳細に説明する。ミラーＣ１は、逆Ｖ字形状をなす２つのミラーによって構成され、上記逆Ｖ字の頂部と紙Ｐ２とが対向している。ミラーＣ１を構成する一方のミラーは、紙Ｐ２からの光を最初に受け、ミラーＣ１を構成する他方のミラーへ反射する。当該他方のミラーは、入射した光をミラーＣ２へ反射する。
【００２８】
なお、ミラーＣ１を構成する上記一方のミラーが、他方のミラーに対してなす角度は、調整可能になっている。その調整手段としては、例えば圧電素子を採用することができる。これにより、上記一方のミラーに対する紙Ｐ２からの光の入射角を変えることができ、その結果、光路Ａに対して、光路Ｃを近づけたり遠ざけたりして、光路間の間隔を変えることができる。紙Ｐ１からの光を上記一方のミラーが受けるように、上記一方のミラーの角度を調整することもできる。この場合には、撮像素子１１は、光路Ａおよび光路Ｃを介して、ほぼ同じ画像を撮像することができる。
【００２９】
ほぼ同じ画像を撮像することのメリットは、多焦点画像撮像装置１０を搭載した後述するデジタルペンにおいて、時間的に連続するフレーム画像間の同じ特徴点を同定する処理の精度を高めることができる点である。その理由については、実施形態６のところで詳述する。
【００３０】
ミラーＣ２は、Ｖ字形状をなす２つのミラーによって構成され、ミラーＣ２を構成する一方のミラーは、ミラーＣ１の上記他方のミラーによって反射された光を受け、ミラーＣ２を構成する他方のミラーへ反射する。ミラーＣ２の当該他方のミラーは、入射した光を結像レンズ１２へ向けて反射する。
【００３１】
上記の構成によれば、紙Ｐ２から結像レンズ１２の光軸と平行（ただし、平行には限定されない）に進む光は、光路Ｌ１０および光路Ｌ１１を経てミラーＣ１に達し、ミラーＣ１を構成する２つのミラーによって反射されるごとに、進行方向が折り曲げられる。この結果、光路Ｌ１０および光路Ｌ１１を経た光の進行方向は、ミラーＣ１によって光路Ｌ１２を経て逆転され、光路Ｌ１３を経て、ミラーＣ２に達する。
【００３２】
さらに、ミラーＣ２に達した光は、ミラーＣ２を構成する２つのミラーによって反射されるごとに、進行方向が再び折り曲げられる。この結果、光路Ｌ１３を経た光の進行方向は、ミラーＣ２によって光路Ｌ１４を経て再び逆転され、光路Ｌ１５を経て、結像レンズ１２に達する。結像レンズ１２に達した光は、結像レンズ１２によって光路Ｌ１６を経て撮像素子１１に集光され、撮像素子１１に紙Ｐ２の像が結像される。
【００３３】
光路Ｃに含まれた光路Ｌ１０〜Ｌ１６の各光路長の合計は、光路Ａの光路長（ａ＋ｂ）に等しい。
【００３４】
光路Ｌ１０〜Ｌ１６の各光路長の合計が、光路Ａの光路長に等しいので、結像レンズ１２が、紙Ｐ１の鮮明な像を撮像素子１１に結像させる場合、上記実距離を変化させた紙Ｐ２の鮮明な像もまた撮像素子１１に結像させることができる。
【００３５】
図２は、多焦点画像撮像装置１０が具備する撮像素子１１の受光面を示す説明図である。図２に示すように、撮像素子１１の受光面は、異なる実距離の種類数に応じた複数の受光領域に分かれている。図２は、実距離の種類数を３つにする後述の実施形態２の場合を示しているが、本実施形態では、実距離の種類数が２つなので、受光面は２分割されていればよい。それぞれの受光領域から、対応する実距離を持つ光路を経て撮像した像を表す信号が出力される。
【００３６】
（撮像の例）
図１に示すように、光路Ａを経て撮像素子１１に鮮明な像が結像される場合の実距離Ａ０を例えば５０ｍｍとし、光路Ｃを経て撮像素子１１に鮮明な像が結像される場合の実距離Ｃ０を例えば３０ｍｍとする。被写界深度は、光路Ａおよび光路Ｃによらず一定となるが、一例として±７ｍｍとする。
【００３７】
この場合、多焦点画像撮像装置１０は、被写界深度の±７ｍｍをはるかに超えて、前記実距離に２０ｍｍの差があるように実距離を変化させた場合であっても、被写体を鮮明に撮像することができる。
【００３８】
より具体的に説明すると、例えば、被写体が同一平面上に置かれた紙Ｐ１および紙Ｐ２であって、光路Ａ上に配された紙Ｐ１の実距離Ａ０が、光路Ｃ上に配された紙Ｐ２の実距離Ｃ０の３０ｍｍに等しかったとする。この場合には、紙Ｐ２の鮮明な像が撮像素子１１に結像されるが、紙Ｐ１については、鮮明な像が結像されない。
【００３９】
一方、多焦点画像撮像装置１０を紙Ｐ１および紙Ｐ２から離し、紙Ｐ１の実距離Ａ０と紙Ｐ２の実距離Ｃ０とがともに５０ｍｍになったとすると、今度は、紙Ｐ１の鮮明な像が撮像素子１１に結像されるが、紙Ｐ２については、鮮明な像が結像されない。
【００４０】
このように、複数の被写体が同一平面上に置かれている場合には、多焦点画像撮像装置１０を上記平面に対して近づけたり遠ざけたりすることによって、鮮明な像と鮮明ではない像とを同時に得ることができる。したがって、実距離の変化に応じて、常に鮮明な像を選択することによって、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことができる。この撮像の仕方は、後述するように、多焦点画像撮像装置１０を搭載したデジタルペンによって、筆跡データを生成する用途に適合している。
【００４１】
以上のように、撮像素子１１は、被写体が相対的に遠くに位置する場合にも、相対的に近くに位置する場合にも、いずれも鮮明に撮像することができる。しかも、基準となる光路を物理的に曲折させるには、単純に光の反射を利用すればよいので、ビームスプリッタを用いた場合のような光の減衰を避けることができる。
【００４２】
よって、本多焦点画像撮像方法および多焦点画像撮像装置１０によれば、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことができる。
【００４３】
なお、上記多焦点画像撮像方法および多焦点画像撮像装置１０は、複眼レンズのような特殊なレンズを使用しないので、光学的な調整も容易であり、かつ低コストである。また、複数種類の実距離に対応するために、レンズなどを可動させる構成が必要ないので、複数種類の実距離に対応した撮像の切り換えを高速に行うことができる。
【００４４】
〔実施形態２〕
実施形態１では、２種類の実距離に対応した多焦点画像撮像装置１０について説明した。本実施形態では、３種類の実距離に対応した多焦点画像撮像装置１０について、図１を参照しながら説明する。
【００４５】
本実施形態に係る多焦点画像撮像装置１０は、光路折り曲げ手段として、ミラーＢ１，Ｂ２をさらに備え、被写体としての紙Ｐ３から光を受けるミラーＢ１と紙Ｐ３との距離を、前記紙Ｐ２とミラーＣ１との距離と異ならせている。なお、ミラーＢ１と紙Ｐ３との距離を変えるのではなく、ミラーＢ１とミラーＢ２との距離を変える（例えば、ミラーＢ２を結像レンズ１２から遠ざける）ようにしてもよい。
【００４６】
これによって、紙Ｐ３からミラーＢ１，Ｂ２および結像レンズ１２を経て、撮像素子１１に至る光路Ｂが形成され、かつ鮮明な像が結像される実距離Ｂ０は、実距離Ａ０とも実距離Ｃ０とも異なる４０ｍｍになっている。被写界深度については、光路Ａおよび光路Ｃと同じであり、一例としての±７ｍｍになっている。
【００４７】
ミラーＢ１，Ｂ２の構成および作用は、ミラーＣ１，Ｃ２の構成および作用と同様である。
【００４８】
このように、被写体と光路折り曲げ手段との距離が相違するように設けた光路折り曲げ手段の設置数に対応して、複数の実距離に対応した多焦点画像撮像装置１０を得ることができる。
【００４９】
本実施形態のような構成の長所は、後述するように、多焦点画像撮像装置１０を搭載したデジタルペンによって、筆跡データを生成する場合に発揮される。例えば、ユーザがデジタルペンを用いて紙に文字などを書こうとする場合、デジタルペンを紙に接触させる動作と、デジタルペンを紙から浮かせる動作とを繰り返すことになる。
【００５０】
筆跡データを生成するためには、後述するように、上記２つの動作のどちらも追跡する必要がある。これに対して、１種類の実距離に対応した固定焦点画像撮像装置では、被写界深度は±５ｍｍ程度なので、紙からデジタルペンを５ｍｍ以上浮かせると、ピントの合った画像を取得できなくなる。このため、筆跡データを生成するためには、少なくとも２種類の実距離に対応した多焦点画像撮像装置が必要になる。
【００５１】
しかし、デジタルペンを紙から浮かせる動作には個人差があるので、２種類の実距離に対応した多焦点画像撮像装置では、デジタルペンを紙から浮かせる動作をうまく追跡できない場合が起こり得る。このため、３種類以上の実距離に対応した多焦点画像撮像装置を構成した場合には、デジタルペンを紙から浮かせる動作の個人差に対応することができる。
【００５２】
なお、光路折り曲げ手段の設置数は、設置スペースの制約を受ける。設置スペースに限りがあり、光路折り曲げ手段の設置数が１基に限定される場合であっても、次の実施形態３の構成によって、複数の実距離に対応した多焦点画像撮像装置１０を得ることができる。
【００５３】
〔実施形態３〕
本実施形態に係る多焦点画像撮像装置１０は、図１に示すように、逆Ｖ字の頂部と紙Ｐ２とが対向したミラーＣ１を、結像レンズ１２の光軸に平行に進退させる伸縮ユニットＣＵを備えている。ミラーＣ１に対応したミラーＢ１においても同様に伸縮ユニットＢＵを設けることは可能である。
【００５４】
上記の構成により、ミラーＣ１をミラーＢ１と同じ位置、すなわち結像レンズ１２の光軸上の同じ位置に相当する位置に移動させれば、実距離Ｃ０を３０ｍｍから４０ｍｍへと変更することができるので、ミラーＢ１，Ｂ２の設置を省略することができる。
【００５５】
しかも、光路折り曲げ手段の設置数を１基として、省スペース化を図りつつ、上記デジタルペンを使用するユーザの個人差にも対応することができる。
【００５６】
〔実施形態４〕
次に、図３に基づいて、複数の実距離に対応可能な多焦点画像撮像装置１０において、複数の実距離の各被写界深度同士に重なりを持たせた実施形態について、以下に説明する。図３は、本発明の実施形態４に係る多焦点画像撮像装置１０において、被写界深度の重なりを示す模式図である。
【００５７】
図３の（ｂ）に示すように、実距離Ａ０，Ｂ０，Ｃ０の各被写界深度は、いずれも±７ｍｍとなっているが、実距離Ａ０，Ｂ０同士、および実距離Ｂ０，Ｃ０同士の各被写界深度は、結像レンズ１２の光軸方向に重なりを持っている。言い換えると、光軸上の位置を表す座標を考えたときに、実距離Ａ０の被写界深度の上記座標が取り得る範囲と、実距離Ｂ０の被写界深度の上記座標が取り得る範囲とに重なりがある。実距離Ｂ０，Ｃ０同士についても同様である。
【００５８】
このようにすると、異なる実距離同士の境界値付近で被写体を撮影し、ピントが合う方の実距離で撮像しようとするときに、実距離の切り換え目標値に幅を持たせたヒステリシス制御を行うことが可能になる。ヒステリシス制御を行うことにより、異なる実距離同士の境界値付近で、図２に示した受光領域からの出力信号のうち、ピントが合っている受光領域の出力信号を選択する動作が、頻繁に切り替わること（チャタリング）を防ぐことができる。
【００５９】
また、図３の（ａ）に示す従来の固定焦点カメラの実距離（５０ｍｍ±７ｍｍ）と比較すると、多焦点画像撮像装置１０の実距離は、実質的に、３０ｍｍ−７ｍｍから５０ｍｍ＋７ｍｍまでの範囲に拡張できていることがわかる。
【００６０】
〔実施形態５〕
次に、図４を参照して、実距離を変えるミラーユニットの新たな構成例について、以下に説明する。図４は、本発明の実施形態５に係る多焦点画像撮像装置において、実距離を変えるミラーユニットの構成例を示す説明図である。
【００６１】
図４の（ａ）に示すように、本実施形態に係る多焦点画像撮像装置は、多角柱状の筐体を備えたミラーユニット３０と、ミラーユニット３０内に全体の半分が収容され、撮像素子が２分割されたカメラモジュール３１とを備えている。
【００６２】
上記多角柱状の筐体は、複数（例えば７つ）の側面を有している。そのうち、カメラモジュール３１の受光面に対向した側面は、被写体からの光がミラーユニット３０内に入るように開放され、カメラモジュール３１に内蔵された結像レンズの光軸に対して傾斜した側面については、各内面がミラー面になっている。
【００６３】
図４の（ｂ）に示すように、内面がミラー面になった複数の側面は、上記光軸に対し様々な角度で傾斜し、その傾斜角度は、筐体に入射した光がカメラモジュール３１の周囲を巡るように反射され、最終的にはカメラモジュール３１に入射するように設定されている。
【００６４】
上記の構成によれば、ミラーユニット３０外に露出したカメラモジュール３１は、被写体の直接撮影を行うとともに、ミラーユニット３０内に収容されたカメラモジュール３１は、ミラーユニット３０によって曲折された光路を経て、直接撮影の場合よりも実距離を短くした撮影を行うことができる。例えば、直接撮影の場合の実距離Ａ０を前記のように５０ｍｍとし、ミラーユニット３０を介した撮影における実距離Ｃ０を前記のように３０ｍｍに設定することができる。
【００６５】
したがって、本実施形態に係るミラーユニット３０を備えた多焦点画像撮像装置は、２焦点画像撮像装置であるということができる。
【００６６】
カメラモジュール３１は、ミラーユニット３０と合体しているので、図１に示す撮像素子１１とミラーＣ１，Ｃ２とを別体とした組み合わせと比較すると、２焦点画像撮像装置の省スペース化を図ることができる。
【００６７】
なお、内面がミラー面になった複数の側面の傾斜角度を変えることによってミラーユニット３０による反射の仕方を変えると、上記光軸に平行な光路の長さが変わるので、実距離を変更することができる。したがって、内面がミラー面になった複数の側面の傾斜角度を変更可能に構成することによって、３種類以上の実距離に対応し、かつ省スペース化を図った多焦点画像撮像装置を提供することができる。
【００６８】
〔実施形態６〕
（デジタルペンへの応用）
（１．デジタルペンの特徴）
前記実施形態１〜５に係る多焦点画像撮像装置の応用例の１つは、ボールペンに類似した形状を持ち、ボールペンのように筆記具として使用できるデジタルペンへの搭載である。このデジタルペンのメインコンセプトは、「従来のペンと同様に、普通紙にインクで書くという利便性を有している上に、ユーザが書いた文字または絵などの筆跡をデジタルデータに変換するペン」というものである。
【００６９】
さらに、上記デジタルペンの具体的な特徴として、以下の４点を挙げることができる。
（１）デジタイザを構成するタブレットのようなセンシング機器が不要、あるいはデジタルペン専用紙が不要であり、ペン先からインクが出るので、デジタルペン１本だけで、いつでも、どこでも文字などを書くことができる。
（２）文字などを書く紙の種類にも、紙のサイズにも制約が無い。
（３）ユーザが紙に書いた文字または絵などの筆跡を実際に視認することができ、それと同時にそのときの筆跡が、ユーザの癖も含めて、そのままデジタルデータに変換され、デジタルペンに保存される。
（４）筆跡のデジタルデータは、さらにＪＰＥＧ方式などの画像データにも変換され、デジタルペンに保存される。したがって、ユーザが書いた文字または絵などの筆跡をディスプレイに表示するために、専用ソフトウェアを必要としないので、パーソナルコンピュータまたはスマートフォンを表示機器として使用できる。デジタルペンから表示機器へ、ユーザが確認したい画像データが選択的に転送され、表示機器の画面において、ユーザが書いた文字または絵などを簡単に確認することができる。
【００７０】
なお、筆跡のデジタルデータからテキストデータを生成し、テキストデータを表示機器へ送り、文字の確認のみならず、文字の編集を行えるようにしてもよい。また、デジタルペンのペン機能は、ボールペンによって実現される構成に限るものではなく、例えば、ボールペンに代えて、あるいはボールペンに加えて、万年筆、メカニカルペンシルなどを備えていてもよい。
【００７１】
（２．デジタルペンの外観）
図５は、デジタルペンの外観図である。図５に示すように、デジタルペン１は、先端部２、本体部３、クリップ部４、キャップ部５を備えている。
【００７２】
本体部３（ペン構成部）には、通常のボールペンと同様のインクカートリッジが収納され、先端部２から、インクカートリッジと一体になったペン先が進退する。ペン先の進退は、クリップ部４またはキャップ部５に対するユーザのノック操作と連動している。さらに、ペン先を進退させるユーザのノック操作は、デジタルペン１の電源をオンオフさせるスイッチ操作にもなっている。なお、インクカートリッジは交換可能である。
【００７３】
また、先端部２は開口しているので、上述のようにペン先の進退を可能にするとともに、被写体からの光Ｌを取り込むことができる。
【００７４】
本体部３には、さらに、近接カメラとしての上記多焦点画像撮像装置１０と、上記撮像素子１１の出力から後述のように筆跡データを生成するデータ処理部２０（図７参照）と、生成された筆跡データを保存するメモリと、電源としての充電式電池とが内蔵されている。
【００７５】
キャップ部５には、例えばマイクロＵＳＢコネクタが設けられ、上記メモリに保存された筆跡データを、マイクロＵＳＢコネクタを介して、外部の表示機器へ出力することができる。なお、マイクロＵＳＢコネクタの代わりに、あるいはマイクロＵＳＢコネクタに加えて、外部の表示機器とデジタルペン１との間で筆跡データを送受信する通信部が、デジタルペン１に内蔵されていてもよい。
【００７６】
（３．デジタルペンの被写体）
ここで、デジタルペン１にとって、被写体とは、図６の（ａ）に示すように、文字または絵などが書かれる紙の繊維が織りなす模様である。この模様のことを、以下、紙繊維模様と呼ぶ。
【００７７】
紙は、木材パルプを原料とした細かい繊維（一般に、太さ４〜７０μｍ、長さ０．２５〜５０ｍｍ程度の繊維）がランダムに絡み合って作られている。太さも長さも様々な紙の繊維が絡み合うパターンの数は、無限といってもよい。したがって、紙繊維模様は、１枚の紙であっても、紙面上の位置によって変化し、紙が変われば、また別の模様となるといったように、同じ紙繊維模様が出現することは無きに等しい。
【００７８】
デジタルペン１は、このような微細な紙繊維模様を接写し、図６の（ｂ）に丸印を付して示すように、紙繊維模様の画像から特徴点を抽出するので、性能として高精細な撮像および高解像度を必要とする。
【００７９】
（４．筆跡データを生成する構成）
図７は、上記デジタルペン１において、筆跡データの生成に関わる構成を示す機能ブロック図である。
【００８０】
上記多焦点画像撮像装置１０の出力、すなわち、撮像素子１１の出力は、上記データ処理部２０に送られる。データ処理部２０は、判定手段２１、フレームメモリ２２および生成手段２３を備えている。
【００８１】
多焦点画像撮像装置１０は、少なくとも２種類の実距離に対応した画像光Ｌｉ１およびＬｉ１０を受光し、画像光Ｌｉ１に基づいた画像信号Ｑ１と、画像光Ｌｉ１０に基づいた画像信号Ｑ１０とを判定手段２１に出力する。例えば、画像光Ｌｉ１は紙Ｐ１に対応し、画像光Ｌｉ１０は紙Ｐ２に対応している。
【００８２】
判定手段２１は、画像信号Ｑ１および画像信号Ｑ１０から、それぞれ紙Ｐ１および紙Ｐ２の紙繊維模様の画像データを生成し、焦点がより合っている方の画像データ（例えば、コントラストが相対的に高い方の画像データ）を判定して１フレームずつ出力する。判定手段２１が出力する連続した２フレームの画像データのうち、先に出力されたフレームの画像データは、フレームメモリ２２に出力され、後に出力されたフレームの画像データは、生成手段２３に出力される。
【００８３】
生成手段２３は、判定手段２１が出力する連続した２フレームの画像データを受け取り、後述するように、筆跡データを生成して出力する。
【００８４】
（５．筆跡データを生成する処理の概要）
図８は、紙繊維模様の画像から筆跡データを生成する処理（筆跡データ生成処理）の概要を示すフローチャートである。当該筆跡データ生成処理は、具体的には、下記のＳ１〜Ｓ５の処理を含んでいる。
Ｓ１：１／３０秒の周期（フレームレート）で、上記多焦点画像撮像装置１０によって、実距離が異なる複数の紙繊維模様を同時に１フレームずつ撮影する。同時に撮影された複数の紙繊維模様の画像のうち、最もコントラストが高い画像を判定手段２１が特定する。
Ｓ２：生成手段２３は、Ｓ１で特定された紙繊維模様の画像から、特徴点を検出し抽出する。この処理のアルゴリズムとして、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ−ＢＲＩＥＦ）等が知られている。
Ｓ３：生成手段２３は、前フレームと現フレームとの間で、紙繊維模様の特徴点のマッチングを検証する。
Ｓ４：生成手段２３は、一致した特徴点の動きから、近接カメラ（デジタルペン１）の移動方向および移動距離を算出する。
Ｓ５：生成手段２３は、算出した移動方向および移動距離をデジタルペン１のストローク情報として保存したあと、Ｓ１の処理へ戻る。
【００８５】
以上の処理を繰り返すことにより、ストローク情報が蓄積される結果、ユーザが書いた文字または絵などに対応した筆跡データを生成することができる。
【００８６】
なお、上記Ｓ３の処理、すなわち時間的に連続するフレーム画像間の同じ特徴点を同定する処理の精度を高めるには、実施形態１において触れたように、例えばミラーＣ１を構成する上記一方のミラーが、他方のミラーに対してなす角度を調整し、撮像素子１１が、光路Ａおよび光路Ｃを介して、ほぼ同じ画像を撮像することができるようにするとよい。その理由は次のとおりである。
【００８７】
例えば、光路Ａの撮像領域と光路Ｃの撮像領域とが異なっている場合、特徴点のマッチングは、それぞれの領域における前フレーム画像と現在フレーム画像との比較によってしか行うことができない。これに対し、光路Ａの撮像領域と光路Ｃの撮像領域とがほぼ同じ、あるいは同じ場合には、同じ撮像領域の前フレーム画像と現在フレーム画像との比較に加えて、光路Ａの撮像領域の前フレーム画像と光路Ｃの撮像領域の現在フレーム画像との比較、および光路Ａの撮像領域の現在フレーム画像と光路Ｃの撮像領域の前フレーム画像との比較を行うことができる。したがって、比較パターンを増やすことができるので、特徴点のマッチング処理の精度を向上させることができる。さらに、光路Ｂの撮像領域も光路Ａの撮像領域とほぼ同じにすれば、比較パターンがさらに増えるため、精度は一層高まる。
【００８８】
（６．筆跡データを生成する処理の補足１）
図９の（ａ）は、文字「あ」を書くときのデジタルペン１の軌跡を示す説明図であり、図９の（ｂ）は、近接カメラで撮影した隣接する２つのフレーム画像を示す説明図である。
【００８９】
図９の（ａ）に示すように、ユーザが１つの文字を紙に書こうとする場合、ある画（ストローク）から次の画（ストローク）へデジタルペン１を移動させるときに、デジタルペン１は紙面から浮き上がった状態になる。浮き上がった状態のデジタルペン１の軌跡を、図９の（ａ）では点線で示している。
【００９０】
デジタルペン１が浮き上がった状態で移動している間にも、多焦点画像撮像装置１０は、デジタルペン１の軌跡に沿って、紙繊維模様の撮影を継続している。なぜなら、浮き上がった状態のデジタルペン１の軌跡も軌跡データとして取得しておかなければ、１つの文字全体の筆跡データを生成することはできないからである。言い換えると、浮き上がった状態のデジタルペン１の軌跡を軌跡データとして取得しないとすると、生成手段２３による紙繊維模様の特徴点のマッチングが途切れるため、ある画（ストローク）と次の画（ストローク）との位置関係を生成手段２３が認識できなくなる。こうなると、例えば文字「あ」を表すひとまとまりの筆跡データを生成することができなくなり、上記次の画（ストローク）は、別の文字の別の筆跡データとして出力されてしまう。
【００９１】
また、デジタルペン１を速く動かし過ぎた場合にも、１つの文字を表すひとまとまりの筆跡データを生成することができなくなる。なぜなら、デジタルペン１が紙面から浮いているかいないかにかかわらず、デジタルペン１の軌跡を追跡するためには、図９の（ｂ）に示すように、隣接する２つのフレーム画像Ｆ１およびＦ２同士に、１フレームの画像面積に対する比率として、ある閾値（例えば７５％程度）以上の重なりが必要だからである。つまり、隣接する２つのフレーム画像Ｆ１およびＦ２の重なりが閾値未満になると、一連の筆跡に対する認識が途切れ、新たな筆跡（例えば、新たな文字）の認識が開始されることになる。
【００９２】
なお、図９の（ｂ）に示すように、１つのフレーム画像を取得するにあたって、近接カメラが撮影する紙面上の範囲は、およそ４ｍｍ角である。
【００９３】
以上のように、多焦点画像撮像装置１０は、デジタルペン１が被写体に接して、軌跡を描く場合でも、デジタルペン１が被写体から浮いた状態で軌跡を描く場合でも、被写体面（例えば紙面）を明るく高精細に撮影することができる。
【００９４】
このとき、多焦点画像撮像装置１０は、結像レンズ１２の主点Ｍと紙面との実距離が相違する撮像を同時に行っているので、デジタルペン１が紙面に接しているときの紙繊維模様の画像（近画像と呼ぶ）と、デジタルペン１が紙面から浮いているときの紙繊維模様の画像（遠画像と呼ぶ）とを即座に得ることができる。
【００９５】
したがって、オートフォーカス制御によってレンズを物理的に動かし、近画像と遠画像とを切り換えるよりも遥かに高速に、近画像と遠画像とを切り換えることができるので、生成手段２３は、デジタルペン１の速い動きに正確に追随した高精度の筆跡データを生成することができる。
【００９６】
しかも、多焦点画像撮像装置１０は、３種類以上の実距離に対応可能な構成を有しているので、デジタルペン１を紙面から浮かせる仕方の個人差にもデジタルペン１を適合させることができる。
【００９７】
（７．筆跡データを生成する処理の補足２）
上述した例では、デジタルペン１が紙面に接しているときの近画像と、デジタルペン１が紙面から浮いているときの遠画像とを即座に切り換えて得るために、つまり焦点がより合っている画像を選択するために、コントラストの判定処理を用いた。
【００９８】
しかし、この方法に限らず、以下のような他の方法を採用することもできる。
○ペン先に圧力センサを付けて、紙に接しているかどうかを示す圧力センサの出力に基づいて、近画像と遠画像とを切り替える。
○ペン先に、距離センサ（赤外線など）を付けて、距離で近画像と遠画像とを判断する。
○紙繊維模様の画像の特徴点を抽出する際に、その特徴点がより多く抽出できたほうを近画像または遠画像として採用する。
【００９９】
なお、コントラストの判定処理、または特徴点抽出処理を利用する方法は、センサをデジタルペンに設ける方法と比べて、デジタルペンの小型化およびコストダウンの点において有利である。
【０１００】
〔まとめ〕
本発明の態様１に係る多焦点画像撮像方法は、
(1)像側主点（主点Ｍ）と撮像素子１１の受光面との距離を一定に保持した結像レンズ系結像（レンズ１２）を介して、被写体の像を撮像素子に合焦状態で結像させるために、
(2)上記被写体と上記結像レンズ系の被写体側主点（主点Ｍ）との実距離が、相対的に長い場合（実距離Ａ０の場合）には、上記撮像素子の受光面と上記被写体との距離である撮影距離が一定（ａ＋ｂ）となるように、上記被写体の撮影を行う一方、
(3)上記実距離が、相対的に短い場合（実距離Ｂ０またはＣ０の場合）には、上記一定の撮影距離と同じ光路長となるように、物理的に曲折させた光路（ＢまたはＣ）を介して上記被写体の撮影を行うことを特徴とする。
【０１０１】
上記の構成において、実距離とは、被写体のある点から、結像レンズ系の被写体側主点を含み、かつ結像レンズ系の光軸に垂直な平面に至る垂線を引いたときに、その垂線の長さを意味する。また、上記被写体の撮影を行うときには、撮像素子に合焦状態で結像された被写体の画像が得られる。
【０１０２】
上記の方法によれば、上記一定の撮影距離にて被写体を撮影する場合には、物理的に曲折させた光路（以下、曲折光路と呼ぶ）を介さない。このときの上記実距離をＡ０とする。これに対し、上記一定の撮影距離と同じ光路長となるように、曲折光路を介して被写体を撮影する場合の実距離をＢ０とすると、光路を折り曲げることによる当然の結果として、実距離Ｂ０は実距離Ａ０より小さくなる。
【０１０３】
したがって、実距離が実距離Ａ０または実距離Ｂ０に変化しても、それぞれ、撮像素子に合焦状態で結像された被写体の画像を得ることができる。すなわち、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことができる多焦点画像撮像方法を提供することができる。
【０１０４】
なお、変化させることが可能な実距離は２通りに限られない。光路の折り曲げ方を異ならせた２通り以上の曲折光路を用意することによって、実距離を３通り以上に変化させることができる。
【０１０５】
また、上記結像レンズ系は、複数種類のレンズから構成された組合せレンズでもよいし、単レンズのみでもよい。上記結像レンズ系を単レンズのみで構成した場合、被写体側主点と像側主点とは同じになり、その主点は単レンズの光軸上の中心位置によって表される。
【０１０６】
本発明の態様２に係る多焦点画像撮像装置１０は、
(1)撮像素子１１と、
(2)被写体（紙Ｐ１、Ｐ２）の像を上記撮像素子に結像させる結像レンズ系（結像レンズ１２）と、
(3)上記被写体から上記結像レンズ系の被写体側主点（主点Ｍ）までの光路を物理的に曲折させる光路折り曲げ手段（ミラーＣ１，Ｃ２）とを備え、
(4)上記被写体と上記結像レンズ系の被写体側主点との実距離が、相対的に長い場合（実距離Ａ０の場合）には、上記光路折り曲げ手段を介さずに一定の撮影距離（ａ＋ｂ）にて上記被写体の像を上記撮像素子に合焦状態で結像させるように、上記撮像素子および上記結像レンズ系が配置されている一方、
(5)上記実距離が、相対的に短い場合（実距離Ｂ０またはＣ０の場合）には、上記一定の撮影距離と同じ光路長となるように、物理的に曲折させた光路を介して上記被写体の像を上記撮像素子に合焦状態で結像させるように、上記撮像素子および上記結像レンズ系に対して、上記光路折り曲げ手段が配置されていることを特徴とする。
【０１０７】
上記の構成において、光路折り曲げ手段によって、上記実距離を変化させることができることは、上記多焦点画像撮像方法について既に説明したとおりである。
【０１０８】
上記の構成によれば、上記実距離が長い場合および短い場合の２通りに変化しても、撮像素子と上記結像レンズ系との相互配置を変えることなく、それぞれ、撮像素子に合焦状態で結像された被写体の画像を得ることができる。撮像素子と上記結像レンズ系との相互配置を変える必要が無く、かつ、光路折り曲げ手段を介するか介さないかだけで済むということは、オートフォーカスのような合焦状態の調整時間が不要ということである。したがって、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことができる多焦点画像撮像装置を提供することができる。
【０１０９】
本発明の態様３に係る多焦点画像撮像装置１０の上記光路折り曲げ手段は、上記態様２において、複数の反射鏡（ミラーＣ１，Ｃ２）の組み合わせによって構成されていてもよい。
【０１１０】
これにより、被写体（紙Ｐ１）から撮像素子１１までの、光路折り曲げ手段を介さない光路とは異なる上記曲折光路、すなわち被写体側主点（主点Ｍ）と被写体（紙Ｐ２）との実距離を近づけた光路を、ビームスプリッタを用いた場合のような光の減衰を回避しながら形成することができる。
【０１１１】
本発明の態様４に係る多焦点画像撮像装置１０の上記複数の反射鏡（ミラーＣ１，Ｃ２）は、上記態様３において、上記結像レンズ系（結像レンズ１２）の光軸に沿って移動可能に構成されていてもよい。
【０１１２】
これにより、上記光軸に沿った上記複数の反射鏡を移動させた位置に応じて、上記被写体側主点と被写体との実距離を多様に変えることができる。
【０１１３】
なお、上記被写体側主点と被写体との実距離が変わっても、光路長は常に上記一定の撮影距離と同じ光路長に維持されているので、上記複数の反射鏡の位置によらず、ピントの合った画像を常に得ることができる。すなわち、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことができる効果を変わりなく得ることができる。
【０１１４】
本発明の態様５に係る多焦点画像撮像装置１０は、上記態様３または４において、上記複数の反射鏡のうち、少なくとも、上記被写体からの光を最初に受ける反射鏡は、角度が変更可能に構成されていてもよい。
【０１１５】
上記の構成によれば、被写体からの光を最初に受ける反射鏡に対する被写体からの光の入射角を変えることができる。その結果、光路折り曲げ手段を介さない光路に対して、光路折り曲げ手段を介した光路を近づけたり遠ざけたりして、両光路の間隔を変えることができる。また、両光路を介して、被写体のほぼ同じ、または同じ部位の画像を撮像素子が撮影するようにすることもできる。この場合、両光路を介して得た２枚の画像間の同じ特徴点を同定する処理の精度を高めることができる。
【０１１６】
本発明の態様６に係るデジタルペン１は、
(1)筆記具のペンとして機能し、ペン型の筐体（本体部３）を具備したペン構成部を備えたデジタルペンであって、
(2)ペン先（先端部２）から入光した被写体からの光を撮るように、上記筐体内に搭載された上記態様２から５のいずれかに記載の多焦点画像撮像装置１０と、
(3)ユーザが上記デジタルペンを使用した筆跡を表す筆跡データを、上記撮像素子１１の出力信号に基づいて生成する生成手段２３とを備えたこと
を特徴とする。
【０１１７】
上記の構成によれば、デジタルペン１に搭載された多焦点画像撮像装置１０は、撮像装置と被写体との距離の変化に合わせて高速に合焦を行うことができる。さらに、デジタルペン１は生成手段２３を備えているので、多焦点画像撮像装置１０に備えられた撮像素子１１の出力信号に基づいて、ユーザが上記デジタルペンを使用した筆跡を表す筆跡データを生成することができる。
【０１１８】
このとき、多焦点画像撮像装置１０は、デジタルペン１が被写体に接して、軌跡を描く場合でも、デジタルペン１が被写体から浮いた状態で軌跡を描く場合でも、被写体面（例えば紙面）にピントの合った撮影をすることができる。
【０１１９】
一般的に、ユーザがペンなどの筆記具によって、例えば文字を紙に書く場合、文字の１画目を書いた後、２画目を書く前に、筆記具を一度紙から浮かせる。つまり、１つの文字は、筆記具が紙に接したり、離れたりを繰り返すことによって、紙面に書かれる。
【０１２０】
したがって、ユーザがデジタルペン１を使用したときの筆跡（例えば１つの文字）に対応した筆跡データを生成手段２３が生成するためには、デジタルペン１が被写体に接しているときの被写体面と、デジタルペン１が被写体から浮いているときの被写体面との両方を合焦状態で撮像する必要がある。
【０１２１】
この要求に上記多焦点画像撮像装置１０は極めて速やかに応えることができる。
【０１２２】
本発明の態様７に係るデジタルペン１の上記多焦点画像撮像装置１０は、上記態様６において、上記デジタルペン１を用いて筆記する紙の紙繊維模様を撮像するように構成されていることが好ましい。
【０１２３】
紙繊維模様は、前述したように、紙が変われば変化し、同じ紙であっても、紙面上の位置が変われば変化する。したがって、紙繊維模様を撮影して得た画像の変化を追跡することによって、筆跡を表すベクトルを検出することができる。
【０１２４】
このとき、多焦点画像撮像装置１０は、結像レンズ系の被写体側主点と紙面との実距離が相違する撮像を同時に行っているので、デジタルペン１が紙面に接しているときの紙繊維模様の画像（近画像と呼ぶ）と、デジタルペン１が紙面から浮いているときの紙繊維模様の画像（遠画像と呼ぶ）とを即座に得ることができる。
【０１２５】
したがって、オートフォーカス制御によって近画像と遠画像とを切り換えるよりも遥かに高速に、近画像と遠画像とを切り換えることができるので、生成手段２３は、デジタルペン１の速い動きに正確に追随した高精度の筆跡データを生成することができる。
【０１２６】
本発明の態様８に係るデジタルペン１は、上記態様６または７において、上記撮像素子１１が、上記光路折り曲げ手段を介して撮像することによって生成された上記被写体の画像データと、上記光路折り曲げ手段を介さずに撮像することによって生成された上記被写体の画像データとのうち、相対的に焦点が合っている方の画像データを判定し、上記生成手段２３に出力する判定手段２１を備え、上記生成手段は、相対的に焦点が合っている方の画像データを、上記筆跡データの生成に使用することが好ましい。
【０１２７】
これにより、結像レンズ系の被写体側主点と被写体との実距離が相違する撮像を多焦点画像撮像装置１０が異なる光路を介して同時に得た複数の画像データのうち、相対的に焦点が合っている方の画像データを判定手段２１が選択する。したがって、生成手段２３が筆跡データを生成するのに使用する画像データの切り換えを高速に行うことができる。
【０１２８】
本発明の態様９に係る多焦点画像撮像装置１０は、上記態様２から５のいずれかにおいて、上記実距離が相違する複数の被写体ごとの被写界深度は、上記結像レンズ系の光軸に平行な方向において、互いに部分的に重なりを持つように、上記複数の被写体ごとの上記実距離が設定されていてもよい。
【０１２９】
上記の構成によれば、異なる実距離同士の境界値付近で、撮像素子の実距離に対応した受光領域からの信号出力のうち、ピントが合っている受光領域の信号出力を選択する動作が、頻繁に切り替わること（チャタリング）を防ぐことができる。
【０１３０】
本発明の態様１０に係る多焦点画像撮像装置１０の上記態様２において、上記光路折り曲げ手段は、多角柱状で、上記撮像素子の一部および結像レンズ系を内部に収容した筐体を有し、かつ複数の側面の内面がミラー面になっているミラーユニットとして構成され、上記ミラー面になっている複数の側面は、上記結像レンズ系の光軸に対し異なる傾斜角度を有し、上記筐体に入射した光が、上記撮像素子および結像レンズ系の周囲を巡るように反射され、最終的には結像レンズ系に入射するように、上記傾斜角度が設定されていてもよい。
【０１３１】
上記の構成によれば、光路折り曲げ手段を介さない直接撮影と、曲折された光路を経て実距離を短くした撮影とを行う２焦点画像撮像装置を提供することができる。さらに、撮像素子および結像レンズ系がミラーユニットの内部に収容されているので、多焦点画像撮像装置の小型化を図ることができる。
【０１３２】
本発明の態様１１に係る多焦点画像撮像装置１０は、上記態様２から５のいずれかにおいて、上記光路折り曲げ手段（ミラーＢ１，Ｂ２，ミラーＣ１，Ｃ２）を少なくとも２基備え、上記実距離を３通りに異ならせてもよい。
【０１３３】
上記の構成によれば、多焦点画像撮像装置１０が光路折り曲げ手段を具備する基数と同数の曲折された光路であって、上記被写体側主点と被写体との実距離が相違する２つ以上の光路を、光路折り曲げ手段を介さない光路とは別に形成することができる。
【０１３４】
なお、光路折り曲げ手段の設置基数は、光路折り曲げ手段の設置の許容スペースによって制限される。この点を考慮すると、光路折り曲げ手段の設置基数を１基とし、かつ、光路折り曲げ手段を構成する複数の反射鏡を、上記結像レンズ系の光軸に沿って移動可能に構成することが、多焦点画像撮像装置の省スペース化にとって有利になる。つまり、光路折り曲げ手段の設置スペースを最小限にしながら、上記被写体側主点と被写体との実距離を様々に変えることができる。
【０１３５】
なお、上記態様６から８に係るデジタルペンは、上記態様９から１１に係る多焦点画像撮像装置１０のいずれかを備えていてもよい。
【０１３６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【０１３７】
本発明は、複数の被写体距離に対応して撮像する用途に利用することができ、特に、デジタルペンの筆跡データの生成に好適に利用することができる。
【符号の説明】
【０１３８】
１  デジタルペン
２  先端部（ペン先）
３  本体部（筐体、ペン構成部）
１０  多焦点画像撮像装置
１１  撮像素子
１２  結像レンズ（結像レンズ系）
２１  判定手段
２３  生成手段
３０  ミラーユニット
３１  カメラモジュール（撮像素子および結像レンズ系）
Ｂ１，Ｂ２，Ｃ１，Ｃ２  ミラー（光路折り曲げ手段、反射鏡）
Ｍ  主点（被写体側主点および像側主点）
Ｐ１  紙（被写体）
Ｐ２  紙（被写体）
Ｐ３  紙（被写体）
Ｌ１，Ｌ２，Ｌ１０，Ｌ１１，Ｌ１２，Ｌ１３  光路
【図１】
2015087428.tif 000003
【図２】
2015087428.tif 000004
【図３】
2015087428.tif 000005
【図４】
2015087428.tif 000006
【図５】
2015087428.tif 000007
【図６】
2015087428.tif 000008
【図７】
2015087428.tif 000009
【図８】
2015087428.tif 000010
【図９】
2015087428.tif 000011