(57)【特許請求の範囲】
【請求項１】
原稿台に置かれた原稿を撮像することで前記原稿の画像データを取得する情報処理装置であって、
原稿台の上部から原稿台上を撮像する撮像手段により得られる画像データを解析して、前記原稿と前記原稿をセットする操作者の腕の位置情報を取得する画像解析手段と、
前記画像解析手段によって取得された前記原稿と前記操作者の腕の位置情報に基づいて、前記操作者のいる方向を推定する方向推定手段と、
前記方向推定手段によって推定された前記操作者のいる方向に応じて前記原稿台に表示させる画像の方向を制御する表示制御手段、
を有することを特徴とする情報処理装置。
【請求項２】
前記画像解析手段は、さらに、前記原稿の向きを解析し、
前記方向推定手段は、前記位置情報と前記原稿の向きとに基づいて、前記操作者のいる方向を推定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記前記原稿台上に、前記方向推定手段で推定された方向に向けて、ユーザインターフェースを表示させることを特徴とする請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記原稿台上に原稿が進入したことを検知する検知手段を有し、
前記撮像手段は、前記検知手段により原稿の進入が検知されたときに撮像を開始することを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
【請求項５】
前記方向推定手段は、前記原稿と前記操作者の腕の相対的な位置に応じて、前記原稿台に対して前記操作者のいる方向を推定することを特徴とする請求項１乃至４何れか１項に記載の情報処理装置。
【請求項６】
前記方向推定手段は、前記画像解析手段による解析の結果、前記操作者の腕が右手か左手かが識別可能な場合、前記操作者の腕が右手か左手かに応じて、前記原稿台に対して前記操作者のいる方向を推定し、前記画像解析手段による解析の結果、前記操作者の腕が右手か左手かが識別可能ではない場合、前記原稿と前記操作者の腕の相対的な位置に応じて、前記原稿台に対して前記操作者のいる方向を推定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項７】
前記方向推定手段は、前記画像解析手段による解析の結果、前記操作者の腕に対する前記原稿の位置が左右何れかに特定可能な場合、前記原稿と前記操作者の腕の相対的な位置に応じて、前記原稿台に対して前記操作者のいる方向を推定し、前記画像解析手段による解析の結果、前記操作者の腕に対する前記原稿の位置が左右何れかに特定可能ではない場合、前記原稿の内容を解析した結果が表す前記原稿の向きを用いて、前記原稿台に対して前記操作者のいる方向を推定することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記方向推定手段は、さらに、前記画像解析手段による解析の結果から得られる、前記操作者の腕の方向を用いて、前記原稿台に対して前記操作者のいる方向を推定することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記情報処理装置は、前記原稿台の上部から原稿台上を撮像する撮像手段と、前記原稿台の上部から原稿台上に画像を投影するプロジェクタを備え、
前記表示制御手段は、前記プロジェクタを制御することによって、前記原稿台上に前記画像を表示させることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。  
【請求項１０】
原稿台に置かれた原稿を撮像することで前記原稿の画像データを取得する情報処理装置の制御方法であって、
画像解析手段が、原稿台の上部から原稿台上を撮像する撮像手段により得られる画像データを解析して、前記原稿と前記原稿をセットする操作者の腕の位置情報を取得する画像解析工程と、
方向推定手段が、前記原稿と前記操作者の腕の位置情報に基づいて、前記操作者のいる方向を推定する方向推定工程と、
表示制御手段が、推定された前記操作者のいる方向に応じて前記原稿台に表示させる画像の方向を制御する表示制御工程、
を有することを特徴とする情報処理装置の制御方法。
【請求項１１】
前記画像解析工程は、前記撮像手段により得られる画像データを解析して、前記原稿と前記原稿をセットする操作者の腕との位置情報と、前記原稿の向きを解析し、
前記方向推定工程は、前記位置情報と前記原稿の向きとに基づいて、前記操作者のいる方向を推定することを特徴とする請求項１０に記載の情報処理装置の制御方法。
【請求項１２】
前記表示制御工程は、前記方向推定工程で推定された方向に向けて、ユーザインターフェースを表示させる表示工程を有することを特徴とする請求項１０又は請求項１１に記載の情報処理装置の制御方法。
【請求項１３】
検知手段が、前記原稿台上に原稿が進入したことを検知する検知工程を有し、前記検知工程で原稿の進入が検知されたときに、前記原稿台上の撮像を開始することを特徴とする請求項１０に記載の情報処理装置の制御方法。
【請求項１４】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者のいる方向を推定する技術に関するものである。
【背景技術】
【０００２】
従来、原稿台に置かれた原稿を読み取って画像を形成するような装置は、読み取る原稿を原稿台の下に向けて原稿内容を読み取らせるものが主流であった。このような装置は操作パネルが備え付けられていることが多く、操作者が操作する位置が限定される。そのため装置が操作者の位置を認識する必要はなかった。しかし、近年では原稿の読み取り操作に関する操作性向上のため、書画カメラのように原稿台の上部から原稿台に置かれた原稿を撮影するものがある。さらに投影装置を原稿台の上部に設け、操作するためのユーザインターフェースとして利用可能な映像を原稿台上の任意の場所や向きに投影できるものがある。これらの機能を備えた装置は、様々な方向から操作が可能となるため、装置が操作者の位置を認識する必要性が生じる。
そのような課題を解決するために、従来、操作者が操作している手や手の動きなどを撮影した画像や映像から操作者の位置を推定するものがあった。例えば、操作のために投影台に差し出した手の移動方向を検出し、検出した方向に応じてユーザインターフェースの表示位置又は表示方向を決定して投影させるものがある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６４１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１は、操作者と装置を結ぶ軸線に対して水平方向に手を移動させた場合、操作者のいる方向とユーザインターフェースを表示させる方向とでは少なくとも９０°のずれが生じる。そのため、操作者のいる方向を誤って推定してしまうことがあった。そこで本発明では操作者のいる方向を高い精度で推測することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明にかかる情報処理装置は、原稿台に置かれた原稿を撮像することで前記原稿の画像データを取得する情報処理装置であって、原稿台の上部から原稿台上を撮像する撮像手段により得られる画像データを解析して、前記原稿と前記原稿をセットする操作者の腕の位置情報を取得する画像解析手段と、前記画像解析手段によって取得された前記原稿と前記操作者の腕の位置情報に基づいて、前記操作者のいる方向を推定する方向推定手段と、前記方向推定手段によって推定された前記操作者のいる方向に応じて前記原稿台に表示させる画像の方向を制御する表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明により、原稿を原稿台にセットする操作者に向けて画像を表示させることができる。
【図面の簡単な説明】
【０００７】
【図１】情報処理装置１００のハードウェア構成図とその外観図。
【図２】情報処理装置１００の機能構成図。
【図３】原稿セット時の原稿台上を撮像した画像データの一例を示した図
【図４】情報処理装置１００の処理フローの一例を示した図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一な構成については、同じ符号を付して説明する。
【０００９】
＜第１の実施形態＞
図１（ａ）は、本実施形態における情報処理装置１００のハードウェア構成図である。
【００１０】
図１（ａ）において、ＣＰＵ１０１はシステム制御部であり情報処理装置１００全体を制御する。ＲＯＭ１０２は変更を必要としないプログラムやパラメータを格納する読み取り専用のメモリである。ＲＡＭ１０３は外部装置などから供給されるプログラムやデータを一時記憶する書き換え可能なメモリである。センサ１０４は、情報処理装置１００の原稿台上に物体が進入したことを検知できるものが好ましく、例えば赤外線センサなどでもよい。撮像部１０５は原稿台の上部に設置され、原稿台上を撮像する。なお、本実施形態では、センサ１０４の検知範囲および撮像部１０５の撮像範囲は原稿台を包含する最小矩形領域上とする。画像解析部１０６は撮像部１０５により得られる画像の解析、編集を行う。センサ１０４により、物体の進入を検知した際に撮像された画像データが、画像解析部１０６における解析の対象となる。方向推定部１０７は、撮像された画像データから原稿および原稿を持つ手を識別し、操作者のいる方向を推定する。表示部１０８は撮像した画像データやユーザインターフェースを表示するためのモニタやプロジェクタとのインターフェースである。１０８は１０１〜１０８の各ユニットを通信可能に接続するシステムバスである。説明した構成に対して、プログラムコードを供給するための記憶媒体としてＲＯＭのほかに以下のものがある。例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、メモリカード、ＤＶＤなどが本実施形態の情報処理装置の構成に加わってもよい。また、ユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイスとのインターフェースである入力部があっても構わない。
【００１１】
図２は、本実施形態における情報処理装置１００の機能構成図である。
【００１２】
処理対象となる原稿が原稿台にセットされる際、検知部２０１により原稿台上に原稿が進入したことを検知する。検知部２０１により検知したことを受けて、撮像部２０２により、原稿台上の撮像を開始する。撮像部２０２により得られた画像データを画像解析部２０３により解析する。解析により、原稿と原稿を持つ手の識別が完了するか、前の時間の画像データとの差分がなければ撮像を中止させ、解析結果をもとに方向推定部２０４が操作者のいる方向を推定する。そして表示部２０５により、推定した方向に、ユーザインターフェースや画像データを表示する。
【００１３】
図１（ｂ）は、本実施形態における情報処理装置１００の外観図である。
【００１４】
原稿台３０１は円形となっており、操作者は全方向から原稿をセットする。撮像部２０２であるカメラ３０２は原稿台の上部に設置されており、原稿台に置かれた原稿３０３などを撮像する。尚、カメラ３０２の撮像範囲は、原稿台３０１を包含する最小矩形領域を撮像できるものとし、原稿台３０１の外側にいる操作者までは撮像できない。また、カメラ３０２が撮像できるデータ形式は、画像解析部２０３が解析できる画像データを生成できれば静止画、動画を問わない。表示部２０５に相当するプロジェクタ３０４は、ユーザインターフェースやカメラ３０２により撮像されたデータを原稿台の任意の位置、方向に投影する。図１（ｂ）の例では、原稿台３０１に操作ボタン３０５を投影した様子を示している。
【００１５】
尚、本実施形態では、プロジェクタ３０４により、操作ボタン３０５を投影するようにしたが、ディスプレイに表示しても構わない。また、本実施形態では、原稿台が円形である例を示したが、円形でなくてもよい。しかしながら、原稿台が円形である場合、原稿台が長方形である場合に比べて、操作者は、原稿をいろんな方向からセットすることが考えられる。
【００１６】
図４は、本実施形態における情報処理装置１００の処理フローである。はじめに操作者が原稿台に原稿を置こうとすると、検知部２０１が、原稿台上の空間に原稿が進入したことを検知する（ステップ４０１）。原稿の進入を検知すると、撮像部２０２が、原稿台上の撮像を開始する（ステップ４０２）。尚、撮像は動画でもよく、一定の時間間隔で静止画を撮像しても構わない。画像解析部２０３が、撮像して得られた画像データを解析して、原稿と原稿をセットする手や腕を認識する（ステップ４０３）。また、原稿の位置情報、手の形状、腕の位置情報も取得する。尚、認識に成功したタイミングでカメラ３０２による撮像を終了してもよいし、直前に撮像して得られた画像データとの差分がなくなったときに撮像を終了してもよい。
【００１７】
ステップ４０４は、画像解析部２０３が、画像データに写っている原稿をセットする手が、右手か左手かを判別する。判別方法は特徴抽出したパターンマッチングなどで構わない。また、手が、原稿をセットする手であるかどうかの判定は、原稿と接しているか、あるいは、原稿と重なっているか場合、原稿をセットする手であると判定する。ステップ４０４で、原稿をセットする手が、右手か左手かが判別できた場合、ステップ４０５に進む。
【００１８】
ステップ４０５は、方向推定部２０４が、右手左手の情報から、操作者のいる方向を推定する。ステップ４０５の具体的な推定方法について図３（ａ）と図３（ｂ）を用いて説明する。図３（ａ）は操作者が右手で原稿５０４をセットしている時の原稿台５０１上を図１（ｂ）のカメラ３０２により撮像した画像データの一例を示したものである。図３（ｂ）は操作者が左手で原稿５０４をセットしているときの原稿台５０１上を図１（ｂ）のカメラ３０２により撮像した画像データの一例を示したものである。図３（ａ）の５０２はカメラ３０２の撮像領域を示している。画像データに写っている原稿をセットする手（図３（ａ）では５０３、図３（ｂ）では５０９）の先端５０５である点Ａと、先端から最も遠い手領域の座標５０６である点Ｂの２点を検出する。腕まで画像データに写っていれば腕も前記２点の検出に考慮する。操作者のいる位置（ここでは操作者の視点位置）５０８を点Ｐとし、線分ＡＢに対して手のひらを原稿台の面に向けて置いたときの親指側を内側と呼ぶことにする。直線５０７は点Ａを通り線分ＡＢに対して垂直な直線である。操作者が原稿台５０１に原稿５０４を置くという行為において不自然な態勢でない限り、点Ｂ、Ａ、Ｐの順でなす角θが０°＜θ＜９０°、かつ線分ＡＢに対し内側の領域に点Ｐは存在する。このことから、実際に操作者のいる方向と推定方向のズレが少なくなるような期待値を考慮して、線分ＡＢに対して内側かつ点Ａから見て角θ＝４５°の方向を操作者のいる方向と推定する。尚、θ＝４５°は一例であって、０°＜θ＜９０°であればよい。
【００１９】
ステップ４０４において右手か左手かの判別に失敗すると、ステップ４０６に進む。尚、右手か左手かの判別に失敗する理由としては、手で原稿を持っていると手の一部が原稿に隠れてしまうため、判別できないことが考えられる。
【００２０】
ステップ４０６は、腕に対して、左右どちらかの方向に原稿があるかを判別する。図３（ｃ）と図３（ｄ）は、ステップ４０６でＹｅｓと判定される場合の一例を示したものである。図３（ｃ）は腕に対し右側に原稿６０４を持った状態を、原稿台６０１上を図１（ｂ）のカメラ３０２により撮像した画像データを示したものである。図３（ｄ）は左側に原稿６０４を持った状態を、原稿台６０１上を図１（ｂ）のカメラ３０２により撮像した画像データを示したものである。図３（ｃ）の６０２はカメラ３０２の撮像領域を示している。手や腕と認識された部分（図３（ｃ）では６０３、図３（ｄ）では６０９）の先端６０５の点Ａおよび点Ａから最も遠い手領域の座標６０６である点Ｂの２点を検出する。腕まで画像データに写っていれば腕も前記２点の検出に考慮する。直線６０７は点Ａを通り線分ＡＢに対して垂直な直線である。原稿６０４と認識された領域が線分ＡＢに対し、図３（ｃ）のように右側にあるか、図３（ｄ）のように左側にあれば、ステップ４０６でＹｅｓと判定される。ステップ４０６で、Ｙｅｓと判定された場合、ステップ４０７に進む。
【００２１】
ステップ４０７は、方向推定部２０４が、原稿と腕との相対的位置情報から、操作者のいる方向を推定する。図３（ｃ）と図３（ｄ）を用いて、ステップ４０７の具体的な推定方法について説明する。操作者のいる位置（ここでは操作者の視点位置）６０６を点Ｐとし、線分ＡＢに対して原稿６０４と認識された領域が存在する側を内側と呼ぶことにする。操作者が原稿台６０１に原稿を置くという行為において不自然な態勢でない限り、点Ｂ、Ａ、Ｐの順でなす角θが０°＜θ＜９０°、かつ線分ＡＢに対し内側の領域に点Ｐは存在する。このことから、実際に操作者のいる方向と推定方向のズレが少なくなるような期待値を考慮して、線分ＡＢに対して内側かつ点Ａから見て角θ＝４５°の方向を操作者のいる方向と推定する。
【００２２】
図３（ｅ）は、腕の延長方向に原稿を持った状態を、原稿台７０１上を図１（ｂ）のカメラ３０２により撮像した画像データを示したものである。例えば原稿台の横に原稿置き場を設けて、原稿置き場から１枚ずつ原稿を横にスライドさせて撮像するような場合に、図３（ｅ）のような原稿の持ち方になり得る。図３（ｅ）の７０２はカメラ３０２の撮像領域を示している。このような場合、ステップ４０６でＮｏと判定される。
【００２３】
ステップ４０６でＮｏと判定された場合、画像解析部２０３が、原稿７０４の内容を解析する（ステップ４０８）。原稿内容を解析した結果、画像解析部２０３が、原稿の向きを識別できたか否か判別する（ステップ４０９）。本実施形態では、原稿内容を解析して文字や画像を認識し、文字や画像の向きから原稿の向きを判別することを想定しているが、文字や画像に限定されない。また、原稿内の文字と画像のうち少なくともいずれか１つの領域を解析し、解析された文字と画像のうち少なくともいずれか１つの向きを判別し、判別した向きを、原稿の向きとしてもよい。ステップ４０９で原稿の向きを判別できた場合、ステップ４１０に進む。
【００２４】
ステップ４１０は、方向推定部２０４が、原稿と腕との相対的位置情報と原稿の向きから、操作者のいる方向を推定する。図３（ｅ）を用いて、ステップ４１０の具体的な推定方法について説明する。画像データに写っている原稿７０４を持つ手７０３の先端７０５である点Ａと、先端７０５から最も遠い手領域の座標７０６である点Ｂの２点を検出する。腕まで画像データに写っていれば腕も前記２点の検出に考慮する。直線７０７は点Ａを通り線分ＡＢに対して垂直な直線である。操作者が原稿台７０１に原稿を置くという行為において不自然な態勢でない限り、先端７０５から見て直線７０７に対して手７０３と逆の方向に操作者がいる可能性は少ない。そしてかつ操作者が原稿の内容を確認できるように原稿台にセットする可能性が高いことを考慮すると原稿の向き７０８に対して±４５°を満たす方向に操作者の視点があると推定する。先端７０５から見たこれらの条件を満たす角度の中間値となる方向を操作者のいる方向と推定する。ステップ４０９でＮｏと判定された場合、すなわち、原稿内容の解析に失敗するか、原稿の向きを識別できなかった場合は、ステップ４１１に進む。
【００２５】
ステップ４１１は、方向推定部２０４が、腕がある方向が操作者のいる方向と推定する。具体的には、図３（ｅ）における、線分ＡＢに対し点Ｂの延長方向に操作者がいると推定する。
【００２６】
ステップ４１２は、ステップ４０５、ステップ４０７、ステップ４１０、ステップ４１１のいずれかから推定された操作者のいる方向に、操作のためのユーザインターフェースを表示部２０５に表示する。表示方法としては、本実施形態では、図１（ｂ）のプロジェクタ３０４より投影する。
【００２７】
なお、ステップ４０４において右手左手の識別に成功した場合、識別した手が操作者の利き手と推定し、原稿に対して利き手側の原稿台上にユーザインターフェースを投影してもよい。また、本などを原稿台において撮像するとき、ページがめくれないように手で押さえた状態で撮像する場合が考えられる。このとき操作する手はもう片方の手である可能性が高いため、右手で本を抑えていれば本の左側に、左手で本を抑えていれば本の右側に操作のためのユーザインターフェースを投影してもよい。本実施形態では投影する情報として操作のためのユーザインターフェースを一例にあげたが、これに限定されず、操作者に対して何かを表示する場合、推定された操作者のいる方向に表示する。
【００２８】
以上本発明にかかる実施形態を説明したが、先に説明したように、情報処理装置は、通常のパーソナルコンピュータ等の汎用情報処理装置であって、それ上で動作するコンピュータプログラムで実現できるものである。よって、本発明はコンピュータプログラムをその範疇とすることは明らかである。その際は、情報処理装置１０１が有する各手段として機能させる。また、通常、コンピュータプログラムは、ＣＤＲＯＭ等のコンピュータ読み取り可能な記憶媒体に格納されており、それをコンピュータの対応するドライブにセットしてシステムにコピーやインストール処理することで実行可能となる。よって、本発明は当然にそのようなコンピュータ可読記憶媒体をもその範疇とすることも明らかである。
【図１】
0005979976.tif 000002
【図２】
0005979976.tif 000003
【図３】
0005979976.tif 000004
【図４】
0005979976.tif 000005