(57)【要約】【課題】本発明は、拡張現実技術に基づく手持ち式閲覧デバイス及びその方法を提供する。【解決手段】拡張現実技術に基づく手持ち式閲覧デバイスは、第１のカメラを介して現実シーンを捕捉するためのビデオキャプチャーユニットと、現実シーンにおける二次元コードを識別することにより、コード値情報および空間位置情報を取得し、その後、空間位置情報に基づいて予め設けられた仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成するためのスマート演算端末と、スピーカーを介して仮想シーンに対応する音声情報を出力するための音声出力ユニットと、円形の形状に呈し、閲覧画面を表示するための液晶ディスプレイと、を含む。既存技術に比べて、本発明は、現実シーンと高度にマッチングし、迫真な視覚、聴覚、触覚、力強さ感および動感などを有する仮想環境を生成して、ユーザーが仮想三次元環境との直接的なインタラクションを実現できる。こうすると、子供は、より多くの感官刺激を獲得でき、学習効率が向上され、エデュテインメントを実現できる。【選択図】図１
2017522682.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＡＲ）技術に基づく手持ち式閲覧デバイスであって、
第１のカメラを介して現実シーンを捕捉するためのビデオキャプチャーユニットと、
前記現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得し、その後、前記空間位置情報に基づいて予め設けられた仮想シーンを設置し、かつ前記現実シーンと前記仮想シーンとを混合した後の閲覧画面を生成するためのスマート演算端末と、
スピーカーを介して前記仮想シーンに対応する音声情報を出力するための音声出力ユニットと、
円形の形状を呈し、前記スマート演算端末により生成した前記閲覧画面を表示するための液晶ディスプレイと、
を含むことを特徴とする手持ち式閲覧デバイス。
【請求項２】
前記手持ち式閲覧デバイスを移動する際、前記現実シーンにおける二次元コードが移動し、前記スマート演算端末は、移動した二次元コードに基づいて前記仮想のシーンにおける画面の移動を制御し、前記液晶ディスプレイは、前記手持ち式閲覧デバイスが移動した後の動的閲覧画面を出力することを特徴とする請求項１に記載の手持ち式閲覧デバイス。
【請求項３】
前記スマート演算端末は、さらに、
カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ前記仮想のシーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくためのバッファーユニットを含むことを特徴とする請求項２に記載の手持ち式閲覧デバイス。
【請求項４】
前記仮想シーンにおける三次元物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られることを特徴とする請求項３に記載の手持ち式閲覧デバイス。
【請求項５】
前記スマート演算端末は、さらに、
インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて一つの拡張現実アプリケーションを選択して実行するためのネットワークインターフェースと、
ユーザーが前記現実シーンにおける二次元コードを前記第１のカメラの撮影範囲内まで移動させた場合、前記二次元コードを自動的に追従して識別し、前記コード値情報および前記空間位置情報を取得するための二次元コード識別ユニットと、を含むことを特徴とする請求項１に記載の手持ち式閲覧デバイス。
【請求項６】
前記スマート演算端末は、さらに、
前記二次元コード識別ユニットからの空間位置情報に基づいて、マッチングする仮想シーンを探して見つけるための仮想シーン生成ユニットと、
探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した前記仮想シーンと前記現実シーンとを混合して前記液晶ディスプレイに表示するための仮想リアルタイムレンダリングユニットと、を含むことを特徴とする請求項５に記載の手持ち式閲覧デバイス。
【請求項７】
前記スマート演算端末は、さらに、
人間の顔または手のインタラクション操作を識別し、かつ前記インタラクション操作に基づいて前記現実シーンに隠されている三次元情報を受け取り、これにより前記三次元情報と前記仮想シーンにおける三次元物体とを直接的にインタラクションさせるインタラクションユニットを含むことを特徴とする請求項６に記載の手持ち式閲覧デバイス。
【請求項８】
前記現実シーンは、書籍、単語カード、科学技術館または博物館における物体および環境画像を含むことを特徴とする請求項１に記載の手持ち式閲覧デバイス。
【請求項９】
前記手持ち式閲覧デバイスは、さらに、前記拡張現実アプリケーションに対応する仮想シーンのデータを記憶するための記憶ユニットを含むことを特徴とする請求項８に記載の手持ち式閲覧デバイス。
【請求項１０】
前記スマート演算端末は、
前記スマート演算端末が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行するためのメインスレッド処理ユニットと、
画像収集の操作を実行し、かつ画像収集の結果を前記メインスレッド処理ユニットに伝送して戻させるための複数のサブスレッド処理ユニットと、を含むことを特徴とする請求項１に記載の手持ち式閲覧デバイス。
【請求項１１】
前記メインスレッド処理ユニットは、前記サブスレッド処理ユニットへ画像収集リクエストを送信し、前記サブスレッド処理ユニットは、前記画像収集リクエストに基づいて画像収集の操作を行うことを特徴とする請求項１０に記載の手持ち式閲覧デバイス。
【請求項１２】
前記手持ち式閲覧デバイスは、拡大鏡の外部輪郭に類似し、円形本体と握持部とを含み、前記円形本体にはタッチ機能を有する前記液晶ディスプレイが設けられ、かつ前記円形本体と前記握持部との接続箇所には制御ボタンを有することを特徴とする請求項１に記載の手持ち式閲覧デバイス。
【請求項１３】
前記液晶ディスプレイのタッチ機能は、抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサによりタッチ操作を実現することを特徴とする請求項１２に記載の手持ち式閲覧デバイス。
【請求項１４】
前記円形本体の頂端の真ん中の位置には、前記液晶ディスプレイ側の現実シーンを収集するための第２のカメラと、ユーザーの音声インタラクション情報を受信するためのマイクロフォンとを有することを特徴とする請求項１２に記載の手持ち式閲覧デバイス。
【請求項１５】
前記第１のカメラは、前記円形本体における、前記液晶ディスプレイに対向する他側に位置し、該他側の現実シーンを収集して捕捉し、前記第１のカメラは、電荷結合素子（ＣＣＤ）画像センサまたは相補性金属酸化半導体（ＣＭＯＳ）画像センサであることを特徴とする請求項１２に記載の手持ち式閲覧デバイス。
【請求項１６】
前記円形本体の側面には、さらに、前記手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタンを具備していることを特徴とする請求項１２に記載の手持ち式閲覧デバイス。
【請求項１７】
前記手持ち式閲覧デバイスは、さらに、
前記手持ち式閲覧デバイスの環境光強度を検出するための輝度センサと、前記環境光強度が不足するときに補助背面光を提供するための補助バックライトと、を含むことを特徴とする請求項１に記載の手持ち式閲覧デバイス。
【請求項１８】
拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＡＲ）技術に基づく手持ち式閲覧方法であって、
ビデオキャプチャーユニットが第１のカメラを介して現実シーンを捕捉するステップと、
スマート演算端末が前記現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得するステップと、
前記空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ前記現実シーンと前記仮想シーンとを混合した後の閲覧画面を生成するステップと、 
音声出力ユニットがスピーカーを介して前記仮想シーンに対応する音声情報を出力するステップと、
円形の形状を呈する液晶ディスプレイが前記スマート演算端末により生成した前記閲覧画面を表示するステップと、
を含むことを特徴とする手持ち式閲覧方法。
【請求項１９】
前記手持ち式閲覧方法は、さらに、手持ち式閲覧デバイスを移動する際、前記現実シーンにおける二次元コードが移動し、前記スマート演算端末が移動した二次元コードに基づいて前記仮想シーンにおける画面の移動を制御し、前記液晶ディスプレイが前記手持ち式閲覧デバイスの移動した後の動的閲覧画面を出力するステップを含むことを特徴とする請求項１８に記載の手持ち式閲覧方法。
【請求項２０】
該手持ち式閲覧方法は、さらに、
カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ前記仮想シーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくステップを含むことを特徴とする請求項１９に記載の手持ち式閲覧方法。
【請求項２１】
前記仮想シーンにおける三次元物体の瞬時位置は、バックアップするいくつかの二次元コードの空間位置情報を補間することにより得られることを特徴とする請求項２０に記載の手持ち式閲覧方法。
【請求項２２】
前記スマート演算端末は、
インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて１つの拡張現実アプリケーションを選択して実行するためのネットワークインターフェースと、
ユーザーが前記現実シーンにおける二次元コードを前記第１のカメラの撮影範囲内まで移動させた場合、前記二次元コードを自動的に追従して識別し、前記コード値情報および前記空間位置情報を取得するための二次元コード識別ユニットと、を含むことを特徴とすることを特徴とする請求項１８に記載の手持ち式閲覧方法。
【請求項２３】
前記スマート演算端末は、さらに、
前記二次元コード識別ユニットからの空間位置情報に基づいて、マッチングする仮想シーンを探して見つけるための仮想のシーン生成ユニットと、
探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した前記仮想シーンと前記現実シーンとを混合して前記液晶ディスプレイに表示するための仮想リアルタイムレンダリングユニットと、を含むことを特徴とする請求項２２に記載の手持ち式閲覧方法。
【請求項２４】
前記スマート演算端末は、
人間の顔または手のインタラクション操作を識別し、かつ前記インタラクション操作に基づいて前記現実シーンに隠されている三次元情報を受け取り、これにより前記三次元情報と前記仮想シーンにおける三次元物体とを直接的にインタラクションさせるインタラクションユニットを含むことを特徴とする請求項２３に記載の手持ち式閲覧方法。
【請求項２５】
前記手持ち式閲覧方法は、さらに、前記スマート演算端末が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行するためのメインスレッド処理ユニットと、画像収集の操作を実行し、かつ画像収集の結果を前記メインスレッド処理ユニットに伝送して戻させるための複数のサブスレッド処理ユニットとを含むことを特徴とする請求項１８に記載の手持ち式閲覧方法。
【請求項２６】
前記現実シーンは、書籍、単語カード、科学技術館または博物館における物体および環境画像を含むことを特徴とする請求項１８に記載の手持ち式閲覧方法。
【請求項２７】
拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＡＲ）技術に基づく手持ち式閲覧デバイスであって、円形本体と、握持部と、を含み、
前記円形本体は、対向に設けられる正面と裏面とを含み、前記円形本体の正面には液晶ディスプレイ、第２のカメラおよびマイクロフォンが設けられ、前記円形本体の裏面には第１のカメラとスピーカーとが設けられ、
前記握持部は、前記円形本体に接続し、前記手持ち式閲覧デバイスを把持するために用いられ、
前記手持ち式閲覧デバイスは、前記第１のカメラが収集した現実シーンに対して三次元仮想シーンのレンダリングを行い、かつ前記液晶ディスプレイを介して前記現実シーンと前記仮想シーンとを混合した閲覧画面を表示することを特徴とする手持ち式閲覧デバイス。
【請求項２８】
前記液晶ディスプレイは、タッチ機能を有し、かつ抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサによりタッチ操作を実現することを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
【請求項２９】
前記第２のカメラおよび前記マイクロフォンは、前記円形本体の頂端の真ん中の位置に位置し、前記第２のカメラは、前記円形本体の正面側の現実シーンを収集するために用いられ、前記マイクロフォンは、ユーザーの音声インタラクション情報を受信するために用いられることを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
【請求項３０】
前記第１のカメラは、前記円形本体の裏面側の現実シーンを収集して捕捉することに用いられ、前記第１のカメラは、電荷結合素子（ＣＣＤ）画像センサ又は相補性金属酸化半導体（ＣＭＯＳ）画像センサであることを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
【請求項３１】
前記円形本体の側面には、さらに、前記手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタンを具備していることを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
【請求項３２】
前記円形本体と前記握持部との接続箇所には、さらに、制御ボタンを具備していることを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
【請求項３３】
前記手持ち式閲覧デバイスは、さらに、前記手持ち式閲覧デバイスの環境光強度を検出するための輝度センサと、前記環境光強度が不足するときに補助背面光を提供するための補助バックライトと、を含むことを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＡＲ）の技術分野に関し、特に、拡張現実技術に基づく手持ち式閲覧デバイスに関する。
【背景技術】
【０００２】
拡張現実技術は、仮想現実の基礎のもとで発展されてきた新しい技術であり、仮想現実の研究における一つの重要な分岐である。要するに、拡張現実技術とは、コンピューターグラフィックス技術および可視化技術を介して現実環境において存在しない仮想対象を生成し、かつ仮想対象を真実の環境に正確的に「組み込み」、その後、表示デバイスにより仮想対象と真実の環境とを一体に融合して、仮想情報を真実の世界に応用することにより、ユーザーへ迫真な効果を与える新しい環境を呈し、現実に対する増強を実現する技術である。例えば、ＡＲ技術は、本来の現実世界における一定の時空間範囲内において体験することができない実体情報（例えば、視覚情報、音声、味、または触覚）などを、科学技術によりシミュレーションした後に、現実世界に重ねて人類の感官に感知されることができ、それにより、現実を超える感官体験を実現する。
【０００３】
また、既存技術において、子供向けの玩教具（玩具・教具）は、主に、伝統類、創作類、実体類、仮想類、娯楽類および教育類に分かれ、対応する主流製品は、早期教育機、フィンガーリーダー、トーキングペン、電子書籍／スクールバッグ、単語カード、コンピューター教育ソフトウェアなどを含む。ここで、伝統教育類の玩教具は、面白さが乏しく、子供の自発性を引き出しにくい。一方、ハイテク教育類の玩教具は、操作が比較的に複雑であり、使用者の認知および操作、制御に対する要求が高く、家庭内におけるインタラクションを形成できるよい遊び方や教育の形式がない。また、これらの玩教具のほとんどは、創作性が欠け、多くは、同種類の製品のコピーにすぎない。他方、近年、タブレットＰＣやスマートフォンの普及に伴って、多くの早期教育類のソフトウェアが携帯式モバイルプラットフォームを注目し始めている。しかしながら、タブレットＰＣは、子供を対象に開発されたものではなく、現在の市場においては、子供がタブレットＰＣを遊ぶことについて反対する声も多く存在し、注目される問題は概ね、以下を含む。１）タブレットＰＣのディスプレイのサイズが比較的に小さいため、長時間にかけてディスプレイを見ると、視力が悪くなり、近視になりやすい；２）タブレットＰＣを使用する際、長時間にかけて首を傾げてタブレットＰＣを見ることは、頸椎の発育にも影響を与える可能性がある；３）子供がソフトウェアゲームに触れることが早すぎることは、真実の環境における遊びに対する楽さが欠けるだけでなく、勉強に対する楽しみにも影響を与えるか低減させる可能性がある；４）タッチ式のタブレットＰＣまたはスマートフォンは、従来のキーボードまたはマウスによるインタラクション方式を変えたが、子供と玩教具とのインタラクションは、依然として二次元の平面上に止まり、感官体験のレベルが比較的に低い。
【０００４】
以上に鑑みて、如何なる手持ち式閲覧デバイスを設計することにより、現在の拡張現実技術と従来の子供の玩教具とを有機的に結合して、エデュテインメントを実現し、子供が閲覧の過程において、言語勉強、画像認知および三次元デジタルモデルを自然に関連付けて、感官刺激を増強させ、学習効率を向上させることは、いわゆる当業者が解決しなければならない課題の一つである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、既存技術におけるタブレットＰＣとスマートフォンとが子供の玩教具に応用された際に存在する上述した問題点に鑑みてなされたものであって、新規で、拡張現実技術に基づく手持ち式閲覧デバイスおよびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの形態によれば、拡張現実技術に基づく手持ち式閲覧デバイスであって、
第１のカメラを介して現実シーンを捕捉するためのビデオキャプチャーユニットと、
前記現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得し、その後、前記空間位置情報に基づいて予め設けられた仮想シーンを設置し、かつ前記現実シーンと前記仮想シーンとを混合した後の閲覧画面を生成するためのスマート演算端末と、
スピーカーを介して前記仮想シーンに対応する音声情報を出力するための音声出力ユニットと、
円形の形状を呈し、前記スマート演算端末により生成した前記閲覧画面を表示するための液晶ディスプレイと、を含む。
【０００７】
一つの実施例において、前記手持ち式閲覧デバイスを移動する際、前記現実シーンにおける二次元コードが移動し、前記スマート演算端末は、移動した二次元コードに基づいて前記仮想シーンにおける画面の移動を制御し、前記液晶ディスプレイは、前記手持ち式閲覧デバイスが移動した後の動的閲覧画面を出力する。
【０００８】
一つの実施例において、前記スマート演算端末は、さらに、カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ前記仮想シーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくためのバッファーユニットを含む。
【０００９】
一つの実施例において、前記仮想シーンにおける三次元物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られる。
【００１０】
一つの実施例において、前記スマート演算端末は、インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて一つの拡張現実アプリケーションを選択して実行するためのネットワークインターフェースと、ユーザーが前記現実シーンにおける二次元コードを前記第１のカメラの撮影範囲内まで移動させた場合、前記二次元コードを自動的に追従して識別し、前記コード値情報および前記空間位置情報を取得するための二次元コード識別ユニットと、を含む。
【００１１】
一つの実施例において、前記スマート演算端末は、さらに、前記二次元コード識別ユニットからの空間位置情報に基づいて、マッチングする仮想シーンを探して見つけるための仮想シーン生成ユニットと、探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した前記仮想シーンと前記現実シーンとを混合して前記液晶ディスプレイに表示するための仮想リアルタイムレンダリングユニットと、を含む。
【００１２】
一つの実施例において、前記スマート演算端末は、人間の顔または手のインタラクション操作を識別し、かつ前記インタラクション操作に基づいて前記現実シーンに隠されている三次元情報を受け取り、これにより前記三次元情報と前記仮想シーンにおける三次元物体とを直接的にインタラクションさせるインタラクションユニットを含む。
【００１３】
一つの実施例において、前記現実シーンは、書籍、単語カード、科学技術館または博物館における物体および環境画像を含む。
【００１４】
一つの実施例において、前記手持ち式閲覧デバイスは、さらに、前記拡張現実アプリケーションに対応する仮想シーンのデータを記憶するための記憶ユニットを含む。
【００１５】
一つの実施例において、前記スマート演算端末は、前記スマート演算端末が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行するためのメインスレッド処理ユニットと、画像収集の操作を実行し、かつ画像収集の結果を前記メインスレッド処理ユニットに伝送して戻させるための複数のサブスレッド処理ユニットと、を含む。
【００１６】
一つの実施例において、前記メインスレッド処理ユニットは、前記サブスレッド処理ユニットへ画像収集リクエストを送信し、前記サブスレッド処理ユニットは、前記画像収集リクエストに基づいて画像収集の操作を行う。
【００１７】
一つの実施例において、前記手持ち式閲覧デバイスは、拡大鏡の外部輪郭に類似し、円形本体と握持部とを含み、前記円形本体にはタッチ機能を有する前記液晶ディスプレイが設けられ、かつ前記円形本体と前記握持部との接続箇所には制御ボタンを有する。
【００１８】
一つの実施例において、前記液晶ディスプレイのタッチ機能は、抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサによりタッチ操作を実現する。
【００１９】
一つの実施例において、前記円形本体の頂端の真ん中の位置には、前記液晶ディスプレイ側の現実シーンを収集するための第２のカメラと、ユーザーの音声インタラクション情報を受信するためのマイクロフォンとを有する。
【００２０】
一つの実施例において、前記第１のカメラは、前記円形本体における、前記液晶ディスプレイと対向する他側に位置し、該他側の現実シーンを収集して捕捉し、前記第１のカメラは、電荷結合素子画像センサまたは相補性金属酸化半導体画像センサである。
【００２１】
一つの実施例において、前記円形本体の側面には、さらに、前記手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタンを具備している。
【００２２】
一つの実施例において、前記手持ち式閲覧デバイスの環境光強度を検出するための輝度センサと、前記環境光強度が不足するときに補助背面光を提供するための補助バックライトと、を含む。
【００２３】
本発明の他の一つの形態によれば、拡張現実技術に基づく手持ち式閲覧方法であって、
ビデオキャプチャーユニットが第１のカメラを介して現実シーンを捕捉するステップと、
スマート演算端末が前記現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得するステップと、
前記空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ前記現実シーンと前記仮想シーンとを混合した後の閲覧画面を生成するステップと、 
音声出力ユニットがスピーカーを介して前記仮想シーンに対応する音声情報を出力するステップと、
円形の形状を呈する液晶ディスプレイが前記スマート演算端末により生成した前記閲覧画面を表示するステップと、を含む。
【００２４】
一つの実施例において、手持ち式閲覧方法は、さらに、手持ち式閲覧デバイスを移動する際、前記現実シーンにおける二次元コードが移動し、前記スマート演算端末が移動した二次元コードに基づいて前記仮想シーンにおける画面の移動を制御し、前記液晶ディスプレイが前記手持ち式閲覧デバイスの移動した後の動的閲覧画面を出力するステップを含む。
【００２５】
一つの実施例において、前記手持ち式閲覧方法は、さらに、カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ前記仮想シーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくステップを含む。
【００２６】
一つの実施例において、前記仮想シーンにおける三次元物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られる。
【００２７】
一つの実施例において、前記スマート演算端末は、インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて１つの拡張現実アプリケーションを選択して実行するためのネットワークインターフェースと、ユーザーが前記現実シーンにおける二次元コードを前記第１のカメラの撮影範囲内まで移動させた場合、前記二次元コードを自動的に追従して識別し、前記コード値情報および前記空間位置情報を取得するための二次元コード識別ユニットと、を含む。
【００２８】
一つの実施例において、前記スマート演算端末は、さらに、前記二次元コード識別ユニットからの空間位置情報に基づいて、マッチングする仮想シーンを探して見つけるための仮想シーン生成ユニットと、探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した前記仮想シーンと前記現実シーンとを混合して前記液晶ディスプレイに表示するための仮想リアルタイムレンダリングユニットと、を含む。
【００２９】
一つの実施例において、前記スマート演算端末は、人間の顔または手のインタラクション操作を識別し、かつ前記インタラクション操作に基づいて前記現実シーンに隠されている三次元情報を受け取り、これにより前記三次元情報と前記仮想シーンにおける三次元物体とを直接的にインタラクションさせるインタラクションユニットを含む。
【００３０】
一つの実施例において、前記手持ち式閲覧方法は、前記スマート演算端末が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行するためのメインスレッド処理ユニットと、画像収集の操作を実行し、かつ画像収集の結果を前記メインスレッド処理ユニットに伝送して戻させるための複数のサブスレッド処理ユニットとを含む。
【００３１】
一つの実施例において、前記拡張現実アプリケーションは、書籍、単語カード、科学技術館または博物館における物体および環境画像を含む。
【００３２】
本発明の更なる他の一つの形態によれば、拡張現実技術に基づく手持ち式閲覧デバイスであって、円形本体と、握持部と、を含み、
前記円形本体は、対向に設けられる正面と裏面とを含み、前記円形本体の正面には液晶ディスプレイ、第２のカメラおよびマイクロフォンが設けられ、前記円形本体の裏面には第１のカメラとスピーカーとが設けられ、
前記握持部は、前記円形本体に接続し、前記手持ち式閲覧デバイスを把持するために用いられ、
前記手持ち式閲覧デバイスは、前記第１のカメラが収集した現実シーンに対して三次元仮想シーンのレンダリングを行い、かつ前記液晶ディスプレイを介して前記現実シーンと前記仮想シーンとを混合した閲覧画面を表示する。
【００３３】
一つの実施例において、前記液晶ディスプレイは、タッチ機能を有し、かつ抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサによりタッチ操作を実現する。
【００３４】
一つの実施例において、前記第２のカメラおよび前記マイクロフォンは、前記円形本体の頂端の真ん中の位置に位置し、前記第２のカメラは、前記円形本体の正面側の現実シーンを収集するために用いられ、前記マイクロフォンは、ユーザーの音声インタラクション情報を受信するために用いられる。
【００３５】
一つの実施例において、前記第１のカメラは、前記円形本体の裏面側の現実シーンを収集して捕捉するために用いられ、前記第１のカメラは、電荷結合素子画像センまたは相補性金属酸化半導体画像センサである。
【００３６】
一つの実施例において、前記円形本体の側面には、さらに、前記手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタンを具備している。
【００３７】
一つの実施例において、前記円形本体と前記握持部との接続箇所には、さらに、制御ボタンを具備している。
【００３８】
一つの実施例において、前記手持ち式閲覧デバイスは、さらに、前記手持ち式閲覧デバイスの環境光強度を検出するための輝度センサと、前記環境光強度が不足するときに補助背面光を提供するための補助バックライトと、を含む。
【発明の効果】
【００３９】
本発明の手持ち式閲覧デバイスおよびその方法によれば、ビデオキャプチャーユニットが第１のカメラを介して現実シーンを捕捉し、スマート演算端末が現実シーンにおける二次元コードを識別することによりコード値情報および空間位置情報を取得し、その後、空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成し、円形の形状を呈する液晶ディスプレイがスマート演算端末により生成した閲覧画面を表示する。既存技術に比べて、本発明は、スマート演算端末を利用することにより、現実シーンと高度にマッチングし、迫真な視覚、聴覚、触覚、力強さ感、および動感などを有する仮想環境を生成して、ユーザーと仮想三次元環境との直接的なインタラクションを実現できる。このすると、子供は、学習過程において、言語勉強、画像認知および三次元デジタルモデルを自然に関連付けて、より多くの次元の感官刺激を増強させ、学習効率を向上させ、エデュテインメントを実現できる。
【図面の簡単な説明】
【００４０】
以下、図面を参照しながら、本発明の具体的な実施形態について説明する。これにより、本発明の様々な態様がより明確に理解される。
【図１】図１（ａ）〜図１（ｃ）は、本発明の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧デバイスの外部輪郭を示す図である。
【図２】本発明の他の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧デバイスの構成を示す図である。
【図３】図２における手持ち式閲覧デバイスのスマート演算端末の一つの具体的な実施例を示す図である。
【図４】図３における手持ち式閲覧デバイスを採用して拡張現実の閲覧画面を実現するフローチャートである。
【図５】図２における手持ち式閲覧デバイスのスマート演算端末の他の一つの具体的な実施例を示す図である。
【図６】本発明の更なる他の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧方法を説明するためのフローチャートである。
【図７】図６における手持ち式閲覧方法を採用する第１の実施例に係る拡張現実の効果を示す図である。
【図８】図６における手持ち式閲覧方法を採用する第２の実施例に係る拡張現実の効果を示す図である。
【図９】図６における手持ち式閲覧方法を採用する第３の実施例に係る拡張現実の効果を示す図である。
【図１０】図６における手持ち式閲覧方法を採用する第４の実施例に係る拡張現実の效果を示す図である。
【発明を実施するための形態】
【００４１】
本発明において開示された技術内容をより詳しく、完全にさせるため、図面を参照しながら以下のいくつかの具体的な実施例について説明する。図面において、同一の符号は同一または類似の部材を示す。しかしながら、いわゆる当業者であれば、以下に記載される実施例は本発明の保護範囲を限定するものではないことを理解すべきである。また、図面は、説明するために例示されるものにすぎず、元のサイズに応じて描画されたものでない。
【００４２】
以下、図面を参照しながら、本発明のいくつかの具体的な実施形態について詳しく説明する。
【００４３】
図１（ａ）〜図１（ｃ）は、本発明の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧デバイスの外部輪郭を示す図である。図１（ａ）は、デバイスの正面図であり、図１（ｂ）は、デバイスの背面図であり、図１（ｃ）は、デバイスの側面図である。
【００４４】
図１（ａ）〜図１（ｃ）に示すように、本発明に係る拡張現実技術に基づく手持ち式閲覧デバイスは、拡大鏡の外部輪郭に類似し、円形本体と握持部４とを含む。握持部４は、子供生理学に適合し、かつ把持しやすいような造型に専門的に設計されている。
【００４５】
具体的には、円形本体の正面には液晶ディスプレイ１、第２のカメラおよびマイクロフォン２が設けられている。ここで、円形の液晶ディスプレイは、ユーザーに「小さなところから大きなところがみえる」および「少ないところから多いところがみえる」といった直観的な感覚をもたらすことが可能である。これは、矩形のディスプレイが幅広いシーンへの発展に適合しているのに対し、円形のディスプレイは、近くて深いシーンへの発掘に適合する。従来の矩形ディスプレイに対して、円形のディスプレイは、辺・角が把握されにくく、角度もあってもなくてもよいため、円形のディスプレイはセンサの作用のもとで、常に正視野角の表示画面を呈することができる。例えば、第２のカメラおよびマイクロフォン２は、本体の頂端の真ん中の位置に位置され、第２のカメラ（「前カメラ」とも称される）は、本体正面側の現実シーンを収集し、マイクロフォンは、ユーザーの音声インタラクション情報を受信する。円形本体の裏面には、高解像度の第１のカメラ（「主カメラ」とも称される）５とスピーカー６とが設けられている。握持部４は、円形本体と接続し、ユーザー、特に、子供が閲覧デバイスを把持するために用いられる。ここで、手持ち式閲覧デバイスは、第１のカメラ５が収集した現実シーンに対して三次元仮想シーンのレンダリングを行い、かつ液晶ディスプレイ１を介して現実シーンと仮想シーンとを混合した後の閲覧画面を表示する。
【００４６】
一つの具体的な実施例において、液晶ディスプレイ１は、タッチ機能（タッチ制御機能）を有し、かつ抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサにより対応するタッチ操作を実現する。
【００４７】
一つの具体的な実施例において、第１のカメラ５は、円形本体の裏面側の現実シーンを収集して捕捉する。第１のカメラ５は、例えば、電荷結合素子（ＣＣＤ）画像センサまたは相補性金属酸化半導体（ＣＭＯＳ）画像センサである。
【００４８】
また、円形本体の側面には、さらに、手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタン７を具備している。円形本体と握持部４との接続箇所には、さらに、制御ボタン３を有することが好ましい。
【００４９】
また、デバイスがいかなる光源条件においても読取および閲覧ができるように、本発明では、さらに、輝度センサと補助バックライトとを含むことができる（図示せず）。輝度センサを介してデバイスの環境光強度を検出し、かつ補助バックライトを使用して環境光強度が不足するときに補助背面光を提供する。
【００５０】
図２は、本発明の他の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧デバイスの構成を示す図である。図２に示すように、本実施形態において、本発明に係る手持ち式閲覧デバイスは、ビデオキャプチャーユニット１０と、スマート演算端末１２と、音声出力ユニット１４と、液晶ディスプレイ１６とを含む。
【００５１】
具体的には、ビデオキャプチャーユニット１０は、第１のカメラ（例えば、図１に示す主カメラ５）を介して現実シーンを捕捉する。スマート演算端末１２はビデオキャプチャーユニット１０とカップリングし、捕捉した現実シーンにおける二次元コードを識別することにより、二次元コードに対応するコード値情報および空間位置情報を取得する。その後、空間位置情報に基づいて予め設けられるマッチングする仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成する。音声出力ユニット１４はスマート演算端末１２とカップリングし、スピーカー（例えば、図１に示すスピーカー６）を介して仮想シーンに対応する音声情報を出力する。液晶ディスプレイ１は、円形の形状を呈し、スマート演算端末１２とカップリングし、スマート演算端末１２により生成した閲覧画面を表示する。
【００５２】
一つの具体的な実施例において、閲覧ユーザー、特に、子供が手持ち式閲覧デバイスを移動する際、現実シーンにおける二次元コードが移動し、スマート演算端末１２が移動した二次元コードに基づいて仮想シーンにおける画面の移動を制御し、液晶ディスプレイ１は手持ち式閲覧デバイスが移動した後の動的閲覧画面を出力する。
【００５３】
また、二次元コードの移動速度が速すぎるか、或いは、第１のカメラの撮影角度から大きくずれて、二次元コードの識別が瞬時に失敗し、二次元コードに関連づける三次元仮想物体の表示が途切れ現象の発生を回避するため、本発明に係るスマート演算端末１２は、さらに、バッファーユニット１２１を含む。バッファーユニット１２１は、カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップしてバッファーし、かつ仮想シーンにおける三次元仮想物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておく。例えば、仮想シーンにおける三次元仮想物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られ、仮想物体の移動の円滑性を大幅に向上させる。
【００５４】
図３は、図２における手持ち式閲覧デバイスのスマート演算端末の一つの具体的な実施例を示す図である。図３に示すように、本実施例において、スマート演算端末１２は、さらに、ネットワークインターフェース（図示せず）、二次元コード識別ユニット１２３、仮想シーン生成ユニット１２５および仮想リアルタイムレンダリングユニット１２７を含む。
【００５５】
ここで、ネットワークインターフェースは、インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて一つの拡張現実アプリケーションを選択して実行する。ユーザーが現実シーンにおける二次元コードを第１のカメラの撮影範囲内まで移動させた場合、二次元コード識別ユニット１２３は、自動的に二次元コードを追従して識別し、かつ対応するコード値情報および空間位置情報を取得する。仮想シーン生成ユニット１２５は、二次元コード識別ユニット１２３とカップリングし、二次元コード識別ユニット１２３からの空間位置情報に基づいて、マッチングする仮想シーンを探して見つける。仮想リアルタイムレンダリングユニット１２７は、探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した仮想シーンと現実シーンとを混合して液晶ディスプレイに表示する。
【００５６】
一つの具体的な実施例において、スマート演算端末１２は、さらに、インタラクションユニット１２９を含み、人間の顔または手のインタラクション操作を識別し、かつインタラクション操作に基づいて現実シーンに隠されている三次元情報を受け取り、これにより三次元情報と仮想シーンにおける三次元物体とを直接的にインタラクションさせ、デバイスのインタラクションの娯楽性を向上させる。上記現実シーンは、例えば、書籍、単語カード、科学技術館又は博物館における物体と環境画像を含む。
【００５７】
また、該手持ち式閲覧デバイスは、さらに、記憶ユニット（図示せず）を含み、拡張現実アプリケーションに対応する仮想シーンのデータを記憶することにより、デバイスのオフライン状態における拡張現実体験を実現する。
【００５８】
図４は、図３における手持ち式閲覧デバイスを採用して拡張現実の閲覧画面を実現するフローチャートである。
【００５９】
図４および図３に示すように、まず、ステップＳ１０１およびＳ１０３を実行し、ユーザーは、インターネットにより複数の拡張現実アプリケーションを取得し、かつそのうちの一つのアプリケーションを起動する。続いて、ステップＳ１０５およびＳ１０７において、第１のカメラは、ビデオキャプチャーと捕捉を開始し、収集して捕捉した現実シーンをディスプレイに表示し、ユーザーは第１のカメラの撮影範囲内において該現実シーンの二次元コードを自由に移動する。続いて、ステップＳ１０９に示すように、二次元コードを自動的に追従して識別する。最後は、ステップＳ１１１を実行し、システムは、二次元コードに対応する三次元仮想物体をレンダリングしてかつ液晶ディスプレイに表示する。また、ユーザーは、さらに、インタラクションを介して現実シーンに隠された三次元情報を提供することにより仮想三次元物体と直接的にインタラクションさせることができる。
【００６０】
図５は、図２における手持ち式閲覧デバイスのスマート演算端末の他の一つの具体的な実施例を示す図である。図５に示すように、本実施例において、スマート演算端末１２は、さらに、メインスレッド（ｍａｉｎ  ｔｈｒｅａｄ）処理ユニット１３１とサブスレッド処理ユニット１３３を含む。メインスレッド処理ユニット１３１は、スマート演算端末１２が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行する。複数のサブスレッド処理ユニット１３３は、画像収集の操作を実行し、かつ画像収集の結果をメインスレッド処理ユニット１３１に伝送して戻させる。例えば、メインスレッド処理ユニット１３１は、まず、サブスレッド処理ユニット１３３へ画像収集リクエストを送信し、サブスレッド処理ユニット１３３は、該画像収集リクエストに基づいて画像収集の操作を行い、かつ画像収集の結果をメインスレッド処理ユニット１３１に伝送して戻させて後続処理を行う。
【００６１】
図６は、本発明の更なる他の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧方法を説明するためのフローチャートである。
【００６２】
図６および図２に示すように、本閲覧方法において、まず、ステップＳ２１を実行し、ビデオキャプチャーユニット１０は、第１のカメラを介して現実シーンを捕捉する。続いて、ステップＳ２３およびＳ２５を実行し、スマート演算端末１２は、捕捉した現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得する。続いて、空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成する。続いて、ステップＳ２７において、音声出力ユニット１４は、スピーカーを介して仮想シーンに対応する音声情報を出力する。最後に、ステップＳ２９を実行し、円形の形状を呈する液晶ディスプレイ１６は、スマート演算端末１２により生成した閲覧画面を表示する。
【００６３】
一つの具体的な実施例において、手持ち式閲覧方法は、さらに、手持ち式閲覧デバイスを移動する際、現実シーンにおける二次元コードが移動し、スマート演算端末が移動した二次元コードに基づいて仮想シーンにおける画面の移動を制御し、液晶ディスプレイが手持ち式閲覧デバイスの移動した後の動的閲覧画面を出力するステップを含む。
【００６４】
一つの具体的な実施例において、手持ち式閲覧方法は、さらに、カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ仮想シーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくステップを含む。例えば、仮想シーンにおける三次元物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られる。
【００６５】
図７は、図６における手持ち式閲覧方法を採用する第１の実施例に係る拡張現実の効果を示す図である。
【００６６】
図７に示すように、ユーザーは、手持ち式閲覧デバイスを博物館の名画に合わせるときに、デバイスの主カメラは、該名画を捕捉し、かつ予め設定した仮想三次元動画と現実の物体とを混合する。最終的に、円形ディスプレイ１１には、名画が本来の現実シーンにおける静的画面から混合した後の動的画面に変更し始めるという画面効果を見える。
【００６７】
図８は、図６における手持ち式閲覧方法を採用する第２の実施例に係る拡張現実の効果を示す図である。
【００６８】
図８に示すように、ユーザーは、手持ち式閲覧デバイスを地球儀における、ある地域（例えば、エジプト）に合わせるときに、デバイスの主カメラ２２は、捕捉し始め、かつ予め設定した三次元仮想動画を地球儀に投影する。最終的に、円形ディスプレイ２１には、該地域の上に該国家の特徴的な動画（例えば、ピラミッドと大スフィンクス）を浮かび出すとう効果を見える。例えば、子供は、この「科学拡大鏡」（即ち、手持ち式閲覧デバイス）を持って地球儀のある国家地域に合わせる場合、円形ディスプレイには、地球儀において、該国の伝統的な服を着る三次元人物が立ち、及びそのほかの情報の画像、例えば、有名な建築物、歴史・人文などが現れるという画面効果を呈し、これらの異なる類型の画像は、ボタンにより切り替える。
【００６９】
図９は、図６における手持ち式閲覧方法を採用する第３の実施例に係る拡張現実の効果を示す図である。
【００７０】
図９に示すように、ユーザーは、手持ち式閲覧デバイスを書物またはカードに合わせると、デバイスのカメラ３１は、動作し始め、かつ三次元仮想画像３２を書物に投影する。最終的に、円形ディスプレイには、書物に現実シーンと仮想シーンとを混合してなる三次元立体画面が現れていることが見える。
【００７１】
図１０は、図６における手持ち式閲覧方法を採用する第４の実施例に係る拡張現実の效果を示す図である。
【００７２】
図１０に示すように、ユーザーは、手持ち式閲覧デバイスを現実シーンのおもちゃの戦車に合わせると、デバイスのカメラは、動作し始め、デバイスにおけるスマート演算端末により処理された後に、最終的に、円形ディスプレイには、戦車の傍には宇宙船が戦車を攻撃しており、子供は、該デバイスを利用して戦車とインタラクションして戦車を操作し、拡張現実技術により仮想と現実との結合を実現することができ、戦車の銃身が移動しながら発砲し、攻撃する宇宙船を次々と撃ち落とすという画面効果が見える。
【００７３】
本発明の手持ち式閲覧デバイス及びその方法によれば、ビデオキャプチャーユニットが第１のカメラを介して現実シーンを捕捉し、スマート演算端末が現実シーンにおける二次元コードを識別することによりコード値情報および空間位置情報を取得し、その後、空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成し、円形の形状を呈する液晶ディスプレイがスマート演算端末により生成した閲覧画面を表示する。既存技術に比べて、本発明は、スマート演算端末を利用することにより、現実シーンと高度にマッチングし、迫真な視覚、聴覚、触覚、力強さ感、および動感などを有する仮想環境を生成して、ユーザーと仮想三次元環境との直接的なインタラクションを実現できる。こうすると、子供は、学習過程において言語勉強、画像認知および三次元デジタルモデルを自然に関連付けて、より多くの次元の感官刺激を増強させ、学習効率を向上させ、エデュテインメントを実現できる。
【００７４】
以上、図面を参照して本発明の具体的な実施形態について説明した。しかし、いわゆる当業者は、本発明の技術的思想および範囲から逸脱しない前提で、本発明の具体的な実施形態に対して、各種の変更や置換を行うことができる、と理解すべきである。これらの変更および置換は、いずれも本発明の請求項により限定される範囲に含まれる。
【図１】
2017522682.tif 000003
【図２】
2017522682.tif 000004
【図３】
2017522682.tif 000005
【図４】
2017522682.tif 000006
【図５】
2017522682.tif 000007
【図６】
2017522682.tif 000008
【図７】
2017522682.tif 000009
【図８】
2017522682.tif 000010
【図９】
2017522682.tif 000011
【図１０】
2017522682.tif 000012
【国際調査報告】
2017522682.tif 000013
2017522682.tif 000014
2017522682.tif 000015
2017522682.tif 000016