(57)【要約】      （修正有）【課題】撮像画像から認識した対象物に基づいて表示を行う場合に、同じの対象物を用いて異なる複数の表示ができるようにする。【解決手段】画像処理装置１によれば、ＣＰＵ１０は、表示部１４の画面内に特定の対象物がフレームインしたことを認識し、その認識回数をＲＡＭ１１に記憶し、フレームインの認識回数が予め設定した認識回数に一致した場合に、認識回数に応じた所定の表示を表示部１４に行わせる。【選択図】図１
2015065612.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段と、
前記対象物のフレームインが認識された回数を記憶する記憶手段と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
【請求項２】
前記対象物は複数の対象物であり、
前記記憶手段は、前記複数の対象物のそれぞれのフレームインが認識された回数を記憶し、
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数の合計に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。
【請求項４】
前記対象物は２つの対象物であり、
前記制御手段は、前記記憶手段に記憶されている前記２つの対象物のそれぞれのフレームインの認識回数の差に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。
【請求項５】
前記２つの対象物の内、フレームインの認識回数の多い対象物を検出する多認識回数検出手段を備え、
前記制御手段は、前記２つの対象物のそれぞれのフレームインの認識回数の差及び前記多認識回数検出手段によって検出された対象物に応じた所定の表示を前記表示手段に行わせる請求項４に記載の画像処理装置。
【請求項６】
前記表示手段の画面から前記対象物がフレームアウトしたことを認識するフレームアウト認識手段を備え、
前記記憶手段は、更に、前記複数の対象物のそれぞれについてフレームイン又はフレームアウトが認識されたときに、その履歴を記憶し、
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数及び前記記憶手段に記憶されている前記履歴により特定される前記複数の対象物のフレームインとフレームアウトが認識された順序に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。
【請求項７】
前記対象物は、ＡＲマーカ又は予め設定された物体である請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
撮像手段と、前記撮像手段により取得された撮像画像を表示する表示手段とを備えるコンピュータを、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段、
前記対象物のフレームインが認識された回数を記憶する記憶手段、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
【請求項９】
撮像手段と、前記撮像手段により取得された撮像画像を表示する表示手段とを備える画像処理装置における表示制御方法であって、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識する工程と、
前記対象物のフレームインが認識された回数を記憶手段に記憶する工程と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる工程と、
を含む表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び表示制御方法に関する。
【背景技術】
【０００２】
近年、実空間に仮想物体が存在するかのように重畳させる拡張現実技術を用いた拡張現実感システム（ＡＲ（Augmented Reality：拡張現実）システム）が用いられるようになってきている。例えば、ＡＲ用のマーカや予め登録された物体等の特定の対象物を含む画像を撮影すると、撮像画像から対象物を認識し、認識された対象物の種類及び配置した位置に対応して、撮像画像中に仮想物体画像を合成して表示する拡張現実感システムが知られている。
【０００３】
しかし、対象物の認識を用いた拡張現実感システムでは、表示したい仮想物体画像の種類の数だけ対象物が必要となる。そこで、例えば、特許文献１には、マーカ掲示用携帯端末に、複数種類のマーカと仮想物体画像とを対応付けて記憶させておき、ユーザにより選択されたマーカをマーカ掲示用携帯端末に表示することで、複数のマーカの印刷物等を持ち歩かなくても複数種類の仮想物体の中から表示する仮想物体を選択できるようにした技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５０９５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１においても、同じのマーカを認識したときに表示される仮想物体画像は同じであり、他の表示をさせるためにはユーザが選択操作をして、マーカ掲示用携帯端末に表示させるマーカの種類を切り替える必要があった。
【０００６】
本発明の課題は、撮像画像から認識した対象物に基づいて表示を行う場合に、同じの対象物を用いて異なる複数の表示ができるようにすることである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段と、
前記対象物のフレームインが認識された回数を記憶する記憶手段と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える。
【発明の効果】
【０００８】
本発明によれば、撮像画像から認識した対象物に基づいて表示を行う場合に、同じの対象物を用いて異なる複数の表示を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態における画像処理装置の機能的構成を示すブロック図である。
【図２】第１の実施形態における設定情報記憶部のデータ格納例を示す図である。
【図３】図１のＣＰＵにより実行される表示制御処理Ｐ１を示すフローチャートである。
【図４】表示制御処理Ｐ１による表示動作の一例を示す図である。
【図５】手に持つタイプの移動型端末でのフレームイン、フレームアウトの操作方法を示す図である。
【図６】第２の実施形態における設定情報記憶部のデータ格納例を示す図である。
【図７】図１のＣＰＵにより実行される表示制御処理Ｐ２を示すフローチャートである。
【図８】表示制御処理Ｐ２による表示動作の一例を示す図である。
【図９】第３の実施形態におけるＲＡＭの構成例を示す図である。
【図１０】第３の実施形態における設定情報記憶部のデータ格納例を示す図である。
【図１１】図１のＣＰＵにより実行される表示制御処理Ｐ３を示すフローチャートである。
【図１２】表示制御処理Ｐ３による表示動作の一例を示す図である。
【図１３】第４の実施形態における設定情報記憶部のデータ格納例を示す図である。
【図１４】図１のＣＰＵにより実行される表示制御処理Ｐ４を示すフローチャートである。
【図１５】表示制御処理Ｐ４による表示動作の一例を示す図である。
【図１６】第５の実施形態における設定情報記憶部のデータ格納例を示す図である。
【図１７】図１のＣＰＵにより実行される表示制御処理Ｐ５を示すフローチャートである。
【図１８】表示制御処理Ｐ５による表示動作の一例を示す図である。
【図１９】、眼鏡型ＨＭＤでのフレームイン、フレームアウトの操作方法を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１１】
［第１の実施形態］
＜画像処理装置１の構成＞
まず、第１の実施形態に係る画像処理装置１の構成について説明する。
画像処理装置１としては、例えば、スマートフォン、タブレット端末、ノートＰＣ（Personal Computer）、ハンディターミナル等の移動型端末が適用可能である。
【００１２】
図１に、画像処理装置１の機能構成例を示す。図１に示すように、画像処理装置１は、ＣＰＵ（Central Processing Unit）１０、ＲＡＭ（Random Access Memory）１１、記憶部１２、通信部１３、表示部１４、操作部１５、カメラ１６、現在時刻取得部１７等を備えて構成され、各部はバス１８により接続されている。
【００１３】
ＣＰＵ１０は、記憶部１２に記憶されているプログラムを読み出してＲＡＭ１１のワークエリアに展開し、展開したプログラムに従って、後述する表示制御処理Ｐ１を始めとする各種処理を実行する。ＣＰＵ１０は、フレームイン認識手段、フレームアウト認識手段、制御手段として機能する。
【００１４】
ＲＡＭ１１は、揮発性のメモリであり、ＣＰＵ１０により実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。
【００１５】
また、ＲＡＭ１１は、予め設定された特定の対象物Ａのフレームインが認識された回数を記憶するための認識回数カウンタ１１１を有する。対象物Ａは、例えば、ＡＲマーカや特定の物体である。
ここで、フレームインとは、カメラ１６により取得された撮像画像を表示部１４の画面上に表示させている場合において、当該画面上に対象物がない状態から当該画面上に対象物が入ってくることをいう。フレームアウトとは、カメラ１６により取得された撮像画像を表示部１４の画面上に表示させている場合において、表示部１４の画面上に表示されていた対象物が当該画面上からなくなる（出て行く）ことをいう。
【００１６】
記憶部１２は、ＨＤＤ（Hard Disk Drive）、半導体の不揮発性メモリ等により構成される。記憶部１２には、例えば、図１に示すように、プログラム記憶部１２１、対象物記憶部１２２、設定情報記憶部１２３が設けられている。
【００１７】
プログラム記憶部１２１には、ＣＰＵ１０で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。例えば、プログラム記憶部１２１には、後述する表示制御処理Ｐ１を実行するためのプログラム等が記憶されている。これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部１２１に格納されている。ＣＰＵ１０は、当該プログラムコードに従った動作を逐次実行する。
【００１８】
対象物記憶部１２２には、対象物Ａの認識用データが記憶されている。対象物記憶部１２２に記憶される認識用データは、操作部１５や通信部１３によりユーザが設定、変更することが可能である。
対象物Ａとしては、上述のように、ＡＲマーカ、特定の物体等が適用可能である。対象物ＡがＡＲマーカである場合、認識用データとしては、例えば、そのＡＲマーカの画像パターンを示すパターンファイルが記憶される。対象物Ａが特定の物体である場合、認識用データとしては、例えば、特定の物体の撮像画像が格納される。本実施形態においては、対象物ＡがＡＲマーカである場合を例にとり説明する。
【００１９】
設定情報記憶部１２３は、図２に示すように、対象物Ａのフレームインの認識回数と、対象物Ａのフレームインがその認識回数だけ認識されたときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。設定情報記憶部１２３への情報の設定は、操作部１５や通信部１３によりユーザが設定可能である。
【００２０】
通信部１３は、ＬＡＮ（Local Area Network）アダプタやルータ等により構成され、ＬＡＮ等の通信ネットワークを介して外部装置と通信接続し、データ送受信を行う。
【００２１】
表示部１４は、ＬＣＤ（Liquid Crystal Display）等により構成され、ＣＰＵ１０からの表示制御信号に従って、画面上に各種表示を行う表示手段である。
【００２２】
操作部１５は、カーソルキー、各種機能キー、シャッターキーを備え、ユーザによる各キーの押下入力を受け付けてその操作情報をＣＰＵ１０に出力する。また、操作部１５は、表示部１４の表面を覆うように透明電極を格子状に配置したタッチパネル等を有し、手指やタッチペン等で押下された位置を検出し、その位置情報を操作情報としてＣＰＵ１０に出力する。
【００２３】
カメラ１６は、レンズ、絞り、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子を備え、撮像素子上に被写体の光学像を結像し、その像を電気的な信号としてＣＰＵ１０に出力する撮像手段である。
現在時刻取得部１７は、ＲＴＣ（Real Time Clock）等により構成され、現在日時を計測してＣＰＵ１０に出力する。
【００２４】
＜画像処理装置１の動作＞
次に、本実施形態における画像処理装置１の動作について説明する。
図３に、画像処理装置１によって実行される表示制御処理Ｐ１のフローチャートを示す。表示制御処理Ｐ１は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
【００２５】
まず、ＣＰＵ１０は、認識回数カウンタ１１１をリセットする（ステップＳ１０）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ１１）。なお、カメラ１６の起動後、表示制御処理Ｐ１の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。
【００２６】
次いで、ＣＰＵ１０は、対象物Ａのフレームインが認識されるのを待機する（ステップＳ１２）。具体的には、ＣＰＵ１０は、カメラ１６により所定時間毎に取得される撮像画像に対して順次画像処理による対象物認識処理を行う。対象物認識処理は、対象物ＡがＡＲマーカである場合、公知のＡＲマーカの認識処理と同様の手法により行うことができる。例えば、撮像画像から黒枠で囲まれた矩形領域を認識し、この黒枠で囲まれた領域内の画像パターンと、対象物記憶部１２２に記憶されている対象物Ａの認識用データ（即ち、パターンファイル）とを比較し、一致率が所定の閾値以上である場合に、対象物Ａを認識したと判断する。対象物Ａが認識されていなかった状態から認識された状態となったときに、ＣＰＵ１０は、対象物Ａがフレームインしたと認識する。
なお、対象物Ａを特定の物体とした場合は、例えば、記憶部２５に認識用データとして対象物Ａの撮像画像をテンプレート画像として記憶しておき、対象物認識処理として、例えばテンプレートマッチングを行ってカメラ１６により取得された撮像画像から対象物Ａを認識することができる。
【００２７】
対象物Ａのフレームインが認識されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１０は、認識回数カウンタ１１１に１を加算する（ステップＳ１３）。
【００２８】
次いで、ＣＰＵ１０は、認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている認識回数のそれぞれとを比較する(ステップＳ１４)。
比較の結果、認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている認識回数とが一致していると判断した場合（ステップＳ１５；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３においてその一致した認識回数に対応付けて記憶されている表示情報に基づいて表示部１４に表示を行わせ（ステップＳ１６）、ステップＳ１７に移行する。例えば、表示部１４に対象物Ａの認識回数に応じた仮想物体画像を表示させる。
比較の結果、認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている認識回数とが一致していないと判断した場合（ステップＳ１５；ＮＯ）、ＣＰＵ１０は、ステップＳ１７の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。
【００２９】
ステップＳ１７において、ＣＰＵ１０は、対象物Ａのフレームアウトが認識されるのを待機する（ステップＳ１７）。この間、ＣＰＵ１０は、カメラ１６により所定時間毎に取得される撮像画像に対し、上述の対象物認識処理を行い、対象物Ａが認識されなくなった場合に、対象物Ａがフレームアウトしたと認識する。
【００３０】
対象物Ａのフレームアウトが認識されると（ステップＳ１７；ＹＥＳ）、ＣＰＵ１０は、内部クロックにより計時を開始する（ステップＳ１８）。
【００３１】
次いで、ＣＰＵ１０は、フレームアウト後の撮像画像に対し、対象物認識処理を行い、対象物Ａのフレームインが認識されたか否かを判断する（ステップＳ１９）。対象物Ａのフレームインが認識されたと判断した場合（ステップＳ１９；ＹＥＳ）、ＣＰＵ１０は、ステップＳ１３の処理に戻り、ステップＳ１３〜ステップＳ１９の処理を繰り返し実行する。
【００３２】
対象物Ａのフレームインが認識されていないと判断した場合（ステップＳ１９；ＮＯ）、ＣＰＵ１０は、計時開始から（即ち、フレームアウトしてから）所定時間が経過したか否かを判断する（ステップＳ２０）。
計時開始から（即ち、フレームアウトしてから）所定時間が経過していないと判断した場合（ステップＳ２０；ＮＯ）、処理はステップＳ１９に戻る。
計時開始から（即ち、フレームアウトしてから）所定時間が経過したと判断した場合（ステップＳ２０；ＹＥＳ）、ＣＰＵ１０は、ＲＡＭ１１に記憶されている撮像画像及び認識回数カウンタ１１１をリセット（消去）する（ステップＳ２１）。これにより、初期状態となる。
【００３３】
操作部１５から終了指示が入力されるまでステップＳ１２〜ステップＳ２１の処理が繰り返し実行される。操作部１５から終了指示が入力されると（ステップＳ２２；ＹＥＳ）、ＣＰＵ１０は、表示制御処理Ｐ１を終了する。
【００３４】
ここで、上記の表示制御処理Ｐ１による表示動作について、図４に具体例を挙げて説明する。
例えば、図４（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図４（ｂ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は１回であり、これは設定情報記憶部１２３（図２参照）に記憶されている認識回数と一致しているので、認識回数１回に対応付けられている表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。
【００３５】
次に、画像処理装置１を右に動かすと、図４（ｃ）に示すように、対象物Ａが左からフレームアウトする。ここから画像処理装置１を左に動かすと、図４（ｄ）に示すように対象物Ａが左からフレームインする。このとき、対象物Ａのフレームインの認識回数は２回であるが、認識回数２回のときの表示情報は設定情報記憶部１２３に設定されていないため、表示内容は変更されない。
【００３６】
次に、画像処理装置１を上に動かすと、図４（ｅ）に示すように、対象物Ａが下からフレームアウトする。ここから画像処理装置１を下に動かすと、図４（ｆ）に示すように対象物Ａが下からフレームインする。このとき、対象物Ａのフレームインの認識回数は３回であり、これは設定情報記憶部１２３に記憶されている認識回数と一致しているので、設定情報記憶部１２３において認識回数３回に対応付けられている表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。
【００３７】
このように、第１の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして対象物Ａをフレームインさせると、フレームインが認識された回数に応じた所定の表示が行われる。従って、同じ対象物Ａを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。
【００３８】
［第２の実施形態］
次に、第２の実施形態について説明する。
第１の実施形態においては、１つの対象物のフレームインを認識した回数に基づいて表示制御を行う場合について説明したが、第２の実施形態においては、複数の対象物のそれぞれのフレームインを認識した回数に基づいて表示制御を行う場合について説明する。
【００３９】
第２の実施形態における画像処理装置１の構成は、第１の実施形態で図１を用いて説明したものと略同様であるが、認識回数カウンタ１１１の構成、プログラム記憶部１２１に記憶されているプログラムの内容、対象物記憶部１２２及び設定情報記憶部１２３の構成が第１の実施形態と異なる。
【００４０】
認識回数カウンタ１１１は、２つの対象物Ａ、Ｂのそれぞれのフレームインの認識回数を格納するための２つの認識回数カウンタを有している。
プログラム記憶部１２１には、ＣＰＵ１０が後述する表示制御処理Ｐ２をはじめとする各種処理を実行するためのプログラムやプログラムの実行に必要なデータが記憶されている。
対象物記憶部１２２には、２つの対象物Ａ、Ｂのそれぞれの認識用データが記憶されている。
設定情報記憶部１２３には、図６に示すように、対象物Ａ、Ｂのそれぞれのフレームインの認識回数と、対象物Ａ、Ｂのフレームインがその認識回数だけ認識されたときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。
その他の画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。
【００４１】
次に、第２の実施形態の動作について説明する。
図７に、第２の実施形態において画像処理装置１により実行される表示制御処理Ｐ２のフローチャートを示す。表示制御処理Ｐ２は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
【００４２】
まず、ＣＰＵ１０は、認識回数カウンタ１１１をリセットする（ステップＳ３０）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ３１）。なお、カメラ１６の起動後、表示制御処理Ｐ２の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。
【００４３】
次いで、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ３２）。ステップＳ３２の処理はステップＳ１２と同様であるので説明を援用する。
【００４４】
対象物Ａ、Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ３２；ＹＥＳ）、ＣＰＵ１０は、フレームインが認識された対象物に対応する認識回数カウンタ１１１に１を加算する（ステップＳ３３）。
【００４５】
次いで、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３の各レコードに記憶されている対象物Ａ、Ｂの認識回数とを比較する(ステップＳ３４)。
比較の結果、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている何れかのレコードの対象物Ａ、Ｂの認識回数とがそれぞれ一致していると判断した場合（ステップＳ３５；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３においてその一致した対象物Ａ、Ｂの認識回数に対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせ（ステップＳ３６）、ステップＳ３７の処理に移行する。例えば、表示部１４に対象物Ａ、Ｂの認識回数に応じた仮想物体画像を表示させる。
比較の結果、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている対象物Ａ、Ｂの認識回数とが一致していないと判断した場合（ステップＳ３５；ＮＯ）、ＣＰＵ１０は、ステップＳ３７の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。
【００４６】
ステップＳ３７において、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームアウトが認識されたか否かを判断する（ステップＳ３７）。フレームアウトの認識は、図３のステップＳ１７で説明したものと同様であるので説明を援用する。
対象物Ａ、Ｂの何れかのフレームアウトが認識されたと判断した場合（ステップＳ３７；ＹＥＳ）、ＣＰＵ１０は、ステップＳ３９の処理に移行する。
対象物Ａ、Ｂの何れのフレームアウトも認識されていないと判断した場合（ステップＳ３７；ＮＯ）、ＣＰＵ１０は、ステップＳ３２の処理に戻る。
【００４７】
ステップＳ３２において、対象物Ａ、Ｂの何れのフレームインも認識されず（ステップＳ３２；ＮＯ）、対象物Ａ、Ｂの何れかのフレームアウトが認識されたと判断した場合（ステップＳ３８；ＹＥＳ）、ＣＰＵ１０は、ステップＳ３９に移行する。
【００４８】
ステップＳ３９において、ＣＰＵ１０は、全ての対象物Ａ、Ｂがフレームアウトした状態であるか否かを判断する（ステップＳ３９）。全ての対象物Ａ、Ｂがフレームアウトした状態ではないと判断した場合（ステップＳ３９；ＮＯ）、ＣＰＵ１０は、ステップＳ３２の処理に戻る。
全ての対象物Ａ、Ｂがフレームアウトした状態であると判断した場合（ステップＳ３９；ＹＥＳ）、ＣＰＵ１０は、内部クロックにより計時を開始する（ステップＳ４０）。
【００４９】
次いで、ＣＰＵ１０は、フレームアウト後の撮像画像に対し、対象物認識処理を行い、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ４１）。対象物Ａ、Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ４１；ＹＥＳ）、ＣＰＵ１０は、ステップＳ３３の処理に戻る。
【００５０】
対象物Ａ、Ｂの何れのフレームインも認識されていないと判断した場合（ステップＳ４１；ＮＯ）、ＣＰＵ１０は、計時開始から（即ち、フレームアウトしてから）所定時間が経過したか否かを判断する（ステップＳ４２）。
計時開始から（即ち、フレームアウトしてから）所定時間が経過していないと判断した場合（ステップＳ４２；ＮＯ）、処理はステップＳ４１に戻る。
計時開始から（即ち、フレームアウトしてから）所定時間が経過したと判断した場合（ステップＳ４２；ＹＥＳ）、ＣＰＵ１０は、ＲＡＭ１１に記憶されている撮像画像及び認識回数カウンタ１１１をリセット（消去）する（ステップＳ４３）。これにより、初期状態となる。
【００５１】
操作部１５から終了指示が入力されるまでステップＳ３２〜ステップＳ４３の処理が繰り返し実行される。操作部１５から終了指示が入力されると（ステップＳ４４；ＹＥＳ）、ＣＰＵ１０は、表示制御処理Ｐ２を終了する。
【００５２】
ここで、上記の表示制御処理Ｐ２による表示動作について、図８に具体例を挙げて説明する。なお、図８においては、フレームインした対象物を星形で囲んで示している（図１２、図１５、図１８についても同様）。
例えば、図８（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図８（ｂ）に示すように対象物Ａ、Ｂがそれぞれフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は１回であり、これは設定情報記憶部１２３（図６参照）に記憶されている認識回数と一致しているので、設定情報記憶部１２３において対象物Ａの認識回数＝１、対象物Ｂの認識回数＝１に対応付けられている表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。
【００５３】
次に、画像処理装置１を右に動かすと、図８（ｃ）に示すように、対象物Ａ及び対象物Ｂがフレームアウトする。ここから画像処理装置１を左に動かすと、図８（ｄ）に示すように対象物Ａ及び対象物Ｂが左からフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は２回であり、これは設定情報記憶部１２３に記憶されている認識回数と一致しているので、設定情報記憶部１２３において対象物Ａの認識回数＝２、対象物Ｂの認識回数＝２に対応付けられている表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。
【００５４】
このように、第２の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして、対象物Ａ、Ｂをフレームインさせると、それぞれのフレームインが認識された回数に応じた所定の表示が行われる。従って、同じ対象物Ａ、Ｂを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。また、対象物を複数とすることで、対象物１つ当たりの認識回数を増やすことなく切り替え可能な表示の種類を増やすことができる。
【００５５】
［第３の実施形態］
次に、第３の実施形態について説明する。
第２の実施形態においては、複数の対象物のそれぞれのフレームインが認識された回数のみに基づいて表示制御を行う場合について説明したが、第３の実施形態においては、複数の対象物のそれぞれのフレームインが認識された回数と、複数の対象物がフレームイン／フレームアウトした順序とに基づいて表示制御を行う場合について説明する。
【００５６】
第３の実施形態における画像処理装置１の構成は、第１の実施形態で図１を用いて説明したものと略同様であるが、ＲＡＭ１１の構成、プログラム記憶部１２１に記憶されているプログラムの内容、対象物記憶部１２２及び設定情報記憶部１２３の構成は、第１の実施形態と異なる。
【００５７】
ＲＡＭ１１には、図９に示すように、認識回数カウンタ１１１の他、履歴記憶部１１２、認識回数メモリ１１３が設けられている。
認識回数カウンタ１１１は、第２の実施形態と同様、２つの対象物Ａ、Ｂのそれぞれのフレームインの認識回数を格納するための２つの認識回数カウンタを有している。
履歴記憶部１１２は、対象物Ａ、Ｂのフレームイン又はフレームアウトが認識されたときに、その履歴を記憶する。
認識回数メモリ１１３は、認識回数カウンタ１１１の値と設定情報記憶部１２３に設定されている認識回数とが一致したときの認識回数を格納しておくためのメモリである。
【００５８】
プログラム記憶部１２１には、ＣＰＵ１０が後述する表示制御処理Ｐ３をはじめとする各種処理を実行するためのプログラムやプログラムの実行に必要なデータが記憶されている。
対象物記憶部１２２には、第２の実施形態と同様、２つの対象物Ａ、Ｂのそれぞれの認識用データが記憶されている。
設定情報記憶部１２３には、図１０に示すように、対象物Ａ、Ｂのそれぞれのフレームインの認識回数と、対象物Ａ、Ｂのフレームインとフレームアウトの認識順序のパターン（認識パターンという）と、対象物Ａ、Ｂのそれぞれがその認識回数だけ認識されかつ対象物Ａ、Ｂのフレームインとフレームアウトが認識された順序が認識パターンに一致したときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。なお、Ａｉｎは対象物Ａがフレームインしたことを示し、Ａｏｕｔは対象物Ａがフレームアウトしたことを示す。Ｂｉｎは対象物Ｂがフレームインしたことを示し、Ｂｏｕｔは対象物Ｂがフレームアウトしたことを示す。
その他の画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。
【００５９】
次に、第３の実施形態の動作について説明する。
図１１に、第３の実施形態において画像処理装置１により実行される表示制御処理Ｐ３のフローチャートを示す。表示制御処理Ｐ３は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
【００６０】
まず、ＣＰＵ１０は、認識回数カウンタ１１１、履歴記憶部１１２、認識回数メモリ１１３をリセットする（ステップＳ５０）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ５１）。なお、カメラ１６の起動後、表示制御処理Ｐ３の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。
【００６１】
次いで、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ５２）。ステップＳ５２の処理は図３のステップＳ１２と同様であるので説明を援用する。
【００６２】
対象物Ａ、Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ５２；ＹＥＳ）、ＣＰＵ１０は、その対象物のフレームインが認識されたことを示す履歴を履歴記憶部１１２に記憶するとともに（ステップＳ５３）、その対象物に対応する認識回数カウンタ１１１に１を加算する（ステップＳ５４）。
【００６３】
次いで、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３の各レコードに記憶されている対象物Ａ、Ｂの認識回数とを比較する(ステップＳ５５)。
比較の結果、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている何れかのレコードの対象物Ａ、Ｂの認識回数とがそれぞれ一致していると判断した場合（ステップＳ５６；ＹＥＳ）、ＣＰＵ１０は、履歴記憶部１１２に記憶されている履歴により特定される、対象物Ａ、Ｂのフレームインとフレームアウトが認識された順序のパターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとを比較する（ステップＳ５７）。
【００６４】
比較の結果、履歴記憶部１１２に記憶されている履歴による順序パターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとが一致すると判断した場合（ステップＳ５８；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数及び認識パターンに対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせる（ステップＳ５９）。そして、対象物Ａ、Ｂの認識回数カウンタ１１１の値を認識回数メモリ１１３に格納し（ステップＳ６０）、ステップＳ６２の処理に移行する。
比較の結果、履歴記憶部１１２に記憶されている履歴による順序パターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとが一致しないと判断した場合（ステップＳ５８；ＮＯ）、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値を認識回数メモリ１１３に格納し（ステップＳ６０）、ステップＳ６２の処理に移行する。
【００６５】
一方、ステップＳ５６における比較の結果、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３に設定されている対象物Ａ、Ｂの認識回数とが一致していないと判断した場合（ステップＳ５６；ＮＯ）、ＣＰＵ１０は、認識回数メモリ１１３をリセットし（ステップＳ６１）、ステップＳ６２の処理に移行する。
【００６６】
ステップＳ６２においては、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームアウトが認識されたか否かを判断する（ステップＳ６２）。フレームアウトの認識は、図３のステップＳ１７で説明したものと同様であるので説明を援用する。
対象物Ａ、Ｂの何れかのフレームアウトが認識されたと判断した場合（ステップＳ６２；ＹＥＳ）、ＣＰＵ１０は、ステップＳ６４の処理に移行する。
対象物Ａ、Ｂの何れのフレームアウトも認識されていないと判断した場合（ステップＳ６２；ＮＯ）、ＣＰＵ１０は、ステップＳ５２の処理に戻る。
【００６７】
ステップＳ５２において、対象物Ａ、Ｂのフレームインが認識されず（ステップＳ５２；ＮＯ）、対象物Ａ、Ｂの何れかのフレームアウトが認識されたと判断した場合（ステップＳ６３；ＹＥＳ）、ＣＰＵ１０は、ステップＳ６４の処理に移行する。
【００６８】
ステップＳ６４において、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームアウトが認識されたことを示す履歴を記憶する（ステップＳ６４）。
次いで、ＣＰＵ１０は、認識回数メモリ１１３にデータが記憶されているか否かを判断する（ステップＳ６５）。認識回数メモリ１１３にデータが記憶されている場合、対象物Ａ、Ｂのフレームインの認識回数が設定情報記憶部１２３に記憶されている対象物Ａ、Ｂの認識回数と一致していることを示す。
認識回数メモリ１１３にデータが記憶されていない場合（ステップＳ６５；ＮＯ）、ＣＰＵ１０は、ステップＳ６９の処理に移行する。
認識回数メモリ１１３にデータが記憶されていると判断した場合（ステップＳ６５；ＹＥＳ）、ＣＰＵ１０は、履歴記憶部１１２に記憶されている履歴により特定される、対象物Ａ、Ｂのフレームインとフレームアウトが認識された順序のパターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数（認識回数メモリ１１３の回数）に対応付けて記憶されている認識パターンとを比較する（ステップＳ６６）。
【００６９】
比較の結果、履歴記憶部１１２に記憶されている履歴による順序パターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとが一致すると判断した場合（ステップＳ６７；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数及び認識パターンに対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせ（ステップＳ６８）、ステップＳ６９の処理に移行する。
比較の結果、履歴記憶部１１２に記憶されている履歴による順序パターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとが一致しないと判断した場合（ステップＳ６７；ＮＯ）、ＣＰＵ１０は、ステップＳ６９の処理に移行する。
【００７０】
ステップＳ６９において、ＣＰＵ１０は、全ての対象物Ａ、Ｂがフレームアウトした状態であるか否かを判断する（ステップＳ６９）。全ての対象物Ａ、Ｂがフレームアウトした状態ではないと判断した場合（ステップＳ６９；ＮＯ）、ＣＰＵ１０は、ステップＳ５２の処理に戻る。
全ての対象物Ａ、Ｂがフレームアウトした状態であると判断した場合（ステップＳ６９；ＹＥＳ）、ステップＳ７０の処理に移行する。
ステップＳ７０〜ステップＳ７４の処理は、図７のステップＳ４０〜４４で説明したものと同様であるので説明を援用する。
【００７１】
ここで、上記の表示制御処理Ｐ３による表示動作について、図１２に具体例を挙げて説明する。
例えば、図１２（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図１２（ｂ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は０回であり、履歴記憶部１１２に記憶されている履歴は対象物Ａのフレームイン（Ａｉｎ）である。これらは、設定情報記憶部１２３（図１０参照）に記憶されている認識回数及び認識パターンと一致しているので、対応する表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。
【００７２】
更に、画像処理装置１を左に動かすと、図１２（ｃ）に示すように、対象物Ｂもフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は１回となるが、この認識回数は設定情報記憶部１２３に設定されていないため、表示内容は変更されない。
【００７３】
更に、画像処理装置１を左に動かすと、図１２（ｄ）に示すように、対象物Ａがフレームアウトする。このときの対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は１回であるが、この認識回数は設定情報記憶部１２３に設定されていないため、表示内容は変更されない。
【００７４】
ここで、画像処理装置１を右に動かすと、図１２（ｅ）に示すように、対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は１回であり、履歴記憶部１１２に記憶されている履歴は対象物Ａのフレームイン→対象物Ｂのフレームイン→対象物Ａのフレームアウト→対象物Ａのフレームイン（Ａｉｎ→Ｂｉｎ→Ａｏｕｔ→Ａｉｎ）である。これらは、設定情報記憶部１２３に記憶されている認識回数及び認識パターンと一致しているので、対応する表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。
【００７５】
このように、第３の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして、対象物Ａ、Ｂをフレームイン／フレームアウトさせると、対象物Ａ、Ｂのそれぞれのフレームインが認識された回数及び対象物Ａ、Ｂがフレームイン／フレームアウトした順序のパターンに応じた所定の表示が行われる。従って、同じ対象物Ａ、Ｂを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。対象物を複数とすることで、対象物１つ当たりの認識回数を増やすことなく切り替え可能な表示の種類を増やすことができる。また、フレームインが認識された回数が同じでも、対象物Ａ、Ｂがフレームイン／フレームアウトした順序のパターンによって異なる表示を行うことができるので、同じ認識回数に対して切り替え可能な表示の種類を増やすことができる。
【００７６】
［第４の実施形態］
次に、第４の実施形態について説明する。
第４の実施形態においては、複数の対象物のそれぞれを認識した回数の合計に基づいて表示制御を行う場合について説明する。
【００７７】
第４の実施形態における画像処理装置１の構成は、第１の実施形態で図１を用いて説明したものと略同様であるが、認識回数カウンタ１１１の構成、プログラム記憶部１２１に記憶されているプログラムの内容、対象物記憶部１２２及び設定情報記憶部１２３の構成が第１の実施形態と異なる。
【００７８】
認識回数カウンタ１１１は、第２の実施形態と同様に、２つの対象物Ａ、Ｂのそれぞれのフレームインの認識回数を格納するための２つの認識回数カウンタを有している。
プログラム記憶部１２１には、ＣＰＵ１０が後述する表示制御処理Ｐ４をはじめとする各種処理を実行するためのプログラムやプログラムの実行に必要なデータが記憶されている。
対象物記憶部１２２には、第２の実施形態と同様に、２つの対象物Ａ、Ｂのそれぞれの認識用データが記憶されている。
設定情報記憶部１２３は、図１３に示すように、対象物Ａ、Ｂのフレームインの認識回数の合計と、その合計のときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。
その他の画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。
【００７９】
次に、第４の実施形態の動作について説明する。
図１４に、第４の実施形態において画像処理装置１により実行される表示制御処理Ｐ４のフローチャートを示す。表示制御処理Ｐ４は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
【００８０】
まず、ＣＰＵ１０は、認識回数カウンタ１１１をリセットする（ステップＳ８０）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ８１）。なお、カメラ１６の起動後、表示制御処理Ｐ４の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。
【００８１】
次いで、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ８２）。ステップＳ８２の処理は図３のステップＳ１２と同様であるので説明を援用する。
【００８２】
対象物Ａ、Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ８２；ＹＥＳ）、ＣＰＵ１０は、フレームインが認識された対象物に対応する認識回数カウンタ１１１に１を加算する（ステップＳ８３）。
【００８３】
次いで、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値の合計を算出し（ステップＳ８４）、算出した合計と、設定情報記憶部１２３の各レコードに記憶されている認識回数の合計とを比較する(ステップＳ８５)。
【００８４】
比較の結果、算出した合計と、設定情報記憶部１２３に記憶されている何れかのレコードの認識回数の合計とが一致していると判断した場合（ステップＳ８６；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３においてその認識回数の合計に対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせ（ステップＳ８７）、ステップＳ８８の処理に移行する。例えば、表示部１４に対象物Ａ、Ｂの認識回数の合計に応じた仮想物体画像を表示させる。
比較の結果、算出した合計と、設定情報記憶部１２３に記憶されている認識回数の合計とが一致していないと判断した場合（ステップＳ８６；ＮＯ）、ＣＰＵ１０は、ステップＳ８８の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。
【００８５】
ステップＳ８８〜Ｓ９５の処理は、図７のステップＳ３７〜Ｓ４４の処理と同様であるので説明を援用する。
【００８６】
ここで、上記の表示制御処理Ｐ４による表示動作について、図１５に具体例を挙げて説明する。
例えば、図１５（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図１５（ｂ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は０回であり、認識回数の合計は１回である。これは設定情報記憶部１２３（図１３参照）に記憶されている認識回数の合計＝１と一致しているので、認識回数の合計＝１に対応付けられている表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。
【００８７】
次に、画像処理装置１を右に動かすと、図１５（ｃ）に示すように、対象物Ａがフレームアウトする。ここから画像処理装置１を左に動かすと、図１５（ｄ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は０回であり、認識回数の合計は２回である。認識回数の合計＝２回は設定情報記憶部１２３に記憶されていないので、表示は変化しない。
【００８８】
更に、画像処理装置１を左に動かすと、図１５（ｅ）に示すように、対象物Ｂがフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は１回であり、認識回数の合計は３回である。これは設定情報記憶部１２３（図１３参照）に記憶されている認識回数の合計＝３と一致しているので、認識回数の合計＝３に対応付けられている表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。
【００８９】
このように、第４の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして、対象物Ａ、Ｂをフレームインさせると、それぞれのフレームインが認識された回数の合計に応じた所定の表示が行われる。従って、同じ対象物Ａ、Ｂを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。
【００９０】
［第５の実施形態］
次に、第５の実施形態について説明する。
第５の実施形態においては、複数の対象物のそれぞれを認識した回数の差に基づいて表示制御を行う場合について説明する。
【００９１】
第５の実施形態における画像処理装置１の構成は、第１の実施形態で図１を用いて説明したものと略同様であるが、認識回数カウンタ１１１の構成、プログラム記憶部１２１に記憶されているプログラムの内容、対象物記憶部１２２及び設定情報記憶部１２３の構成が第１の実施形態と異なる。
【００９２】
認識回数カウンタ１１１は、第２の実施形態と同様に、２つの対象物Ａ、Ｂのそれぞれのフレームインの認識回数を格納するための２つの認識回数カウンタを有している。
プログラム記憶部１２１には、ＣＰＵ１０が後述する表示制御処理Ｐ５をはじめとする各種処理を実行するためのプログラムやプログラムの実行に必要なデータが記憶されている。
対象物記憶部１２２には、第２の実施形態と同様に、２つの対象物Ａ、Ｂのそれぞれの認識用データが記憶されている。
設定情報記憶部１２３は、図１６に示すように、対象物Ａ、Ｂのフレームインの認識回数の差と、その差のときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。
その他の画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。
【００９３】
次に、第５の実施形態の動作について説明する。
図１７に、第５の実施形態において画像処理装置１により実行される表示制御処理Ｐ５のフローチャートを示す。表示制御処理Ｐ５は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
【００９４】
まず、ＣＰＵ１０は、認識回数カウンタ１１１をリセットする（ステップＳ１００）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ１０１）。なお、カメラ１６の起動後、表示制御処理Ｐ５の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。
【００９５】
次いで、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ１０２）。ステップＳ１０２の処理は図３のステップＳ１２と同様であるので説明を援用する。
【００９６】
対象物Ａ、対象物Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ１０２；ＹＥＳ）、ＣＰＵ１０は、フレームインが認識された対象物に対応する認識回数カウンタ１１１に１を加算する（ステップＳ１０３）。
【００９７】
次いで、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値の差を算出し（ステップＳ１０４）、算出した差と、設定情報記憶部１２３に記憶されている各レコードの認識回数の差とを比較する(ステップＳ１０５)。
【００９８】
比較の結果、算出した差と、設定情報記憶部１２３の何れかのレコードに記憶されている認識回数の差とが一致していると判断した場合（ステップＳ１０６；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数の差に対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせ（ステップＳ１０７）、ステップＳ１０８の処理に移行する。例えば、表示部１４に対象物Ａ、Ｂの認識回数の差に応じた仮想物体画像を表示させる。
比較の結果、算出した差と、設定情報記憶部１２３に記憶されている認識回数の差とが一致していないと判断した場合（ステップＳ１０６；ＮＯ）、ＣＰＵ１０は、ステップＳ１０８の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。
【００９９】
ステップＳ１０８〜Ｓ１１５の処理は、図７のステップＳ３７〜Ｓ４４の処理と同様であるので説明を援用する。
【０１００】
ここで、上記の表示制御処理Ｐ５による表示動作について、図１８に具体例を挙げて説明する。
例えば、図１８（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図１８（ｂ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は０回であり、認識回数の差は１回である。これは設定情報記憶部１２３（図１６参照）に記憶されている認識回数の差＝１と一致しているので、認識回数の差＝１に対応付けられている表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。
【０１０１】
次に、画像処理装置１を右に動かすと、図１８（ｃ）に示すように、対象物Ａがフレームアウトする。次に、画像処理装置１を大きく左に動かすと、対象物Ａ、Ｂがフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は１回であり、認識回数の差は１である。認識回数の差＝１に対応付けられている表示情報は現在と変わらないため、表示は変化しない。
【０１０２】
次に、画像処理装置１を上に動かすと、図１８（ｅ）に示すように、対象物Ａがフレームアウトする。次に、画像処理装置１を下に動かすと、図１８（ｆ）に示すように、対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は３回、対象物Ｂのフレームインの認識回数は１回であり、認識回数の差は２である。これは設定情報記憶部１２３（図１６参照）に記憶されている認識回数の差＝２と一致しているので、認識回数の差＝２に対応付けられている表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。
【０１０３】
このように、第５の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして、対象物Ａ、Ｂをフレームインさせると、それぞれのフレームインが認識された回数の差に応じた所定の表示が行われる。従って、同じ対象物Ａ、Ｂを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。また、第５の実施形態では、対象物Ａ、Ｂのフレームインの認識回数の差に応じた所定の表示に切り替えていたが、ＣＰＵ１０は、更に、対象物Ａ，Ｂのどちらが多いかを検出し、認識回数の差及び検出された対象物に応じた所定の表示に切り替えてもよい。
【０１０４】
以上説明したように、画像処理装置１によれば、ＣＰＵ１０は、表示部１４の画面内への対象物のフレームインの認識回数に応じた所定の表示を表示部１４に行わせる。
従って、同じ対象物を用いて異なる複数の表示を行わせることが可能となる。
【０１０５】
また、対象物を複数とし、複数の対象物のそれぞれのフレームインの認識回数に応じた所定の表示を表示部１４に行わせることで、対象物１つ当たりの認識回数を増やすことなく切り替え可能な表示の種類を増やすことができる。
【０１０６】
また、複数の対象物のそれぞれのフレームインの認識回数の合計や差分に応じた所定の表示を表示部１４に行わせることで、複数の対象物のフレームインの認識回数の合計や差を用いた表示の切り替えを行うことが可能となる。
【０１０７】
また、複数の対象物のそれぞれのフレームインの認識回数及び複数の対象物のフレームインとフレームアウトが認識された順序に応じた所定の表示を表示部１４に行わせるようにすることで、同じ対象物の同じ認識回数に対しても切り替え可能な表示の種類を増やすことができる。
【０１０８】
対象物としては、ＡＲマーカ又は予め設定された物体を用いることができる。
【０１０９】
なお、上記実施形態における記述内容は、画像処理装置の好適な一例であり、これに限定されるものではない。
【０１１０】
例えば、上記各実施形態においては、表示制御に用いる対象物は１種類（第１の実施形態の場合）または１組（第２〜第５の実施形態）であることとして説明したが、対象物は複数種類または複数組あってもよい。この場合、設定情報記憶部１２３は、対象物の種類（組）毎に認識回数等及び認識回数等に応じた表示情報を記憶し、フレームインが認識された対象物の種類（組）に応じた設定情報を用いて表示制御処理が行われる。
【０１１１】
また、第２〜第５の実施形態においては、２つの対象物を用いる場合を例にとり説明したが、３以上の対象物を用いることとしてもよい。
【０１１２】
また、上記各実施形態においては、対象物のフレームインの認識回数等に応じた所定の表示を行う場合を例にとり説明したが、対象物のフレームインの認識回数等に応じたアクション（動作）を画像処理装置１が行うこととしてもよい。即ち、設定情報記憶部１２３の表示情報の代わりに、画像処理装置１が行うアクションを対象物のフレームインの認識回数等に対応付けて記憶しておき、対象物のフレームインの認識回数等が設定情報記憶部１２３に記憶されている回数等と一致した場合に、認識回数等に応じたアクションを行うこととしてもよい。アクションとしては、例えば、改ページ、カメラ１６による撮像、セキュリティーロックの解除等、画面のタップやボタン操作に応じて実行可能な動作の何れとしてもよい。このようにすれば、画面からの入力操作を行うことなく装置を動作させることができ、利便性が向上する。
【０１１３】
また、例えば、上記実施形態においては、画像処理装置１がスマートフォン等の手に持つタイプの移動型端末である場合を例にとり説明したが、眼鏡型ＨＭＤ（Head Mounted Display）等であってもよい。この場合、図１９に示すように、首振り動作でマーカのフレームイン、フレームアウトを行うことができるので、ハンズフリーで表示部１４への表示を切り替えることが可能となる。
【０１１４】
また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【０１１５】
その他、画像処理装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【０１１６】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
＜請求項１＞
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段と、
前記対象物のフレームインが認識された回数を記憶する記憶手段と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
＜請求項２＞
前記対象物は複数の対象物であり、
前記記憶手段は、前記複数の対象物のそれぞれのフレームインが認識された回数を記憶し、
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる請求項１に記載の画像処理装置。
＜請求項３＞
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数の合計に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。
＜請求項４＞
前記対象物は２つの対象物であり、
前記制御手段は、前記記憶手段に記憶されている前記２つの対象物のそれぞれのフレームインの認識回数の差に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。
＜請求項５＞
前記２つの対象物の内、フレームインの認識回数の多い対象物を検出する多認識回数検出手段を備え、
前記制御手段は、前記２つの対象物のそれぞれのフレームインの認識回数の差及び前記多認識回数検出手段によって検出された対象物に応じた所定の表示を前記表示手段に行わせる請求項４に記載の画像処理装置。
＜請求項６＞
前記表示手段の画面から前記対象物がフレームアウトしたことを認識するフレームアウト認識手段を備え、
前記記憶手段は、更に、前記複数の対象物のそれぞれについてフレームイン又はフレームアウトが認識されたときに、その履歴を記憶し、
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数及び前記記憶手段に記憶されている前記履歴により特定される前記複数の対象物のフレームインとフレームアウトが認識された順序に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。
＜請求項７＞
前記対象物は、ＡＲマーカ又は予め設定された物体である請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
撮像手段と、前記撮像手段により取得された撮像画像を表示する表示手段とを備えるコンピュータを、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段、
前記対象物のフレームインが認識された回数を記憶する記憶手段、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
＜請求項９＞
撮像手段と、前記撮像手段により取得された撮像画像を表示する表示手段とを備える画像処理装置における表示制御方法であって、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識する工程と、
前記対象物のフレームインが認識された回数を記憶手段に記憶する工程と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる工程と、
を含む表示制御方法。
【符号の説明】
【０１１７】
１  画像処理装置
１０  ＣＰＵ
１１  ＲＡＭ
１１１  認識回数カウンタ
１１２  履歴記憶部
１１３  認識回数メモリ
１２  記憶部
１２１  プログラム記憶部
１２２  対象物記憶部
１２３  設定情報記憶部
１３  通信部
１４  表示部
１５  操作部
１６  カメラ
１７  現在時刻取得部
１８  バス
【図１】
2015065612.tif 000003
【図２】
2015065612.tif 000004
【図３】
2015065612.tif 000005
【図４】
2015065612.tif 000006
【図５】
2015065612.tif 000007
【図６】
2015065612.tif 000008
【図７】
2015065612.tif 000009
【図８】
2015065612.tif 000010
【図９】
2015065612.tif 000011
【図１０】
2015065612.tif 000012
【図１１】
2015065612.tif 000013
【図１２】
2015065612.tif 000014
【図１３】
2015065612.tif 000015
【図１４】
2015065612.tif 000016
【図１５】
2015065612.tif 000017
【図１６】
2015065612.tif 000018
【図１７】
2015065612.tif 000019
【図１８】
2015065612.tif 000020
【図１９】
2015065612.tif 000021