(57)【要約】【課題】重畳表示するコンテンツによって撮影画像または映像の景観が阻害されないようにすることである。【解決手段】画像に、その画像に別の画像を重複しない領域を示す情報と重複する画像を示す識別子とを電子透かしとして埋め込んで印刷する。そして、その印刷物の読取って画像を表示する時には、識別子に紐づいて呼び出された別の画像が上記領域を避けるよう表示位置を移動するか、透過率を上げて表示するよう制御する。【選択図】  図１
2018181053.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影手段と、
前記撮影手段により撮影された前記被写体の画像から合焦点情報を取得する取得手段と、
前記取得手段により取得された合焦点情報に基づいて、前記画像に対して別の画像を重畳しない領域を決定する決定手段と、
前記決定手段により決定された領域に関する情報を電子透かしの情報として生成する生成手段と、
前記画像のデータと前記電子透かしの情報を記録装置に送信し、該記録装置により印刷するよう指示する送信手段とを有することを特徴とする情報処理装置。
【請求項２】
前記画像に対して重畳する前記別の画像を選択する選択手段をさらに有し、
前記生成手段はさらに、前記選択手段により選択された前記別の画像についての情報を電子透かしの情報として生成し、
前記送信手段はさらに、前記別の画像についての電子透かし情報を送信することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記別の画像の候補となる複数の画像を格納する格納手段をさらに有し、
前記複数の画像それぞれには識別子が付与されており、
前記別の画像についての情報は、前記選択手段により選択された画像に付与された識別子と、前記印刷される画像のサイズと前記領域のサイズの比とを含むことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記取得手段は、表示手段の画面に前記画像とともに複数の枠を表示し、前記複数の枠からユーザに対して合焦している枠を指示させることにより、前記合焦点情報を取得し、
前記決定手段は、前記画面における前記指示された枠の座標に基づいて、前記領域を決定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記送信手段は、無線通信により前記記録装置に対して前記画像のデータと前記電子透かしの情報を記録装置に送信することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記別の画像の数は、１つ以上の任意の数であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
記録媒体に印刷された画像を読取る読取手段と、
前記読取手段により読取られた画像を表示する表示手段と、
前記読取手段により読取された画像に電子透かしが存在するかどうかを判断する判断手段と、
前記判断手段により電子透かしが存在すると判断された場合、前記電子透かしの情報に基づいて、前記表示手段に前記画像に重畳する別の画像の表示を制御する制御手段とを有し、
前記電子透かしの情報は、前記画像において前記別の画像を重畳しない領域についての情報と前記別の画像についての情報とを含むことを特徴とする情報処理装置。
【請求項８】
前記制御手段は、前記画像において前記別の画像を重畳しない領域についての情報に基づいて、前記表示手段の画面上に表示される前記画像における前記別の画像の表示位置を前記領域に被らないように移動させることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記制御手段は、前記画像において前記別の画像を重畳しない領域についての情報に基づいて、前記表示手段の画面上に表示される前記画像に前記別の画像の表示が被る場合には、前記別の画像の透過率を上げることを特徴とする請求項７に記載の情報処理装置。
【請求項１０】
前記別の画像についての情報を格納する格納手段をさらに有し、
前記電子透かしの情報に、前記別の画像が複数、存在することを示す場合、前記制御手段は、前記格納手段に格納された前記複数の別の画像それぞれについての情報から、前記別の画像の表示順序又は表示方法を決定し、該決定された表示順序又は表示方法に従って前記複数の別の画像を前記表示手段に表示するよう制御することを特徴とする請求項７に記載の情報処理装置。
【請求項１１】
前記表示方法は、前記複数の別の画像の表示が前記領域に被る場合に、当該画像の表示位置を移動させることと、当該画像の透過率を上げることのいずれかを含むことを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記記録媒体に印刷された画像は、請求項１乃至６のいずれか１項に記載の情報処理装置により印刷の指示がなされた記録装置により印刷されたものであることを特徴とする請求項７乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項７乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置及びプログラムに関し、特に、例えば、撮影された画像に重畳される画像が撮影された画像の景観を損なわないように表示制御する技術に関する。
【背景技術】
【０００２】
従来より、印刷物に対し特定のマーカや不可視な電子透かしを付与し、印刷を行う印刷装置、印刷方法がある。また、スマートフォンに代表される、撮影とその撮影物の表示を同時に行える、撮影及び表示機能付き携帯端末が普及している。これにより、印刷物に付与された特定のマーカを読取り、撮影した画像、動画に対し、読取った情報に基づいたコンテンツを重畳表示し携帯端末のディスプレイに表示する技術が知られている。
【０００３】
また、画像の合成において、顔認識等の画像認識技術を用いて、ユーザが操作することなく、自動で画像の合成箇所を決定する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９９７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら従来のＡＲ（拡張現実感：Argumented Reality）技術では重畳するコンテンツの表示制御を行っていない場合が多く、撮影した画像や動画の景観が、重畳表示したコンテンツによって損われる可能性がある。例えば、特許文献１は顔認証を用いて、顔を認識した場合にはその部分に何の画像も重畳表示しないという画像合成方法を提案しているが、この場合では人物写真以外の写真には対応することができないという課題がある。
【０００６】
本発明は上記従来例に鑑みてなされたもので、撮影した被写体の景観を損なうことなく自動的に別の画像を重畳表示することができる情報処理装置及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の情報処理装置は次のような構成を有する。
【０００８】
即ち、被写体を撮影する撮影手段と、前記撮影手段により撮影された前記被写体の画像から合焦点情報を取得する取得手段と、前記取得手段により取得された合焦点情報に基づいて、前記画像に対して別の画像を重畳しない領域を決定する決定手段と、前記決定手段により決定された領域に関する情報を電子透かしの情報として生成する生成手段と、前記画像のデータと前記電子透かしの情報を記録装置に送信し、該記録装置により印刷するよう指示する送信手段とを有することを特徴とする。
【０００９】
また本発明を他の側面から見れば、記録媒体に印刷された画像を読取る読取手段と、前記読取手段により読取られた画像を表示する表示手段と、前記読取手段により読取された画像に電子透かしが存在するかどうかを判断する判断手段と、前記判断手段により電子透かしが存在すると判断された場合、前記電子透かしの情報に基づいて、前記表示手段に前記画像に重畳する別の画像の表示を制御する制御手段とを有し、前記電子透かしの情報は、前記画像において前記別の画像を重畳しない領域についての情報と前記別の画像についての情報とを含むことを特徴とする情報処理装置を備える。
【００１０】
さらに本発明を他の側面から見れば、コンピュータを上記構成の情報処理装置それぞれに記載の各手段として機能させるためのプログラムを備える。
【発明の効果】
【００１１】
本発明によれば、ユーザ操作なくとも、重畳した別の画像により撮影した画像や動画をその景観を損なうことなく表示できるという効果がある。
【図面の簡単な説明】
【００１２】
【図１】本発明の代表的な実施例である情報処理システムの概略構成を示すブロック図である。
【図２】アプリケーションを起動したとき最初にスマートフォンに表示される画面を示す図である。
【図３】アプリケーションが記録装置と無線通信を行って印刷を行わせる場合に表示される画面を示す図である。
【図４】アプリケーションが画像読取を実行する場合に表示される画面を示す図である。
【図５】表示画像と合焦点との関係を示す図である。
【図６】合焦点情報から画面上におけるコンテンツの非配置領域を決定する際の計算処理を示すフローチャートである。
【図７】実施例１に従う、電子透かし読取とコンテンツの表示位置の変更処理を示すフローチャートである。
【図８】実施例１の変形例に従う電子透かし読取とコンテンツの表示位置の変更処理を示すフローチャートである。
【図９】実施例２に従う電子透かし読取とコンテンツの表示変更処理を示すフローチャートである。
【図１０】実施例３に従うコンテンツ表示位置の変更処理を示すフローチャートである。
【図１１】アプリケーション内のデータベースに格納された情報を示す図である。
【図１２】実施例４に従うコンテンツ表示方法の変更処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下添付図面を参照して本発明の好適な実施例について、さらに具体的かつ詳細に説明する。なお、以下の説明では、図面全体を通して、同じ構成要素に対して同じ参照番号を付して言及する。そのため、一度説明した構成要素に対しては同じ参照番号を用いて言及し、その説明を繰り返すことはしない。
【００１４】
図１は本発明の代表的な実施例である情報処理システムの概略構成を示すブロック図である。図１に示されるように、この情報処理システムは、情報処理装置１００と記録装置１１１で構成され、それぞれの通信部により互いに通信可能である。
【００１５】
情報処理装置１００は、表示部１０１、出力インタフェース１０２、ＣＰＵ１０３、撮影部１０４、外部記憶装置１０５、入力インタフェース１０６、ＲＡＭ１０７、ＲＯＭ１０８、通信部１０９を含む。一方、記録装置１１１は、プリンタエンジン１１２、プリンタコントローラ１１３、通信部１１４を含む。
【００１６】
表示部１０１は、ＬＥＤやＬＣＤなどから構成され、データ表示や情報処理装置１００の状態の通知を行う。なお、表示部１０１の画面上に、数値入力キー、モード設定キー、決定キー、取り消しキー、電源キー等のキーを備えるソフトキーボードを設けることで表示部１０１を介してユーザ入力を受け付けても良い。出力インタフェース１０２は、表示部１０１がデータ表示や情報処理装置１００の状態通知を行うための制御を行う。ＣＰＵ１０３は、情報処理装置１００の全体の動作を制御する。
【００１７】
撮影部１０４はレンズなどの光学系を介して結像した対象物をＣＣＤなどの撮影素子で撮影し、その撮像信号をデジタル画像データに変換する。得られたデジタル画像データは一度ＲＡＭ１０７に格納され、その後、記録装置１１１が実行するプログラムで所定の画像フォーマットに変換され、画像データとして外部記憶装置１０５に保存される。
【００１８】
外部記憶装置１０５は、大容量のフラッシュメモリなどを集積したＳＳＤなどで構成され、上記画像データのみならず、他の情報処理装置やインターネットから取得した画像データ、次のプログラムなども保存している。そのプログラムには、印刷アプリケーション、情報重畳表示アプリケーション、記録装置１１１が解釈可能な印刷情報を生成する印刷情報生成プログラム、記録装置１１１との間で情報を送受信するための通信制御プログラム等を含む。
【００１９】
入力インタフェース１０６は、ユーザからのデータ入力や動作指示を受け付けるためのインタフェースであり、物理キーボードやボタン、タッチパネル等で構成される。なお、前述の出力インタフェース１０２と入力インタフェース１０６とを同一の構成とし、画面出力とユーザからの操作の受付けを同一の構成で行うような形態としても良い。
【００２０】
ＲＡＭ１０７は、バックアップ電源付きのＳＲＡＭ等で構成される。このため、プログラム制御変数等の重要なデータを揮発させずに格納できる。また、ＲＡＭ１０７には情報処理装置１００の設定情報や管理データ等を格納する領域も設けられている。さらに、ＲＡＭ１０７は、ＣＰＵ１０３に対するメインメモリと作業領域としても用いられる。
【００２１】
ＲＯＭ１０８は、ＣＰＵ１０３が実行する制御プログラムやデータテーブル、組み込みオペレーティングシステム（以下、ＯＳ）等の固定データを格納する。この実施例では、ＲＯＭ１０８に格納されている各制御プログラムは、ＲＯＭ１０８に格納されている組み込みＯＳの管理下で、スケジューリングやタスク切り替え、割り込み処理等の実行制御を行う。
【００２２】
通信部１０９は記録装置１１１の通信部１１４と接続してデータ通信を実行する。通信部１０９は、例えば、通信部１１４内のアクセスポイント（不図示）に接続可能である。通信部１０９と通信部１１４のアクセスポイントが接続することで、情報処理装置１００と記録装置１１１は相互に通信可能となる。なお、通信部１０９は無線通信で通信部１１４とダイレクトに通信しても良いし、情報処理装置１００や通信部１１４の外部に存在する外部アクセスポイント（不図示）を介して通信しても良い。
【００２３】
無線通信方式としては、例えば、Ｗｉ−Ｆｉ（商標登録）やＢｌｕｅｔｏｏｔｈ（商標登録）等が挙げられる。また、外部アクセスポイントとしては、例えば、無線ＬＡＮルータ等の機器などが挙げられる。この実施例では、情報処理装置１００と記録装置１１１とが外部アクセスポイントを介さず直接に接続するダイレクト接続方式を採用している。なお、情報処理装置１００と記録装置１１１とが外部アクセスポイントを介して接続するインフラストラクチャー接続方式を用いても良いことは言うまでもない。
【００２４】
以上の構成の情報処理装置としては、スマートフォンが代表的なものであるが、本発明はこれに限定されず、例えば、携帯端末、ノートＰＣ、タブレット端末、ＰＤＡ（携帯情報端末）、デジタルカメラ等、種々のものを適用可能である。
【００２５】
また、以上の構成の記録装置としては、外部との通信機能を備え、記録ヘッドからインクを記録媒体に吐出して画像を印刷する単機能のインクジェットプリンタが代表的なものであるが、本発明はこれによって限定されるものではない。例えば、プリンタエンジンとして、電子写真方式により形成された画像を記録媒体に転写して印刷するプリンタエンジンを用いても良い。さらに、単機能のプリンタではなく、スキャナ機能やメモリカード読込機能を備えた多機能プリンタ（ＭＦＰ）を用いても良い。さらに、ＦＡＸ機能を加えた複合機を用いても良い。なお、記録装置がモノクロ印刷のみならず、複数の記録剤（インク、トナーなど）を用いたフルカラー印刷が可能なものであっても良いことは言うまでもない。
【００２６】
以上のように、どのような形態であったとしても、本発明は、情報処理装置と記録装置とが有線無線を問わず通信可能であれば、適用可能なものであるので、図１に示すように、特に機能を限定するものではない。
【００２７】
また、以上のように一例として情報処理装置１００と記録装置１１１との処理分担を説明したが、特にこの分担形態に限らず他の形態であってもよい。
【００２８】
以下、上記構成の情報処理システムを共通実施例とする画像処理方法について、いくつかの実施例を説明する。
【実施例１】
【００２９】
まず、情報処理装置１００の代表的な例としてのスマートフォンが印刷と画像の重畳表示処理を行うアプリケーション（以下、アプリケーション）を実行することを前提とした処理や動作について説明する。このアプリケーションはＣＰＵ１０３により実行される。
【００３０】
図２はアプリケーションを起動したとき最初にスマートフォンに表示される画面を示す図である。ユーザがスマートフォンの入力インタフェース１０６を介して指示を行うことにより、外部記憶装置１０５にインストールされたアプリケーションが起動される。
【００３１】
図３は、そのアプリケーションが記録装置１１１と無線通信を行って印刷を行わせる場合に表示される画面を示す図である。図４は、そのアプリケーションが画像読取を実行する場合に表示される画面を示す図である。
【００３２】
図２に示すように、アプリケーションを起動するとメイン画面６００が表示される。メイン画面６００は、アプリケーションの主な機能を一覧表示する。ここで、印刷ボタン６０１がユーザに選択された場合、図３（ａ）に示される画像選択画面７００が表示される。一方、読み取りボタン６０２がユーザに選択された場合、図４に示される画面８００が表示される。
【００３３】
アプリケーションは、記録装置を無線通信のネットワーク内において特定するために、その記録装置を特定する情報や機能情報などを登録することが可能である。
【００３４】
ここで、記録装置（プリンタ）を特定する情報として、プリンタの識別情報（ＭＡＣアドレス）、ＩＰアドレス、プリンタの名称などが挙げられる。また、プリンタの機能情報とは、印刷可能な用紙種リストといったプリンタの性能などに関する情報などの情報が挙げられる。アプリケーションがこの特定情報と機能情報を登録する処理を行うことで、外部記憶装置１０５にこれらの情報を関連付けて保存する。このような登録処理が実行されたプリンタのことを登録プリンタと呼び、プリント処理を実行するプリンタのことをカレントプリンタと呼ぶ。
【００３５】
なお、ここでは説明を割愛するが、複数のプリンタを登録することも可能とする。その場合、ユーザは印刷処理を実行する前に、登録プリンタの中からカレントプリンタを選択する。もちろん、登録プリンタが１つであればそのプリンタがカレントプリンタとなる。プリンタの登録処理についてはここでは割愛する。
【００３６】
（１）電子透かしを埋め込んだ画像の印刷処理
ここでは、図２に示したメイン画面６００で印刷ボタン６０１を選択した際の印刷処理について説明する。
【００３７】
印刷ボタン６０１を選択すると、スマートフォンの表示部１０１の画面は、図３（ａ）に示した画像選択画面７００に遷移する。画像選択画面７００では外部記憶装置１０５に格納された画像データのサムネイル画像を表示し、ユーザがサムネイル画像をタッチして選択することで、印刷対象の画像を選択する。図３（ａ）に示すように、選択画像は印刷対象を示すチェックマーク７０１がサムネイル上に表示される。その後、ユーザは画像を決定ボタン７０２を選択する。
【００３８】
この時、アプリケーションは選択画像の付加情報に合焦点情報が存在するか否かを判断する。これは、印刷対象画像の付加情報、例えば、ＥＸＩＦ（Exchangeable image file format）に、合焦点を示す測矩枠の座標、測距枠のサイズ、実際に合焦した測矩枠の全てが存在しているか否かで判断する。ここで、合焦点情報が存在している場合、画面は図３（ｂ）に示す合焦点情報確認画面７０３に遷移する。合焦点情報が存在していない場合、画面は図３（ｃ）に示す合焦点情報入力画面７０６に遷移する。
【００３９】
ここで、合焦点情報から印刷対象の画像に重畳する他の画像の非配置領域を決定する過程について説明する。
【００４０】
図５は表示画像と合焦点との関係を示す図である。
【００４１】
図５には、図３（ａ）で選択された画像に加えて、複数の測距枠２００と合焦した測距枠２００を含む矩形２０１が示されている。
【００４２】
図６は合焦点情報から画面に表示された画像に重畳される別の画像の非配置領域を決定する際の計算処理を示すフローチャートである。
【００４３】
図６によれば、ステップＳ３００では、表示部１０１に表示された実際に合焦した測矩枠を参照し、その中で最も左上に存在するものと最も右下に存在するものの座標を取得する。ステップＳ３０１では、取得された座標のうち、図５に破線で示された、最も左上にあるものと最も右下にあるものを対角線とする矩形２０１を求め、その座標と辺の長さを求める。そして、矩形２０１を表示画像に対して別の画像を重畳しない非配置領域として決定する。
【００４４】
図３（ｂ）に示されるように、合焦点情報確認画面７０３では、非配置領域を矩形７０４とし、選択画像に重ねて表示する。矩形７０４はユーザにより操作が可能であり、スマートフォンでは、フリック、スワイプといった操作で、そのサイズと座標の変更を行うことができる。決定ボタン７０５が選択された時、表示部１０１の画面は、図３（ｄ）に示すコンテンツ選択画面７０９に遷移する。
【００４５】
また、図３（ｃ）に示す合焦点情報入力画面７０６では、非配置領域の代替とする領域を定め、矩形７０７とし、選択画像に重ねて表示する。矩形７０７は、例えば、選択画像のアスペクト比に準じたアスペクト比を持ち、かつ、その選択画像のサイズよりも小さいサイズを一意に定めることなどによって定められる。その他にも、顔認識や物体認識などの一般的な画像認識技術を用いることで定めることができる。矩形７０７はユーザにより操作が可能であり、スマートフォンではフリック、スワイプといった操作で、そのサイズと座標の変更を行うことができる。決定ボタン７０８が選択された時、表示部１０１の画面は、図３（ｄ）に示すコンテンツ選択画面７０９に遷移する。
【００４６】
コンテンツ選択画面７０９では外部記憶装置１０５に格納されたコンテンツのサムネイル画像を重畳する画像の候補として表示し、ユーザがサムネイル画像を選択することで、付加対象のコンテンツを選択する。この時、選択可能なコンテンツは１つである。選択コンテンツは、図３（ｄ）に示すように、付加対象を示すチェックマーク７１０がサムネイル上に表示される。サムネイル画像を選択し、決定ボタン７１１を選択することで、表示部１０１の画面は、図３（ｅ）に示す印刷設定画面７１２に遷移する。
【００４７】
印刷設定画面７１２の表示領域７１３には印刷対象画像のサムネイルを、また、表示領域７１４には、印刷対象画像のサムネイルを表示する。これら印刷対象の画像は、画像選択画面７００でチェックマークを付けた画像と、付加対象のコンテンツはコンテンツ選択画面７０９でチェックマークをつけたコンテンツである。表示領域７１５には、カレントプリンタのプリンタ名を表示する。プリンタ名はカレントプリンタに関連付けて保存されている通信装置特定情報に含まれる名称を表示する。
【００４８】
なお、登録プリンタが複数ある場合には、表示部１０１は、プリンタ選択画面（不図示）などを通じてユーザによって選択された登録プリンタの名称をカレントプリンタとして表示することになる。表示領域７１６には、印刷を実行する際の印刷条件を表示する。ユーザは印刷条件変更画面（不図示）で適宜変更できる。ユーザは印刷開始をアプリケーションに指示する際には、印刷開始ボタン７１７を選択する。この選択により、表示部１０１の画面は、図３（ｆ）に示す印刷中画面７１８に遷移する。
【００４９】
印刷中画面７１８では、アプリケーションはまず、印刷設定、非配置領域、及び選択コンテンツの識別子から電子透かしとして埋め込む情報を生成する。具体的には、印刷設定により設定された用紙サイズから算出される印刷後の画像サイズと非配置領域との上下左右それぞれの辺の比を算出する。算出した比と選択コンテンツの識別子をもって、電子透かし情報とする。
【００５０】
電子透かしは、固有のパターンを持つ不可視な二次元パターンである。アプリケーションはカレントプリンタ（ここではＰｒｉｎｔｅｒ  Ａ）に対して、ユーザが選択した印刷対象画像及び電子透かし情報を、表示領域７１６で表示した印刷条件で印刷処理する指示を送信する。メッセージ７１９には、印刷の進捗やステータスを表示する。印刷中になんらかの問題があって、印刷が継続できなかったり、中止になったりした場合にはユーザにその状態を伝えるために、その旨をメッセージ７１９として表示する。キャンセルボタン７２０を選択すると印刷を中止して、表示部１０１の画面は図３（ｅ）に示した印刷設定画面７１２に戻る。
【００５１】
従って以上説明した実施例によれば、スマートフォンで撮影した画像を印刷する際に、その撮影画像の合焦点情報から、他の画像を重畳すべきではない領域の情報を電子透かしとして画像に埋め込んで印刷することができる。
【００５２】
（２）電子透かしを埋め込んだ画像の読取と表示処理
次に、以上のようにして印刷された画像を読取る読取処理について説明する。
【００５３】
ここでは、メイン画面６００で読み取りボタン６０２を選択した際の処理について説明する。図４（ａ）に示す画面８００は、撮影部１０４により撮影されたオブジェクト（被写体）８０１の画像８０３を表示している。閉じるボタン８０２が選択された際には、表示部１０１の画面はメイン画面６００へ遷移する。
【００５４】
図７は電子透かし読取とコンテンツの表示位置の変更処理を示すフローチャートである。この処理は、図４（ａ）に示す閉じるボタン８０２が選択されるなど、外部より終了が指示されるまで繰り返される。
【００５５】
まずステップＳ４０１では、ＣＰＵ１０３は撮影部１０４が撮影しているオブジェクト８０１内において電子透かしが存在し、それが読み取れているかどうかを判断する。その判断方法については、パターンマッチングに代表される、多くの公知な電子透かし読取技術があるので、ここでは割愛する。ここで、電子透かしが読取れていると判断される場合、処理はステップＳ４０２に進み、コンテンツの識別子から表示すべきコンテンツを決定する。
【００５６】
次にステップＳ４０３では、ＣＰＵ１０３は、そのコンテンツを画面８００に表示する指示を表示部１０１に送る。表示部１０１は指定されたコンテンツを表示する。この時、表示位置は特定のデフォルト位置でもよい。図４（ｂ）はコンテンツ８０４が画像８０３とともに表示されている様子を示している。
【００５７】
ステップＳ４０４では、ＣＰＵ１０３は印刷物となるオブジェクト８０１の全体が撮影部１０４に撮影されているかどうかを判断する。その判断は、例えば、アプリケーションが印刷時に電子透かし情報に印刷物のサムネイル画像を追加し、そのサムネイル画像を用いた物体認識を行うことや、その他の公知の画像認識技術を用いることが考えられる。図８（ｃ）は印刷物となるオブジェクト８０１の全体が撮影部１０４で撮影されていない場合の様子を示している。
【００５８】
印刷物となるオブジェクト８０１の全体が撮影部１０４に撮影されている場合、ステップＳ４０５では、画面上の印刷物のサイズと電子透かしとして埋め込まれている前記比を用いて、非配置領域を算出する。具体的には、画面上の印刷物の上下左右それぞれの辺の長さと、前記比の上下左右それぞれを掛け合わせることで算出する。
【００５９】
さらに、ステップＳ４０６では、ＣＰＵ１０３は表示部１０１上の座標において、コンテンツの描画座標と非配置領域の座標とが重なっているか否かを判断する。ここで、これらの座標が重なっていると判断された場合、処理はステップＳ４０７に進み、ＣＰＵ１０３はコンテンツの描画位置を非配置領域の外部へ移動させる指示を表示部１０１へ送る。表示部１０１はこの指示に応じてコンテンツの描画位置を移動させる処理を実行する。図８（ｄ）は、その移動の様子を示している。図８（ｄ）において、コンテンツ８０５は移動前のコンテンツ、コンテンツ８０６は移動後のコンテンツを示している。
【００６０】
従って以上説明した実施例によれば、ユーザ操作なく重畳表示したコンテンツにより撮影した画像や動画の景観が阻害されることを軽減することができる。
【００６１】
なお、図７を参照して説明した処理により本発明が限定されるものではない。例えば、以下に示すように図７に示した処理を変形した例を用いても良い。
【００６２】
＜変形例＞
図８は実施例１の変形例に従う電子透かし読取とコンテンツの表示位置の変更処理を示すフローチャートである。なお、図８において、既に図７を参照して説明したのと同じ処理ステップには同じステップ参照番号を付し、その説明は省略する。
【００６３】
図８によれば、ステップＳ４０１〜Ｓ４０２を実行後、処理はステップＳ４０４〜Ｓ４０５を実行する。その後、ステップＳ４０８では、非配置領域の座標に被らないように、表示部１０１に対しコンテンツの描画指示を行い、コンテンツを描画する。
【００６４】
以上説明した（１）電子透かしを埋め込んだ画像の印刷処理と（２）電子透かしを埋め込んだ画像の読取と表示処理の２つの処理はアプリケーションによって実行される。これらの処理は、アプリケーションがインストールされている限り、同一のスマートフォンによって実行されても良いし、別々のスマートフォンによって実行されても良い。
【００６５】
また、以上の説明から分かるように、アプリケーションは２つの異なる処理を含んでいる。従って、このアプリケーションが同一のプログラムとして存在しなくしても良く、電子透かしを埋め込んだ画像の印刷処理を実行する第１のプログラムと、電子透かしを埋め込んだ画像の読取と表示処理を実行する第２のプログラムとに分割されていても良い。この場合、第１のプログラムと第２のプログラムが別々のスマートフォンにインストールされ、あるスマートフォンで第１のプログラムを実行し、別のスマートフォンで第２のプログラムが実行されても良い。
【００６６】
もちろん、このアプリケーションが分割されることなく同一のプログラムとして存在し、実行されても良いことが言うまでもなく、この場合には、同一のスマートフォンでも別々のスマートフォンでもこのプログラムが実行されても良い。
【実施例２】
【００６７】
実施例１では、非配置領域にコンテンツを表示しないように、コンテンツの表示位置を移動する構成とした。この例では、コンテンツの表示位置を移動させず、コンテンツ表示を変更させる例について説明する。
【００６８】
図９は実施例２に従う電子透かし読取とコンテンツの表示変更処理を示すフローチャートである。なお、図９において、既に図７を参照して説明したのと同じ処理ステップには同じステップ参照番号を付し、その説明は省略する。
【００６９】
まず、物体認識等の画像認識技術によって、撮影部１０４により撮影している映像の中から印刷を行う対象物を特定する。
【００７０】
図９によれば、ステップＳ４０１において、ＣＰＵ１０３はその特定した対象物に付与された電子透かしが読み取れているかどうかを判断する。その後、ステップＳ４０２〜Ｓ４０６の処理を実行する。そして、ステップＳ４０６において、コンテンツの描画座標と非配置領域の座標とが重なっていると判断された場合、処理はステップＳ４０７’に進む。ステップＳ４０７’では、ＣＰＵ１０３は、コンテンツの透過率を増加させる指示を表示部１０１に送る。表示部１０１はその指示に応じて、コンテンツの透過率を増加させてコンテンツを表示する。この時、透過率の増加量は一定、または特定の基準を用いて変更してもよい。
【００７１】
従って以上説明した実施例によれば、ユーザ操作なく、重畳表示するコンテンツを移動させることなく、重畳表示するコンテンツにより撮影画像や動画の景観が阻害されることを軽減することができる。
【実施例３】
【００７２】
実施例１では、重畳表示を行うコンテンツは１つであったが、ここでは複数のコンテンツを重畳表示する例について説明する。なお、実施例１で既に説明した内容と共通の内容に関しては、その説明を省略し、ここでは、この実施例に特有の内容についてのみ説明する。この実施例では、実施例１と同様、コンテンツの表示位置を移動させる制御を実行する。
【００７３】
この場合、実施例１の（１）で説明した電子透かしを埋め込んだ画像の印刷処理において、ユーザは２つ以上のコンテンツを選択し、これら選択されたコンテンツに関する情報が電子透かしとして記録媒体に画像とともに印刷されることとする。
【００７４】
即ち、図３（ｄ）に示したコンテンツ選択画面７０９では外部記憶装置１０５に格納されたコンテンツのサムネイル画像を表示し、ユーザがサムネイル画像を選択することで、付加対象のコンテンツを選択する。この時、選択可能なコンテンツは任意の数とする。選択コンテンツは印刷対象を示すチェックマーク７１０がサムネイル上に表示される。この時、ユーザは複数のサムネイル画像を選択することができる。その後、ユーザは決定ボタン７１１を選択することで、表示部１０１の画面は図３（ｅ）に示す印刷設定画面７１２に遷移する。
【００７５】
以上のようにして画像と電子透かしが印刷された記録媒体を読取って表示する場合に、以下の処理が実行される。
【００７６】
図１０は実施例３に従うコンテンツ表示位置の変更処理を示すフローチャートである。この処理は図７に示したステップＳ４０３の処理後に実行される。
【００７７】
図１０によれば、ステップＳ５０１において、表示部１０１は２つのコンテンツの表示順序を取得する。具体的には、図１１に示すアプリケーション内のデータベースより、各コンテンツの表示順序を取得する。図１１（ａ）には、コンテンツ名とコンテンツファイル名との関係が示されており、図１１（ｂ）にこれに加えて、各コンテンツに対する表示順序と処理内容が示されている。
【００７８】
ステップＳ５０２では、この表示順序に基づき、どちらのコンテンツを上に描画するかを決定し、表示する。この時、その表示位置は特定のデフォルト位置でもよい。
【００７９】
図４（ｅ）は２つのコンテンツ（光）８０６とコンテンツ（星）８０７とが重畳表示されている様子を示している。図４（ｅ）では、コンテンツ（星）８０７をコンテンツ（光）８０６の上に表示する例が示されている。
【００８０】
従って以上説明した実施例によれば、ユーザ操作なく重畳表示した複数のコンテンツにより撮影した画像や動画の景観が阻害されることを軽減することができる。
【実施例４】
【００８１】
実施例３では複数のコンテンツの表示位置を移動させたが、コンテンツ毎に表示方法を制御する例について説明する。
【００８２】
図１２は実施例４に従うコンテンツ表示方法の変更処理を示すフローチャートである。
【００８３】
図１２によれば、ステップＳ１１００では、表示部１０１上の座標において、コンテンツの描画座標と非配置領域の座標が重なっているか否かを判断する。ここで、重なっていると判断された場合、処理はステップＳ１１０１に進み、コンテンツ毎の処理方法を取得する。ここでは、図１１（ｂ）に示したアプリケーションが参照するデータベースから、コンテンツ毎の処理方法を取得する。これによれば、コンテンツとして光が雲が選択されれば、表示位置の移動処理を行い、コンテンツとして星が選択されれば、コンテンツの表示透過率を変更する。
【００８４】
ステップＳ１１０２において、ＣＰＵ１０３は、コンテンツ毎に取得された処理方法に従ってコンテンツを表示するよう表示部１０１に指示する。表示部１０１はその指示に応じてコンテンツを表示する。図４（ｆ）はコンテンツ毎に異なる処理がなされた結果を示している。図４（ｆ）では、コンテンツ（星）８０９はデフォルトの位置から移動され、コンテンツ（光）８１０は透過率を上げて表示されている様子が示されている。
【００８５】
従って以上説明した実施例によれば、ユーザ操作なく画像に重畳表示される複数のコンテンツに異なる処理を施して表示するので、撮影画像や動画の景観が阻害されることを軽減することができる。
【００８６】
なお、実施例３、４では説明を簡単にするために、２つのコンテンツを重畳表示する例について説明したが、３つ以上のコンテンツを重畳表示できることは言うまでもない。
【００８７】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８８】
１００  情報処理装置、１０１  表示部、１０２  出力インタフェース、
１０３  ＣＰＵ、１０４  撮影部、１０５  外部記憶装置、
１０６  入力インタフェース、１０７  ＲＡＭ、１０８  ＲＯＭ、１０９  通信部、
１１１  印刷装置、１１２  プリンタエンジン、１１３  プリンタコントローラ、
１１４  通信部、２００  測矩枠、２０１  矩形
【図１】
2018181053.tif 000003
【図２】
2018181053.tif 000004
【図３】
2018181053.tif 000005
【図４】
2018181053.tif 000006
【図５】
2018181053.tif 000007
【図６】
2018181053.tif 000008
【図７】
2018181053.tif 000009
【図８】
2018181053.tif 000010
【図９】
2018181053.tif 000011
【図１０】
2018181053.tif 000012
【図１１】
2018181053.tif 000013
【図１２】
2018181053.tif 000014