(57)【要約】【課題】複雑な操作を行うことなく、転記元の物体の情報を、転記先の物体に転記する技術を提供することを目的とする。【解決手段】複数の実物体を検出する検出手段と、複数の実物体から転記元の実物体と転記先の実物体とを決定する決定手段と、転記元の実物体と転記先の実物体とを解析する解析手段と、転記先の実物体の転記先領域を取得する取得手段と、転記元の実物体の解析の結果と、転記先の実物体の解析の結果と、転記先領域の形状と、に基づいて、転記元の実物体の記載内容を含む転記情報を生成する生成手段と、転記情報を印刷する指示をする印刷指示手段と、を有することによって課題を解決する。【選択図】図４
2017045313.tif 000002
【特許請求の範囲】
【請求項１】
複数の実物体を検出する検出手段と、
前記複数の実物体から転記元の実物体と転記先の実物体とを決定する決定手段と、
前記転記元の実物体と前記転記先の実物体とを解析する解析手段と、
前記転記先の実物体の転記先領域を取得する取得手段と、
前記転記元の実物体の解析の結果と、前記転記先の実物体の解析の結果と、前記転記先領域の形状と、に基づいて、前記転記元の実物体の記載内容を含む転記情報を生成する生成手段と、
前記転記情報を印刷する指示をする印刷指示手段と、
を有する画像処理装置。
【請求項２】
前記取得手段は、前記転記先の実物体の解析の結果に基づいて、前記転記先の実物体の余白領域を取得し、前記余白領域を前記転記先領域として取得する請求項１記載の画像処理装置。
【請求項３】
前記取得手段は、ユーザの転記先領域の選択操作に基づいて、前記転記先の実物体の転記先領域を取得する請求項１記載の画像処理装置。
【請求項４】
前記転記情報が印刷された印刷物の貼り付け指示を表示する表示手段を更に有する請求項１乃至３何れか１項記載の画像処理装置。
【請求項５】
前記表示手段は、更に、前記印刷物の貼り付け位置を示すオブジェクトを前記転記先の実物体に表示する請求項４記載の画像処理装置。
【請求項６】
前記転記情報を前記転記先の実物体に表示するプレビュー表示手段を更に有する請求項１乃至５何れか１項記載の画像処理装置。
【請求項７】
前記転記先領域を変更する領域変更手段を更に有する請求項１乃至６何れか１項記載の画像処理装置。
【請求項８】
前記転記情報の文字サイズを変更する文字サイズ変更手段を更に有する請求項１乃至７何れか１項記載の画像処理装置。
【請求項９】
前記解析手段は、前記転記先の実物体を解析し、解析の結果、前記転記先の実物体に記載されている文字の文字サイズを取得し、
前記生成手段は、前記文字サイズに基づき、前記転記情報を生成する請求項１乃至８何れか１項記載の画像処理装置。
【請求項１０】
前記解析手段は、前記転記先の実物体を解析し、解析の結果、前記転記先の実物体に記載されている文字のスタイルの書式を取得し、
前記生成手段は、前記書式に基づき、前記転記情報を生成する請求項１乃至８何れか１項記載の画像処理装置。
【請求項１１】
前記解析手段は、前記転記先の実物体を解析し、解析の結果、前記転記先の実物体の記載内容のレイアウトを取得し、
前記生成手段は、前記レイアウトに基づき、レイアウトされた前記転記情報を生成する請求項１乃至８何れか１項記載の画像処理装置。
【請求項１２】
前記解析手段は、前記転記先の実物体を解析し、解析の結果、前記転記先が立体物か否かを取得し、
前記取得手段は、前記転記先が立体物である場合、前記転記先の実物体の表面形状が平らな部分の余白領域を取得し、前記余白領域を前記転記先領域として取得する請求項２記載の画像処理装置。
【請求項１３】
前記転記元の記載内容を転記するのに前記転記先領域が不足している場合、前記記載内容を転記するための指示メッセージを表示する指示メッセージ表示手段を更に有する請求項１乃至１２何れか１項記載の画像処理装置。
【請求項１４】
前記解析手段は、前記転記先の実物体を解析し、解析の結果、前記転記先の実物体の形状属性を取得し、
前記指示メッセージ表示手段は、前記転記先の実物体の形状属性に基づいて、前記指示メッセージを表示する請求項１３記載の画像処理装置。
【請求項１５】
前記転記元の記載内容を転記するのに前記転記先領域が不足している場合、前記記載内容を転記するための別手段を表示する別手段表示手段を更に有する請求項１３又は１４記載の画像処理装置。
【請求項１６】
前記解析手段は、前記転記先の実物体を解析し、解析の結果、前記転記先の実物体の形状属性を取得し、
前記別手段表示手段は、前記転記先の実物体の形状属性に基づいて、前記別手段を表示する請求項１５記載の画像処理装置。
【請求項１７】
前記解析手段は、前記転記元の実物体と前記転記先の実物体とを解析し、解析の結果、前記転記元の実物体の内容属性が分割可能か否かと、前記転記先の実物体の形状属性が直方体か否かと、を取得し、
前記転記元の記載内容を転記するのに前記転記先領域が不足している場合で、前記転記元の実物体の内容属性が分割可能で、前記転記先の実物体の形状属性が直方体である場合、前記取得手段は、前記転記先の実物体の面と面とにまたがるように前記転記先の実物体の転記先領域を取得し直す請求項１乃至１６何れか１項記載の画像処理装置。
【請求項１８】
前記生成手段は、前記転記先領域の形状が、前記転記先の実物体の面と面とにまたがる形状の場合、折り曲げ部分には内容が印刷されないよう、前記転記情報を生成する請求項１７記載の画像処理装置。
【請求項１９】
複数の実物体を検出する検出手段と、
前記複数の実物体から転記元の実物体と転記先の実物体とを決定する決定手段と、
前記転記元の実物体と前記転記先の実物体とを解析する解析手段と、
前記転記先の実物体の転記先領域を取得する取得手段と、
前記転記元の実物体の解析の結果と、前記転記先の実物体の解析の結果と、前記転記先領域の形状と、に基づいて、前記転記元の実物体の記載内容を含む転記情報を生成する生成手段と、
前記転記情報を印刷する指示をする印刷指示手段と、
を有する画像処理システム。
【請求項２０】
画像処理装置が実行する情報処理方法であって、
複数の実物体を検出する検出ステップと、
前記複数の実物体から転記元の実物体と転記先の実物体とを決定する決定ステップと、
前記転記元の実物体と前記転記先の実物体とを解析する解析ステップと、
前記転記先の実物体の転記先領域を取得する取得ステップと、
前記転記元の実物体の解析の結果と、前記転記先の実物体の解析の結果と、前記転記先領域の形状と、に基づいて、前記転記元の実物体の記載内容を含む転記情報を生成する生成ステップと、
前記転記情報を印刷する指示をする印刷指示ステップと、
を含む情報処理方法。
【請求項２１】
画像処理装置が実行する情報処理方法であって、
複数の実物体を検出する検出ステップと、
前記複数の実物体から転記元の実物体と転記先の実物体とを決定する決定ステップと、
前記転記元の実物体と前記転記先の実物体とを解析する解析ステップと、
前記転記先の実物体の転記先領域を取得する取得ステップと、
前記転記元の実物体の解析の結果と、前記転記先の実物体の解析の結果と、前記転記先領域の形状と、に基づいて、前記転記元の実物体の記載内容を含む転記情報を生成する生成ステップと、
前記転記情報を印刷する指示をする印刷指示ステップと、
を含む情報処理方法。
【請求項２２】
コンピュータを、請求項１乃至１８何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
現在普及しているＭＦＰ等の複写装置では、紙の情報を読み取り装置で読み取り、サイズを変更する等の設定に従い、印刷用紙へ印刷する等の機能を持っている。近年では、ＭＦＰ等の読み取り装置の代わりにデジタルカメラやスマートフォン等で撮影し、表示や印刷するシステムが提案されている。
例えば、特許文献１では原稿台上に上向きに原稿を置き、原稿台上部に取りつけられた撮像手段を用いて、原稿を非接触で読み取り、投影装置によりコピー表示する方法が提案されている。特許文献２では、印刷用紙への印刷ではなく、適切なサイズに印刷し貼り付けることで、任意の物体への印刷を実現する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４１２３３号公報
【特許文献２】特開２０１４−１９０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の方法では、コピーした内容をノートといった任意の物体に転記することはできない。特許文献２の方法では、任意の物体に貼り付けるために、位置の指定や貼り付けサイズの認識といった作業があり、簡単ではない。
本発明は、複雑な操作を行うことなく、転記元の物体の情報を、転記先の物体に転記する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
そこで、本発明の画像処理装置は、複数の実物体を検出する検出手段と、前記複数の実物体から転記元の実物体と転記先の実物体とを決定する決定手段と、前記転記元の実物体と前記転記先の実物体とを解析する解析手段と、前記転記先の実物体の転記先領域を取得する取得手段と、前記転記元の実物体の解析の結果と、前記転記先の実物体の解析の結果と、前記転記先領域の形状と、に基づいて、前記転記元の実物体の記載内容を含む転記情報を生成する生成手段と、前記転記情報を印刷する指示をする印刷指示手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、複雑な操作を行うことなく、転記元の物体の情報を、転記先の物体に転記する技術を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理システムの処理の概要を説明する図である。
【図２】撮影投影装置のハードウェア構成の一例を示す図である。
【図３】撮影投影装置のソフトウェア構成の一例を示す図である。
【図４】撮影投影装置の情報処理の一例を示すフローチャートである。
【図５】ステップＳ４０５の属性判定の情報処理の一例を示すフローチャートである。
【図６】ステップＳ４０８の転記情報生成の情報処理の一例を示すフローチャートである。
【図７】作業台に転記元実物体と転記先実物体とを置き、俯瞰した俯瞰図である。
【図８】転記元実物体の領域等を解析した一例を示す図である。
【図９】転記先実物体の領域等を解析した一例を示す図である。
【図１０】リフローした結果を示す図である。
【図１１】印刷物の貼り付け等の一例を示す図である。
【図１２】転記先領域の変更等の一例を示す図である。
【図１３】転記先の書式やレイアウトに合わせる一例を示す図である。
【図１４】転記先実物体が立体物の場合の一例を示す図である。
【図１５】指示メッセージや別手段の提示の一例を示す図である。
【図１６】転記先実物体が直方体や円柱の場合の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜実施形態１＞
はじめに、図１を用いて情報処理システム（以下、画像処理システム）の処理概要を説明する。
作業台１０１は、ユーザが作業を行うためのテーブルやカウンター等の作業台である。
撮影投影装置１０２は、作業台１０１へＵＩ（ユーザインターフェース）を投影表示し、作業台１０１を撮影する機能を有する。転記元実物体１０３は、ユーザが転記したい情報を持っている紙文書や本やパンフレットといった実物体である。転記先実物体１０４は、転記元実物体１０３に記載の情報を転記する先となる紙や手帳やノートといった実物体である。
【００１０】
図２は、画像処理システムに含まれる撮影投影装置１０２のハードウェア構成の一例を示す図である。
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、各種処理のための演算や論理判断等を行い、バス２０２に接続された各種要素を制御する。
メモリ２０３は、プログラムメモリとデータメモリとを保持する。プログラムメモリには、プログラムが格納される。メモリ２０３はＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）であってもよいし、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であってもよいし、これらの組合せで実現されてもよい。
記憶装置２０４は、以下の実施形態に係るデータやプログラムを記憶しておくためのハードディスク等の装置である。
撮影装置２０５は、レンズと撮像素子を持ち、レンズから入射する光を撮影し画像データに現像する装置である。本実施形態では、撮影装置２０５は、主に作業台１０１を撮影し、転記元実物体１０３、転記先実物体１０４の情報を認識するための画像データの取得に利用される。
【００１１】
オブジェクト検出装置２０６は、作業台１０１上のオブジェクトを検出する装置である。オブジェクト検出装置２０６は、ユーザからのジェスチャー操作を検出し、また、作業台１０１上に置かれた実物体を検出する。ユーザはオブジェクト検出装置２０６を介して、撮影投影装置１０２又は画像処理システムに指示を行う。オブジェクト検出装置２０６は、例えば、距離画像センサにより実現することができる。また、オブジェクト検出装置２０６の機能は撮影装置２０５を用いてＣＰＵ２０１が画像認識を行うことにより実現してもよい。
投影装置２０７は、ＵＩを表示する装置である。投影装置２０７は、例えば、液晶表示器やレーザー表示器によるプロジェクタ装置により実現することができる。
印刷装置２０８は、転記情報を印刷する装置である。本実施形態では、印刷装置２０８は、印刷裏面に接着材を持つシール紙へ転記情報を印刷する。
ＣＰＵ２０１が、メモリ２０３又は記憶装置２０４に記憶されたプログラムに基づき処理を実行することにより、後述する図３に示す撮影投影装置１０２のソフトウェア構成及び後述する図４〜６のフローチャートの処理が実現される。図４〜図６に示すステップは、全て必要ではなく、適宜省略可能である。
【００１２】
図３は、撮影投影装置１０２のソフトウェア構成の一例を示す図である。
撮影投影装置１０２は、ソフトウェア構成として、システム制御部３０１、ＵＩ表示部３０２、ＵＩ操作部３０３、実物体検出部３０４、転記データ印刷部３０５から構成される。
システム制御部３０１は、撮影投影装置１０２の全体を制御する。
ＵＩ表示部３０２は、システムの画面を描画し、投影装置２０７を介して作業台１０１上に画面を投影する。
ＵＩ操作部３０３は、ユーザによる画像処理システムへの操作を、オブジェクト検出装置２０６を介して検知し、システム制御部３０１へ操作イベントとして通知する。
実物体検出部３０４は、作業台１０１上におかれた転記元実物体１０３、転記先実物体１０４を、オブジェクト検出装置２０６を介して検出し、システム制御部３０１へ通知する。本明細書では投影する表示オブジェクトに対して、実世界に存在する物体を実物体という。実物体とは、例えば、紙や本やノートといった文書、箱等の立体物のことを指す。
転記データ印刷部３０５は、転記元実物体１０３から転記先実物体１０４上へ転記するデータを生成し、印刷装置２０８により印刷する。
【００１３】
図１から図３までの構成は一例であり、その他の形態で実現されてもよい。例えば、撮影装置２０５と投影装置２０７とが撮影投影装置１０２とは独立したハードウェアとして存在してもよい。また、印刷装置２０８が撮影投影装置１０２とは独立したハードウェアとして存在してもよい。また、システム制御部３０１が別のコンピュータとして独立し、それぞれのハードウェアがＵＳＢやネットワークケーブルにより接続され、協調動作してもよい。
また、説明の簡略化のためにＵＩ表示部３０２は、投影装置２０７を介して投影表示しているが、その他の構成でもよい。例えば、ＵＩ表示部３０２は、グラス型表示装置によってＵＩを表示してもよい。
また、撮影投影装置１０２は、ハードウェア構成として、複数のＣＰＵやメモリ、投影装置等を有していていもよい。また、撮影投影装置１０２は、ソフトウェア構成として、後述するフローチャートの処理ごと機能を有していてもよい。
【００１４】
図４は、撮影投影装置１０２の情報処理の一例を示すフローチャートである。
ステップＳ４０１では、実物体検出部３０４は、作業台１０１に置かれた転記元実物体１０３、転記先実物体１０４の２つの実物体を検出し、システム制御部３０１へ通知し、ステップＳ４０２へ進む。この時点では、転記元実物体１０３、転記先実物体１０４の２つの実物体の区別はついていないものとする。例えば、実物体検出部３０４は、オブジェクト検出装置２０６を用いて、予め作業台１０１の台上を撮影しておいて、記憶装置２０４等に画像を記憶しておいてもよい。実物体検出部３０４は、記憶しておいた画像と、転記元実物体１０３、転記先実物体１０４とが作業台１０１に置かれた画像と、の画素差分から転記元実物体１０３、転記先実物体１０４を検出すればよいし、専用のセンサを用いてもよい。その他、実物体検出部３０４は、実物体が紙文書等、四辺を持つ場合には、用紙の辺を直線抽出により抽出し、原稿四辺を推定する方法を用いてもよい。実物体検出部３０４は、直線抽出として、撮像画像をグレースケールへと変換し、ＳｏｂｅｌやＬａｐｌａｃｉａｎフィルタ等の公知のエッジ強調をかけ、ハフ変換や最小近似法等の公知の手法により線分を抽出すればよい。
【００１５】
ステップＳ４０２では、ＵＩ表示部３０２は、システム制御部３０１からの情報に基づき、２つの実物体のどちらが転記元実物体１０３、転記先実物体１０４かをユーザに選択させるＵＩを、投影装置２０７を介して表示する。ＵＩ操作部３０３は、入力されたユーザの操作内容から、２つの実物体が、転記元実物体１０３、転記先実物体１０４の何れかを決定し、決定した結果をシステム制御部３０１へ通知し、ステップＳ４０３へ進む。本実施形態では、ユーザによるＵＩ操作に基づいて、転記元実物体１０３と転記先実物体１０４とを決定しているが、その他の方法を用いてもよい。例えば、ユーザから向かって左側においた実物体を転記元実物体１０３、右側においた実物体を転記先実物体１０４と決定方法を決めておいてもよい。例えば、システム制御部３０１は、決められた決定方法と、ユーザがどちらに物体を置いたかとで、２つの実物体のどちらが転記元か転記先かを決定してもよい。例えば、決定方法は、記憶装置２０４の設定ファイル等に記載されており、システム制御部３０１は、設定ファイルに基づき、決定方法を判断してもよい。また、システム制御部３０１は、ＵＩ操作部３０３を介したユーザ操作に応じて、設定ファイルの決定方法を変更するようにしてもよい。また、システム制御部３０１は、オブジェクト検出装置２０６等を介してユーザがどちらに物体を置いたかの情報を取得する。
【００１６】
ステップＳ４０３では、システム制御部３０１は、撮影装置２０５で撮影した転記元実物体１０３、転記先実物体１０４の画像を記憶装置２０４へ保存し、ステップＳ４０４へ進む。後段の処理のために、システム制御部３０１は、画像のあおり歪みを補正しておく。ステップＳ４０１により抽出された原稿四辺は撮影装置２０５との位置関係によりあおりが生じ、不等辺四角形となっている。不等辺四角形を長方形形状へと補正する演算は、いわゆる逆透視変換演算を用いればよい。変換行列のパラメータについては、逆透視変換の演算式に４頂点の座標を与えることで、得られる連立方程式を、例えば、システム制御部３０１が解くことにより抽出できる。また、撮影装置２０５が常に台に対して一定の角度であれば、システム制御部３０１は、予め設定された逆透視変換のパラメータを用いることができる。
【００１７】
ステップＳ４０４では、システム制御部３０１は、転記元実物体１０３、転記先実物体１０４に記載されている内容の解析、即ち実物体の文字、写真、表等の領域を解析し、ステップＳ４０５へ進む。画像の解析処理については、例えば、システム制御部３０１は、画像解析技術を用いて、画像の文字や図形、写真といった領域を抽出した結果の領域解析情報を得ることができる。また、システム制御部３０１は、文字認識技術を用いて転記元の記載内容を取得することができる。
ステップＳ４０５では、システム制御部３０１は、転記元実物体１０３、転記先実物体１０４の属性を解析し、解析の結果を属性データとして取得し、ステップＳ４０６へ進む。属性は、実物体の形状に関する形状属性と、内容に関する内容属性と、がある。形状属性は、実物体が紙であるか、本であるか、立体物であるかを表す。内容属性は、記載内容が表であるか、内容の分割が可能（分割可能）か、リフローが可能かを表す。ここで、リフローが可能とは、文字列を領域の幅に合わせて変更可能であることを示す。
実物体の属性の解析に関する情報処理については図５のフローチャートを用いて後述する。
【００１８】
ステップＳ４０６では、システム制御部３０１は、ステップＳ４０５で取得した属性データを記憶装置２０４へ保存し、ステップＳ４０７へ進む。
ステップＳ４０７では、システム制御部３０１は、ステップＳ４０４で得た転記先実物体１０４の解析結果から転記に用いる余白領域を検出し、ステップＳ４０８へ進む。システム制御部３０１は、ステップＳ４０４の領域の解析処理の結果から転記先実物体１０４の余白領域の検出を行い、余白領域を転記元の記載内容の転記先領域とする。
ステップＳ４０８では、システム制御部３０１は、ステップＳ４０４で得た転記元実物体１０３の解析結果（例えば、転記元の記載内容）と、ステップＳ４０５で得た属性データと、ステップＳ４０７で得た余白領域の形状と、に基づいて、転記情報を生成し、ステップＳ４０９へ進む。ここで、システム制御部３０１は、転記元の記載内容がレイアウトされた結果としての転記情報を生成する。
転記情報の生成処理については、図６のフローチャートを用いて後述する。
ステップＳ４０９では、ＵＩ表示部３０２は、ステップＳ４０８で作成された転記情報を示す転記情報プレビューのＵＩを表示し、ステップＳ４１０へ進む。
ステップＳ４１０では、転記データ印刷部３０５は、ＵＩ操作部３０３等を介して転記情報プレビューのＵＩにおいてユーザが確認を行った旨の情報を受け取ると、ステップＳ４０８で得た転記情報を印刷するよう、印刷装置２０８に指示し、ステップＳ４１１へ進む。ステップＳ４１０の処理は、印刷指示の一例である。
ステップＳ４１１では、ＵＩ表示部３０２は、投影装置２０７を介してユーザに貼り付けの指示をし、図４に示すフローチャートの処理を終了する。
ユーザに対する貼り付けの指示については、図１１を用いて後述する。
【００１９】
図５は、ステップＳ４０５の属性判定の情報処理の一例を示すフローチャートである。
ステップＳ８０１では、システム制御部３０１は、オブジェクト検出装置２０６を用いて、形状を認識する。システム制御部３０１は、認識の結果、本の形状であると判定すると、ステップＳ８０５に進み、そうでなければステップＳ８０２へ進む。ステップＳ８０５では、システム制御部３０１は、形状属性を本形状とし、ステップＳ８０６へ進む。
ステップＳ８０２では、システム制御部３０１は、オブジェクト検出装置２０６を用いて、実物体の厚みの有無を判別する。システム制御部３０１は、判別の結果、厚みを持っていると判定すると、ステップＳ８０４へ進み、そうでなければステップＳ８０３へ進む。ステップＳ８０４では、システム制御部３０１は、形状属性を立体物としステップＳ８０６へ進む。一方、ステップＳ８０３では、システム制御部３０１は、形状属性を紙とし、ステップＳ８０６へ進む。
ステップＳ８０１からステップＳ８０５までの形状属性の判定処理は、一例である。システム制御部３０１等は、ユーザに選択ＵＩを提示し、形状属性を選択させ、ユーザによって選択された形状属性を取得するようにしてもよい。
【００２０】
ステップＳ８０６では、システム制御部３０１は、ステップＳ４０４で得た領域の解析結果を基に、文字領域のみで構成されているか判定する。システム制御部３０１は、文字領域のみで構成されていれば、ステップＳ８０９へ進み、そうでなければ、ステップＳ８０７へ進む。ステップＳ８０９では、システム制御部３０１は、内容属性に分割可、リフロー可の属性を付与し、図５に示すフローチャートの処理を終了する。
ステップＳ８０７では、システム制御部３０１は、ステップＳ４０４で得た領域の解析結果を基に、表領域のみで構成されているか判定する。システム制御部３０１は、表領域のみで構成されていれば、ステップＳ８１０へ進み、そうでなければステップＳ８０８へ進む。ステップＳ８１０では、システム制御部３０１は、表の属性を付与し、図５に示すフローチャートの処理を終了する。
ステップＳ８０８では、システム制御部３０１は、ステップＳ４０４で得た領域の解析結果を基に、複数の領域から構成されているか判定する。システム制御部３０１は、複数の領域から構成されていれば、ステップＳ８１１へ進み、そうでなければそのまま図５に示すフローチャートの処理を終了する。ステップＳ８１１では、システム制御部３０１は、属性を分割可とし、図５に示すフローチャートの処理を終了する。
ステップＳ８０１からステップＳ８１１までで付与する属性値は一例であり、システム制御部３０１は、その他の属性値を追加してもよい。
【００２１】
図６は、ステップＳ４０８の転記情報生成の情報処理の一例を示すフローチャートである。
ステップＳ９０１では、システム制御部３０１は、ステップＳ４０４の文字の解析の結果より転記先文字サイズの中央値を取得し、転記文字サイズとして設定し、ステップＳ９０２へ進む。
ステップＳ９０２では、システム制御部３０１は、転記元の内容属性がリフロー可、つまり文字領域のみで構成されているかを判定し、リフロー可であればステップＳ９０３へ進み、不可であればステップＳ９０４へ進む。
ステップＳ９０３では、システム制御部３０１は、設定した文字サイズで余白領域の形状に合わせて、転記元の解析結果の文字の流し込み処理を行い、ステップＳ９０５へ進む。ステップＳ９０３の処理は、リフローが可能な場合の処理であり、システム制御部３０１は、横書きの文字列であれば、余白領域の幅に合うようにリフロー、つまり変更、を行う。
ステップＳ９０４では、システム制御部３０１は、設定した文字サイズになるように転記元の画像を拡縮し、ステップＳ９０５へ進む。ステップＳ９０４の処理は、リフロー不可の場合の転記の処理であり、システム制御部３０１は、元の転記元実物体１０３を画像情報として、アスペクト比を保ったまま拡縮する。転記元解析結果の文字サイズ中央値が２０ｐｔで、転記文字サイズが１０ｐｔと決定された場合、システム制御部３０１は、５０％の縮小処理を行う。
ステップＳ９０５では、システム制御部３０１は、ステップＳ９０３、ステップＳ９０４で描画した結果が余白領域に収まるかどうかを判定する。システム制御部３０１は、ステップＳ９０３、ステップＳ９０４で描画した結果が余白領域に収まる場合、ステップＳ９０６へ進み、収まらない場合、ステップＳ９０７へ進む。
ステップＳ９０６では、システム制御部３０１は、転記情報を確定し、図６に示すフローチャートの処理を終了する。
ステップＳ９０７では、システム制御部３０１は、文字サイズを１段階縮小し、ステップＳ９０２へ進み、ステップＳ９０２からステップＳ９０５までの処理を、余白に収まるまで段階的に文字サイズを縮小して繰り返す。
【００２２】
図７は、転記処理を始める際の作業台１０１に転記元実物体５０１として紙文書を置き、転記先実物体５０２としてノートを置き、俯瞰した俯瞰図である。
以下、図４のフローチャートの処理の開始時に図７（ａ）の状態であるとして、より具体的な処理の説明をする。
ステップＳ４０１では、実物体検出部３０４は、図７（ａ）の二つの実物体５０１、５０２を検出する。
ステップＳ４０２では、ＵＩ表示部３０２は、転記元と転記先とを選択可能なＵＩをユーザに提示する。図７（ｂ）のＵＩが転記元と転記先とを選択可能なＵＩの例である。ＵＩ表示部３０２は、投影装置２０７を介して選択指示表示５０３を作業台１０１上へ投影し、ユーザに二つの実物体のどちらが転記先であるかをタッチにより選択させる。ユーザは、例えば、実物体５０１をタッチする。すると、ＵＩ操作部３０３がユーザ操作、即ち実物体５０１をタッチする操作、を検出する。そして、ＵＩ操作部３０３は、実物体５０１が転記元、実物体５０２が転記先と決定する。但し、本ＵＩ例は一例である。ＵＩ表示部３０２は、転記元、転記先をそれぞれユーザに選ばせるようなＵＩを表示してもよい。そして、ＵＩ操作部３０３は、転記元として選択された実物体を、転記元、転記先とて選択された実物体を、転記先と決定するようにしてもよい。また、ＵＩ操作部３０３は、キーボードやマウス等を介したユーザ操作を受け取るようにしてもよい。
ステップＳ４０３では、システム制御部３０１は、転記元実物体５０１の画像、転記先実物体５０２の画像をそれぞれ記憶装置２０４へ保存する。
ステップＳ４０４では、システム制御部３０１は、転記元実物体５０１、転記先実物体５０２の領域の解析を行う。
【００２３】
図８及び図９は、それぞれ転記元実物体５０１、転記先実物体５０２の領域等を解析した一例を示す図である。
図８（ａ）では、転記元実物体５０１を解析した結果、文字領域６０１と文字領域６０２とが得られた例を示している。
図８（ｂ）は解析結果をツリー構造化した例である。転記元実物体５０１には、自身の形状の情報と、２つの文字領域と、が連なる。転記元実物体５０１の形状は矩形で幅と高さとの情報を持ち、文字領域はそれぞれの領域の位置とサイズの情報と文字コードの情報とを持つ。
図９（ａ）では、転記先実物体５０２を解析した結果、左ページ７０１、右ページ７０２、左ページ７０１の子領域として文字領域７０３、写真領域７０４、文字領域７０５、右ページ７０２の子領域として文字領域７０６が得られた例を示している。
ステップＳ４０５では、システム制御部３０１は、転記元実物体５０１、転記先実物体５０２の属性の解析を行う。
転記元実物体５０１に対して、図５のフローチャートを適用すると、形状属性に"紙"が付与される。また、内容属性は文字領域のみであることからステップＳ８０９により"分割可"、"リフロー可"が付与される。
転記先実物体５０２に対して、図５のフローチャートを適用すると、形状属性に"本形状"が付与される。また、内容属性は複数の領域があることからステップＳ８１１により"分割可"が付与される。
ステップＳ４０６では、システム制御部３０１は、ステップＳ４０５で得られた属性データを記憶装置２０４へ保存する。
【００２４】
ステップＳ４０７では、システム制御部３０１は、ステップＳ４０４で得られた転記先実物体５０２の領域の解析結果から、余白領域を算出する。
図９（ｂ）は余白領域算出の例である。斜線で示す余白領域７０７は、転記先実物体５０２から領域の解析結果で得られた文字領域、画像領域を除いた領域である。転記する必要があるため、システム制御部３０１は、一定以上の幅と高さとが得られる矩形領域を、余白領域７０７から探索する。システム制御部３０１は、余白領域左上から順次、最大のサイズが得られるまで矩形を広げ、サイズを評価していく処理で探索を行う。左上原点の場合、矩形７０８、７０９が転記候補余白として算出されるが、それぞれ幅が狭いため、システム制御部３０１は、空白領域として選択しない。システム制御部３０１が、この処理を繰り返すことで、矩形７１０が転記先の余白領域として算出される。
【００２５】
ステップＳ４０８では、システム制御部３０１は、図６のフローチャートに従い、転記情報を生成する。
転記元実物体５０１は、リフロー可であるため、ステップＳ９０３の処理に従い、リフローされる。
図１０（ａ）は、転記先実物体５０２の文字サイズの中央値に合わせてリフローした結果である。ここでは、転記先の余白領域である矩形７１０からはみ出しているため、ステップＳ９０７において、システム制御部３０１は、文字サイズを縮小する。図１０（ｂ）は、文字サイズを１段階小さくし、再度リフローした例である。転記先の余白領域である矩形７１０に収まっているため、ステップＳ９０６において、システム制御部３０１は、転記情報として確定する。
ステップＳ４０９では、ＵＩ表示部３０２は、プレビュー表示を転記先物体の転記先の余白領域に投影する。図１１（ａ）の１１０１がプレビュー投影の例である。
ステップＳ４１０では、転記データ印刷部３０５は、ＵＩ操作部３０３等を介して確認ＵＩにおいてユーザが確認を行った旨の情報、例えば図１１（ａ）のＯＫをユーザが選択した旨の情報、を受け取ると、図１０（ｂ）の転記情報を印刷する。
ステップＳ４１１では、ＵＩ表示部３０２は、印刷した内容の貼り付け指示のＵＩを表示する。
図１１（ｂ）は、貼り付け指示のＵＩの一例である。ＵＩ表示部３０２により、余白領域に、ガイド１１０２が重畳投影される。ユーザは、ガイド１１０２の指示等に従って、印刷物を転記先実物体５０２へ貼り付ける。このことにより、ユーザは、印刷物を貼り付けるべき箇所に綺麗に貼り付けることができる。また、ＵＩ表示部３０２は、実物体の内容の解析の結果等に基づき、印刷物が複数あるような場合に、例えば、１枚目の印刷物を張る箇所、２枚目の印刷物を張る箇所等、印刷物、それぞれの張る箇所をガイドで表示するようにしてもよい。その場合、ＵＩ表示部３０２は、１枚目の印刷物を張る箇所のガイドと、２枚目の印刷物を張る箇所のガイドと、の色を異ならせるようにしてもよいし、ガイドと共に１枚目、２枚目等の文字オブジェクトを投影表示するようにしてもよい。このようにすることにより、ユーザは、複数の印刷物がある場合でも、各印刷物を貼り付けるべき箇所に正しく印刷物を張ることができる。ガイドは、貼り付け位置を示すオブジェクトの一例である。
図１１（ｃ）は、ユーザがガイドに従って印刷物を貼り付けた一例である。
以上説明した通り、本実施形態の画像処理システムを用いることで、作業台１０１の上に転記する２つの実物体を置くことで、余白を認識し、余白形状に合わせた情報の転記が可能となる。
【００２６】
＜実施形態２＞
実施形態１では、転記先の領域はシステム制御部３０１が自動で決定したが、ユーザに選択させてもよい。
図１２（ａ）は、ステップＳ４０９の転記情報プレビューのＵＩ例である。転記元実物体１２０１、転記先実物体１２０２が作業台上に置かれ、ステップＳ４０１からステップＳ４０８までの処理により生成された転記情報１２０３がＵＩ表示部３０２によりプレビュー表示されている。本実施形態では、更に、転記先領域変更ボタン１２０４、文字サイズ変更ボタン１２０５、印刷ボタン１２０６がＵＩ表示部３０２により表示されている。転記先領域変更ボタン１２０４がユーザによりタッチされると、撮影投影装置１０２は、転記先領域変更モードに移行する。
図１２（ｂ）は、転記先領域変更モードのＵＩ表示例である。図１２（ｂ）の例ではステップＳ４０７の転記先余白の算出処理で得られた余白領域１２０７、１２０８がＵＩ表示部３０２により選択可能な転記先領域として表示されている。ここで、転記元属性が分割可の場合は、複数の選択を可能とする。システム制御部３０１は、ユーザの転記先領域の選択操作に基づいて選択された転記先領域の情報を基に、再度、ステップＳ４０７の処理を実行し、転記情報を生成する。
転記先領域変更のＵＩ例は一例である。例えばＵＩ表示部３０２は、ユーザに自由に転記先領域の範囲を指定させるようにしてもよい。そして、システム制御部３０１は、ユーザに指定された転記先領域を、余白領域として取得するようにしてもよい。撮影投影装置１０２は、画面等を介したユーザ操作に応じて、自動で余白領域を算出するか、ユーザに選択させるか、切り換えるようにしてもよい。転記先実物体に余白があり、印刷物を張る箇所が分かるような場合、ユーザは、画面等を操作し、転記先領域を指定するモードを選び、転記先領域の範囲を指定してもよい。このようにすることにより、撮影投影装置１０２が余白領域を算出する処理を省くことができるため、転記データを印刷するまでの処理を早くすることができる。
図１２（ｃ）は、ユーザが余白領域１２０７、１２０８の両方を選択した場合に、再度、システム制御部３０１がステップＳ４０８の処理を行い、転記情報を生成した例である。図１２（Ｃ）の例では、システム制御部３０１が、２つの余白領域が選択されたため、転記元の記載内容を２つに分割し、２つの転記情報を生成した例を示している。
プレビューからの編集操作は一例であり、その他の編集操作を受け付け可能としてもよい。例えば、システム制御部３０１等は、文字サイズ変更ボタン１２０５により、文字サイズ変更処理を受け付けてもよいし、文字の色や配置を細かく修正させてもよい。
以上説明した通り、ＵＩ表示部３０２により転記情報プレビューのＵＩや、転記先領域変更モードのＵＩを表示することにより、ユーザが所望しない転記情報が生成された場合や、所望しない領域が転記先領域として選択された場合、編集操作を行うことができる。
【００２７】
＜実施形態３＞
実施形態１では、システム制御部３０１が、文字サイズを転記先の文字サイズの中央値に合わせた。しかし、システム制御部３０１は、文字のスタイル等の書式やレイアウトを転記先の文字のスタイル等の書式やレイアウトに合わせてもよい。
図１３（ａ）は、表を含んだ転記元実物体１３０１と転記先実物体１３０２との例である。転記元実物体１３０１の表と転記先実物体１３０２表とでは、列の幅が異なる。
図１３（ｂ）の転記情報１３０３は、ステップＳ４０８において、システム制御部３０１が、転記先実物体１３０２の表と同じ表幅で転記情報を生成した例である。
図１３（ｃ）は、印刷した転記情報１３０３を転記先実物体１３０２に貼り付けた例である。ステップＳ４１１では、ＵＩ表示部３０２は、貼り付け指示のＵＩで正確に貼り付け位置を指示することで、正確な貼り付けを可能とする。
以上説明した通り、転記時に書式やレイアウトを転記先に合わせることで、自然な転記が可能となる。
【００２８】
＜実施形態４＞
実施形態１から３まででは、紙からノートへの転記の例を示した。しかし、転記先実物体は立体物でもよい。
図１４（ａ）は、転記元実物体１４０１と、立体物の転記先実物体１４０２との例である。システム制御部３０１は、ステップＳ４０５の処理によって、転記先実物体１４０２の形状属性に"立体物"を付加する。図１４（ｂ）はプレビュー表示の例である。プレビュー表示１４０３が立体物の転記先実物体１４０２の上に表示されている。立体物の場合、ステップＳ４０７の転記先余白の算出処理で、システム制御部３０１は、表面形状が平らな部分に限定してもよい。システム制御部３０１は、平らな部分かどうかを、オブジェクト検出装置２０６の距離画像センサを用いて判断すればよい。また、システム制御部３０１は、その他の方法を用いて平らか否かを判定してもよい。
以上説明した通り、本実施形態の画像処理システムを用いることで、立体物への転記も可能となる。
【００２９】
＜実施形態５＞
実施形態１では、システム制御部３０１は、転記先の余白のサイズ等に合わせて、文字サイズを調節した。しかし、文字サイズが、閾値となるサイズ以下になり視認性が確保できない場合等、ＵＩ表示部３０２は、ユーザに指示メッセージを表示するようにしてもよい（指示メッセージ表示）し、記載内容を転記するための別手段を表示してもよい（別手段表示）。転記先の文字サイズが閾値以下となるのは、転記元の記載内容を転記するのに転記先領域が不足している一例である。指示メッセージとは、転記元の記載内容を転記するのに転記先領域が不足している場合に、記載内容を転記するためのメッセージである。
図１５（ａ）は、転記先実物体１０４に余白がなかった場合のＵＩ表示例である。転記元実物体１５０１と転記先実物体１５０２とがあり、ＵＩ表示部３０２により、指示メッセージ１５０３と別手段提示ボタン１５０４とが表示されている。指示メッセージ１５０３は、転記先が本形状であるため、ページをめくり別ページを開くことで新たな余白領域を算出する手段を提示している。別手段提示ボタン１５０４では、ユーザが指示メッセージに従って操作を行った後でも余白を算出できなかった場合、又はユーザが指示メッセージを受け入れられなかった場合に、本のページに挟み込むための追加ページを印刷することを提示している。
図１５（ｂ）は、転記先の形状属性と指示メッセージと別手段提示との組合せの表を示している。撮影投影装置１０２は、例えば、図１５（ｂ）のような表をメモリ２０３又は記憶装置２０４に記憶している。転記先の形状属性が紙の場合、ＵＩ表示部３０２は、表に基づき、裏返して裏側の余白を算出するか、又は重ねるための追加のページを印刷することを提示する。立体物の場合、ＵＩ表示部３０２は、表に基づき、立体物の向きを変えることで余白を算出するか、又はタグ等の形で印刷することを提示している。この指示メッセージは一例であり、その他の指示でもよい。
以上説明した通り、本画像処理システムを用いることで、余白が不足する場合にも、転記先実物体の形状に応じて、指示や代替手段をＵＩにより提示することで、転記が可能となる。
【００３０】
＜実施形態６＞
実施形態１から５まででは、紙、本、立体物の基本的な処理例を説明したが、その他の応用例を示す。
図１６（ａ）は、転記元実物体１６０１と転記先実物体１６０２とを画像処理システムで処理した例である。転記元実物体１６０１の内容属性が分割可、かつ、転記先実物体１６０２の形状属性が直方体の場合、印刷物を折り曲げることで連続する面に貼ることが可能となる。ステップＳ４０７、ステップＳ４０８の処理で撮影装置２０５から認識できる面の余白領域が不足している場合、ＵＩ表示部３０２は、ステップＳ４０７で認識した余白領域と連続する面が上向きになるよう向きを変更する指示を行う。そして、システム制御部３０１は、再度、ステップＳ４０７で連続する面の余白領域を算出し、余白領域を拡大する。このとき、システム制御部３０１は、転記先の実物体の面と面とにまたがるように転記先の実物体の転記先領域を取得し直す。また、システム制御部３０１は、転記先領域の形状が、転記先の実物体の面と面とにまたがる形状の場合、折り曲げ部分には内容が印刷されないよう、転記情報を生成する。転記先の余白領域１６０３は、連続する２面を使って転記した例である。
図１６（ｂ）は、転記元実物体１６０４と転記先実物体１６０５とを画像処理システムで処理した例である。転記先実物体１６０５の形状属性が円柱であり、形状属性が円柱の場合、印刷物を曲げることで円柱の曲面に印刷物を貼り付けることが可能となる。ステップＳ４０７、ステップＳ４０８の処理で撮影装置２０５から認識できる領域の余白領域が不足している場合、ＵＩ表示部３０２は、円柱の回転を促す指示を行う。そして、システム制御部３０１は、再度、ステップＳ４０７で連続する曲面の余白領域を算出し、余白領域がある場合に、余白領域を拡大する。転記先の余白領域１６０６は円柱の曲面を一周余白領域として転記した例である。
その他に、システム制御部３０１は、転記元実物体が複数ある場合に、二つの転記元をマージして転記情報を生成してもよい。転記元実物体が立体で複数面に転記情報が記載されていたり、本で複数ページに記載されていたり、紙の裏表で記載されていたり、撮影装置２０５が一度の撮影で転記元情報を取得できない場合、ＵＩ表示部３０２は、ユーザ操作を促す。そして、例えば、システム制御部３０１は、複数回に分けて転記元情報を取得してもよい。
以上説明した通り、画像処理システムで対応する属性形状を増やすことで様々な形状の実物体への転記が可能となる。
【００３１】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３２】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した実施形態は任意の組み合わせで実施してもよい。
【００３３】
以上、上述した各実施形態の処理によれば、複雑な操作を行うことなく、転記元の物体の情報を、転記先の物体に転記する技術を提供することができる。
【符号の説明】
【００３４】
１０２  撮影投影装置、２０１  ＣＰＵ、２０３  メモリ、２０４  記憶装置
【図１】
2017045313.tif 000003
【図２】
2017045313.tif 000004
【図３】
2017045313.tif 000005
【図４】
2017045313.tif 000006
【図５】
2017045313.tif 000007
【図６】
2017045313.tif 000008
【図７】
2017045313.tif 000009
【図８】
2017045313.tif 000010
【図９】
2017045313.tif 000011
【図１０】
2017045313.tif 000012
【図１１】
2017045313.tif 000013
【図１２】
2017045313.tif 000014
【図１３】
2017045313.tif 000015
【図１４】
2017045313.tif 000016
【図１５】
2017045313.tif 000017
【図１６】
2017045313.tif 000018