(57)【要約】紙の利便性や可視性と計算機の多機能性の両メリットを活用できる画像処理装置の提供、事前に全ての画像を取り込む必要なしに紙媒体のままでも画像編集の試行錯誤が可能な作業効率の良い画像処理装置の提供を目的とし、光センサにより紙面画像を電子的に取り込む画像撮像部と、部分画像の切抜きや拡大・縮小などの画像編集を実行する画像編集部と、それら画像処理に関する操作者からの指示を受け付ける操作入力部と、画像を記憶する画像記憶部と、前記画像記憶部で記憶された画像を表示する画像表示部、からなる画像処理装置において、前記画像撮像部と画像表示部に関し、画像表示機能を透過平面上に実装しかつ前記透過平面上に複数の光センサを平面状に配置することにより、画像撮像部と画像表示部とを一体化した画像撮像表示部を有すことによって、利用者は紙と電子の媒体の差異を意識させない人間の直感にあった操作感を実現する。【特許請求の範囲】
【請求項１】
光センサにより紙面画像を電子的に取り込む画像撮像部と、画像に対し部分画像の切抜きや拡大・縮小などの画像編集計算を実行する画像編集部と、それら画像編集に関する利用者からの指示を受け付ける操作入力部と、前記画像撮像部で撮像された画像や前記画像編集部で画像編集された画像を記憶する画像記憶部と、前記画像記憶部で記憶された画像を表示する画像表示部、からなる画像処理装置において、
前記画像撮像部と画像表示部に関し、画像表示素子を透過平面上に実装しかつ前記透過平面上に複数の光センサ素子を平面状に配置することにより画像撮像部と画像表示部とが一体となった透過な画像撮像表示部を利用して、画像撮像表示部の下面においた紙面画像を直接透視することができ同時に画像記憶部に記憶された画像を画像撮像表示部に重ねて表示できることを特徴とする画像処理装置。
【請求項２】
前記請求項１に係る画像処理装置に関し、さらに前記画像撮像表示部と操作入力部とが一体となった画像撮像表示操作部を有すことを特徴とする画像処理装置。
【請求項３】
前記請求項１もしくは２に係る画像処理装置に関し、前記紙面画像の透視を実現するために、前記画像撮像表示部もしくは前記画像撮像表示操作部を透過平面上に構成するのではなく、前記光センサ素子で読み取った紙面画像の画素情報を対応する画像表示素子に送信し表示されることにより、擬似的な透視を可能とすることを特徴とする画像処理装置。
【請求項４】
板状部材を備える画像処理装置であって、
上記板状部材は、
第１の面と、
上記第１の面と反対側の第２の面と、
上記第１の面から入射する撮像対象からの光を電気信号に変換し画像データとして入力する画像撮像部と、上記画像データを表示する画像表示部を備える画像撮像表示層とを有し、
上記撮像対象と上記画像データを、上記第２の面側から同時に視認することを可能とする画像処理装置。
【請求項５】
上記画像撮像表示層には、画像表示素子および光センサ素子を有する画素が平面状に配列されている請求項４記載の画像処理装置。
【請求項６】
上記光センサ素子の上記第２の面側に、遮光膜を配置した請求項５記載の画像処理装置。
【請求項７】
上記画素の少なくとも一部は、層間絶縁膜を除去した光透過領域として構成される請求項５記載の画像処理装置。
【請求項８】
上記画素の少なくとも一部は、素子を形成しない光透過領域として構成される請求項５記載の画像処理装置。
【請求項９】
上記画素にはゲート線と信号線が接続され、該ゲート線と信号線に与える信号により、画像データを入力する画素を選択する請求項５記載の画像処理装置。
【請求項１０】
上記画像データを記憶するメモリを備える請求項４記載の画像処理装置。
【請求項１１】
透明プレートと、メモリと、情報処理装置を備える画像処理装置であって、
上記透明プレートは、
撮像対象を撮像して画像データとして上記メモリに記憶する画像撮像部および上記メモリ中の画像データを表示する画像表示部を備える画像撮像表示層と、
上記透明プレート上の所定領域を指定するための操作入力層とを有し、
上記情報処理装置は、上記操作入力層において所定領域を指定した際に、
（１）上記所定領域内で撮像される画像データの記憶
（２）上記所定領域内に表示されているデータの特定
（３）記憶されたデータと表示されているデータの関連づけ
の処理をおこなう機能を有する画像処理装置。
【請求項１２】
上記操作入力層における所定領域の指定と、アイコンまたはボタンによる入力を契機として、
上記（１）〜（３）の処理が行われる請求項１１記載の画像処理装置。
【請求項１３】
上記画像撮像表示層には、画像表示素子および光センサ素子を有する画素が平面状に配列されている請求項１１記載の画像処理装置。
【請求項１４】
上記透明プレートは、第１の面と、該第１の面と反対側の第２の面を有し、
上記第１の面側に配置した撮像対象を上記第２の面から目視できる構成であり、上記第２の面上でスタイラスペンにより所定領域を指定する機能を備える請求項１１記載の画像処理装置。
【発明の詳細な説明】
【技術分野】  本発明は、画像データを処理する装置に関する。特に、文書や雑誌、新聞など文字や図面、写真等が記載された紙もしくは紙状の媒体を介した画像の収集／編集／整理を支援するのに好適な画像処理装置に関する。
【背景技術】  電子技術が発達した今日においても、紙は人間にとって最も身近でかつ便利なメディアの１つである。後述の非特許文献１にもあるように、紙は見やすい、疲れにくい、人が注釈やコメントなどを自由に書き込めるなど多くの利点がある。それら紙の便利さ故に、たとえば興味がある記事や写真などをハサミ等で切り取ってノートに貼り付け、さらにそれに注釈やコメントを記入するといったことがよく行われてきた。
一方で、紙には不便な点もいくつか存在する。多くの情報量が存在するとかさ張る、紙面内容に関する情報をすばやく検索できない、人が書き込んだ注釈やコメントを直接電子的に活用できない、などの欠点が存在する。特に紙上の画像を拡大／縮小したり、色を変更したりする画像編集が容易に行えない問題があった。また収集・編集された画像が印刷された紙を配布する場合も、手渡しや郵便による送付など物流手段を用いることとなり、手間や時間が掛かるという問題があった。
上記問題に対し、紙面画像を光学的スキャナなどの画像取込装置で電子的に計算機に取り込み、グラフィックソフトで電子的に編集するという方法があった。この方法では、紙面画像を一度計算機の中に取り込んだ後は、画像の拡大／縮小などの画像編集作業は全て計算機内で行う。そのため、画像の複製や拡大／縮小、色の変更などが可能となった。また編集された画像を画像ファイルとして電子的に管理し、必要があればそれら画像ファイルを、プリンタなどを利用して紙に印刷することが可能となった。さらに画像を電子メールに添付したりＷｅｂサーバで配布したりして電子的に送付することにより、手軽に高速にかつ低コストに画像を送信することが可能となった。なお、この従来方法で利用可能な画像取込装置として光学的スキャナのほかに、ＣＣＤカメラやスタンド型スキャナが利用可能である。
【非特許文献１】日経エレクトロニクス２００３／７／２１号、１１４〜１２２頁
【発明の開示】
【発明が解決しようとする課題】  しかし前記の従来方法では、全ての画像編集の作業を計算機内で行うため、画像編集の操作感が現実世界で編集するのに比べて劣るといった問題（以下「問題１」という）があった。確かに計算機内で電子的に編集する場合は、画像の複製や拡大／縮小自体は、キーボードのキークリックやマウスでドラッグなどの簡単な指示により実行できる。しかし、複数の紙を机上に並べて作業する現実世界での場合に比べ、計算機内での操作では、画像の素材の一覧性の低さや、モニタなど限られた範囲でしか閲覧できないなどの理由から、操作感が劣る。
また従来方法では、必要な画像素材を全て事前に取り込んでおかなければならないという問題（以下「問題２」という）があった。画像編集の作業には試行錯誤があるため、事前に全ての画像を取り込んでおくことは大変な手間であった。
本発明は、このような問題に鑑みてなされたものである。
すなわち前記問題１に対し、紙の利便性や可視性と計算機の多機能性の両メリットを活用できる新しい画像処理装置を提供することを、本発明の第１の課題とする。
また前記問題２に対し、事前に全ての画像を取り込む必要なしに紙媒体のままでも画像編集の試行錯誤が可能な作業効率の良い画像処理装置を提供することを、本発明の第２の課題とする。
【課題を解決するための手段】本発明では、前記第１の課題を解決するために、
光センサにより紙面画像を電子的に取り込む画像撮像部と、画像に対し部分画像の切抜きや拡大・縮小などの画像編集を実行する画像編集部と、それら画像編集に関する操作者からの指示を受け付ける操作入力部と、前記画像撮像部で撮像された画像や前記画像編集部で画像処理された画像を記憶する画像記憶部と、前記画像記憶部で記憶された画像を表示する画像表示部、からなる画像処理装置において、前記画像撮像部と画像表示部に関し、画像表示機能を透過平面上に実装しかつ前記透過平面上に複数の光センサを平面状に配置することにより、画像撮像部と画像表示部とを一体化した画像撮像表示部を有すことによって、  利用者は紙と電子の媒体の差異を意識させない人間の直感にあった操作感を提供する。
また、前記第２の課題を解決するために、前記の透明な画像撮像表示部を利用して、下に配置した紙の画面と画像処理装置内に記憶した電子的な画像とを重ね表示することにより、利用者が全ての紙面を事前に撮像することなく画像編集を試行錯誤することを支援する拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）操作を提供する。
本発明の基本的構成をより具体的に説明すると、本発明は板状部材を備える画像処理装置であって、板状部材は、第１の面と、第１の面と反対側の第２の面と、第１の面から入射する撮像対象からの光を電気信号に変換し画像データとして入力する画像撮像部と、画像データを表示する画像表示部を備える画像撮像表示層とを有し、撮像対象と画像データを、第２の面側から同時に視認することを可能とする画像処理装置である。
この画像撮像表示層には、例えば、画像表示素子および光センサ素子を有する画素が平面状に配列されている。光センサ素子の第２の面側には、遮光膜を配置することとし、第１の面側からの光を選択的に検出できるようにすることが好適である。画素の少なくとも一部を、層間絶縁膜を除去した光透過領域としたり、あるいは、素子を形成しない光透過領域として構成することによって、板状部材の透明度を向上させることができる。
画素にはゲート線と信号線を接続することによって、ゲート線と信号線に与える信号により、画像データを入力する画素を選択することができる。画像データを記憶するメモリを備えると、採取した画像データの編集が容易となる。
また、本発明の他の例は、透明プレートと、メモリと、情報処理装置を備える画像処理装置であって、透明プレートは、撮像対象を撮像して画像データとしてメモリに記憶する画像撮像部およびメモリ中の画像データを表示する画像表示部を備える画像撮像表示層と、透明プレート上の所定領域を指定するための操作入力層とを有し、情報処理装置は、操作入力層において所定領域を指定した際に、
（１）所定領域内で撮像される画像データの記憶
（２）所定領域内に表示されているデータの特定
（３）記憶されたデータと表示されているデータの関連づけ
の処理をおこなう機能を有する。この構成によって、使用者は、透明プレートを透過して観察される画像（例えば、透明プレートの下に置かれた写真）と、透明プレートの画像表示部に表示される画像を区別することなく取り扱うことができる。
操作入力層における所定領域の指定と、アイコンまたはボタンによる入力を契機として、（１）〜（３）の処理が行われるように構成することが望ましい。例えば、画像合成ボタン（またはアイコン）を押した後（または前）、透明プレートの所定領域をスタイラスペンで囲むことにより、当該所定領域内で透明プレートを透過して観察される画像（例えば、透明プレートの下に置かれた写真）と、透明プレートの画像表示部に表示される画像を関連づけ処理（例えば合成）することができる。なお、所定領域の指定を省略し、透明プレートに見える画像全てを記憶・特定し、処理することも可能である。これは言い換えれば、全画面を指定領域とすることに相当する。
【発明の効果】  本発明により、利用者は紙と電子の媒体の差異を意識せずに、人間の直感にあった画像編集を行うことが出来る。このことにより利用者に対し、（１）作業効率の向上、（２）画像編集の試行錯誤を支援することによる画像編集の質の向上、という効果がある。
【図面の簡単な説明】  図１は本発明の基本構成を示すブロック図である。
図２は本発明の画像処理装置の一例を示す斜視図である。
図３は本発明の実施形態における画像編集操作の一覧図である。
図４は本発明の実施形態における画像編集操作、特に領域指定操作に関する説明平面図である。
図５は本発明の実施形態における画像撮像表示層の概略構造図である。
図６は本発明の実施形態における画像撮像表示層の画素の平面レイアウト図である。
図７本発明の実施形態における撮像対象紙面画像と画像撮像表示層の画素の概念図である。
図８は本発明の実施形態における撮像対象紙面画像と画像撮像表示層の画素において読取画像を認識した画素の概念図である。
図９は本発明の実施形態における画像撮像表示層の画素の断面図である。
図１０は画像編集作業の一例を示した概念図である。
図１１は画像オブジェクトのデータ構造を示す概念図である。
図１２は本発明の実施形態における画像編集操作、特に移動と拡大縮小、手書き操作に関する説明図である。
図１３ストローク情報のデータ構造を示す概念図である。
【発明を実施するための最良の形態】  図１により本発明に係る画像処理装置の基本構成例について説明する。
画像処理装置１００は、  光センサにより紙面画像を電子的に取り込む画像撮像部１０１と、取り込んだ画像に対し部分画像の切抜きや拡大・縮小などの画像編集を実行する画像編集部１０２と、それら画像処理に関する操作者からの指示を受け付ける操作入力部１０３と、画像撮像部で撮像された画像や前記画像処理部で画像処理された画像を記憶する画像記憶部１０４と、画像記憶部で記憶された画像を表示する画像表示部１０５、からなる。
一例に寄れば、画像処理装置は、画像撮像部１０１と、操作入力部１０３と、画像表示部１０５を兼ねる透明プレート１０７と、画像処理部１０２と画像記憶部１０４を内蔵する基体１０６からなる。
画像処理部は画像処理専用のハードウエアで構成することもできるし、汎用のＣＰＵ上で画像処理用のソフトウエアを動作させることもできる。画像機億部１０４は揮発性もしくは不揮発性のメモリを用いることができる。このメモリは装置外部に増設するように構成することもできる。
図２に基本構成部を実装した形態の例を示す。画像処理装置２００は本体部分２０１、画面部分２０２から構成される。本体部分には、図１の画像編集部１０２と画像記憶部１０４が実装されている。画面部分２０２は、２層の透過平面構造になっており、上層から操作入力層２０３、画像撮像表示層２０４からなる。操作入力層２０３は図１の基本構成部の操作入力部１０３に該当し、スタイラス２１０の接触位置を検出することができる。画像撮像表示層２０４は、図１の基本構成の画像表示部１０５と画像撮像部１０１にあたる。この画像撮像表示層の詳細については後で説明する。なお以降、画面部分２０２を単に「画面」とよぶ。
画像処理装置の基本的な利用方法は、まず画像処理装置２００を画像編集対象の紙２２０の上に置き、領域指定などの画像編集操作はスタイラス２１０を用いて指示する。スタイラス２１０の軌跡を操作入力層２０３で感知し、本体部分２０１内の画像編集部でその操作内容を解釈し、各種画像編集を実行する。もしその過程で紙２２０の画像が必要ならば、そのときに画像撮像表示層２０４で指定領域の紙面画像を撮像する。
次に画像撮像表示層の概要を説明する。
図５は画像撮像表示層の概略構造を示す図である。対角長が約２００ｍｍ前後、厚さが２ｍｍ前後の透明基板５００に、撮像機能と表示機能を併せ持った画素５０１を平面状に配置する構造をとる。図５には模式的に６４画素のみを示しているが、実際は約４０μｍ前後の繰り返しピッチで、多数の画素が配置されることとなる。
図６に画素５０１の平面構造の一例を示す。複数のゲート線ＧＬとそれにマトリクス状に交差する複数の信号線ＳＬとによって囲まれた領域に、多結晶シリコン膜よりなる薄膜光ダイオード（光センサ）ＳＮＲと、アルミニウム（Ａｌ）膜よりなる遮光膜Ｍ１、多結晶シリコンＴＦＴよりなる信号変換および増幅回路ＡＭＰ、有機発光ダイオードよりなる発光素子ＬＥＤ、光透過領域ＯＰＮを有する。
図７により、この画像撮像表示層を用いて、たとえば紙面上の楕円模様７０１を撮像する仕組みについて説明する。模式的に示した６４個の画素内には、それぞれ光センサ、遮光膜、増幅回路、発光素子が配置されているが、光センサ及び増幅回路を構成する多結晶シリコン膜と配線はほぼ透明であるため、遮光膜Ｍ１及び発光素子ＬＥＤを除いた領域を通して紙面画像を見ることが出来る。画像を撮像する際は、楕円模様と遮光膜Ｍ１が重なっている部分で画像を認識する。
図８は、実際に楕円模様を認識する画素を示している。
次に本実施形態での画像撮像表示層の断面構造について説明する。
図９に、図６中のＡ−Ａ’断面構造図を示す。透明基板ＳＵＢに、多結晶シリコン膜よりなる薄膜光ダイオードＳＮＲ、遮光膜Ｍ１、多結晶シリコンＴＦＴよりなる信号変換および増幅回路ＡＭＰ、有機発光ダイオードＬＥＤ、有機発光ダイオードを駆動する多結晶シリコンＴＦＴ回路ＳＷ１により構成されており、光透過領域ＯＰＮの層間絶縁膜Ｌ１は除去されている。
画像撮像表示層で撮像する場合は、まず透明基板ＳＵＢを紙面に密着させる。外光が保護膜Ｌ２側から入射し、印刷物表面で反射した後、光ダイオードＳＮＲに到達する。遮光膜Ｍ１は、保護膜Ｌ２側から直接光ダイオードＳＮＲに入射する光を遮光するため、紙面からの反射光の強弱に対応して、光ダイオード内に光キャリアが発生する。次にゲート線ＧＬと信号線ＳＬに電圧を印加することにより画像を読み取る画素を選択する。選択された画素では、増幅回路ＡＭＰによって光ダイオードに発生した光キャリアが増幅される。同様の動作を、隣接する画素についてそれぞれ繰り返すことによって、選択された画像の二次元情報を電気信号の形で読み取ることができる。
画像撮像表示層で表示する場合は、多結晶シリコンＴＦＴ回路ＳＷ１により有機発光ダイオードＬＥＤに印加する電圧を変えることにより発光量を画素毎に変更することによって、任意の画像を表示することができる。
以上が画像撮像表示層の構造と挙動についての説明である。
次に上記画像処理装置を用いた画像の編集操作について具体的に説明する。
図３は本発明の実施形態における画像編集操作の一覧図である。
図４は本発明の実施形態における画像編集操作、特に領域指定操作に関する説明平面図である。
まず編集操作の種類の一覧を図３で説明する。本実施例では全部で９つの編集操作を規定した。これら編集操作を意味するアイコンを、図４のように画像処理装置の画面端に配置する。利用者は実行したい編集操作を該当するアイコンをスタイラス（４２０）でタッチすることにより画像処理装置に伝える。
個々の編集操作について説明する。まず編集操作の対象範囲を指定する操作が「領域指定」である（アイコン４０１）。対象範囲の指定は図４の囲み線４２１のように、利用者がスタイラスを用いて対象範囲を直接画像処理装置の画面の上に指示する。また特に対象範囲が指定されていない場合は、画像処理装置の全画面に対する操作と見なす。
「移動」は対象範囲の画像を画面内で移動する操作である（アイコン４０２）。利用者はスタイラスを用いて移動を指示後、対象範囲をスタイラスでドラッグ操作して画面上の任意の場所に移動させることが出来る。移動対象の画像は紙面の画像でも画面上に表示された電子画像でもどちらも可能である。紙面の画像を移動させる場合は、移動操作の指示がされたときに対象範囲を撮像し電子的な画像情報として読取った後、電子画像として画面の選択範囲に表示し、スタイラスの移動に合わせて前記電子画像を画面上に移動表示させる。そのときに画像を表示していない画面上のエリアは、下の紙の画像が透過されて表示されることとなる。したがって利用者から見れば、本発明の画像処理装置により紙面の対象領域を切出し、その対象領域の部分のみをもとの紙の上で移動させているような感覚となる。
「拡大縮小」は対象範囲の画像を拡大・縮小する操作である（アイコン４０３）。拡大縮小される画像は紙面画像と電子画像のどちらも可能である。拡大縮小も移動と同様に、紙面画像と電子画像のどちらに対しても操作可能である。
「回転」は対象範囲の画像を回転する操作である（アイコン４０４）。回転も移動や拡大縮小と同様に、紙面画像と電子画像のどちらに対しても操作可能である。
「手書き」はスタイラス（４２０）を用いて利用者がコメントや注釈を自由に書き込む操作である（アイコン４０５）。本実施例では省略するが、手書き操作で記入したストロークの色や線幅、実線／破線などの線スタイルまでも指定できるようなインターフェースを備えても良い。
「保存」は対象範囲の画像を電子的に画像記憶部に格納する操作である（アイコン４０６）。このとき後に保存した画像を検索するために、ファイル名や画像属性のラベルを指定したり、計算機のオペレーティングシステムのファイル管理で一般的に用いられているようなフォルダを用いて階層的に管理したりすることができることが望ましいが、本実施例では単に保存時点での日付と時刻から生成されるファイル名を自動的に用いることとする。
「呼出」は画像記憶部に格納された電子画像を呼び出し画面上に表示する操作である（アイコン４０７）。プレビュー一覧による選択など利用者が目的の画像を検索しやすいような工夫がなされていてもよい。
「削除」は対象範囲の画像を削除する操作である（アイコン４０８）。また呼出のプレビュー一覧表示時に保存されたある画像を指定し削除操作を実行すると、その画像を画像記憶部から削除する。
「取消」は最後に行った操作を取り消し１つ前の状態に戻す操作である（アイコン４０９）。そのために過去に行った操作を画像記憶部に記憶している。取消を複数回連続で実行すると、その回数分前の状態に戻ることとなる。
上記のように本発明の画像処理装置では、必要があるときにのみ暗黙的に撮像を実行するため「撮像」という操作の指示の必要がない。このため利用者には、紙面画像を電子データに変換するといった煩雑な作業を明示的に体験させないため、人間の直感にあった使い勝手の良い操作感を提供することができる。
図１０は画像編集作業の一例を示した概念図である。本発明の画像処理装置を用いた画像編集作業について図１０に示した例にそって説明する。本例は、元書類１０００中の人物写真１００１と写真１０１０中の風景１０１１を合成しかつ手書きメモ１０２３を書き込んだ画像１０２０を作製する場合を想定している。
まず人物写真を取り込む。図４に示したように画像処理装置４００を元書類４１０の上に置き、スタイラス４２０を用いてアイコン４０１をタッチし「領域指定」を指示する。その後スタイラスにより元書類の人物写真の領域４２１を指定する。この作業で自動的に人物写真の画像が画像処理装置の中に取り込まれ１つの画像オブジェクトとなり画像記憶部に一時的に記憶される。
ここで、画像オブジェクトについて説明する。
図１１に見られるように、画像オブジェクトは表１１１０に示したデータ構造をとる。画像ＩＤ（１１１１）とは画像オブジェクトが作成されたときに機械的に割り振られるＩＤで、画像オブジェクト毎にユニークである。ファイル名１１１２は、画像オブジェクトのデータを画像記憶部に保存したときの電子ファイルの名前であり、前述のとおり日付と時刻から自動的に生成されるものである。「保存」操作が実行されておらず一時的に画面に取り込んだ画像は、一時的を意味する「ｔｅｍｐ＿」がファイル名の先頭に付加される。画像幅１１１３と画像高さ１１１４は、画像オブジェクト１１０１の外接矩形１１０２の幅・高さを意味する。また最後の画像データ１１２０には画像の各ピクセルの輝度値情報がバイナリデータとして保存される。以上の画像オブジェクトの値は、画面表示内容と無関係に一定の値となる。その他画像オブジェクトの値１１１５〜１１１９は画像オブジェクトの表示に関係する値で、利用者の操作により変更される値である。まず画像表示位置１１１５，１１１６はそれぞれ外接矩形１１０２の左上点の横座標、縦座標を表す値である。この値は「移動」の操作により変更される。また回転１１１７は元の画像をどれだけの角度時計回りに回転して表示しているかを示す値であり、「回転」の操作により変更される。また倍率１１１８，１１１９は元の画像オブジェクトの外接矩形に対する表示倍率を意味し、「拡大縮小」の操作により変更される。このように、電子化された画像は画像オブジェクトとして画像記憶部に記憶される。
図１２は図１０の例において、移動と拡大縮小、手書き操作を行う説明図である。まず、取り込んだ人物写真１００１と写真１０１０中の風景１０１１との合成について説明する（図１２）。前の操作により既に人物写真１００１はメモリに取込済みで、画像オブジェクトとして画像処理装置の画面上に表示されている。その画像処理装置の画面下に次の編集対象の写真１２０１をおく。利用者は人物の画像オブジェクトを、背景の風景の合成したい場所に移動させ、好きな大きさに拡大縮小する（１２０２）。その後手書き操作を指定し手書きメモ１２０３を付加する。最後に保存したい画面の範囲１２０３を領域指定して保存することにより、図１０の画像１０２０を得る。
保存したい範囲１２０３を指定して保存する操作によって、ユーザは、画像処理装置１２００の画面上に見える画像を、実物の写真１２０１と表示されたデータ画像１２０２，１２０３の区別無く、一括して保存することができる。このとき、画像処理装置側では、領域１２０３内の画像（写真１２０２）の取り込みと、取り込んだ画像と表示している画像１２０２，１２０３の合成処理を連続して行うことになる。具体的には、画像の取り込みは図４で説明したように、指定領域１２０３内の光センサからの信号をデータ化してメモリに記憶することで行われる。また、画像処理装置１００は、指定領域１２０３の座標内に表示されている画像１２０２，１２０３を認識し、これらの画像のデータを取り込みデータの当該座標データと置き換える。これらの動作は例えば図１の画像編集部１０２（例えばＣＰＵ）、及び画像記憶部１０４（例えばＤＲＡＭなどのメモリ）で達成される。
図１３は手書きストローク情報を管理するデータ構造の例である。ストローク情報１３１０は、そのストローク情報のＩＤを示す項目１３１１、ストロークが記入された画像ＩＤ１３１２、ストローク情報内に含まれる総ストローク数１３１３、各ストロークの標本点数１３１４、標本点へのポインタ１３１５、を有する。標本点へのポインタは、標本点情報１３２０の１標本１３２１を指しており、その位置から標本点数１３１３で指定された個数までがそのストロークを表す標本点配列となる。
以下は、図面中の符号の説明である。
１００：画像処理装置、１０１：画像撮像部、１０２：画像編集部、１０３：操作入力部、１０４：画像記憶部、１０５：画像表示部、２０１：画像処理装置の本体部分、２０２：画像処理装置の画面部分、２０３：操作入力層、２０４：画像撮像表示層、２１０：スタイラス、２２０：画像処理対象の紙、３００：編集操作一覧、４０１〜４０９：画像編集操作アイコン、４２１：画像編集対象範囲、５０１：画像撮像表示層の画像、
ＧＬ：複数のゲート線、ＳＬ：マトリクス状に交差する複数の信号線、ＳＮＲ：多結晶シリコン膜よりなる薄膜光ダイオード（光センサ）、Ｍ１：アルミニウム（Ａｌ）膜よりなる遮光膜、ＡＭＰ：多結晶シリコンＴＦＴよりなる信号変換および増幅回路、ＬＥＤ：有機発光ダイオードよりなる発光素子、ＯＰＮ：光透過領域、ＳＵＢ：透明基板、ＳＷ１：有機発光ダイオードを駆動する多結晶シリコンＴＦＴ回路、Ｌ１：層間絶縁膜、Ｌ２：保護膜、
【産業上の利用可能性】  本発明の画像処理装置は、たとえばグラフィックデザイナーの画像編集作業の支援といったビジネスユースから、個人での興味のある記事のクリッピングや絵日記作成といったコンシューマユースまで、幅広い分野で利用可能である。
【図１】
2006013639.tif 000002
【図２】
2006013639.tif 000003
【図３】
2006013639.tif 000004
【図４】
2006013639.tif 000005
【図５】
2006013639.tif 000006
【図６】
2006013639.tif 000007
【図７】
2006013639.tif 000008
【図８】
2006013639.tif 000009
【図９】
2006013639.tif 000010
【図１０】
2006013639.tif 000011
【図１１】
2006013639.tif 000012
【図１２】
2006013639.tif 000013
【図１３】
2006013639.tif 000014
【手続補正書】
【提出日】平成19年4月12日(2007.4.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光センサにより紙面画像を電子的に取り込む画像撮像部と、画像に対し部分画像の切抜きや拡大・縮小などの画像編集計算を実行する画像編集部と、それら画像編集に関する利用者からの指示を受け付ける操作入力部と、前記画像撮像部で撮像された画像や前記画像編集部で画像編集された画像を記憶する画像記憶部と、前記画像記憶部で記憶された画像を表示する画像表示部、からなる画像処理装置において、
前記画像撮像部と画像表示部に関し、画像表示素子を透過平面上に実装しかつ前記透過平面上に複数の光センサ素子を平面状に配置することにより画像撮像部と画像表示部とが一体となった透過な画像撮像表示部を利用して、画像撮像表示部の下面においた紙面画像を直接透視することができ同時に画像記憶部に記憶された画像を画像撮像表示部に重ねて表示できることを特徴とする画像処理装置。
【請求項２】
前記請求項１に係る画像処理装置に関し、さらに前記画像撮像表示部と操作入力部とが一体となった画像撮像表示操作部を有すことを特徴とする画像処理装置。
【請求項３】
前記請求項１もしくは２に係る画像処理装置に関し、前記紙面画像の透視を実現するために、前記画像撮像表示部もしくは前記画像撮像表示操作部を透過平面上に構成するのではなく、前記光センサ素子で読み取った紙面画像の画素情報を対応する画像表示素子に送信し表示されることにより、擬似的な透視を可能とすることを特徴とする画像処理装置。
【請求項４】
板状部材を備える画像処理装置であって、
上記板状部材は、
第１の面と、
上記第１の面と反対側の第２の面と、
上記第１の面から入射する撮像対象からの光を電気信号に変換し画像データとして入力する画像撮像部と、上記画像データを表示する画像表示部を備える画像撮像表示層とを有し、
上記撮像対象と上記画像データを、上記第２の面側から同時に視認することを可能とする画像処理装置。
【請求項５】
上記画像撮像表示層には、画像表示素子および光センサ素子を有する画素が平面状に配列されている請求項４記載の画像処理装置。
【請求項６】
上記光センサ素子の上記第２の面側に、遮光膜を配置した請求項５記載の画像処理装置。
【請求項７】
上記画素の少なくとも一部は、層間絶縁膜を除去した光透過領域として構成される請求項５記載の画像処理装置。
【請求項８】
上記画素の少なくとも一部は、素子を形成しない光透過領域として構成される請求項５記載の画像処理装置。
【請求項９】
上記画素にはゲート線と信号線が接続され、該ゲート線と信号線に与える信号により、画像データを入力する画素を選択する請求項５記載の画像処理装置。
【請求項１０】
上記画像データを記憶するメモリを備える請求項４記載の画像処理装置。
【請求項１１】
透明プレートと、メモリと、情報処理装置を備える画像処理装置であって、
上記透明プレートは、
第１の面と、
上記第１の面と反対側の第２の面と、
撮像対象を撮像して画像データとして上記メモリに記憶する画像撮像部および上記メモリ中の画像データを表示する画像表示部を備える画像撮像表示層と、
上記透明プレート上の所定領域を指定するための操作入力層とを有し、
上記第１の面側に配置した撮像対象を上記第２の面から目視できる構成であり、上記第２の面上でスタイラスペンにより所定領域を指定する機能を備え、
上記情報処理装置は、上記操作入力層において所定領域を指定した際に、
（１）上記所定領域内で撮像される画像データの記憶
（２）上記所定領域内に表示されているデータの特定
（３）記憶されたデータと表示されているデータの関連づけの処理をおこなう機能を有する画像処理装置。
【請求項１２】
上記操作入力層における所定領域の指定と、アイコンまたはボタンによる入力を契機として、
上記（１）〜（３）の処理が行われる請求項１１記載の画像処理装置。
【請求項１３】
上記画像撮像表示層には、画像表示素子および光センサ素子を有する画素が平面状に配列されている請求項１１記載の画像処理装置。
【国際調査報告】
2006013639.tif 000015
2006013639.tif 000016
2006013639.tif 000017
2006013639.tif 000018