(57)【要約】【課題】２つ折りに折り畳んだ面状物の画像から、開かれているときの面状物の画像を作成する。【解決手段】２つ折りに折り畳まれた原稿Ｐの上面を撮像した上面画像ＳＡにおける折り目Ｌに対応する第１連結端ＬＡと、原稿Ｐの下面を撮像した下面画像ＳＢにおける折り目Ｌに対応する第２連結端ＬＢとを特定する連結端特定部１４５と、第１連結端ＬＡと第２連結端ＬＢとが一致するように、上面画像ＳＡと下面画像ＳＢとを連結して、原稿Ｐが開かれているときの連結画像を作成する画像連結部１４４を備える。これにより、上面画像ＳＡと下面画像ＳＢとを連結して、原稿Ｐが開かれているときの画像である連結画像を作成することができる。【選択図】図１
2010171540.tif 000002
【特許請求の範囲】
【請求項１】
２つ折りに折り畳まれた面状物の上面を撮像した上面画像における前記面状物の折り目に対応する辺である第１の折り目辺と、前記面状物の下面を撮像した下面画像における前記面状物の折り目に対応する辺である第２の折り目辺とを特定する折り目辺特定手段と、
前記折り目辺特定手段によって特定された前記第１の折り目辺と前記第２の折り目辺とが一致するように、前記上面画像と前記下面画像とを連結して、前記面状物が開かれているときの画像である連結画像を作成する画像作成手段を備えていることを特徴とする画像作成装置。
【請求項２】
前記折り目辺特定手段は、前記上面画像における前記面状物の外周を構成する一辺における色の分布状態と、前記下面画像における前記面状物の外周を構成する一辺における色の分布状態との類似度が最も高い２辺の組合せを特定し、該特定した２辺のそれぞれを、前記第１の折り目辺及び前記第２の折り目辺とすることを特徴とする請求項１に記載の画像作成装置。
【請求項３】
前記折り目辺特定手段は、ユーザの指定に従って前記第１の折り目辺及び前記第２の折り目辺を特定することを特徴とする請求項１に記載の画像作成装置。
【請求項４】
前記画像作成手段が作成した連結画像の前記上面画像と前記下面画像との連結部分に空白部分が生じた場合に、前記空白部分の近傍における前記第１の折り目辺の色と前記第２の折り目辺の色との中間色で、前記空白部分の色を補間する補間手段を備えていることを特徴とする請求項１から３までのいずれか１項に記載の画像作成装置。
【請求項５】
２つ折りに折り畳み可能な筐体を有しており、
前記筐体を折り畳んだ状態で対向する２つの内面には、一方の内面に、前記上面画像を撮像する第１面状部材が、他方の内面に、前記下面画像を撮像する第２面状部材が、互いに対向するようにそれぞれ配設されていることを特徴とする請求項１から４までのいずれか１項に記載の画像作成装置。
【請求項６】
請求項１から４までのいずれか１項に記載の画像作成装置における各手段としてコンピュータを動作させるための画像作成プログラム。
【請求項７】
請求項６に記載の画像作成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
２つ折りに折り畳まれた面状物の上面を撮像した上面画像における前記面状物の折り目に対応する辺である第１の折り目辺と、前記面状物の下面を撮像した下面画像における前記面状物の折り目に対応する辺である第２の折り目辺とを特定する折り目辺特定ステップと、
前記折り目辺特定ステップで特定した前記第１の折り目辺と前記第２の折り目辺とが一致するように、前記上面画像と前記下面画像とを連結して、前記面状物が開かれているときの画像である連結画像を作成する画像作成ステップとを含んでいることを特徴とする画像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原稿台に全体を載置できない大きな原稿を、原稿台に載置可能な大きさに分割して読み取った分割画像を合成する画像作成装置、画像作成プログラム及びコンピュータ読み取り可能な記録媒体、並びに画像作成方法に関するものである。
【背景技術】
【０００２】
一般に、スキャナにおいては、所定のスキャン領域の大きさが決まっているため、該スキャン領域に載置した原稿の大きさ、すなわち、一度にスキャンできる原稿の大きさは制限される。
【０００３】
このような制限を克服する方法として、一度に大きな原稿の全体を走査可能なスキャナを有し、Ａ１・Ａ２サイズの原稿を縮小する機能を備えた装置を利用することが考えられるが、大きなサイズの原稿を一度にコピーすることができるものの、装置自体が大型化し、コストアップをもたらしてしまうという点で問題がある。
【０００４】
一方、上記制限を克服する別の方法として、スキャン領域以上の大きさの原稿をコピーするために、いわゆる２ｉｎ１モード等でコピーするという方法がある。２ｉｎ１モードとは、２枚の原稿を縮小して、１枚のシートに印刷出力するモードをいう。
【０００５】
しかしながら、２ｉｎ１モードのような機能を用いて、コピーを行う場合、ユーザは、スキャン領域に対する原稿の載置方向を考えてスキャン領域に原稿を載置する必要がある。従って、上述したような２ｉｎ１モードを用いて印刷する場合、ユーザに煩雑な操作が課せられてしまうという問題点がある。
【０００６】
以上のような、問題点を克服する技術として、原稿台に全体を載置できない大きな原稿を、互いに重複部分を有する複数の画像（＝原稿台に載置可能な大きさの複数の画像）に分割して順に読み取ってメモリに記憶し、各分割画像を合成して出力する装置が提案されている。
【０００７】
例えば、特許文献１に開示された画像処理装置では、２つの部分画像の重複部分から主走査方向又は副走査方向に延びる線分を検出し、各部分画像内に含まれる相互に対応する線分の位置が合致するようにすることで、該線分に直交する方向における各部分画像の接合位置を決定するようになっている。
【０００８】
また、特許文献２に開示された画像処理装置では、大きな原稿を、重複領域を有するように分割して読み取って重複領域にて接合して出力する機能とＡＤＦ（自動原稿給送装置）とを備え、前回の画像読取動作におけるＡＤＦ搬送方向での後端部の所定領域が、次回の画像読取動作における該搬送方向での先端部の所定領域となるように、前回の画像読取動作終了後、原稿を搬送して、次回の画像読取動作に供するようになっている。
【０００９】
また、特許文献３に開示された画像形成装置では、所定のモードに係るアイコンに、ユーザが原稿の複数に分割された各領域を原稿載置台にセットすべき順番と方向とを示しておくことで、分割画像をスキャンする順序や方向などをユーザが間違えることなく行えるようにしている。
【００１０】
また、特許文献４に開示された画像形成装置では、スキャナ部により読み取った各分割領域の画像データをそれぞれ独立に記憶させる記憶手段を備えており、この記憶手段に記憶された隣接する領域の画像データを重ね合わせた状態で相対的に移動させ、該画像データ同士の濃度を比較しその差分がなくなったところを一致点として両者を接合するようにしている。
【００１１】
また、特許文献５に開示された画像処理装置では、原稿画像の下地を検知し、合成された画像から下地を除去するようになっている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平９−１２０４４４号公報（１９９７年５月６日公開）
【特許文献２】特開平９−１４９１９２号公報（１９９７年６月６日公開）
【特許文献３】特開２００３−５１９３５号公報（２００３年２月２１日公開）
【特許文献４】特開２００６−２９５４８４号公報（２００６年１０月２６日公開）
【特許文献５】特開２００７−２０１６１１号公報（２００７年８月９日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、前記従来の特許文献１〜５に開示されたスキャナ技術では、いずれも大きな原稿を複数回に分けて分割画像として読み取り、得られた複数の分割画像を画像処理によって連結するようになっている。
【００１４】
したがって、原稿を複数回に分けて読み取るため、それぞれの部分画像をスキャンするときの位置や、それぞれの部分画像をどのような順序でスキャンするかなどを予め決定しておく必要があり、原稿の取込みに手間と時間がかかってしまうという問題点がある。
【００１５】
また、原稿を複数回に分けて読み取るため、それぞれの分割画像は、異なる時間でスキャンされたデータとなり、それぞれの部分画像をスキャンするときの環境条件が変化したり、それぞれの部分画像をスキャンするときの向き等がまちまちになったりすると、分割画像の連結位置を決定する作業が複雑となってしまうという問題点もある。
【００１６】
本発明は、前記従来の問題点に鑑みなされたものであって、その目的は、２つ折りに折り畳んだ面状物を撮像した画像から、開かれているときの面状物の画像を作成することができる画像連結装置などを提供することにある。
【課題を解決するための手段】
【００１７】
本発明の画像作成装置は、前記課題を解決するために、２つ折りに折り畳まれた面状物の上面を撮像した上面画像における前記面状物の折り目に対応する辺である第１の折り目辺と、前記面状物の下面を撮像した下面画像における前記面状物の折り目に対応する辺である第２の折り目辺とを特定する折り目辺特定手段と、前記折り目辺特定手段によって特定された前記第１の折り目辺と前記第２の折り目辺とが一致するように、前記上面画像と前記下面画像とを連結して、前記面状物が開かれているときの画像である連結画像を作成する画像作成手段を備えていることを特徴としている。
【００１８】
また、本発明の画像作成方法は、前記課題を解決するために、２つ折りに折り畳まれた面状物の上面を撮像した上面画像における前記面状物の折り目に対応する辺である第１の折り目辺と、前記面状物の下面を撮像した下面画像における前記面状物の折り目に対応する辺である第２の折り目辺とを特定する折り目辺特定ステップと、前記折り目辺特定ステップで特定した前記第１の折り目辺と前記第２の折り目辺とが一致するように、前記上面画像と前記下面画像とを連結して、前記面状物が開かれているときの画像である連結画像を作成する画像作成ステップとを含んでいることを特徴としている。
【００１９】
前記構成及び方法によれば、折り目辺特定手段は又は折り目辺特定ステップでは、２つ折りに折り畳まれた面状物の上面を撮像した上面画像における面状物の折り目に対応する辺である第１の折り目辺と、面状物の下面を撮像した下面画像における面状物の折り目に対応する辺である第２の折り目辺とを特定するようになっている。
【００２０】
よって、上面画像における面状物の折り目に対応する辺である第１の折り目辺と、下面画像における面状物の折り目に対応する辺である第２の折り目辺とを特定することができる。
【００２１】
また、前記構成及び方法によれば、画像作成手段は又は画像作成ステップでは、折り目辺特定手段によって又は折り目辺特定ステップで特定された第１の折り目辺と第２の折り目辺とが一致するように、前記上面画像と前記下面画像とを連結して、前記面状物が開かれているときの画像である連結画像を作成するようになっている。
【００２２】
よって、上面画像と下面画像とを連結して、面状物が開かれているときの画像である連結画像を作成することができる。
【００２３】
以上より、２つ折りに折り畳んだ面状物を撮像した画像から、開かれているときの面状物の画像を作成することができる。
【００２４】
また、上面画像と下面画像とのそれぞれが、本来１つの面状物を２つ折にした片割れであることがわかっているため、上面画像と下面画像とを互いに関係づけることが容易となり、上面画像と下面画像との連結位置を容易に決定することが可能となる。
【００２５】
なお、「面状物」は、２つ折りに折り畳み可能な面状の物であれば良く、その形状や材料は問わない。また、「面状物」の形状は、閉じられた２次元図形であれば良く、２次元図形の例としては、三角形、四角形などの凸多角形や凹多角形が例示できる。また、円や楕円などの曲線で囲まれた図形であっても良い。「面状物」材料の好適な例としては、紙で構成された原稿等が例示できる。
【００２６】
また、「面状物」の大きさは、２つ折りに折り畳んだ状態で、上面画像・下面画像を撮像することができる大きさであればどのような大きさであっても良い。
【００２７】
ところで、面状物を或る折り目で２つ折りに折り畳んだものには、表側と裏側に２つの面ができる。ここで、厳密には、面状物を２つ折りに折り畳んだときにできる重複部分と非重複部分の境界ができるので、表側の面も、裏側の面も１つの面で構成されているとは言えないが、「２つ折りに折り畳まれた面状物の上面」は、重複部分における表側の面と、非重複部分における表側の面とを含めて１つの上面と呼ぶ。なお、「２つ折りに折り畳まれた面状物の下面」についても同様である。
【００２８】
また、「上面画像・下面画像」は、本発明の画像作成装置を、撮像部を備えた構成とし、該撮像部で撮像した画像であっても良いし、本発明の画像作成装置とは別の画像撮像装置で撮像した画像であっても良い。
【００２９】
また、「第１の折り目辺・第２の折り目辺」は、上面画像・下面画像における面状物の折り目に対応する位置にある直線状の線分である。
【００３０】
「面状物が開かれているときの画像」は、面状物が開かれているときの表側又は裏側のいずれか一方の画像を意味する。また、「面状物が開かれている」とは、折り目を広げて面状物を開いた状態であることを意味する。
【００３１】
また、本発明の画像作成装置は、前記構成に加えて、２つ折りに折り畳み可能な筐体を有しており、前記筐体を折り畳んだ状態で対向する２つの内面には、一方の内面に、前記上面画像を撮像する第１面状部材が、他方の内面に、前記下面画像を撮像する第２面状部材が、互いに対向するようにそれぞれ配設されていても良い。
【００３２】
前記構成によれば、筐体の２つの内面に２つ折りに折り畳んだ面状物を挟み込むようにして筐体を折り畳んだ状態で、第１面状部材が、上面画像を撮像し、第２面状部材が、下面画像を撮像することで、上面画像と下面画像とを、１度にかつ同時に撮像することができる。
【００３３】
よって、上面画像と下面画像とを複数回に分けて撮像しなくても良いので、それぞれの画像を撮像するときの位置や、それぞれの画像をどのような順序で撮像するかなどを予め決定しておく必要が無く、撮像の手間と時間とを最小限にすることができる。
【００３４】
また、上面画像と下面画像とを複数回に分けて撮像しなくても良いので、それぞれの画像で撮像環境が変化することは無く、それぞれの画像を撮像するときの向きが固定され、さらに、上面画像と下面画像とのそれぞれが、本来１つの面状物を２つ折にした片割れであることがわかっているため、上面画像と下面画像とを互いに関係づけることが容易となり、上面画像と下面画像との連結位置を容易に決定することが可能となる。
【００３５】
また、本発明の画像作成装置は、前記構成に加えて、前記折り目辺特定手段は、前記上面画像における前記面状物の外周を構成する一辺における色の分布状態と、前記下面画像における前記面状物の外周を構成する一辺における色の分布状態との類似度が最も高い２辺の組合せを特定し、該特定した２辺のそれぞれを、前記第１の折り目辺及び前記第２の折り目辺としても良い。
【００３６】
前記構成によれば、上面画像における面状物の外周を構成する一辺における色の分布状態と、下面画像における面状物の外周を構成する一辺における色の分布状態との類似度が最も高い２辺の組合せを特定し、該特定した２辺のそれぞれを、前記第１の折り目辺及び前記第２の折り目辺として特定することができる。
【００３７】
なお、「面状物の外周を構成する一辺」は、１つの辺であっても良いし、複数の辺であっても良い。また、「辺」は、直線状の線分である。
【００３８】
また、「類似度」の例としては、上面画像における面状物の外周を構成する一辺と下面画像における面状物の外周を構成する一辺とで算出された、３原色毎の明度についての差分値の合計値や平均値などが例示できる。この例では、この差分値の合計値や平均値が小さい辺同士は、類似度が高いと、差分値の合計値や平均値が大きい辺同士は、類似度が低いと判定できる。
【００３９】
本発明の画像作成装置は、前記構成に加えて、前記折り目辺特定手段は、ユーザの指定に従って前記第１の折り目辺及び前記第２の折り目辺を特定することが好ましい。
【００４０】
一般的にユーザは、面状物を撮像した際の撮像範囲における面状物の折り目の位置に関する情報を保有している場合が多い。よって、このユーザが保有している面状物の折り目の位置に関する情報を画像作成装置に利用させることで、さらに簡単な作業で第１の折り目辺及び第２の折り目辺を特定できる。
【００４１】
これにより、第１の折り目辺及び第２の折り目辺の特定時間の短縮や、演算に必要なメモリ容量の少量化が可能となる。
【００４２】
また、本発明の画像作成装置は、前記構成に加えて、前記画像作成手段が作成した連結画像の前記上面画像と前記下面画像との連結部分に空白部分が生じた場合に、前記空白部分の近傍における前記第１の折り目辺の色と前記第２の折り目辺の色との中間色で、前記空白部分の色を補間する補間手段を備えていても良い。
【００４３】
前記構成によれば、前記画像作成手段が作成した連結画像の上面画像と下面画像との連結部分に生じた空白部分の色を補間できるので、連結画像から面状物を２つ折りにしたときにできる折り目による影響を取り除くことができる。
【００４４】
ここで、「空白部分」は、画像の欠落部分のことである。
【００４５】
また、「中間色」は、第１の折り目辺の色と第２の折り目辺の色とが同一の色相を有する色である場合は、その色相を有する色であって、第１の折り目辺の色の明度と第２の折り目辺の色の明度の中間の明度を持つ色が例示できる。また、第１の折り目辺の色と第２の折り目辺の色とが異なっている場合には、これらの色を、適宜配色した混色や、第１の折り目辺の色と第２の折り目辺の色との１２色環上の中間色などが例示できる。なお、第１の折り目辺の色と第２の折り目辺の色とが共通である場合には、その色自身を含む。
【００４６】
さらに、第１の折り目辺の色と第２の折り目辺の色とが同一の色相を有する色である場合は、第１の折り目辺の色の明度と第２の折り目辺の色の明度との差分から明度勾配を求め、第１の折り目辺の色の明度若しくは第２の折り目辺の色の明度と、明度勾配とから中間色の明度の値を決定する方法などが例示できる。
【００４７】
なお、前記画像作成装置及び画像作成方法における各手段、各機能、各ステップ及び各処理のそれぞれは、コンピュータによって実現してもよく、この場合には、コンピュータを各手段として動作させ、コンピュータに各機能を実現させ、若しくはコンピュータに各ステップ及び各処理を実行させることにより前記画像作成装置及び画像作成方法を、コンピュータにて実現させる画像作成プログラム、並びにそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４８】
本発明の画像作成装置は、以上のように、２つ折りに折り畳まれた面状物の上面を撮像した上面画像における前記面状物の折り目に対応する辺である第１の折り目辺と、前記面状物の下面を撮像した下面画像における前記面状物の折り目に対応する辺である第２の折り目辺とを特定する折り目辺特定手段と、前記折り目辺特定手段によって特定された前記第１の折り目辺と前記第２の折り目辺とが一致するように、前記上面画像と前記下面画像とを連結して、前記面状物が開かれているときの画像である連結画像を作成する画像作成手段を備えているものである。
【００４９】
また、本発明の画像作成方法は、以上のように、２つ折りに折り畳まれた面状物の上面を撮像した上面画像における前記面状物の折り目に対応する辺である第１の折り目辺と、前記面状物の下面を撮像した下面画像における前記面状物の折り目に対応する辺である第２の折り目辺とを特定する折り目辺特定ステップと、前記折り目辺特定ステップで特定した前記第１の折り目辺と前記第２の折り目辺とが一致するように、前記上面画像と前記下面画像とを連結して、前記面状物が開かれているときの画像である連結画像を作成する画像作成ステップとを含んでいる方法である。
【００５０】
それゆえ、２つ折りに折り畳んだ面状物を撮像した画像から、開かれているときの面状物の画像を作成することができるという効果を奏する。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態であるデータ表示／センサ装置の要部構成のうち、主制御部及び記憶部の詳細を示すブロック図である。
【図２】前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面の一例を示す模式図である。
【図３】（ａ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を特定する様子を示す模式図であり、（ｂ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を特定する様子を示す模式図である。
【図４】前記データ表示／センサ装置の要部構成を示すブロック図である。
【図５】前記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】（ａ）は、前記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データであり、（ｂ）は、前記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】本発明の一実施形態に係るデータ表示／センサ装置の概観構成及びその機能の概要を示す模式図である。
【図１０】前記データ表示／センサ装置のセンサ内蔵液晶パネルに表示した折り目位置選択用画像の一例を示す模式図である。
【図１１】（ａ）は、取り込み原稿（面状物）の全体を示す模式図であり、（ｂ）は、折り畳んだ原稿をスキャン領域に載置したときの様子を示す模式図であり、（ｃ）は、スキャンした上面画像の様子を示す模式図であり、（ｄ）は、スキャンした下面画像の様子を示す模式図であり、（ｅ）は、折り目位置が上と判断したときの連結画像の様子を示す模式図であり、（ｆ）は、折り目位置が下と判断したときの連結画像の様子を示す模式図であり、（ｇ）は、折り目位置が右と判断したときの連結画像の様子を示す模式図であり、（ｈ）は、折り目位置が左と判断したときの連結画像の様子を示す模式図である。
【図１２】前記データ表示／センサ装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００５２】
本発明の一実施形態について図１〜図１２に基づいて説明すれば、以下の通りである。
【００５３】
（データ表示／センサ装置の概観構成及びその機能の概要）
まず、図１に示す本発明の一実施形態であるデータ表示／センサ装置（画像作成装置）１００の主要部分である主制御部８００の各構成及び記憶部９０１の説明を行う前に、図２〜９に基づき、簡単に、本発明の一実施形態であるデータ表示／センサ装置１００の概観構成、その機能の概要及びそのベースとなる構成について説明する。
【００５４】
図９は、本発明の一実施形態に係るデータ表示／センサ装置１００の概観構成及びその機能の概要を示す模式図である。
【００５５】
図示のように、本実施形態に係るデータ表示／センサ装置１００の概観構成は、ヒンジＨで結合された、図示の破線矢印の向きに２つ折りに折り畳み可能な筐体１００Ａ及び筐体１００Ｂを有し、筐体１００Ａ及び筐体１００Ｂを、折り畳んだ状態で対向する２つの内面のそれぞれに、センサ内蔵液晶パネル（第１面状部材）３０１Ａ及びセンサ内蔵液晶パネル（第２面状部材）３０１Ｂ（以下、便宜上、纏めてセンサ内蔵液晶パネル３０１と称する場合がある）が、互いに対向するようにそれぞれ配設されている構成である。
【００５６】
また、センサ内蔵液晶パネル３０１は、以下で説明するように、図８に示す複数の画素回路３１と、図２に示す画素回路３１毎に少なくとも１つ設けられた複数の光センサ６とを含んでいる。
【００５７】
よって、センサ内蔵液晶パネル３０１に含まれる複数の画素回路３１を駆動させることにより、センサ内蔵液晶パネル３０１の所定の表示画面にアプリケーション画像等を表示することが可能となっている。
【００５８】
また、センサ内蔵液晶パネル３０１に含まれる画素回路３１毎に少なくとも１つ設けられた複数の光センサ６を駆動させることにより、センサ内蔵液晶パネル３０１の近傍の像を撮像することが可能となっている。
【００５９】
以上によれば、センサ内蔵液晶パネル３０１の複数の画素回路３１が、発光するときの光を利用して、センサ内蔵液晶パネル３０１近傍の対象物に光を当て、その反射光をセンサ内蔵液晶パネル３０１の複数の光センサ６で検出することにより、センサ内蔵液晶パネル３０１上で対象物の像をスキャン（撮像）することが可能となる。
【００６０】
前記構成によれば、筐体１００Ａ及び筐体１００Ｂの２つの内面に２つ折りに折り畳んだ原稿Ｐを挟み込むようにして筐体１００Ａ及び筐体１００Ｂを折り畳んだ状態で、センサ内蔵液晶パネル３０１Ａが、上面画像ＳＡをスキャンし、センサ内蔵液晶パネル３０１Ｂが、下面画像ＳＢをスキャンすることで、上面画像ＳＡと下面画像ＳＢとを、１度にかつ同時にスキャンすることができる。
【００６１】
なお、このようなスキャンを行うためには、筐体１００Ａ及び筐体１００Ｂを折り畳んだことをトリガとしてスキャンが自動的に行われるようにしておくことが好ましい。
【００６２】
これにより、上面画像ＳＡと下面画像ＳＢとを２回に分けてスキャンしなくても良いので、それぞれの画像をスキャンするときの位置や、それぞれの画像をどのような順序でスキャンするかなどを予め決定しておく必要が無く、スキャンの手間と時間とを最小限にすることができる。
【００６３】
また、センサ内蔵液晶パネル３０１Ａとセンサ内蔵液晶パネル３０１Ｂとは、別体であるから、それぞれの性能に差が生じているのが普通である。そこで、これらのパネルのスキャン性能について予め較正しておくことが好ましい。
【００６４】
また、上面画像ＳＡと下面画像ＳＢとを２回に分けてスキャンしなくても良いので、それぞれの画像でスキャン環境が変化することは無く、それぞれの画像をスキャンするときの向きが固定され、さらに、上面画像ＳＡと下面画像ＳＢとのそれぞれが、本来１つの原稿Ｐを２つ折にした片割れであることがわかっているため、上面画像ＳＡと下面画像ＳＢとを互いに関係づけることが容易となり、上面画像ＳＡと下面画像ＳＢとの連結位置を容易に決定することが可能となる。
【００６５】
次に、複数の光センサ６及び複数の画素回路３１のそれぞれの個数は、画像取り込み機能及び画像表示機能を確保できる数であれば、任意であって良いが、例えば、光センサ６のセンサ面積確保の観点からは、１対１で同数であることが好ましい。これにより、従来の微細加工技術で簡単にセンサ内蔵液晶パネル３０１を作成することができ、従来のセンサ面積を維持できる。
【００６６】
しかしながら、技術の進歩により、将来的にセンサ面積当たりの光センサ６の感度が向上し、微細加工技術が進歩することも予想されるので、画像取り込み機能及び画像表示機能を確保可能であれば、複数の光センサ６及び複数の画素回路３１のそれぞれの個数が、１対３で、後者が前者の３倍の数であっても良い。このような構成を採用すれば、画素回路３１が、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３つの色画素を有する場合に、個々の色画素が発光する光の光センサ６による検出の色ごとの独立性を高めることができる。
【００６７】
なお、複数の光センサ６及び複数の画素回路３１のそれぞれの個数が、１対２で、後者が前者の２倍の数であっても良い。
【００６８】
すなわち、光センサ６は、複数の画素回路３１毎に、少なくとも１つ含んでいれば良い。
【００６９】
なお、複数の光センサ６及び複数の画素回路３１のそれぞれは、センサ内蔵液晶パネル３０１の面方向（表示画面の面内方向）の所定範囲に面状に並設されていることが好ましい。例えば、マトリクス状の配列などが例示できる。
【００７０】
以上の構成によれば、画像表示部と、画像撮像部とを別々の装置で構成する必要がないので、データ表示／センサ装置１００の小型化が可能となる。
【００７１】
センサ内蔵液晶パネル３０１のような面状部材としては、本実施形態のセンサ内蔵液晶パネルに限られない、例えば、ディスプレイの例としては、液晶ディスプレイの他、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ（Light Emitting）発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイなどが例示できるが、これらのディスプレイと撮像センサ（イメージセンサ、光センサ）とを一体化した入出力一体型ディスプレイが将来的に開発された場合でも、これらの入出力一体型ディスプレイに本発明を適用できることは、以下の説明から明白であろう。
【００７２】
次に、データ表示／センサ装置１００の使用方法について説明する。
【００７３】
まず、図９の上部に示すように、センサ内蔵液晶パネル３０１Ａ及びセンサ内蔵液晶パネル３０１Ｂのそれぞれには、所定の大きさのスキャン領域ＳＲ−Ａ及びスキャン領域ＳＲ−Ｂが設けられているので、所定の折り目Ｌで折り畳んだ原稿Ｐを、スキャン領域ＳＲ−Ｂにユーザが載置する。
【００７４】
次に、ユーザがそのままの状態で筐体１００Ａ及び筐体１００Ｂで折り畳む。
【００７５】
その後、センサ内蔵液晶パネル３０１Ａ及びセンサ内蔵液晶パネル３０１Ｂとで同時にスキャンする。
【００７６】
このような使用方法によれば、センサ内蔵液晶パネル３０１Ａのスキャン領域ＳＲ−Ａで、折り畳んだ原稿Ｐの上面の画像である上面画像ＳＡ（スキャン領域ＳＲ−Ａでスキャンされた画像）と、センサ内蔵液晶パネル３０１Ｂのスキャン領域ＳＲ−Ｂで、折り畳んだ原稿Ｐの下面の画像である下面画像ＳＢ（スキャン領域ＳＲ−Ｂでスキャンされた画像）とを同時にスキャンすることができる。
【００７７】
次に、図９の左下部には、開かれた状態で星形のマークが描かれた原稿Ｐの様子が示されている。なお、本実施形態では、特に断らない限り、原稿Ｐは、紙片Ｐ１と紙片Ｐ２とが重なるように折り目Ｌで折り畳まれるものとする。
【００７８】
一方、図示の原稿Ｐから出た矢印で示される方向には、上述した方法により折り目Ｌで折り畳んだ原稿Ｐが、スキャン領域ＳＲ−Ａでスキャンされたときの上面画像ＳＡと、スキャン領域ＳＲ−Ｂでスキャンされたときの下面画像ＳＢとが示されている。
【００７９】
図示のように、上面画像ＳＡは、何もスキャンされなかった不用画像ＳＡ−１と、原稿Ｐの像の一部がスキャンされた第１切り出し画像ＳＡ−２とに分けられる。
【００８０】
また、不用画像ＳＡ−１の下方には、上面画像ＳＡにおける原稿Ｐの折り目Ｌに対応する辺である第１連結端（第１の折り目辺）ＬＡが示されている。
【００８１】
下面画像ＳＢは、原稿Ｐの像の一部がスキャンされた第２切り出し画像ＳＢ−１と何もスキャンされなかった不用画像ＳＢ−２とに分けられる。
【００８２】
また、第２切り出し画像ＳＢ−１の上方には、下面画像ＳＢにおける原稿Ｐの折り目Ｌに対応する辺である第２連結端（第２の折り目辺）ＬＢが示されている。
【００８３】
また、データ表示／センサ装置１００は、上面画像ＳＡから、切り出し画像ＳＡ−２を切り出し、下面画像ＳＢから切り出し画像ＳＢ−１を切り出し、第１連結端ＬＡと第２連結端ＬＢとが一致するように第１切り出し画像ＳＡ−２と第２切り出し画像ＳＢ−１を連結させて、原稿Ｐが開かれているときの像（図９の右下における原稿Ｐの像）である連結画像（不図示）を作成するようになっている。
【００８４】
なお、原稿Ｐの他、スキャンされる「面状物」としては、２つ折りに折り畳み可能な面状の物であれば良く、その形状や材料は問わない。また、「面状物」の形状は、閉じられた２次元図形であれば良く、２次元図形の例としては、三角形、四角形などの凸多角形や凹多角形が例示できる。また、円や楕円などの曲線で囲まれた図形であっても良い。「面状物」材料の好適な例としては、紙で構成された原稿等が例示できる。
【００８５】
また、「面状物」の大きさは、２つ折りに折り畳んだ状態で、上面画像ＳＡ・下面画像ＳＢをスキャンすることができる大きさであればどのような大きさであっても良い。
【００８６】
ところで、「面状物」を或る折り目で２つ折りに折り畳んだものには、表側と裏側に２つの面ができる。ここで、厳密には、面状物を２つ折りに折り畳んだときにできる重複部分と非重複部分の境界ができるので、表側の面も、裏側の面も１つの面で構成されているとは言えないが、「２つ折りに折り畳まれた面状物の上面」は、重複部分における表側の面と、非重複部分における表側の面とを含めて１つの上面と呼ぶ。なお、「２つ折りに折り畳まれた面状物の下面」についても同様である。
【００８７】
ここで、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００８８】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００８９】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００９０】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００９１】
なお、光センサ回路３２に含まれる光センサ６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００９２】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００９３】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、光センサ６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００９４】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、光センサ６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００９５】
上述のように、光センサ６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００９６】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００９７】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００９８】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００９９】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【０１００】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【０１０１】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【０１０２】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【０１０３】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【０１０４】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【０１０５】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【０１０６】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【０１０７】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【０１０８】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【０１０９】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【０１１０】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【０１１１】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【０１１２】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【０１１３】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【０１１４】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【０１１５】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１１６】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【０１１７】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【０１１８】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせたりするために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【０１１９】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【０１２０】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【０１２１】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【０１２２】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【０１２３】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【０１２４】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１２５】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【０１２６】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１２７】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１２８】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１２９】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１３０】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。
【０１３１】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１３２】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１３３】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０１３４】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【０１３５】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１３６】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１３７】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１３８】
“反射”は、バックライト３０７を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１３９】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。
【０１４０】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１４１】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１４２】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１４３】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１４４】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１４５】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１４６】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１４７】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１４８】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１４９】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１５０】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１５１】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１５２】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１５３】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１５４】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１５５】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１５６】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１５７】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１５８】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１５９】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１６０】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１６１】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１６２】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１６３】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１６４】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１６５】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１６６】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１６７】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１６８】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１６９】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１７０】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１７１】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１７２】
（主制御部の構成及び記憶部に記憶されるデータ）
次に、図１に基づき、本発明の一実施形態であるデータ表示／センサ装置１００の主要部分である主制御部８００及び記憶部９０１の各構成について説明する。
【０１７３】
図１は、本発明の一実施形態であるデータ表示／センサ装置１００の要部構成のうち、主制御部８００及び記憶部９０１の詳細を示すブロック図である。
【０１７４】
図示のように、主制御部８００は、スキャン処理部１３、連結画像処理部（折り目辺特定手段，画像作成手段）１４及び画像表示処理部１５を含んでいる。
【０１７５】
スキャン処理部１３は、さらに、スキャン実行部１３１、スキャン実行指示部１３２、スキャンデータ格納部１３３及びスキャン属性情報設定部１３４を含んでいる。
【０１７６】
画像連結処理部１４は、さらに、画像切り出し部１４１、連結端特定部（折り目辺特定手段）１４２、画像方向決定部（画像作成手段）１４３、画像連結部（画像作成手段）１４４、折り目位置特定部（折り目辺特定手段）１４５、配置方向特定部（画像作成手段）１４６、連結結果評価部（折り目辺特定手段，画像作成手段）１４７及び連結画像補正部（補間手段，画像作成手段）１４８を含んでいる。
【０１７７】
次に、記憶部９０１は、スキャン属性情報記憶部２２、画像データ記憶部２３及び解析データ等記憶部２４の３つの記憶領域を含んでいる。
【０１７８】
画像データ記憶部２３は、さらに、スキャン画像記憶部２３１、切り出し画像記憶部２３２、連結画像記憶部２３３及び折り目位置選択用画像記憶部２３４の４つの記憶領域を含んでいる。
【０１７９】
解析データ等記憶部２４は、さらに、折り目位置／連結端特定結果記憶部２４１及び配置方向特定結果記憶部２４２の２つの記憶領域を含んでいる。
【０１８０】
スキャン属性情報記憶部２２には、スキャン実行部１３１が、データ処理部７００に送信する各種コマンドの各フィールド値などの他、スキャンを実行したり、データ処理部７００に主制御部８００へ、全体画像、部分画像及び代表位置などのスキャンデータを送信させたり、画像データ記憶部２３にスキャンデータを記憶させる等の制御を行うために必要な各種データ（スキャン属性情報）が記憶されている。
【０１８１】
画像データ記憶部２３は、スキャンデータなどの画像データや、主制御部８００内で演算・加工された画像データなどを一時的に若しくは常時記憶するためのものである。
【０１８２】
スキャン画像記憶部２３１は、スキャンデータが記憶される記憶領域である。
【０１８３】
切り出し画像記憶部２３２は、例えば、上面画像ＳＡから切り出された第１切り出し画像ＳＡ−２及び下面画像ＳＢから切り出された第２切り出し画像ＳＢ−１などの切り出し画像が記憶される記憶領域である。
【０１８４】
連結画像記憶部２３３は、第１連結端ＬＡと第２連結端ＬＢとが一致するように第１切り出し画像ＳＡ−２と第２切り出し画像ＳＢ−１とを連結させて作成した連結画像が記憶される記憶領域である。なお、本実施形態では、連結に成功した連結画像及び連結に失敗した連結画像のいずれも「連結画像」と称する。
【０１８５】
折り目位置選択用画像記憶部２３４は、例えば、図１０に示すような折り目位置選択用画像が記憶される記憶領域である。
【０１８６】
解析データ等記憶部２４は、各種解析データや、データの解析に必要なデータなどを記憶させるためのものである。
【０１８７】
折り目位置／連結端特定結果記憶部２４１は、主として以下で説明する折り目位置特定結果及び連結端特定結果が記録される記憶領域である。
【０１８８】
配置方向特定結果記憶部２４２は、主として以下で説明する配置方向特定結果が記憶される記憶領域である。
【０１８９】
まず、図１に示すスキャン処理部１３は、図４に示すセンサデータ処理部７０３に対してスキャンの実行を指示したり、スキャンの実行により、画像データバッファ７０４に蓄積されていくスキャンデータを主制御部８００に送信させたり、主制御部８００が受信したスキャンデータを、画像データ記憶部２３のスキャン画像記憶部２３１に記憶させたりするものである。
【０１９０】
スキャン実行部１３１のスキャン実行指示部１３２は、データ処理部７００に対してスキャンの実行を指示して、回路制御部６００の光センサ駆動回路３０５を駆動させ、表示／光センサ部３００の光センサ回路３２を動作させて、２つ折りに折り畳まれた原稿Ｐの上面画像ＳＡ及び下面画像ＳＢを、各光センサ６を用いてスキャンさせる制御を行うものである。
【０１９１】
また、スキャン実行部１３１のスキャンデータ格納部１３３は、画像データバッファ７０４に蓄積されていくスキャンデータを主制御部８００に送信させ、該スキャンデータを画像データ記憶部２３のスキャン画像記憶部２３１に記憶させたりする制御を行うものである。
【０１９２】
スキャン属性情報設定部１３４は、スキャン属性情報記憶部２２に記録されている各種コマンドデータを読み出して、データ表示／センサ装置１００のスキャン属性の設定を行うものである。
【０１９３】
なお、本実施形態では、データ表示／センサ装置１００のスキャン領域ＳＲ−Ｂに載置された、２つ折りに折り畳まれた原稿Ｐの、上面画像ＳＡをセンサ内蔵液晶パネル３０１Ａで、下面画像ＳＢをセンサ内蔵液晶パネル３０１Ｂで直接スキャンする構成を採用しているが、データ表示／センサ装置１００とは別体の折り畳み式スキャナなどでスキャンした画像を、データ表示／センサ装置１００で演算・加工する構成を採用しても良い。
【０１９４】
画像連結処理部１４は、主として、画像データ記憶部２３のスキャン画像記憶部２３１に記憶されたスキャンデータの中から上面画像ＳＡ・下面画像ＳＢを読み出して、第１切り出し画像ＳＡ−２・第２切り出し画像ＳＢ−１を切り出し、その結果を切り出し画像記憶部２３２に記憶させたり、上面画像ＳＡ若しくは第１切り出し画像ＳＡ−２／下面画像ＳＢ若しくは第２切り出し画像ＳＢ−１における第１連結端ＬＡ・第２連結端ＬＢの位置を特定したり、第１切り出し画像ＳＡ−２と第２切り出し画像ＳＢ−１とを連結させて連結画像を作成したりする制御を行うものである。
【０１９５】
画像切り出し部１４１は、画像データ記憶部２３のスキャン画像記憶部２３１に記憶されたスキャンデータの中から上面画像ＳＡ・下面画像ＳＢを読み出して、第１切り出し画像ＳＡ−２・第２切り出し画像ＳＢ−１を切り出すものである。
【０１９６】
なお、本実施形態では、図９に示すように原稿Ｐが、紙片Ｐ１と紙片Ｐ２とがぴったり重なるように折り目Ｌで折り畳まれる（非重複部分が存在しない場合）場合について説明するが、ここで折り目Ｌが、原稿Ｐの各辺に対して斜め（鋭角、又は鈍角をなす）となる場合の画像の切り出し方法について説明する。
【０１９７】
原稿Ｐが長方形の場合、第１切り出し画像ＳＡ−２は、必ず折り目Ｌに相当する辺とその他の辺で閉じられた図形となるので、この図形部分の画像を上面画像ＳＡから切り出せば良い。また、第２切り出し画像ＳＢ−１についても同様である。
【０１９８】
連結端特定部１４２は、上面画像ＳＡ若しくは第１切り出し画像ＳＡ−２・下面画像ＳＢ若しくは第２切り出し画像ＳＢ−１における第１連結端ＬＡ・第２連結端ＬＢの位置を特定するものである。
【０１９９】
画像方向決定部１４３は、第１切り出し画像ＳＡ−２と第２切り出し画像ＳＢ−１とが連結された連結画像の印刷方向等の画像方向を決定するものである。
【０２００】
画像連結部１４４は、連結端特定部１４２によって特定された第１連結端ＬＡと第２連結端ＬＢとが一致するように、第１切り出し画像ＳＡ−２と第２切り出し画像ＳＢ−１とを連結させて連結画像を作成するものである。
【０２０１】
折り目位置特定部１４５は、上面画像ＳＡ・下面画像ＳＢのそれぞれにおける原稿Ｐの外周を構成する一辺を折り目Ｌに相当する辺であると暫定的に特定するものである。なお、ここでは、折り目位置特定部１４５が折り目Ｌに相当する辺であると特定したものが正しい場合と、間違っている場合の両方が含まれているものとする。
【０２０２】
上述した連結端特定部１４２は、この折り目位置特定部１４５によって特定された暫定的な一辺を折り目Ｌとして第１連結端ＬＡ・第２連結端ＬＢを特定するようになっている。
【０２０３】
配置方向特定部１４６は、上面画像ＳＡ・下面画像ＳＢにおける原稿Ｐの像の外周を構成する各辺（直線状の部分）の方向と、センサ内蔵液晶パネル３０１Ａ・センサ内蔵液晶パネル３０１Ｂの主走査方向若しくは副走査方向とが為す角が、０又は９０度でない場合に、原稿Ｐの像の外周を構成する各辺が主走査方向若しくは副走査方向とが為す角を算出して、原稿Ｐがセンサ内蔵液晶パネル３０１Ａ若しくはセンサ内蔵液晶パネル３０１Ｂに対して配置されている方向を特定し、その特定結果（配置方向特定結果）を配置方向特定結果記憶部２４２に記憶させるものである。
【０２０４】
なお、上述した画像方向決定部１４３は、配置方向特定結果記憶部２４２に記憶された配置方向特定結果から、連結画像を主走査方向若しくは副走査方向とが為す角が０度若しくは９０度となるように回転させて連結画像の印刷方向等の画像方向を決定するようになっている。
【０２０５】
連結結果評価部１４７は、連結端特定部１４２が、暫定的に決定した第１連結端ＬＡ・第２連結端ＬＢが正しいか間違っているかを評価（判定）するものである。
【０２０６】
なお、連結結果評価部１４７が、正しいと判定するまで、連結端特定部１４２による第１連結端ＬＡ・第２連結端ＬＢの特定と、連結結果評価部１４７による連結結果の評価は繰り返される。
【０２０７】
例えば、連結結果評価部１４７は、上面画像ＳＡにおける原稿Ｐの外周を構成する一辺における色の分布状態と、下面画像ＳＢにおける原稿Ｐの外周を構成する一辺における色の分布状態との類似度が最も高い２辺の組合せを特定し、該特定した２辺のそれぞれを、第１連結端ＬＡと第２連結端ＬＢとするように構成すれば良い。
【０２０８】
これにより、上面画像ＳＡにおける原稿Ｐの外周を構成する一辺における色の分布状態と、下面画像ＳＢにおける原稿Ｐの外周を構成する一辺における色の分布状態とが類似する２辺の組合せのうち、類似度が最も高い組合せを特定することで、特定された第１連結端ＬＡ及び第２連結端ＬＢ第２が正しい組合せか否かを判定することができる。本実施形態における原稿Ｐの場合、原稿Ｐの形状は長方形を想定しているので、「外周を構成する一辺」は、上下左右の４辺が候補となる。
【０２０９】
また、「類似度」は、上面画像ＳＡにおける原稿Ｐの外周を構成する一辺と下面画像ＳＢにおける面状物の外周を構成する一辺とで算出された、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂ毎の輝度値（明度）についての差分値の合計値や平均値などが例示できる。この差分値の合計値や平均値が小さい辺同士は、類似度が高いと、差分値の合計値や平均値が大きい辺同士は、類似度が低いと判定できる。
【０２１０】
次に、図１１（ａ）〜図１１（ｈ）に基づき、以上の「類似度」を用いた方法では、第１連結端ＬＡ・第２連結端ＬＢの正しい組合せの特定が困難となる場合について説明する。
【０２１１】
まず、図１１（ａ）取り込み原稿Ｐ（面状物）の全体を示す模式図であり、図１１（ｂ）は、折り畳んだ原稿Ｐをスキャン領域ＳＲ−Ｂに載置したときの様子を示す模式図であり、図１１（ｃ）は、スキャンした上面画像ＳＡの様子を示す模式図であり、図１１（ｄ）は、スキャンした下面画像ＳＢの様子を示す模式図である。
【０２１２】
ここで、図１１（ａ）に示すように、原稿Ｐは、紙面に対して左右の方向が長手方向の長方形となっており、大きな船の画像が描かれているものとする。
【０２１３】
また、図１１（ｂ）に示すように、原稿Ｐのスキャン領域ＳＲ−Ｂへの載置位置は、右よりであり、折り目Ｌをスキャン領域ＳＲ−Ｂの右縦ラインに平行に載置したものとする。
【０２１４】
このとき、上面画像ＳＡは、図１１（ｃ）に示される画像となり、下面画像ＳＢは、図１１（ｄ）に示される画像となる。なお、これらの画像は、第１切り出し画像ＳＡ−２・第２切り出し画像ＳＢ−１が、不用画像ＳＡ−１・不用画像ＳＢ−２に取り囲まれた画像
となっているので、以下、画像切り出し部１４１は、上面画像ＳＡから第１切り出し画像ＳＡ−２を切り出し、下面画像ＳＢから第２切り出し画像ＳＢ−１を切り出しているものとして説明する。
【０２１５】
さて、図１１（ｅ）は、折り目位置特定部１４５が折り目Ｌの位置が「上」と判断したときの連結画像の様子を示している。図１１（ｆ）は、折り目位置特定部１４５が、折り目Ｌの位置が「下」と判断したときの連結画像の様子を示している。図１１（ｇ）は、折り目位置特定部１４５が、折り目Ｌの位置が「右」と判断したときの連結画像の様子を示している。図１１（ｈ）は、折り目位置特定部１４５が、折り目Ｌの位置が「左」と判断したときの連結画像の様子を示している。
【０２１６】
これらの上面画像ＳＡ・下面画像ＳＢは、すべて正方形となっているため、対比する辺は、各４辺同士となり、折り畳んだ原稿Ｐの形状が長方形である場合と比較して対比する辺の数が多くなる。
【０２１７】
また、図１１（ｅ）〜図１１（ｈ）の例を見れば解るとおり、図１１（ｅ）〜図１１（ｈ）で、第１連結端ＬＡ上の色の分布状態と第２連結端ＬＢの色の分布状態とは、ほぼ同じ分布状態の組合せとなり、上述の「類似度」を利用するだけでは、正しい組合せである図１１（ｇ）を特定することは非常に困難となるものと考えられる。
【０２１８】
そこで、このような問題点を解決するため、前記構成に加えて、折り目位置特定部１４５は、ユーザの指定に従ってスキャン領域ＳＲ−Ｂ上の原稿Ｐにおける折り目Ｌの位置（若しくは、第１連結端ＬＡ・第２連結端ＬＢ：図１０参照）を特定することが好ましい。
【０２１９】
ユーザは、スキャン領域ＳＲ−Ｂ上の原稿Ｐにおける折り目Ｌの位置に関する情報を保有可能である。
【０２２０】
よって、例えば、図１０に示すように、折り目位置選択用画像をセンサ内蔵液晶パネル３０１Ａに表示させ、ユーザが操作部９０３を介してスキャン領域ＳＲ−Ｂ上の原稿Ｐにおける折り目Ｌの位置を指定し、その後、ユーザが指定したとおりに、スキャン領域ＳＲ−Ｂの原稿Ｐを載置すれば良い。また、ユーザがスキャン領域ＳＲ−Ｂの原稿Ｐを載置した後にユーザが折り目Ｌの位置を指定しても良い。
【０２２１】
このとき、折り畳んだ原稿Ｐの折り目Ｌをスキャン領域ＳＲ−Ｂに対して、上下左右のどちら向きにして挟んだかによって、上面画像ＳＡ・下面画像ＳＢの位置関係が変わるのでこれを利用すれば、第１連結端ＬＡ及び第２連結端ＬＢの特定がさらに簡単になる。
【０２２２】
例えば、図１０の例のように、ユーザが折り目Ｌを上にしてスキャンしたときは、上面画像ＳＡ・下面画像ＳＢを上下に連結することになるが、折り目Ｌを左にしてスキャンした場合は、上面画像ＳＡ・下面画像ＳＢを左右に連結すれば良い。
【０２２３】
これにより、データ表示／センサ装置１００は、さらに簡単な作業で第１連結端ＬＡ及び第２連結端ＬＢを特定できる。
【０２２４】
また、第１連結端ＬＡ及び第２連結端ＬＢの特定時間の短縮や、演算に必要なメモリ容量の少量化が可能となる。
【０２２５】
なお、上述した問題点を完全に解決するためには、図１０の例のように、選択した折り目Ｌの位置に対応した連結画像を同時に表示（プレビュー）させるようにすることが好ましい。これにより、ユーザが、連結画像が正しいか否かを判断できるので、如何なる場合でも正しい連結画像を作成することができる。
【０２２６】
次に、連結画像補正部１４８は、画像連結部１４４が作成した連結画像のうち、連結結果評価部１４７によって正しいと判定された連結画像における、上面画像ＳＡと下面画像ＳＢとの連結部分に空白部分が生じた場合に、その空白部分の近傍における第１連結端ＬＡの色と第２連結端ＬＢの色との中間色で、その空白部分の色を補間するようになっている。
【０２２７】
これにより、上面画像ＳＡと下面画像ＳＢとの連結部分に生じた空白部分の色を補間できるので、連結画像から原稿Ｐを２つ折りにしたときにできる折り目Ｌによる影響を取り除くことができる。
【０２２８】
ここで、「空白部分」は、画像の欠落部分のことであり、折り目Ｌが原因の欠落部分であっても良いし、折り目Ｌとは関係の無い何らかの原因で不具合が生じたことによる欠落部分であっても良い。
【０２２９】
また、「中間色」は、第１連結端ＬＡの色と第２連結端ＬＢの色とが同一の色相を有する色である場合は、その色相を有する色であって、第１連結端ＬＡの色の明度と第２連結端ＬＢの色の明度の中間の明度を持つ色が例示できる。また、第１連結端ＬＡの色と第２連結端ＬＢの色とが異なっている場合には、これらの色を、適宜配色した混色や、第１連結端ＬＡの色と第２連結端ＬＢの色との１２色環上の中間色などが例示できる。また、第１連結端ＬＡの色と第２連結端ＬＢの色とが共通である場合には、その色自身を含む。
【０２３０】
さらに、第１連結端ＬＡの色と第２連結端ＬＢの色とが同一の色相を有する色である場合は、第１連結端ＬＡの明度と第２連結端ＬＢの色の明度との差分から明度勾配を求め、第１連結端ＬＡ第１の色の明度若しくは第２連結端ＬＢの色の明度と、明度勾配とから中間色の明度の値を決定する方法などが例示できる。
【０２３１】
また、本実施形態では、連結画像補正部１４８は、画像方向決定部１４３が決定した画像方向に応じて、連結画像のセンサ内蔵液晶パネル３０１Ａの主走査方向若しくは副走査方向に対する向きを補正するように構成している。
【０２３２】
また、連結画像補正部１４８は、連結画像の外周が、開かれているときの原稿Ｐにおける外周の形状（例えば、長方形）に対して歪んでいる場合には、その歪みを補正するよう構成されていても良い。
【０２３３】
（コマンドとデータ表示／センサ装置の動作との関係）
ここで、データ表示／センサ装置１００におけるコマンドと、データ表示／センサ装置１００の動作との関係について説明する。
【０２３４】
本実施形態では、データ表示／センサ装置１００の画像連結処理に関するコマンドの名称を「画像連結コマンド」と称する。
【０２３５】
なお、「画像連結コマンド」は、画像連結処理のため主としてスキャン処理部１３のスキャン属性を設定するためのコマンドである。
【０２３６】
まず、「画像連結コマンド」では、図６に示す「データ取得タイミング」フィールドの値を“00”（センス）と指定する。
【０２３７】
なぜなら、“センス”は、最新のデータを直ちに送信すること指定するものであるから、ユーザが操作部９０３を介してスキャンを指示したときに、スキャンした最新のデータが得られるからである。
【０２３８】
次に、「画像連結コマンド」の「データ種別」フィールドの値は、“100”（全体画像）を指定する。
【０２３９】
なぜなら、上面画像ＳＡ・下面画像ＳＢの大きさを最大限の大きさにすることができるからである。
【０２４０】
なお、センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０２４１】
次に、「画像連結コマンド」の「スキャン方式」フィールドの値は、“00”（反射）を指定する。原稿Ｐに画素回路３１が発光する光を照射して、その反射光を検出するためである。
【０２４２】
また、「画像連結コマンド」の「スキャン画像階調」フィールドの値は、“01”（多値）を指定する。原稿Ｐの画像をカラーでスキャンすることが目的だからである。
【０２４３】
なお、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、全体画像データを多階調データとして、主制御部８００に送信する。
【０２４４】
次に、「画像連結コマンド」の「スキャン解像度」フィールドの値は、“0”（高）を設定することが好ましい。原稿Ｐの画像をスキャンすることが目的だから解像度が高いほうが好ましいからである。
【０２４５】
なお、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、全体画像データを高解像度で主制御部８００に送信する。
【０２４６】
次に、「画像連結コマンド」の「スキャンパネル」フィールドの値は、例えば、センサ内蔵液晶パネル３０１Ａに対応する表示／光センサ部３００の指定が“001”、センサ内蔵液晶パネル３０１Ｂに対応する表示／光センサ部３００の指定が“010”であれば、これらを加算して“011”と指定する。なお、本実施形態におけるスキャンは、筐体１００Ａと筐体１００Ｂとが２つ折りに畳まれたことをトリガとして行われるようにする。
【０２４７】
次に、「画像連結コマンド」の「表示パネル」フィールドの値は、“001”若しくは、“010”を指定する。
【０２４８】
なぜなら、図１０に示す折り目位置選択用画像は、センサ内蔵液晶パネル３０１Ａ若しくはセンサ内蔵液晶パネル３０１Ｂのいずれかに表示すれば、充分だからである。
【０２４９】
次に、データ表示／センサ装置１００の動作と「画像連結コマンド」との関係の詳細について説明する。
【０２５０】
最初に、ユーザは、データ表示／センサ装置１００の電源を入れて、スキャン可能な状態となった後で、図９に示す原稿Ｐを折り目Ｌで２つ折りに折り畳み、折り目Ｌをスキャン領域ＳＲ−Ｂの上側に向けて、折り畳まれた原稿Ｐをスキャン領域ＳＲ−Ｂに載置する。
【０２５１】
次に、ユーザは、図９に示す破線矢印の方向に、筐体１００Ａ・筐体１００Ｂを折り畳む。
【０２５２】
このとき、スキャン実行部１３１は、筐体１００Ａ・筐体１００Ｂを折り畳まれたことをトリガとして、データ処理部７００などを介して各光センサ６を動作させて原稿Ｐの像をスキャンさせる。
【０２５３】
データ処理部７００は、「画像連結コマンド」の「データ取得タイミング」フィールドの値が、“センス”に設定されているので、原稿Ｐをスキャンした最新のデータを主制御部８００に送信する。
【０２５４】
スキャンデータ格納部１３３は、主制御部８００に送信されてきた上面画像ＳＡ・下面画像ＳＢの全体画像データをスキャンデータとしてスキャン画像記憶部２３１に記憶させる。
【０２５５】
次に、センサ内蔵液晶パネル３０１が画像表示可能になると、「画像連結コマンド」の「表示パネル」フィールドの値が、“001”に設定されているものとして、スキャンデータが画像記憶部２３１に記憶されたことをトリガとしてセンサ内蔵液晶パネル３０１Ａに、図１０に示す折り目位置特定用画像を表示させる。
【０２５６】
その後、ユーザが折り目位置特定用画像において選択した折り目Ｌの位置に応じて、連結端特定部１４２は、第１連結端ＬＡ・第２連結端ＬＢを特定し、第１連結端ＬＡと第２連結端ＬＢとを一致させて、第２切り出し画像ＳＢ−１と第１切り出し画像ＳＡ−２を連結させた連結画像を折り目位置特定用画像のプレビューに表示する。
【０２５７】
プレビューに表示された連結画像が正しい画像であれば、ユーザは、図１０に示す「イメージを連結する」をクリックし、正しい連結画像が作成・保存されると画像連結処理を終了し、プレビューに表示された連結画像が間違っているのであれば、最初に戻って以上の画像連結処理を繰り返す。
【０２５８】
（データ表示／センサ装置の動作）
次に、図１２のフローチャートに基づき、データ表示／センサ装置１００の動作の詳細について説明する。
【０２５９】
図１２に示すフローチャートでは、データ表示／センサ装置１００の電源スイッチが入ってセンサ内蔵液晶パネル３０１Ａ及びセンサ内蔵液晶パネル３０１Ｂがスキャン可能な状態になるとスタートとなる。
【０２６０】
ステップＳ１（以下、「ステップ」は、省略する）では、図１に示すスキャン実行部１３１の指示により、センサ制御部６０２が、光センサ駆動回路３０５を介して光センサ６によりスキャンを行って、そのスキャンデータ（ここでは、全体画像データ）をデータ処理部７００の画像データバッファ７０４に蓄積（保持）する動作を所定のタイミングＴＣ２で繰り返している。なお、この時点では、「データ取得タイミング」のフィールド値は、既に“センス”に設定されているものとする。
【０２６１】
次に、Ｓ２で、ユーザは、図１１（ｂ）に示すように原稿Ｐを折り目Ｌで２つ折りに折り畳み、折り目Ｌをスキャン領域ＳＲ−Ｂの右側に向けて、折り畳まれた原稿Ｐをスキャン領域ＳＲ−Ｂに載置する。
【０２６２】
その後、ユーザは、図９に示す破線矢印の方向に、筐体１００Ａ・筐体１００Ｂを折り畳んで、Ｓ３に進む。
【０２６３】
次に、Ｓ３では、スキャン実行部１３１のスキャン実行指示部１３２は、筐体１００Ａ・筐体１００Ｂを折り畳まれたことをトリガとして、データ処理部７００などを介して各光センサ６を動作させて原稿Ｐの像をスキャンさせる。このとき、「画像連結コマンド」の「スキャンパネル」フィールドの値は、“011”と指定しているので、センサ内蔵液晶パネル３０１Ａ・センサ内蔵液晶パネル３０１Ｂで同時にスキャンが行われる。
【０２６４】
次に、データ処理部７００は、「画像連結コマンド」の「データ取得タイミング」フィールドの値が、“センス”に設定されているので、原稿Ｐをスキャンした最新のデータを主制御部８００に送信する。
【０２６５】
スキャンデータ格納部１３３は、センサ内蔵液晶パネル３０１Ａ・センサ内蔵液晶パネル３０１Ｂから主制御部８００に送信されてきた上面画像ＳＡ・下面画像ＳＢを、スキャン画像記憶部２３１に記憶（保持）させてＳ４に進む。なお、上面画像ＳＡ・下面画像ＳＢは、それぞれ図１１（ｃ）・図１１（ｄ）のような結果となっているものとする。
【０２６６】
Ｓ４では、画像切り出し部１４１が、上面画像ＳＡから第１切り出し画像ＳＡ−２を、下面画像ＳＢから第２切り出し画像ＳＢ−１を切り出して、それぞれを切り出し画像記憶部２３２に記憶させてＳ５に進む。
【０２６７】
Ｓ５では、センサ内蔵液晶パネル３０１の表示が可能になると、「画像連結コマンド」の「表示パネル」フィールドの値が、“001”に設定されているものとして、スキャンデータが画像記憶部２３１に記憶されたことをトリガとしてセンサ内蔵液晶パネル３０１Ａに、図１０に示す折り目位置特定用画像を表示させる。
【０２６８】
次に、ユーザが、図１０に示すように、操作部９０３を介して折り目位置特定用画像の「上が折り目」をクリックする。
【０２６９】
折り目位置特定部１４５は、ユーザの指定に従って、折り目Ｌの位置が「上」と判断（特定）してＳ６に進む。
【０２７０】
Ｓ６では、連結端特定部１４２は、折り目位置特定部１４５が折り目Ｌの位置が「上」と判断したことをトリガとして、第１連結端ＬＡ・第２連結端ＬＢを特定してＳ７に進む。
【０２７１】
Ｓ７では、画像連結部１４４が図１１（ｅ）に示す連結画像を作成し、連結画像記憶部２３３に記憶させる。画像表示処理部１５は、連結画像記憶部２３３に連結画像が記憶されたことをトリガとして、連結画像を図１０に示す折り目位置特定用画像のプレビューに表示させてＳ８に進む。
【０２７２】
Ｓ８では、ユーザが、プレビューを見て連結画像は間違っていると判断して「ＮＯ」となり、Ｓ５に戻る。
【０２７３】
再びＳ５で、ユーザは、図１０に示す折り目位置特定用画像の「右が折り目」をクリックする。折り目位置特定部１４５は、ユーザの指定に従って、折り目Ｌの位置が「右」と判断（特定）してＳ６に進む。
【０２７４】
Ｓ６では、連結端特定部１４２は、折り目位置特定部１４５が折り目Ｌの位置が「右」と判断したことをトリガとして、第１連結端ＬＡ・第２連結端ＬＢを特定してＳ７に進む。
【０２７５】
Ｓ７では、画像連結部１４４が図１１（ｇ）に示す連結画像を作成し、連結画像記憶部２３３に記憶させる。画像表示処理部１５は、連結画像記憶部２３３に連結画像が記憶されたことをトリガとして、連結画像を図１０に示す折り目位置特定用画像のプレビューに表示させてＳ８に進む。
【０２７６】
Ｓ８では、ユーザが、図１１（ｇ）の連結画像が表示されたプレビューを見て、連結画像は正しいと判断して「イメージを連結する」をクリックして「ＹＥＳ」となり、Ｓ９に進む。
【０２７７】
Ｓ９では、ユーザが、「イメージを連結する」をクリックしたことをトリガとして、連結結果評価部１４７は、連結画像が正しいと判断する。
【０２７８】
配置方向特定部１４６は、画像連結部１４４は、連結結果評価部１４７が、連結画像が正しいと判断したことをトリガとして、第１切り出し画像ＳＡ−２及び第２切り出し画像ＳＢ−１を読出し、第１切り出し画像ＳＡ−２の中の直線状の各線分の方向とセンサ内蔵液晶パネル３０１Ｂの主走査方向若しくは副走査方向との為す角の中に鋭角や鈍角が存在していないか否かを確認し、図１１（ｃ）・図１１（ｄ）の例では、鋭角や鈍角が存在しないので、連結画像の回転は不要であると判断する。
【０２７９】
画像方向決定部１４３は、連結画像の回転角を０度で或る旨を連結画像補正部１４８に通知してＳ１０に進む。
【０２８０】
Ｓ１０では、連結画像補正部１４８が、正しいと判断された連結画像を読出し、その連結画像の第１切り出し画像ＳＡ−２と第２切り出し画像ＳＢ−１との連結部分に空白部分が生じているか否かを確認する。
【０２８１】
空白部分が生じていた場合には、空白部分近傍における第１連結端ＬＡの色と第２連結端ＬＢの色との中間色で空白部分を補間する作業をすべての空白部分について行う。
【０２８２】
また、連結画像補正部１４８は、連結画像が、長方形から歪んでいる場合には、その歪みの補正を行う。
【０２８３】
また、連結画像補正部１４８は、画像方向決定部１４３から連結画像の回転角は０度であるとの通知を受けているので、連結画像は、回転させず、Ｓ１１に進む。
【０２８４】
Ｓ１１では、連結画像補正部１４８が、補正後の連結画像を画像データ記憶部２３の連結画像記憶部２３３に記憶（保持）させて「ＥＮＤ」となる。
【０２８５】
以上のフローでは、ユーザが折り目Ｌの位置を指定する場合について説明した。次に、ユーザが折り目Ｌの位置を指定しない場合のフローを一部抜粋して説明する。
【０２８６】
但し、ここでは、図１１（ａ）に示すような「類似度」に関する上述した問題点が存在していない原稿Ｐを用いたものとして説明する。また、ここで、説明していないステップは、上述した各ステップと同様なので、説明を省略する。
【０２８７】
まず、Ｓ４からであるが、画像切り出し部１４１が、上面画像ＳＡから第１切り出し画像ＳＡ−２を、下面画像ＳＢから第２切り出し画像ＳＢ−１を切り出して、それぞれを切り出し画像記憶部２３２に記憶させてＳ５に進む。
【０２８８】
Ｓ５では、折り目位置特定部１４５が、折り目Ｌの位置を「上」と特定してＳ６に進む。
【０２８９】
Ｓ６では、連結端特定部１４２は、折り目位置特定部１４５が折り目Ｌの位置を「上」と特定したことをトリガとして、第１連結端ＬＡ・第２連結端ＬＢを特定してＳ７に進む。
【０２９０】
Ｓ７では、画像連結部１４４が連結画像を作成し、連結画像記憶部２３３に記憶させてＳ８に進む。
【０２９１】
Ｓ８では、連結結果評価部１４７が、第１連結端ＬＡの色と第２連結端ＬＢの色との差分の総和（上合計値）を求めて、解析データ等記憶部２４に保持し、Ｓ５に戻る。
【０２９２】
再びＳ５で、折り目位置特定部１４５は、上合計値が保持されたことをトリガとして、折り目Ｌの位置を「下」と特定してＳ６に進む。
【０２９３】
Ｓ６では、連結端特定部１４２は、折り目位置特定部１４５が折り目Ｌの位置が「下」と特定したことをトリガとして、第１連結端ＬＡ・第２連結端ＬＢを特定してＳ７に進む。
【０２９４】
Ｓ７では、画像連結部１４４が連結画像を作成し、連結画像記憶部２３３に記憶させてＳ８に進む。
【０２９５】
Ｓ８では、連結結果評価部１４７が、第１連結端ＬＡの色と第２連結端ＬＢの色との差分の総和（下合計値）を求めて、Ｓ５に戻る。
【０２９６】
以上の繰り返しの動作を折り目位置特定部１４５が、上下左右のすべての折り目位置を特定し、これらに対応する第１連結端ＬＡの色と第２連結端ＬＢの色との差分の総和（上合計値・下合計値・左合計値・右合計値）の全てが算出されるまで繰り返してからＳ８に進む。
【０２９７】
Ｓ８では、連結結果評価部１４７が、上合計値・下合計値・左合計値・右合計値の中から最小となる合計値を選択し、その合計値に対応する第１連結端ＬＡ及び第２連結端ＬＢの組合せを「類似度」が最も高いと判断して、その「類似度」が最も高い第１連結端ＬＡと第２連結端ＬＢとを連結させた連結画像を特定し、「ＹＥＳ」となりＳ９に進む。
【０２９８】
Ｓ９では、配置方向特定部１４６は、連結結果評価部１４７が、連結画像が正しいと判断したことをトリガとして、第１切り出し画像ＳＡ−２及び第２切り出し画像ＳＢ−１を読出し、第１切り出し画像ＳＡ−２の中の直線状の各線分の方向とセンサ内蔵液晶パネル３０１Ｂの主走査方向若しくは副走査方向との為す角の中に鋭角や鈍角が存在していないか否かを確認する。このとき折り畳んだ原稿Ｐの形状が長方形で、スキャン領域ＳＲ−Ｂの主走査方向に対して角度αだけ斜めに載置されていることが特定されたものとする。
【０２９９】
配置方向特定部１４６は、スキャン領域ＳＲ−Ｂの主走査方向に対して角度αでだけ斜めに載置されていることを算出し、その結果（配置方向特定結果）に基づいて、画像方向決定部１４３は、連結画像の回転角をαであると判断し、連結画像の回転が右回りか左回りかを特定して、その結果を連結画像補正部１４８に通知してＳ１０に進む。
【０３００】
Ｓ１０では、連結画像補正部１４８が、正しいと判断された連結画像を読出し、その連結画像の第１切り出し画像ＳＡ−２と第２切り出し画像ＳＢ−１との連結部分に空白部分が生じているか否かを確認する。
【０３０１】
空白部分が生じていた場合には、空白部分近傍における第１連結端ＬＡの色と第２連結端ＬＢの色との中間色で空白部分を補間する作業をすべての空白部分について行う。
【０３０２】
また、連結画像補正部１４８は、連結画像が、長方形から歪んでいる場合には、その歪みの補正を行う。
【０３０３】
また、連結画像補正部１４８は、画像方向決定部１４３から連結画像の回転角はαであるとの通知を受けているので、連結画像をαだけ回転させて、Ｓ１１に進む。このとき、連結画像の回転が右回りか左回りかは、配置方向特定部１４６の特定結果に従う。
【０３０４】
Ｓ１１では、連結画像補正部１４８が、補正後の連結画像を画像データ記憶部２３の連結画像記憶部２３３に記憶（保持）させて「ＥＮＤ」となる。
【０３０５】
以上の構成によれば、２つ折りに折り畳んだ原稿Ｐを撮像した画像から、開かれているときの原稿Ｐの画像を作成することができる。
【０３０６】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０３０７】
最後に、データ表示／センサ装置１００の各ブロック、特に主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０３０８】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、前記プログラムを格納したＲＯＭ（read only memory）、前記プログラムを展開するＲＡＭ（random access memory）、前記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、前記データ表示／センサ装置１００に供給し、そのコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０３０９】
前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０３１０】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０３１１】
本発明は、スキャンした画像データを演算・加工する画像作成機能を有するものであれば、如何なる電子機器に適用することも可能である。具体的には、スキャナ、プリンタ、コピー機、写真撮影機、写真現像機、写真合成機、ＦＡＸ（facsimile）送信機及びＦＡＸ受信機などに広く適用することができる。また、ＰＣ（パーソナル・コンピュータ）、モバイル及び携帯電話などの情報処理装置や、これらの複数の情報処理装置やサーバ装置などがインターネットで接続された情報処理システムなどにも広く適用することができる。
【符号の説明】
【０３１２】
１３    スキャン処理部
１４    連結画像処理部（折り目辺特定手段，画像作成手段）
１５    画像表示処理部
２２    スキャン属性情報記憶部
２３    画像データ記憶部
２４    解析データ等記憶部
１００    データ表示／センサ装置（画像作成装置）
１３１    スキャン実行部
１３２    スキャン実行指示部
１３３    スキャンデータ格納部
１３４    スキャン属性情報設定部
１４１    画像切り出し部
１４２    連結端特定部（折り目辺特定手段）
１４３    画像方向決定部（画像作成手段）
１４４    画像連結部（画像作成手段）
１４５    折り目位置特定部（折り目辺特定手段）
１４６    配置方向特定部（画像作成手段）
１４７    連結結果評価部（折り目辺特定手段，画像作成手段）
１４８    連結画像補正部（補間手段，画像作成手段）
２３１    スキャン画像記憶部
２３２    切り出し画像記憶部
２３３    連結画像記憶部
２３４    折り目位置選択用画像記憶部
２４１    折り目位置／連結端特定結果記憶部
２４２    配置方向特定結果記憶部
３０１Ａ    センサ内蔵液晶パネル（第１面状部材）
３０１Ｂ    センサ内蔵液晶パネル（第２面状部材）
Ｌ    折り目
ＬＡ    第１連結端（第１の折り目辺）
ＬＢ    第２連結端（第２の折り目辺）
Ｐ    原稿（面状物）
Ｐ１，Ｐ２  紙片
ＳＡ    上面画像
ＳＡ−１    不用画像
ＳＡ−２    第１切り出し画像
ＳＡ−２Ｒ  上下反転第１切り出し画像
ＳＢ    下面画像
ＳＢ−１    第２切り出し画像
ＳＢ−１Ｒ  上下反転第２切り出し画像
ＳＢ−２    不用画像
ＳＲ−Ａ，ＳＲ−Ｂ  スキャン領域
【図１】
2010171540.tif 000003
【図２】
2010171540.tif 000004
【図３】
2010171540.tif 000005
【図４】
2010171540.tif 000006
【図５】
2010171540.tif 000007
【図６】
2010171540.tif 000008
【図７】
2010171540.tif 000009
【図８】
2010171540.tif 000010
【図９】
2010171540.tif 000011
【図１０】
2010171540.tif 000012
【図１１】
2010171540.tif 000013
【図１２】
2010171540.tif 000014