(57)【要約】【課題】１ラインの受光素子を並べたＣＩＳスキャナで、自発光する端末装置の表示面をカラーで取得することができる読取制御装置を提供する。【解決手段】載置部に載置された対象物を読み取る読み取り手段を備えた読取制御装置であって、複数色のサブピクセルで構成される発光領域を有する対象物を読み取る場合、前記読み取り手段による読み取りにて得られた画像を用いて、前記対象物の発光領域におけるサブピクセルの位置および前記複数色の並び順を特定する特定手段と、前記特定手段にて位置が特定されたサブピクセルそれぞれの画素値を取得する取得手段と、前記取得手段にて取得したサブピクセルそれぞれの画素値を用いて、カラー画像を生成する生成手段とを有する。【選択図】  図１５
2019125149.tif 000002
【特許請求の範囲】
【請求項１】
載置部に載置された対象物を読み取る読み取り手段を備えた読取制御装置であって、
複数色のサブピクセルで構成される発光領域を有する対象物を読み取る場合、前記読み取り手段による読み取りにて得られた画像を用いて、前記対象物の発光領域におけるサブピクセルの位置および前記複数色の並び順を特定する特定手段と、
前記特定手段にて位置が特定されたサブピクセルそれぞれの画素値を取得する取得手段と、
前記取得手段にて取得したサブピクセルそれぞれの画素値を用いて、カラー画像を生成する生成手段と
を有することを特徴とする読取制御装置。
【請求項２】
前記特定手段は、前記読み取り手段による読み取りにて得られた画像に対してエッジ検出を行い、検出されたエッジに基づいてサブピクセルの位置を特定することを特徴とする請求項１に記載の読取制御装置。
【請求項３】
前記取得手段は、サブピクセル内の画素値の平均値、中央値、最大値、または最小値の何れかの値をサブピクセル内の画素値として取得することを特徴とする請求項１または２に記載の読取制御装置。
【請求項４】
前記生成手段は、複数色のサブピクセルの並び順の組み合わせに対応した複数のカラー画像を生成することを特徴とする請求項１乃至３のいずれか一項に記載の読取制御装置。
【請求項５】
前記生成手段は、前記読み取り手段による読み取りにて得られた画像において先頭のサブピクセルから順にｎ個のサブピクセルを１つの画素として画像を生成し、
前記生成手段は、前記ｎ個のサブピクセルを、前記複数色の並び順の組み合わせに対応して複数のカラー画像を生成することを特徴とする請求項４に記載の読取制御装置。
【請求項６】
前記複数色は、
Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３つ、
Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、Ｙｅｌｌｏｗの４つ、もしくは
Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、Ｗｈｉｔｅの４つ
のいずれかであることを特徴とする請求項５に記載の読取制御装置。
【請求項７】
前記生成手段にて生成された複数のカラー画像を、ユーザが選択可能に表示する表示手段を更に有し、
前記特定手段は、前記複数のカラー画像から選択されたカラー画像に基づいて前記複数色の並び順を特定することを特徴とする請求項４乃至６のいずれか一項に記載の読取制御装置。
【請求項８】
前記読み取り手段が備える発光部を発光させて読み取りを行う第１のモードと、前記発光部を発光させずに読み取りを行う第２のモードを切り替える切り替え手段を更に有し、
前記発光する対象物を読み取る場合、前記第２のモードにて読み取りを行うことを特徴とする請求項１乃至７のいずれか一項に記載の読取制御装置。
【請求項９】
前記特定手段は、前記発光する対象物を読み取る場合、プレスキャンを行い、当該プレスキャンにより得られた画像に基づいて当該対象物の自発光する領域を特定し、当該特定された領域においてサブピクセルの位置を特定することを特徴とする請求項１乃至８のいずれか一項に記載の読取制御装置。
【請求項１０】
前記対象物の前記載置部に載置された向きに応じて、前記特定手段にて特定されたサブピクセルの位置を調整するように前記読み取り手段にて読み取られた画像の回転補正を行うことを特徴とする請求項１乃至９のいずれか一項に記載の読取制御方法。
【請求項１１】
前記特定手段は、前記読み取り手段による読み取りにより得られた画像から、所定のマーカー部を検出し、当該所定のマーカー部に基づいて前記対象物のサブピクセルの位置および前記複数色の並び順を特定することを特徴とする請求項１に記載の読取制御装置。
【請求項１２】
前記対象物の情報を取得する手段を更に有し、
前記特定手段は、前記対象物の情報に基づいて当該対象物のサブピクセルの位置および前記複数色の並び順を特定することを特徴とする請求項１に記載の読取制御装置。
【請求項１３】
前記読み取り手段は、１ラインのＣＩＳ（Ｃｏｎｔａｃｔ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）スキャナであることを特徴とする請求項１乃至１２のいずれか一項に記載の読取制御装置。
【請求項１４】
載置部に載置された対象物を読み取る読み取り手段を備えた画像読取装置の制御方法であって、
複数色のサブピクセルで構成される発光領域を有する対象物を読み取る場合、前記読み取り手段による読み取りにて得られた画像を用いて、前記対象物の発光領域におけるサブピクセルの位置および前記複数色の並び順を特定する特定工程と、
前記特定工程にて位置が特定されたサブピクセルそれぞれの画素値を取得する取得工程と、
前記取得工程にて取得したサブピクセルそれぞれの画素値を用いて、カラー画像を生成する生成工程と
を有することを特徴とする画像読取装置の制御方法。
【請求項１５】
載置部に載置された対象物を読み取る読み取り手段に接続されたコンピューターを、
複数色のサブピクセルで構成される発光領域を有する対象物を読み取る場合、前記読み取り手段による読み取りにて得られた画像を用いて、前記対象物の発光領域におけるサブピクセルの位置および前記複数色の並び順を特定する特定手段、
前記特定手段にて位置が特定されたサブピクセルそれぞれの画素値を取得する取得手段、
前記取得手段にて取得したサブピクセルそれぞれの画素値を用いて、カラー画像を生成する生成手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、読取制御装置、読取装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
原稿台上に載置された読み取り対象を読み取り部に読み取らせることで、画像データを取得する読取制御装置が知られている。特許文献１には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）３色の光源を備えるＣＩＳ（Ｃｏｎｔａｃｔ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）スキャナで、カラー原稿を読み取る技術が開示されている。具体的には、特許文献１には、ＲＧＢの３色の各光源を順次点灯させて原稿を照射し、その反射光を読み取り、各光源の１ラインにおける読取データとして、カラー読み取りを行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２９９７６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、液晶ディスプレイで構成された表示部を備えた端末装置が普及している。上述したような端末装置の表示部は、１画素が複数色の光源から構成され、各光源が光量に応じた様々なドットをつくり、その組み合わせで様々な色を表現している。そのため、読取装置により端末装置の表示部に表示されている内容を読み取る際に、ＲＧＢの３色の各光源を順次点灯させて端末装置を照射しても、端末装置の表示部が複数色を発光しているため、各光源の反射光は、複数色のデータを取得してしまう。
【０００５】
そこで、本発明は、スキャナで、端末装置の表示面を読み取りカラーのスキャンデータを適切に取得することができる読取制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、載置部に載置された対象物を読み取る読み取り手段を備えた読取制御装置であって、  複数色のサブピクセルで構成される発光領域を有する対象物を読み取る場合、前記読み取り手段による読み取りにて得られた画像を用いて、前記対象物の発光領域におけるサブピクセルの位置および前記複数色の並び順を特定する特定手段と、前記特定手段にて位置が特定されたサブピクセルそれぞれの画素値を取得する取得手段と、前記取得手段にて取得したサブピクセルそれぞれの画素値を用いて、カラー画像を生成する生成手段とを有する。
【発明の効果】
【０００７】
本発明により、スキャナは、端末装置に表示されるカラー画像に対応するカラーの画像データを適切に取得することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】読取制御装置のハードウェア構成の一例を示すブロック図。
【図２】読取制御装置が備える画像読取制御部の概略断面図。
【図３】反射光読み取り対象を発光有りモードで読み取っている状態を説明するための図。
【図４】自発光読み取り対象を発光無しモードで読み取っている状態を説明するための図。
【図５】反射光読み取り対象を発光有りモードで読み取ることにより得られた画像を示す図。
【図６】自発光読み取り対象を発光有りモードで読み取ることにより得られた画像を示す図。
【図７】自発光読み取り対象を発光無しモードで読み取ることにより得られた画像を示す図。
【図８】本実施形態に係る読取制御装置による処理を示すフローチャート。
【図９】本実施形態に係る端末装置の表示部の光源の構成を説明するための図。
【図１０】本実施形態に係るカラー画像の生成方法を説明するための図。
【図１１】サブピクセルの並び順について説明するための図。
【図１２】サブピクセルの並び順について説明するための図。
【図１３】本実施形態に係るカラー画像の生成方法を説明するための図。
【図１４】本実施形態に係るカラー画像の生成方法を説明するための図。
【図１５】第１実施形態に係るカラー画像の生成・表示処理を示すフローチャート。
【図１６】第２実施形態に係るマーカー部を説明するための図。
【図１７】第２実施形態に係るカラー画像の生成・表示処理を示すフローチャート。
【図１８】本実施形態に係る表示画面の構成例を示す図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１０】
（第１実施形態）
本発明を適用した読取制御装置について説明する。本実施形態において、読取制御装置として、インクジェット記録方式の複合機（ＭＦＰ：Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）を例示しているが、ＭＦＰではなく、単機能の装置であっても良い。また、本発明の読取制御装置は、印刷機能を備えていなくても良く、少なくとも、読み取り部に読み取りの対象物を読み取らせて画像データを取得する画像読取機能（スキャン機能）を有していれば良い。すなわち、読取制御装置は、画像読取装置として機能しても良い。
【００１１】
［ハードウェア構成］
図１は、本実施形態における読取制御装置である複合機１のハードウェア構成の一例を示すブロック図である。上述したように、複合機１は、原稿を読み取ることにより生成した画像データを所定の記憶領域に保存するスキャン機能を有する。さらに、複合機１は、原稿を読み取ることにより生成した画像データに基づく画像を印刷する機能であるコピー機能と、原稿を読み取ることにより生成した画像データを複合機１の外部の装置に送信する送信機能（例えば、メールによる送信）等を有する。
【００１２】
複合機１は、外部インターフェース４及び外部バス２を介して外部装置３に接続されている。本実施形態では、外部バス２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）であり、外部インターフェース４がＵＳＢインターフェースであるものとするが、この形態に限定されない。例えば、外部バス２は、他の有線通信方式によるバスであっても良い。また、複合機１は、外部インターフェース４を無線通信ユニットとすることで、外部装置３と無線によって接続しても良い。その場合、複合機１は、外部装置３と、無線通信でダイレクトに通信しても良いし、複合機１や外部装置３の外部に存在する外部アクセスポイントを介して通信しても良い。複合機１と外部装置３との間の無線接続に用いられる無線通信方式としては、例えば、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。また、外部アクセスポイントとしては、例えば、無線ＬＡＮルーター等の機器などが挙げられる。
【００１３】
ＣＰＵ９は、プログラムによって複合機１の制御を行うプロセッサである。具体的には、ＣＰＵ９は、ＲＯＭ１０に記憶された制御プログラムをＲＡＭ１１に展開し、必要な時に読み出して読取制御や印刷制御などの各種制御を行う。内部バス１３は、複合機１が備える各ハードウェア構成を通信可能に接続するバスである。
【００１４】
ＲＯＭ１０は、ＣＰＵ９が実行する制御プログラムや組込オペレーティングシステム（以下、ＯＳ）プログラム等の各種プログラムを格納する。本実施形態では、ＲＯＭ１０に格納されている制御プログラムは、ＲＯＭ１０に格納されている組込ＯＳの管理下で、スケジューリングやタスクスイッチ等のソフトウェア制御を行う。また、本実施形態では、ＲＯＭ１０は、画像データ、各種プログラム、及び各種設定情報も格納する。本実施形態では、ＲＯＭ１０としてフラッシュストレージ等を想定しているが、ハードディスク等の補助記憶装置であってもよい。また、本実施形態において、ＲＯＭ１０は、自発光読み取り対象の読取りプログラム、反射光読み取り対象の読取りプログラム、後述するカラー画像生成ためのプログラム等を格納する。各プログラムによって実行される制御については後述する。
【００１５】
ＲＡＭ１１は、ＳＲＡＭ（ｓｔａｔｉｃ  ＲＡＭ）等で構成されたメモリである。ＲＡＭ１１は、プログラム制御変数や、ユーザが登録した設定値などを格納し、各種ワーク用バッファ領域が設けられている。なお、これらのデータは、ＲＡＭ１１でなく、ＲＯＭ１０や不揮発性ＲＡＭ１２等の他の記憶領域に保存されても良い。また、ＲＡＭ１１は、ワークエリアやＲＯＭ１０に記憶された各種プログラムを展開する為の一時記憶領域として用いられる。本実施形態では、ＲＡＭ１１は、自発光読み取り対象および反射光読み取り対象の読取りプログラムによって生成された画像データや、後述するカラー画像生成のためのサブピクセル画像等を格納する。不揮発性ＲＡＭ１２は、電源がオフされてもデータを揮発させずに保持可能なメモリである。具体的には、不揮発性ＲＡＭ１２には、ネットワーク情報などのユーザデータ、過去に接続した外部装置のリスト、印刷モードなどのメニュー項目、記録ヘッドの補正情報といった複合機１の設定情報等が記憶される。なお、本実施形態では、ＣＰＵ９やＲＯＭ１０、ＲＡＭ１１等によりコンピュータが形成される。
【００１６】
操作表示部５には、タッチパネル機能を有する液晶表示部や操作キーなどが備えられている。すなわち、操作表示部５は、ユーザから各種操作を受け付ける操作部や、ユーザに情報を表示する表示部として機能する。なお、本実施形態では、操作表示部５をタッチパネルで構成することで、操作部と表示部とを同一のユニットとしているが、例えば、操作部を物理キー等で構成することで、操作部と表示部とを別々のユニットとして構成しても良い。また、複合機１は、操作表示部５に対するユーザからの操作を受け付けることで、ユーザから印刷動作命令やコピー動作命令、スキャン動作命令を受け付けることが可能である。複合機１は、操作表示部５を介してユーザから印刷動作命令を受け付ける場合には、例えばＳＤカード等の記録媒体に格納された画像データに基づいて印刷を行う。また、本実施形態では、操作表示部５には、生成したカラー画像が表示される。
【００１７】
画像読取制御部６は、イメージセンサユニット（読み取り部）によって原稿を読み取ることで得られたアナログ電気信号をＡ／Ｄ（アナログ／デジタル）変換するとともに、イメージセンサユニットの特性補正を行う回路である。イメージセンサユニットは、原稿に光を照射する光源や、原稿からの反射光を読み取り、光電変換する素子を配列したイメージセンサを含む。また、画像読取制御部６は、アナログ電気信号がＡ／Ｄ変換されることで得られる画像データをＲＡＭ１１へ記憶するために、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）転送を行う回路も備える。本実施形態では、読取手段であるイメージセンサユニットは、反射光読み取り対象を読み取るときは原稿に光を照射する光源を制御する。一方、イメージセンサユニットは、上述した端末装置のように自発光する画面を読み取るときは原稿に光を照射する光源に発光させない制御を行う。
【００１８】
画像処理部７は、ＲＡＭ１１等のメモリに記憶されている画像データを読み出し、スムージング処理や記録濃度補正処理、色補正などの各種画像処理を行う回路である。また、画像処理部７は、ＲＡＭ１１等のメモリに記憶されている画像データを読み出し、ＪＰＥＧ法などを用いて符号化処理する回路と、符号化データを復号化処理する回路を備える。符号化の方法として、例えば、ＪＰＥＧ法を適用可能であるが、他の符号化方式が適用されても良い。
【００１９】
なお、本実施形態では、読取制御装置としての複合機１が、読み取り部や画像読取制御部６、画像処理部７を有しているものとしたが、この形態に限定されず、それらの構成全てを備えていなくても良い。例えば、読取制御装置は、それらの構成を備える外付けのスキャナ装置にスキャン指示を送信することで、当該スキャナ装置から画像データを取得する装置であっても良い。
【００２０】
外部装置３は、複合機１の外部の装置であり、例えば、携帯電話、スマートフォン、パーソナルコンピュータ（ＰＣ）、タブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、デジタルカメラ等の装置である。以上が、ハードウェア構成図の説明となる。
【００２１】
［スキャン処理］
本実施形態におけるスキャン処理について説明する。複合機１をスキャナとして用いる場合、まず、ＣＰＵ９は、後述の原稿読み取り面上に載置された原稿に光源であるＬＥＤによって光を照射しながら、イメージセンサユニットを含む画像読取制御部６を所定の方向に走査する。具体的には、ＣＰＵ９は、ＬＥＤが発する光をＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）と変化させてイメージセンサへの入射光を制御する。そして、ＣＰＵ９は、原稿から反射した光を画像読取制御部６のイメージセンサで読み取り、アナログ電気信号を得る。ＣＰＵ９は、画像読取制御部６で、得られたアナログ電気信号に対しＡ／Ｄ変換と特性補正を行い、デジタル信号を得る。なお、本実施形態において、イメージセンサによってある領域に対応する出力を得ることは、イメージセンサによって当該領域の原稿を読み取り、当該領域に対応する画像データを生成することに対応する。そして、ＣＰＵ９は、デジタル信号を画像データとしてＲＡＭ１１に保存する。ＣＰＵ９は、ＲＡＭ１１に保存した画像データを画像処理部７でＪＰＥＧ符号化して符号化データを得る。そして、ＣＰＵ９は、符号化データをＲＡＭ１１に記憶する。ＣＰＵ９は、符号化データを外部インターフェース４から外部バス２を介して外部装置３に送信する。外部装置３は、受信した符号化データを復号化することで、スキャンにより得られた画像データを取得することができる。
【００２２】
なお、複合機１を複写機として用い、コピー処理を実行する場合、ＣＰＵ９は、符号化データをＲＡＭ１１に記憶するまでは、上述のスキャン処理と同様の処理を行う。ＣＰＵ９は、その後、画像処理部７で符号化データを復号化し、再度、画像データを得る。そして、ＣＰＵ９は、得られた画像データに様々な画像処理を行い、印刷データを得る。ＣＰＵ９は、画像形成部８に、得られた印刷データに基づく画像を、記録剤（インク、トナー等）によって記録媒体（紙等）上に形成させる。これにより、コピー処理が実行される。
【００２３】
図２は、複合機１が備える画像読取制御部６の概略断面図である。
【００２４】
原稿台２０１は、読み取り対象を載置する載置部であり、スキャナセンサと原稿間の距離を一定に保つためのコンタクトガラスと、それを保持する部品で構成されている。原稿台２０１上には、読み取り対象として、例えば、原稿を載置可能である。
【００２５】
スキャナカバー２０２は、原稿台２０１を覆う閉じ位置と、原稿台２０１を開放する開放位置との間で回動可能なカバーである。図２では、スキャナカバー２０２が閉じた状態を示している。スキャナカバー２０２が持ち上げられ、原稿台２０１が開放位置に位置すると、ユーザは原稿台２０１に原稿を載置することができる。なお、スキャナカバー２０２は閉じ位置に位置することで、原稿台２０１上に載置された原稿を押さえる圧板としても機能する。ユーザは原稿台２０１に載置されたヒンジ（不図示）を支点としてスキャナカバー２０２を持ち上げる（原稿台２０１に対して垂直方向上方に回動させる）ことができる。このとき、スキャナカバー２０２における、原稿台２０１上に載置された原稿に接する面には、原稿の画像データを損なわずに得るための白色のシート（不図示）が貼り付けられている。なお、原稿台２０１上に載置された原稿に接する面とは、言い換えれば、スキャナカバー２０２が閉じ位置に位置する状態で原稿台２０１に対向する面である。
【００２６】
画像読取制御部６は、スキャナカバー２０２が閉じ位置に位置しており外部からの光が遮断されている状態で、スキャナカバー２０２と原稿台２０１の間に載置された被読み取り物（原稿等）を読み取って、画像データを生成する。なお、画像読取制御部６が被読み取り物の読み取りに用いる構成として、本実施形態では、画像読取制御部６は、１ラインの受光素子を並べたＣＩＳ（Ｃｏｎｔａｃｔ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）で構成されるイメージセンサユニット２０３によって読み取りを行う。なお、１ラインの受光素子を並べたＣＩＳスキャナは、縮小光学系または３ライン受光素子を並べたＣＩＳスキャナによる読み取りとは異なり、読み取り部でＲＧＢの判別ができない。すなわち、１ラインの受光素子を並べたＣＩＳスキャナにおいて、ＲＧＢの３色の各光源を順次点灯させて、対象物を照射し、その反射光を読み取るだけでは、端末装置の表示面をカラーで読み取ることができないおそれがあった。
【００２７】
画像読取制御部６は、イメージセンサユニット２０３と、イメージセンサユニット２０３を原稿台２０１と略水平の方向（図２における方向２０４）に駆動させる移動装置を含む。なお、イメージセンサユニット２０３は、読み取り動作中以外は、待機位置２０５に位置するように制御される。本実施形態では、待機位置２０５は、キャリブレーションシート２０６に対向する位置である。キャリブレーションシート２０６は、イメージセンサユニット２０３の特性補正を行うための白基準データを取得するためのシートである。
【００２８】
ここで、反射光読み取り対象と自発光読み取り対象について説明する。例えば、紙、フィルム等は、自らが発光することはない。そのため、このような物品を読み取り対象としてスキャン処理によって読み取る際には、読取制御装置は、当該対象に光を照射し、当該対象から反射される光を読み取る必要がある。このように、自らが発光しない読み取り対象を、本実施形態では、以下、「反射光読み取り対象」と呼ぶ。また、反射光読み取り対象上の領域を、「反射光領域」と呼ぶ。一方、例えば、端末装置のように、自らが発光する部位を有する読み取り対象も存在する。ここで、端末装置とは、ブラウン管や液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等で構成される表示部等の自発光ユニットを備える装置である。このような端末装置としては、例えば、スマートフォン、携帯電話、タブレット端末、ＰＤＡ、デジタルカメラ、音楽再生装置、ゲーム機等が適用可能である。本実施形態では、このような自発光ユニットを備える読み取り対象を、以下、「自発光読み取り対象」と呼ぶ。なお、本実施形態における発光とは、ルミネセンスによって発光することを含む。
【００２９】
本実施形態に係る複合機１は、スキャン時には、発光有りモードと、発光無しモードとで動作可能であるものとする。発光有りモードとは、イメージセンサユニット２０３における発光部３０２（ＬＥＤ等）を発光させながら読み取り対象を読み取るモードであり、本実施形態では、反射光読み取り対象を読み取るために用いられる。一方、発光無しモードは、発光部３０２を発光させずに（すなわち、原稿台上に載置された読み取り対象に対し光を照射させずに）読み取り対象を読み取るモードであり、本実施形態では、自発光読み取り対象を読み取るために用いられる。
【００３０】
図３は、反射光読み取り対象３０１を、発光有りモードで読み取っている状態の画像読取制御部６の概略断面図である。上述したように、発光有りモードでは、画像読取制御部６は、読み取り対象に光を照射しながら出力を得る。図３に、イメージセンサユニット２０３における発光部３０２と受光部３０３を模式的に示す。画像読取制御部６が発光部３０２を発光させることで、発せられた光が経路３０４を通って反射光読み取り対象３０１に到達する。そして、到達した光は反射光読み取り対象３０１から反射され、反射された光は経路３０５を通って受光部３０３に到達する。イメージセンサユニット２０３は、受光部３０３に到達した光からアナログ信号を得て、画像データの形成を行う。なお、画像読取制御部６が反射光読み取り対象の存在しない領域を読み取る場合は、受光部３０３は、スキャナカバー２０２に備えられた白色のシート（不図示）からの反射光を検知する。そのため、反射光読み取り対象の存在しない領域を読み取ることにより得られた画像データにより表わされる画像は、白色の画像となる。
【００３１】
なお、本実施形態の複合機１は、操作表示部５において受け付けたユーザ操作により、発光有りモードで動作するか、発光無しモードで動作するかを切り替えることができる。発光有りモードにおいては、読み取った画素の１色あたり、８ｂｉｔのビット深度の画像として出力するものとする。したがって、ＲＧＢの３色の場合は、２４ｂｉｔとなる。
【００３２】
図４は、自発光読み取り対象４０１を、発光無しモードで読み取っている状態の画像読取制御部６の概略断面図である。発光無しモードでは、画像読取制御部６は、読み取り対象に発光部３０２からの光を照射せずに出力を得る。すなわち、画像読取制御部６は、発光部３０２を発光させずに、自発光読み取り対象４０１の表示部４０２から発せられ、経路４０３を通った光を受光部３０３で受光する。そして、画像読取制御部６は、受光した光の信号に基づいて、画像データの生成を行う。
【００３３】
原稿台２０１に載置された反射光読み取り対象３０１を発光有りモードで読み取ることにより得られた画像データにより表わされる画像を図５に模式的に示す。読み取り画像５０１には、網掛けで図示した反射光読み取り対象領域５０２と、それ以外の原稿外領域５０３とが含まれる。反射光読み取り対象領域５０２が、反射光読み取り対象３０１に対応する領域である。原稿外領域５０３が、原稿台２０１上の反射光読み取り対象３０１外の領域に対応する領域である。上述したように、原稿台２０１上の反射光読み取り対象３０１外の領域を読み取ると、スキャナカバー２０２に設けられた白色シート（不図示）から反射された光から出力を得ることになるため、原稿外領域５０３は白色の領域となる。反射光読み取り対象３０１が白色ではなく、原稿外領域５０３が白色である場合は、各領域の境界線が明確であるため、ＣＰＵ９は、反射光読み取り対象領域５０２と原稿外領域５０３とを、画像処理によって明確に区別することが可能である。
【００３４】
一方、原稿台２０１に載置された自発光読み取り対象４０１（例えば、スマートフォン）を発光有りモードで読み取ることにより得られた画像データにより表わされる画像を図６に模式的に示す。自発光読み取り対象４０１は、液晶画面等で形成される表示部を備えており、表示部部分が自発的に発光（自発光）して、画像を表示するものとする。以後、端末装置の表示部（液晶ディスプレイ等）のような、自発光可能なユニットを「自発光部」と呼ぶ。なお、図６に示す画像は、ユーザによって選択された画像データに対応する画像が表示部に表示されている端末装置を、複合機１にてスキャンすることにより取得されたものとする。
【００３５】
読み取り画像６０１には、表示面領域６０２、画像外領域６０３、及び画像領域６０４が含まれる。表示面領域６０２は、自発光読み取り対象４０１の表示部を含む面である表示面全体の領域である。画像外領域６０３は、端末装置の表示部に対応する領域のうち、ユーザによって選択された画像データに基づく画像が表示されている領域以外の領域である。画像領域６０４は、端末装置の表示部に表示される画面領域のうち、ユーザによって選択された画像データに基づく画像に対応する領域である。そのため、画像外領域６０３と画像領域６０４を合わせた領域が、自発光部に対応する領域となる。
【００３６】
原稿台２０１に載置された自発光読み取り対象４０１を発光無しモードで読み取ることにより得られた画像データにより表わされる画像を図７に模式的に示す。発光無しモードでは発光部３０２が発光しないため、受光部３０３には、自発光読み取り対象４０１の表示部から発せられる光しか入射しない。そのため、読み取り画像７０１には、自発光読み取り対象４０１の表示面のうち自発光している部位（領域）に対応する領域（自発光領域）と、それ以外の領域のみが含まれる。
【００３７】
上述したように、本実施形態では、端末装置の表示画像は、自発光しない領域、あるいは自発光の光量が非常に小さい領域を含まず、画像全体が、強く自発光する領域から構成される。そのため、自発光領域は画像領域６０４となる。また、自発光領域以外の領域は、図７において黒色で表わされる領域であり、画像領域６０４以外の領域である領域７０２が相当する。
【００３８】
なお、自発光読み取り対象４０１に一定以上の厚みが有る場合、原稿台２０１とスキャナカバー２０２の間から外光が入射し、その結果、読み取り中にイメージセンサユニットに外光が入射することがある。これに対し、本実施形態では、後述するように、プレスキャンと、本スキャンの２段階のスキャンを行う。まず、プレスキャンにより自発光読み取り対象４０１の位置を検知し、検知した位置に基づく範囲を本スキャンの読み取りの範囲とすることで、本スキャンの読み取りの範囲を狭めている。更に、本スキャンでは、プレスキャンにて検知した自発光読み取り対象４０１以外の領域において得られた出力をクロップする。このような形態とすることで、実質的に、原稿台２０１とスキャナカバー２０２の間から入射される外光を無視して、発光無しモードでの読み取りを行うことができる。
【００３９】
続いて、原稿台２０１に載置された自発光読み取り対象４０１を発光無しモードで読み取り、カラー画像を生成する処理について詳しく説明する。
【００４０】
図８は、本実施形態において複合機１が実行するスキャン処理を示すフローチャートである。なお、本フローチャートが示す処理は、例えば、ＣＰＵ９がＲＯＭ１０等に格納されたプログラムをＲＡＭ１１に読み出して実行することにより実現される。また、本フローチャートが示す処理は、例えば、図１８（ａ）に示すような、スキャン機能に関する表示画面（ＵＩ画面）からユーザにより、自発光読み取り対象の読み取りを行うスキャン処理やコピー処理が指示された場合等に開始される。図１８は、本実施形態において、複合機１に表示される各種表示画面の構成例を示す模式図である。各表示画面については、フローと併せて説明する。
【００４１】
Ｓ８０１にて、ＣＰＵ９は、ユーザから読取開始指示を受け付ける。具体的には、ＣＰＵ９は、操作表示部５に対する読取開始操作をユーザから受け付ける。例えば、ユーザは、スキャン及びスキャンにより取得された画像データに基づく印刷処理を指示する。また、ユーザは、スキャン及びスキャンにより取得された画像データを複合機１に保存する処理や、スキャン及びスキャンにより取得された画像データを複合機１の外部装置に送信する処理等を指示する。なお、このとき、ユーザによって、原稿台２０１に読み取り対象が載置されているものとする。
【００４２】
Ｓ８０２にて、ＣＰＵ９は、プレスキャンを行う。ここでのプレスキャンとは、原稿台２０１全面を読み取ることで、原稿台２０１上に載置された端末装置の表示部の大きさや位置を識別し、本スキャンにて用いるスキャン範囲を識別するために行われる。このとき、ＣＰＵ９は、発光無しモードによって、原稿台２０１全面を７５ｄｐｉ（ｄｏｔ  ｐｅｒ  ｉｎｃｈ）で読み取るものとする。なお、プレスキャンにおける読み取りの解像度は、一例であり、特に限定するものではない。
【００４３】
Ｓ８０３にて、ＣＰＵ９は、読み取り領域検出を行う。具体的には、ＣＰＵ９は、Ｓ８０２におけるプレスキャンによって得られた画像から、原稿台２０１上の端末装置の表示部の座標位置を抽出し、本スキャンによって読み取る領域を特定する。なお、原稿台２０１において、ある位置を原点とし、その座標系が規定されているものとする。
【００４４】
Ｓ８０４にて、ＣＰＵ９は、本スキャン準備を行う。具体的には、ＣＰＵ９は、Ｓ８０３において抽出した座標位置に基づいて、イメージセンサユニット２０３を、端末装置の読み取りを開始するための位置へ移動させる。また、ＣＰＵ９は、読取速度やＡ／Ｄ変換の係数といったパラメータを求める。読み取りを開始する位置は、座標位置の抽出精度などに応じて、誤差を考慮した位置であってもよい。
【００４５】
Ｓ８０５にて、ＣＰＵ９は、本スキャンを開始する。具体的には、ＣＰＵ９は、発光無しモードにより、Ｓ８０３にて特定した領域において、端末装置を２４００ｄｐｉで読み取る。なお、本スキャンにおける読み取りの解像度は、一例であり、例えば、ユーザが指定できるようにしてもよい。
【００４６】
Ｓ８０６にて、ＣＰＵ９は、カラー画像の生成および表示を行う。カラー画像生成および表示の詳細については、図１５にて後述する。
【００４７】
Ｓ８０７にて、ＣＰＵ９は、Ｓ８０６におけるカラー画像生成および表示が正常に行われたか否か判定する。例えば、ＣＰＵ９は、Ｓ１５０２においてＮｏと判定した場合、Ｓ８０７においてもＮＯと判定する。一方、ＣＰＵ９は、Ｓ１５０２においてＹＥＳと判定した場合、Ｓ８０７においてもＹＥＳと判定する。Ｓ８０６におけるカラー画像生成および表示が正常に行われたことを示す場合（Ｓ８０７にてＹＥＳ）、Ｓ８０８に進む。一方、Ｓ８０６におけるカラー画像生成および表示が正常に行われていないことを示す場合（Ｓ８０７にてＮＯ）、本処理フローを終了する。なお、正常に行われなかった場合は、再度プレスキャンを行うようにしてもよいし、ユーザからの指示を待つようにしてもよい。
【００４８】
Ｓ８０８にて、ＣＰＵ９は、ユーザからカラー画像選択指示を受け付ける。具体的には、ＣＰＵ９は、操作表示部５に表示されたカラー画像の中から、印刷を実行する画像をユーザから受け付ける。ここで、印刷を実行する画像は、操作表示部５に一つだけ表示されたカラー画像を選択する場合や、複数表示されたカラー画像の中から、一つまたは複数選択される場合であってもよい。例えば、後述する図１８（ｃ）のような画面が操作表示部５に表示され、図１８（ｃ）の６つの画像からユーザが所望の画像を選択する。
【００４９】
Ｓ８０９にて、ＣＰＵ９は、Ｓ８０８で選択されたカラー画像に対して、ユーザの指示に応じた処理を実行する。例えば、ＣＰＵ９は、ユーザの指示に応じて、スキャンによって得られた画像データを印刷したり、所定の記憶領域に保存したり、所定の外部装置に送信したりする。そして、本処理フローを終了する。
【００５０】
上記処理により、複合機１は、端末装置の表示部に表示された画像に対応するカラーの画像データを取得することが可能となる。Ｓ８０６にて、自発光原稿の場合でも、適切にカラー画像を生成し、Ｓ８０８にて、生成した画像の中で正しい画像をユーザに選択させることで、所望のカラー画像を取得することが可能となる。
【００５１】
［画像の構成］
図９は、原稿台２０１に載置された端末装置９０１を発光無しモードで読み取った画像を説明するための図である。本実施形態において、端末装置９０１の表示部は、１画素がＲＧＢの３色の光源から構成される例について説明する。表示部では、画素ごとに各光源が光量に応じた様々なドットをつくり、その組み合わせで表示部全体として様々な色を表現している。そのため、端末装置９０１の表示部を拡大すると、図９（ａ）に示すような複数のサブピクセル９０２が表示される。ここでは、表示部の一部のみを拡大して示している。サブピクセルとは、例えば、端末装置の表示部において、１つの画素（ピクセル）を構成する各色に対応する点を示す。本実施形態では、１つの画素がＲＧＢの３つの色から構成されているため、１つの画素は３つのサブピクセルから構成されることとなる。つまり、端末装置９０１において表示されている図９（ｂ）に示すような画像を複合機１が高解像度で読み取ると、図９（ｃ）に示すようなサブピクセル画像９０５を読み取ることができる。ここで、画素９０３中の値は、それぞれＲ、Ｇ、Ｂの画素値を示し、サブピクセル９０４中の値は、サブピクセルの画素値を示す。
【００５２】
本実施形態では、画素内のサブピクセルの配列は、図９（ａ）に示すようなＲＧＢそれぞれに対応した３つの光源が一本ずつ配置されたストライプ配列を有しているとしたが、この形態に限定されない。例えば、ストライプ配列より各サブピクセルを一画素ずつずらしたモザイク配列（図９（ｄ））や、半画素ずつずらしたデルタ配列（図９（ｅ））であってもよい。ＲＧＢの各光源の位置も変更されていてよい。また、本実施形態では、複数色の光源をＲ、Ｇ、Ｂとしたが、この形態に限定されない。例えば、Ｒ、Ｇ、ＢにＹ（Ｙｅｌｌｏｗ）を加えた構成や、Ｗ（Ｗｈｉｔｅ）を加えた構成でもあってもよい。つまり、１つの画素が、ＲＧＢＷやＲＧＢＹなどより多くの色に対応した、ｎ種類の色から構成されるようにサブピクセルを配列するようにしてよい。
【００５３】
図１０は、端末装置９０１の表示部を高解像度で読み取ったサブピクセル画像からカラー画像を生成する方法を説明するための図である。先述したように、端末装置９０１の表示部を高解像度で読み取ることで、図１０（ａ）に示すようなサブピクセル画像を取得することができる。このサブピクセル画像から１画素分の画像を生成する処理について説明する。
【００５４】
まず、ＣＰＵ９は、１画素を構成する３つのサブピクセル内の画素値を取得する。次に、ＣＰＵ９は、左端のサブピクセル１００２の画素値を画素１００１のＲの光源に対応するサブピクセルの値とする。同様に、ＣＰＵ９は、中央のサブピクセル１００３の画素値を画素１００１のＧの光源に対応するサブピクセルの値とする。また、ＣＰＵ９は、右端のサブピクセル１００４の画素値を画素１００１のＢの光源に対応するサブピクセルの値とする。そして、ＣＰＵ９は、これらの値から、図１０（ｂ）に示すような画像を生成する。このように３つのサブピクセルの画素値を、１画素のＲ、Ｇ、Ｂの光源に対応するそれぞれのサブピクセルの値として１画素分の画像を生成し、全てのサブピクセルに同様の処理を行うことで、カラー画像を生成する。
【００５５】
本実施形態では、３つのサブピクセルから１つの画素を生成したが、この形態に限定されない。上述したように、３以外のｎ個（４≧ｎ）のサブピクセルから１画素が構成されるような構成であってよい。例えば、４つのサブピクセルからそれぞれＲ、Ｇ、Ｂ、Ｙの光源に対応するサブピクセルの値として画像を生成する構成や、４つのサブピクセルからそれぞれＲ、Ｇ、Ｂ、Ｗの光源に対応するサブピクセルの値として画像を生成する構成でもあってもよい。さらに、本実施形態では、左端のサブピクセルから順番に画素のＲ、Ｇ、Ｂの値としたが、この形態に限定されない。例えば、左端のサブピクセルから順番に画素のＧ、Ｂ、Ｒの値としてもよい。
【００５６】
図１１、図１２はサブピクセルの並び順について説明するための図である。先述したように、本実施形態に係る端末装置９０１の表示部は、１画素がＲＧＢの３色の光源から構成され、各光源が光量に応じた様々なドットをつくり、その組み合わせで様々な色を表現している。従って、端末装置９０１の表示部を読み取る際に、複合機１がＲＧＢの３色の各光源を順次点灯させて端末装置９０１を照射しても、端末装置９０１の表示部が自発的にＲＧＢの３色に対応する光源を発光させている。そのため、複合機１は、反射光と端末装置９０１の表示部が発光している３色のデータを取得してしまう。一方、１ラインの受光素子を並べたＣＩＳスキャナで読み取りを行うと、読み取り部でＲＧＢの判別ができないため、端末装置９０１の表示部をカラーで読み取ることはできない。つまり、端末装置９０１の表示部の表示領域を高解像度で読み取った場合、図９（ｃ）に示すようなグレースケールのサブピクセル画像９０５が取得される。
【００５７】
しかし、図９（ｃ）に示すようなサブピクセル画像９０５だけでは、各サブピクセルがＲＧＢの各光源のうち、どの光源に対応し、どのような並び順なのか特定することができない。そこで、複合機１が、サブピクセルの並び順を網羅するように複数のカラー画像を生成し、生成した複数のカラー画像の中から所望のカラー画像をユーザに選択させる方法について説明する。本実施形態では、端末装置９０１の表示部は、図９（ａ）に示すようなＲＧＢが一本ずつ配置されたストライプ配列で、Ｒ、Ｇ、Ｂの３色の光源を有し、左から順番にＲＧＢの３つで一つの画素を構成しているとする。また、本実施形態では、サブピクセルの形は正方形を除く長方形状とする。図９の例の場合、サブピクセルは縦方向の方が横方向よりも長い構成であるとする。なお、ストライプ配列より各サブピクセルを一画素ずつずらしたモザイク配列（図９（ｄ））や、半画素ずつずらしたデルタ配列（図９（ｅ））、複数色の光源をＲ、Ｇ、ＢにＹ（Ｙｅｌｌｏｗ）を加えた構成や、Ｗ（Ｗｈｉｔｅ）を加えた構成でもあっても良い。
【００５８】
サブピクセルの並び順の種類について詳細に説明する。まず、サブピクセル画像において、最初に位置の特定ができたサブピクセルがＲ、Ｇ、Ｂの光源のうち、どの光源に対応するかによって、サブピクセルの並び順が変わるため、（Ｒ、Ｇ、Ｂ）、（Ｇ、Ｂ、Ｒ）、（Ｂ、Ｒ、Ｇ）の３パターンの並び順が存在する。具体的には、図１１（ａ）に示すように、左上のサブピクセル１１０１が点灯している場合、左上から位置の特定を行うと、最初に特定できるのは、Ｒの光源に対応したサブピクセル１１０１となり、サブピクセルの並び順は、（Ｒ、Ｇ、Ｂ）となる。また、図１１（ｂ）に示すように、左上のサブピクセル１１０２が消灯している場合、左上から位置の特定を行うと、最初に特定できるのは、Ｇの光源に対応したサブピクセル１１０３となり、並び順は、（Ｇ、Ｂ、Ｒ）となる。また、図１１（ｃ）に示すように、左上のサブピクセル１１０４とその右側のサブピクセル１１０５の両方が消灯している場合、左上から位置の特定を行うと、最初に特定できるのは、Ｂの光源に対応したサブピクセル１１０６となる。この場合、並び順は、（Ｂ、Ｒ、Ｇ）となる。このように、最初に位置の特定できたサブピクセルがどの光源に対応するかによって、３パターンの並び順が存在する。
【００５９】
また、各パターンにおいて、端末装置９０１の原稿台２０１における載置方向（向き）によって、２パターンの並び順が存在する。具体的には、図１２（ａ）に示すように、端末装置９０１の上部とサブピクセル画像１２０１の上部が一致する場合と、図１２（ｂ）に示すように端末装置９０１の上部とサブピクセル画像１２０２の上部が１８０度回転している場合との２パターンが存在する。つまり、合計６パターンのサブピクセルの並び順が存在するため、それぞれのサブピクセルの並び順に対応したカラー画像を作成する必要がある。
【００６０】
なお、図１２（ｃ）に示すように、端末装置９０１の上部とサブピクセル画像１２０３の上部が０〜１７９度または１８１度〜３５９度回転している場合は、サブピクセル画像１２０３を回転させ、向きを補正してからカラー画像を生成する。具体的には、各サブピクセルの短辺が上部または下部になるようにサブピクセル画像１２０３を回転させ、その画像を基にカラー画像の生成を行う。なお、端末装置の上部、下部、もしくは、回転角度の決定方法は上記に限定されるものでは無く、例えば、端末装置のサイズや表示部のサイズなどに基づいて決定してもよい。
【００６１】
図１３、図１４は、端末装置９０１の表示部を高解像度で読み取ったサブピクセル画像からカラー画像を生成する方法を説明するための図である。６パターンのサブピクセルの並び順に対応したカラー画像を生成する方法について詳細に説明する。
【００６２】
まず、ＣＰＵ９は、左上のサブピクセルがＲの光源に対応し、サブピクセル画像の上部と端末装置９０１の上部が同じと仮定した場合のカラー画像を生成する。このとき、図９（ｃ）に示すサブピクセル画像において、サブピクセルの並び順は図１３（ａ）に示すようになり、このサブピクセルの並び順を基に作成したカラー画像は、図１４（ａ）に示すようになる。なお、サブピクセルの上部と端末装置９０１の上部が同じ場合は、左からＲ、Ｇ、Ｂの３つのサブピクセルを一つの画素を構成するものとして、画像を生成する。
【００６３】
次に、ＣＰＵ９は、左上のサブピクセルがＧの光源に対応し、サブピクセル画像の上部と端末装置９０１の上部が同じと仮定した場合のカラー画像を生成する。このとき、図９（ｃ）に示すサブピクセル画像において、サブピクセルの並び順は図１３（ｂ）に示すようになり、このサブピクセルの並び順を基に作成したカラー画像は、図１４（ｂ）に示すようになる。
【００６４】
次に、ＣＰＵ９は、左上のサブピクセルがＢの光源に対応し、サブピクセル画像の上部と端末装置９０１の上部が同じと仮定した場合のカラー画像を生成する。このとき、図９（ｃ）に示すサブピクセル画像において、サブピクセルの並び順は図１３（ｃ）に示すようになり、このサブピクセルの並び順を基に作成したカラー画像は、図１４（ｃ）に示すようになる。
【００６５】
次に、ＣＰＵ９は、左上のサブピクセルがＲの光源に対応し、サブピクセル画像の上部と端末装置９０１の上部が１８０度回転していると仮定した場合のカラー画像を生成する。このとき、図９（ｃ）に示すサブピクセル画像において、サブピクセルの並び順は図１３（ｄ）に示すようになり、このサブピクセルの並び順を基に作成したカラー画像は、図１４（ｄ）に示すようになる。なお、サブピクセルの上部と端末装置９０１の上部が１８０度回転している場合は、左からＢ、Ｇ、Ｒの３つのサブピクセルを一つの画素として、画像を生成する。
【００６６】
次に、ＣＰＵ９は、左上のサブピクセルがＧの光源に対応し、サブピクセル画像の上部と端末装置９０１の上部が１８０度回転していると仮定した場合のカラー画像を生成する。このとき、図９（ｃ）に示すサブピクセル画像において、サブピクセルの並び順は図１３（ｅ）に示すようになり、このサブピクセルの並び順を基に作成したカラー画像は、図１４（ｅ）に示すようになる。
【００６７】
次に、ＣＰＵ９は、左上のサブピクセルがＢの光源に対応し、サブピクセル画像の上部と端末装置９０１の上部が１８０度回転していると仮定した場合のカラー画像を生成する。このとき、図９（ｃ）に示すサブピクセル画像において、サブピクセルの並び順は図１３（ｆ）に示すようになり、このサブピクセルの並び順を基に作成したカラー画像は、図１４（ｆ）に示すようになる。
【００６８】
上述したような６種類のカラー画像を生成することで、全てのサブピクセルの並び順に対応した画像を生成することができ、１ラインの受光素子を並べたＣＩＳスキャナで端末装置９０１の表示部に表示されている画像をカラーで取得することができる。
【００６９】
［カラー画像生成・表示処理］
図１５は、本実施形態に係るカラー画像生成および表示処理を示すフローチャートである。なお、本フローチャートが示す処理は、例えば、ＣＰＵ９がＲＯＭ１０等に格納されたプログラムをＲＡＭ１１に読み出して実行することにより実現される。また、本フローチャートが示す処理は、例えば、ユーザにより、自発光読み取り対象の読み取りを行うモードのスキャン処理やコピー処理が指示された場合等に実行され、図８のＳ８０６の工程に対応する。
【００７０】
Ｓ１５０１にて、ＣＰＵ９は、端末装置９０１の表示部に対するエッジ検出を行う。具体的には、ＣＰＵ９は、Ｃａｎｎｙフィルタを用いて、端末装置９０１の表示部に対するエッジ検出を行い、読み取った画像からサブピクセルの位置の特定を行う。なお、エッジ検出の方法は、この形態に限定されない。例えば、Ｓｏｂｅｌフィルタ等を用いてエッジ検出を行う方法であっても良い。
【００７１】
Ｓ１５０２にて、ＣＰＵ９は、Ｓ１５０１におけるエッジ検出によるサブピクセルの位置の特定ができたか判定する。Ｓ１５０１におけるエッジ検出によるサブピクセルの位置が特定できたことを示す場合（Ｓ１５０２にてＹＥＳ）、Ｓ１５０３に進む。一方、Ｓ１５０１におけるエッジ検出によるサブピクセルの位置が特定できないことを示す場合（Ｓ１５０２にてＮＯ）、Ｓ１５１２に進む。
【００７２】
Ｓ１５１２にて、ＣＰＵ９は、ユーザに対して、図１８（ｂ）に示すようなカラー画像が生成できない旨を伝えるエラーメッセージを操作表示部５に表示させる。そして本処理フローを終了する。なお、本処理フローを終了させた場合、ＣＰＵ９は、イメージセンサユニット２０３を待機位置２０５に移動させ、複合機１を待機状態にする。
【００７３】
Ｓ１５０３にて、ＣＰＵ９は、読み取った画像の回転補正を行う。具体的には、ＣＰＵ９は、各サブピクセルの短辺が上部または下部になるように画像の回転補正を行う。回転補正の方法は、特に限定するものではなく、例えば、回転補正のパラメータは、端末装置９０１の向きなどから算出してよい。また、回転補正が不要な場合、Ｓ１５０３がスキップされてもよい。
【００７４】
Ｓ１５０４にて、ＣＰＵ９は、サブピクセル内の画素値を取得する。具体的には、ＣＰＵ９は、サブピクセル内の画素値の平均値を取得する。なお、本実施形態では、平均値をサブピクセル内の画素値としたが、この形態に限定されない。例えば、中央値や最大値、最小値等をサブピクセル内の画素値としてもよい。
【００７５】
Ｓ１５０５にて、ＣＰＵ９は、１つ目の画像を生成する。具体的には、ＣＰＵ９は、左上のサブピクセルを先頭として、サブピクセルが左から順番にＲ、Ｇ、Ｂ、Ｒ、Ｇ、Ｂ、…、と並んでいるとし、左からＲ、Ｇ、Ｂの３つのサブピクセルを一つの画素として画像を生成する。本工程の画像は、図１３（ａ）、図１４（ａ）を用いて説明した画像に対応する。
【００７６】
Ｓ１５０６にて、ＣＰＵ９は、２つ目の画像を生成する。具体的には、ＣＰＵ９は、左端のサブピクセルを先頭として、サブピクセルが左から順番にＧ、Ｂ、Ｒ、Ｇ、Ｂ、Ｒ、…、と並んでいるとし、左からＲ、Ｇ、Ｂの３つのサブピクセルを一つの画素として画像を生成する。本工程の画像は、図１３（ｂ）、図１４（ｂ）を用いて説明した画像に対応する。
【００７７】
Ｓ１５０７にて、ＣＰＵ９は、３つ目の画像を生成する。具体的には、ＣＰＵ９は、左端のサブピクセルを先頭として、サブピクセルが左から順番にＢ、Ｒ、Ｇ、Ｂ、Ｒ、Ｇ、…、と並んでいるとし、左からＲ、Ｇ、Ｂの３つのサブピクセルを一つの画素として画像を生成する。本工程の画像は、図１３（ｃ）、図１４（ｃ）を用いて説明した画像に対応する。
【００７８】
Ｓ１５０８にて、ＣＰＵ９は、４つ目の画像を生成する。具体的には、ＣＰＵ９は、左端のサブピクセルを先頭として、サブピクセルが左から順番にＲ、Ｂ、Ｇ、Ｒ、Ｂ、Ｇ、…、と並んでいるとし、左からＢ、Ｇ、Ｒの３つのサブピクセルを一つの画素として画像を生成する。これは、端末装置９０１が１８０度回転して載置されたと想定した場合の画像である。本工程の画像は、図１３（ｄ）、図１４（ｄ）を用いて説明した画像に対応する。
【００７９】
Ｓ１５０９にて、ＣＰＵ９は、５つ目の画像を生成する。具体的には、ＣＰＵ９は、左端のサブピクセルを先頭として、サブピクセルが左から順番にＧ、Ｒ、Ｂ、Ｇ、Ｒ、Ｂ、…、と並んでいるとし、左からＢ、Ｇ、Ｒの３つのサブピクセルを一つの画素として画像を生成する。これは、端末装置９０１が１８０度回転して載置されたと想定した場合の画像である。本工程の画像は、図１３（ｅ）、図１４（ｅ）を用いて説明した画像に対応する。
【００８０】
Ｓ１５１０にて、ＣＰＵ９は、６つ目の画像を生成する。具体的には、ＣＰＵ９は、左端のサブピクセルを先頭として、サブピクセルが左から順番にＢ、Ｇ、Ｒ、Ｂ、Ｇ、Ｒ、…、と並んでいるとし、左からＢ、Ｇ、Ｒの３つのサブピクセルを一つの画素として画像を生成する。これは、端末装置９０１が１８０度回転して載置されたと想定した場合の画像である。本工程の画像は、図１３（ｆ）、図１４（ｆ）を用いて説明した画像に対応する。
【００８１】
Ｓ１５１１にて、ＣＰＵ９は、図１８（ｃ）に示すようなＳ１５０５〜Ｓ１５１０において生成した６つの画像を操作表示部５に表示する。なお、操作表示部５に表示する際の、生成された６つ画像の配置は特に限定するものでは無い。図１８（ｃ）において、ユーザは、生成された複数の画像のうち、いずれの画像データを用いるか選択可能に構成される。図８にて、上述したように、複数の画像が選択されてもよい。
【００８２】
以上の構成により、本実施形態において、図９（ｃ）に示すようなサブピクセル画像から図１４（ａ）〜（ｆ）に示すような画像を生成することができる。図１３（ａ）〜（ｆ）は、それぞれ、図１５におけるＳ１５０５〜Ｓ１５１０において、１画素を構成するサブピクセルのまとまり表した画像であり、図１４（ａ）〜（ｆ）は、それぞれ図１５におけるＳ１５０５〜Ｓ１５１０において生成される画像である。
【００８３】
また、本実施形態では、ＲＧＢの３つの光源（サブピクセル画像）が存在するため、６つのパターンの画像が生成されていた。これ以外にも、４つ以上の光源を有する端末装置を読み取り対象とする場合には、更に多くのバターンの画像が生成され、表示されることとなる。なお、例えば、図１８（ａ）に示すような画面において、ユーザにより、読み取り対象となる端末装置の光源が何種類あるかの指定を受け付けるような構成であってもよい。また、読み取りが失敗した場合には、ユーザに対し、端末装置の配置の向きを調整するように要求してもよい。
【００８４】
本実施形態により、複合機１は、端末装置９０１の表示部に表示された画像に対応するカラーの画像データを生成することができる。
【００８５】
（第２実施形態）
第１実施形態では、サブピクセルの並び順が特定できないため、サブピクセルの並び順の種類を網羅するために６種類のカラー画像を生成する形態について説明した。本実施形態では、端末装置９０１の表示部にマーカー部を設け、マーカー部を検出することで、サブピクセルの並び順を特定し、１つのカラー画像を生成する形態について説明する。第１実施形態と重複する部分については説明を省略する。本実施形態では、図８のＳ８０６における処理として図１７に示す処理フローが実施される。
【００８６】
［マーカー部］
図１６は、原稿台２０１に載置された端末装置９０１の表示部中のマーカー部を検出し、サブピクセルの並び順を特定する方法を説明するための図である。図１６（ａ）に示すように端末装置９０１の表示部の左上に、マーカー部１６０１を設け、ＣＰＵ９がこのマーカー部１６０１を検出することで、サブピクセルの並び順を特定する。なお、このマーカー部１６０１を高解像度で読み取ることで、図１６（ｂ）に示すようなマーカー部のサブピクセル画像を取得することができる。マーカー部１６０１の検出方法として、例えば、テンプレートマッチングを適用可能であるが、他の検出方法が適用されても良い。マーカー部の表示位置や画像構成については特に限定するものではなく、他の配置位置や他の画像構成であってもよい。また、端末装置が備える光源の種類（Ｒ，Ｇ，Ｂ，Ｗ，Ｙ）の組み合わせに応じて変更されてもよい。
【００８７】
［処理フロー］
図１７は、本実施形態において複合機１が実行する処理を示すフローチャートである。なお、本フローチャートが示す処理は、例えば、ＣＰＵ９がＲＯＭ１０等に格納されたプログラムをＲＡＭ１１に読み出して実行することにより実現される。また、本フローチャートが示す処理は、例えば、ユーザにより、自発光読み取り対象読み取りモードのスキャン処理やコピー処理が指示された場合等に実行され、図８のＳ８０６の工程に対応する。
【００８８】
Ｓ１７０１〜Ｓ１７０４は、Ｓ１５０１〜Ｓ１５０４と同様のため、説明を省略する。なお、Ｓ１７０１におけるエッジ検出によりサブピクセルの位置が特定できない場合（Ｓ１７０２にてＮＯ）、Ｓ１７０７に進む。また、Ｓ１７０４の処理の後、Ｓ１７０５へ進む。
【００８９】
Ｓ１７０７にて、ＣＰＵ９は、ユーザに対して、図１８（ｂ）に示すようなカラー画像が生成できない旨を伝えるエラーメッセージを操作表示部５に表示させる。そして、本処理フローを終了する。なお、本処理フローを終了させた場合、ＣＰＵ９は、イメージセンサユニット２０３を待機位置２０５に移動させ、複合機１を待機状態にする。
【００９０】
Ｓ１７０５にて、ＣＰＵ９は、マーカー部の位置の特定ができたか判定する。具体的には、ＣＰＵ９は、Ｓ１７０４において取得したサブピクセル内の画素値の中に予め設定した図１６（ｂ）に示すようなマーカー部１６０１のサブピクセルのパターンが含まれているか否かの判定を行う。予め設定したマーカー部１６０１のサブピクセルのパターンが含まれていた場合（Ｓ１７０５にてＹＥＳ）、Ｓ１７０６に進む。一方、マーカー部１６０１の位置の特定において、予め設定したマーカー部１６０１のサブピクセルのパターンが含まれていないと判定された場合（Ｓ１７０５にてＮＯ）、Ｓ１７０７に進む。
【００９１】
Ｓ１７０６にて、ＣＰＵ９は、ＲＧＢ画像を生成する。具体的には、読み取れたパターンのサブピクセルを先頭として、サブピクセルが左から順番にＲ、Ｇ、Ｂ、Ｒ、Ｇ、Ｂ、…、と並んでいるとし、左からＲ、Ｇ、Ｂの３つのサブピクセルを一つの画素として画像を生成する。そして、本処理フローを終了する。
【００９２】
本実施形態により、サブピクセルの並び順を特定することができ、端末装置９０１の表示面をカラーで取得することができる。
【００９３】
なお、本実施形態では、サブピクセルの並び順を特定する方法について、端末装置９０１の表示部にマーカー部を設け、マーカー部を検出するとしたが、この形態に限定されない。例えば、ＲＯＭ１０等に格納された端末装置毎のサブピクセルの並び順が記載されたテーブルと、ユーザから指示された端末装置９０１の機種情報と原稿台２０１への載置方向を紐付け、サブピクセルの並び順を特定する方法であっても良い。さらに、図６に示すような発光有りモードで読み取ることにより得られた画像データから端末装置９０１の機種と原稿台２０１への載置方向を判別し、サブピクセルの並び順を特定する方法であっても良い。
【００９４】
（その他の実施形態）
本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピューターにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９５】
１…複合機、６…画像読取制御部、７…画像処理部、８…画像形成部、１０…ＲＯＭ、２０１…原稿台、２０２…スキャナカバー、２０３…イメージセンサユニット、３０１…反射光読み取り対象、４０１…自発光読み取り対象、９０１…端末装置
【図１】
2019125149.tif 000003
【図２】
2019125149.tif 000004
【図３】
2019125149.tif 000005
【図４】
2019125149.tif 000006
【図５】
2019125149.tif 000007
【図６】
2019125149.tif 000008
【図７】
2019125149.tif 000009
【図８】
2019125149.tif 000010
【図９】
2019125149.tif 000011
【図１０】
2019125149.tif 000012
【図１１】
2019125149.tif 000013
【図１２】
2019125149.tif 000014
【図１３】
2019125149.tif 000015
【図１４】
2019125149.tif 000016
【図１５】
2019125149.tif 000017
【図１６】
2019125149.tif 000018
【図１７】
2019125149.tif 000019
【図１８】
2019125149.tif 000020