(57)【特許請求の範囲】
【請求項１】
原稿台と、
前記原稿台に置かれた購入しようとする商品を撮影する複数の撮影部と、
前記撮影部によって撮影された商品の画像データを利用して、その商品の形状、色、大きさを含む商品認識情報を生成する画像認識部と、
前記商品認識情報から商品を特定する情報を取得する商品情報取得部と、
前記取得された商品を特定する情報を利用して、前記購入しようとする商品の清算処理を実行する商品取引実行部と、
前記原稿台に置かれた用紙に対して所定の画像処理を実行する複合機能実行部と、
購入しようとする商品の情報を入力しかつ前記商品の清算処理を実行するＰＯＳ端末と通信する通信部とを備え、
前記通信部が、前記ＰＯＳ端末から、商品情報入力機能を起動させるためのＰＯＳ機能起動要求を受信した場合に、
前記複合機能実行部による画像処理が実行されていなければ、前記商品情報入力機能を起動させ、
前記複合機能実行部による画像処理が実行されていないときに、前記商品取引実行部が、前記購入しようとする商品の清算処理を実行することを特徴とする商品情報入力機能を備えた複合機。
【請求項２】
前記通信部は、
前記画像認識部によって生成された商品認識情報を、前記ＰＯＳ端末に送信した後、前記ＰＯＳ端末が、受信した商品認識情報に基づいて購入しようとした商品が販売可能な商品であるか否かを確認した結果、販売可能な商品である場合に、前記ＰＯＳ端末からその商品を特定する情報を含む応答情報を受信し、
前記商品情報取得部が、前記受信した応答情報に含まれる商品を特定する情報を取得することを特徴とする請求項１に記載の商品情報入力機能を備えた複合機。
【請求項３】
記憶部をさらに備え、
前記記憶部に、商品を特定する情報と、その商品の形状、色、および大きさとを対応付けて記憶した画像比較情報を予め記憶し、
前記商品情報取得部は、前記画像認識部によって生成された商品認識情報と一致可能な画像比較情報を検索し、一致可能な画像比較情報に記憶されている商品を特定する情報を取得することを特徴とする請求項１に記載の商品情報入力機能を備えた複合機。
【請求項４】
前記商品を特定する情報は、少なくとも、商品名と商品バーコードのいずれか一方を含むことを特徴とする請求項２または３に記載の商品情報入力機能を備えた複合機。
【請求項５】
記憶部をさらに備え、
前記記憶部に、商品情報入力機能を実行する時間帯を予め設定したＰＯＳ時間帯情報を記憶し、
現在時刻が、前記ＰＯＳ時間帯情報に設定された時間帯に属している場合、
前記複合機能実行部による画像処理が実行されていなければ、前記商品情報入力機能を起動させることを特徴とする請求項１に記載の商品情報入力機能を備えた複合機。
【請求項６】
前記通信部は、前記商品取引実行部が清算処理を実行した結果、生成された購入商品の集計情報を、前記ＰＯＳ端末に送信することを特徴とする請求項１に記載の商品情報入力機能を備えた複合機。
【請求項７】
前記購入商品の集計情報は、商品情報入力機能を開始した後一定時間が経過したこと、現在時刻が予め設定された時刻になったこと、ＰＯＳ端末から集計情報の送信要求を受信したこと、および商品情報入力機能を停止して複合機能実行部による画像処理を開始したことのいずれかが成立した場合に、前記ＰＯＳ端末に送信されることを特徴とする請求項６に記載の商品情報入力機能を備えた複合機。
【請求項８】
前記原稿台の近傍に開閉可能に取り付けられかつ閉状態で原稿台上に配置された用紙を覆う背面パネルを備え、
前記複数の撮影部は、
前記原稿台の周辺近傍に取り付けられ原稿台のほぼ中央方向を撮影する複数のカメラと、
前記背面パネルが開状態において原稿台のほぼ中央方向を撮影することができるように背面パネルに取り付けられた複数のカメラのうち、少なくともいずれか一方のカメラまたは両方のカメラからなることを特徴とする請求項１から７のいずれかに記載の商品情報入力機能を備えた複合機。
【請求項９】
前記原稿台に置かれた商品に付与されたバーコードを読み取るスキャナ部を、前記原稿台の下部近傍に、さらに備えたことを特徴とする請求項１から８のいずれかに記載の商品情報入力機能を備えた複合機。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、コピー機能、印刷機能およびファクシミリ機能等を有する複合機に関し、特に、上記機能に加え、購入しようとする商品の商品情報を入力する機能を備えた複合機に関する。
【背景技術】
【０００２】
今日、コンビニエンスストアやスーパーマーケット等の店舗において、ユーザが購入した商品の販売管理を行うＰＯＳシステム（Point of Sales System）とは別に、複合機が設置されていることが多い。
複合機は、一般的に、コピー機能、写真や書面の印刷機能、ファクシミリによるデータ送信機能、写真や書面を画像データ化するイメージ入力機能等を有するものである。
また、特許文献１には、商品に付与されたバーコードを、スキャナ部またはバーコードリーダで読み取り、購入された商品の商品特定情報および販売金額を取得した後、販売金額に相当する金銭がコインベンダーに投入された場合は、販売商品に関する集計用データを、店内のキャッシュレジスタに送信する複合機が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２２６６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、コンビニエンスストア等に設置された複合機は、ユーザが自由に自らの操作で利用することができるが、実際に利用される時間帯には偏りがあり、実働時間に比べて遊休時間が比較的長く、有効利用が図られていなかった。
一方、コンビニエンスストア等では、商品の販売管理をするＰＯＳシステムに、数台のキャッシュレジスタを設置していたとしても、朝、昼および夕方それぞれにおいて、商品を購入する顧客が集中する時間帯があり、店内が混雑し、顧客の待ち時間が長くなる場合があった。
しかし、この集中時間帯を除く他の時間帯では、現状の台数のキャッシュレジスタでも、混雑することなくスムーズに顧客に対応することが可能であるので、集中時間帯の一時的な混雑解消のために、経費のかかるキャッシュレジスタの台数を増やすことは難しい。
【０００５】
また、特許文献１に記載のものでは、複合機を一時的にキャッシュレジスタとして転用するので、店内に格別の空間を新たに必要とすることなく、キャッシュレジスタを設置することができるが、ユーザが、複合機において商品の購入操作をする場合、スキャナ等によって商品に付与されたバーコードを読み取らせるように、商品の位置を調整する必要がある。
たとえば、スキャナの位置が不明な場合、ユーザは、商品をどこに置いてよいかがわからず、試行錯誤しながら、商品のバーコードが読み取れる位置を探すことになる。
また、バーコードをスキャナに読み取らせるためには、バーコードの付与された部分を、スキャナの方向に向ける必要があり、ユーザは、商品の向きを何度も変更することが必要となる場合もあり、特に、重い商品の場合は、ユーザの操作負担が大きい。
さらに、野菜などバーコードが付与されていない商品があった場合は、ユーザのみの操作によってはその商品を購入することができず、店員等に相談するか、あるいは複合機を利用することはできず通常のキャッシュレジスタを利用する必要があった。
【０００６】
そこで、この発明は、以上のような事情を考慮してなされたものであり、コンビニエンスストア等に設置された複合機の有効活用、ＰＯＳ端末を増設することなく商品を購入する顧客の待ち時間の短縮化、および顧客の商品の購入時の操作負担の軽減を図ることのできる複合機を提供することを課題とする。
【課題を解決するための手段】
【０００７】
この発明は、原稿台と、前記原稿台に置かれた購入しようとする商品を撮影する複数の撮影部と、前記撮影部によって撮影された商品の画像データを利用して、その商品の形状、色、大きさを含む商品認識情報を生成する画像認識部と、前記商品認識情報から商品を特定する情報を取得する商品情報取得部と、前記取得された商品を特定する情報を利用して、前記購入しようとする商品の清算処理を実行する商品取引実行部と、前記原稿台に置かれた用紙に対して所定の画像処理を実行する複合機能実行部と、購入しようとする商品の情報を入力しかつ前記商品の清算処理を実行するＰＯＳ端末と通信する通信部とを備え、前記通信部が、前記ＰＯＳ端末から、商品情報入力機能を起動させるためのＰＯＳ機能起動要求を受信した場合に、前記複合機能実行部による画像処理が実行されていなければ、前記商品情報入力機能を起動させ、前記複合機能実行部による画像処理が実行されていないときに、前記商品取引実行部が、前記購入しようとする商品の清算処理を実行することを特徴とする商品情報入力機能を備えた複合機を提供するものである。
【０００８】
また、購入しようとする商品の情報を入力しかつ前記商品の清算処理を実行するＰＯＳ端末と通信する通信部をさらに備え、前記通信部は、前記画像認識部によって生成された商品認識情報を、前記ＰＯＳ端末に送信した後、前記ＰＯＳ端末が、受信した商品認識情報に基づいて購入しようとした商品が販売可能な商品であるか否かを確認した結果、販売可能な商品である場合に、前記ＰＯＳ端末からその商品を特定する情報を含む応答情報を受信し、前記商品情報取得部が、前記受信した応答情報に含まれる商品を特定する情報を取得することを特徴とする。
【０００９】
また、記憶部をさらに備え、前記記憶部に、商品を特定する情報と、その商品の形状、色、および大きさとを対応付けて記憶した画像比較情報を予め記憶し、前記商品情報取得部は、前記画像認識部によって生成された商品認識情報と一致可能な画像比較情報を検索し、一致可能な画像比較情報に記憶されている商品を特定する情報を取得することを特徴とする。
また、前記商品を特定する情報は、少なくとも、商品名と商品バーコードのいずれか一方を含むことを特徴とする。
【００１０】
また、購入しようとする商品の情報を入力しかつ前記商品の清算処理を実行するＰＯＳ端末と通信する通信部をさらに備え、前記通信部が、前記ＰＯＳ端末から、商品情報入力機能を起動させるためのＰＯＳ機能起動要求を受信した場合に、前記複合機能実行部による画像処理が実行されていなければ、前記商品情報入力機能を起動させることを特徴とする。
また、記憶部をさらに備え、前記記憶部に、商品情報入力機能を実行する時間帯を予め設定したＰＯＳ時間帯情報を記憶し、現在時刻が、前記ＰＯＳ時間帯情報に設定された時間帯に属している場合、前記複合機能実行部による画像処理が実行されていなければ、前記商品情報入力機能を起動させることを特徴とする。
【００１１】
また、購入しようとする商品の情報を入力しかつ前記商品の清算処理を実行するＰＯＳ端末と通信する通信部をさらに備え、前記通信部は、前記商品取引実行部が清算処理を実行した結果、生成された購入商品の集計情報を、前記ＰＯＳ端末に送信することを特徴とする。
また、前記購入商品の集計情報は、商品情報入力機能を開始した後一定時間が経過したこと、現在時刻が予め設定された時刻になったこと、ＰＯＳ端末から集計情報の送信要求を受信したこと、および商品情報入力機能を停止して複合機能実行部による画像処理を開始したことのいずれかが成立した場合に、前記ＰＯＳ端末に送信されることを特徴とする。
【００１２】
また、前記原稿台の近傍に開閉可能に取り付けられかつ閉状態で原稿台上に配置された用紙を覆う背面パネルを備え、前記複数の撮影部は、前記原稿台の周辺近傍に取り付けられ原稿台のほぼ中央方向を撮影する複数のカメラと、前記背面パネルが開状態において原稿台のほぼ中央方向を撮影することができるように背面パネルに取り付けられた複数のカメラのうち、少なくともいずれか一方のカメラまたは両方のカメラからなることを特徴とする。
また、前記原稿台に置かれた商品に付与されたバーコードを読み取るスキャナ部を、前記原稿台の下部近傍に、さらに備えたことを特徴とする。
【発明の効果】
【００１３】
この発明によれば、原稿台に置かれた用紙に対してコピー機能などの所定の画像処理を実行する複合機において、複数の撮影部によって、原稿台に置かれた購入しようとする商品を撮影し、その商品の形状等を含む商品認識情報を生成して、商品を特定する情報を生成するので、購入しようとしている商品にバーコードが付与されていない場合でも、ユーザが自ら商品を原稿台に置くことにより商品情報入力操作を行って清算処理をすることができ、商品を購入するときのユーザの操作負担を軽減できる。
また、１つの店舗に、ＰＯＳ端末と複合機が設置されている場合において、複合機でコピー機能などの所定の画像処理が実行されていないときに、複合機を利用して購入しようとする商品の清算処理を実行するので、複合機の遊休時間の有効活用を図ることができ、商品を購入しようとするユーザがＰＯＳ端末に並ばずに複合機を利用することによって、ユーザの待ち時間を短縮することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の複合機の一実施例の構成ブロック図である。
【図２】この発明の複合機の実施例１における複数のカメラの概略配置図である。
【図３】この発明の複合機の実施例２における複数のカメラの概略配置図である。
【図４】この発明の複合機の実施例３における複数のカメラの概略配置図である。
【図５】この発明の複合機の表示部に表示される画面の一実施例の説明図である。
【図６】この発明の複合機の記憶部に記憶される商品認識情報と画像比較情報の一実施例の説明図である。
【図７】この発明の複合機の一実施例の動作を示すフローチャートである。
【図８】この発明の複合機の一実施例の動作を示すフローチャートである。
【図９】この発明のＰＯＳ端末の一実施例の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を使用して本発明の実施の形態を説明する。なお、以下の実施例の記載によって、この発明が限定されるものではない。
＜複合機の構成＞
図１に、この発明の複合機の一実施例の構成ブロック図を示す。
図１において、この発明の複合機（以下、ＭＦＰとも呼ぶ）２は、コンビニエンスストア等の店舗１に設置されるものであり、従来のＭＦＰと同様に、コピー機能、印刷機能、ファクシミリ機能、イメージ入力機能等を備え、ユーザが所定の金額を支払うことによって、自由に各機能を使用できるものとする。これらのコピー機能等を、ＭＦＰ本来の機能とも呼ぶものとする。
また、この発明の複合機ＭＦＰ２は、後述するような構成を備えて、商品の販売管理をするためのＰＯＳ端末３（以下、ＰＯＳとも呼ぶ）と同等の商品購入操作が可能なものとする。
【００１６】
ＭＦＰ（Multi Function Peripheral）２は、図１に示すように、主として、制御部２１、撮影部（カメラ）２２、スキャナ部２３、印刷部２４、表示部２５、入力部２６、通信部２７、画像認識部２８、商品情報取得部２９、商品取引実行部３０、複合機能実行部３１、記憶部４０を備える。
また、ＭＦＰ２が配置される店舗１には、ＰＯＳ端末（ＰＯＳ）３が配置され、ＭＦＰ２とＰＯＳ３とは、有線又は無線のＬＡＮを用いた店内ネットワーク１０によって接続されるものとする。
このＬＡＮ１０を利用して、後述するように、たとえば、ＭＦＰ２で入力された購入商品の集計情報が、ＭＦＰ２からＰＯＳ３へ送信される。
【００１７】
ＰＯＳ（Point of Sales System）端末（ＰＯＳ）３は、従来から用いられている販売管理装置であり、主として、店舗の担当者が、ユーザが購入しようとする商品の情報を入力し、かつその商品の清算処理を実行するものであり、いわゆるキャッシュレジスタに相当する。ＰＯＳ３は、店舗１の規模等に基づいて、１台又は複数台設置される。
ＰＯＳ３は、インターネットなどの外部のネットワーク（ＷＡＮ）１１に接続する機能を有し、販売される商品に関する情報や複数の店舗の販売状況などを管理するサーバ（ＳＶ）４とデータ通信を行うものとする。
たとえば、後述するように、ＭＦＰを利用して購入しようとする商品が、その店舗１で販売されている該当商品であるか否かを問い合わせる照会要求が、ＷＡＮ１１を介して、ＰＯＳ３からＳＶ４に送信される。
【００１８】
サーバＳＶ４は、商品および店舗を管理する装置であり、主に、店舗とは異なる建物内に設置される。
また、サーバＳＶ４には、店舗で販売されるあらゆる商品に関する情報が記憶および適宜更新され、たとえば、各商品について、その商品の品名、商品バーコード、販売単価、形状、色、大きさ、３次元画像などを対応づけて記憶した商品管理データベースを備えているものとする。
サーバＳＶ４に記憶されるこれらの情報は、ＰＯＳ３からＳＶ４への商品照会要求時に利用される。
【００１９】
以下、図１に示したこの発明の複合機ＭＦＰ２の主要な構成について説明する。
制御部２１は、ＭＦＰ２の各種機能を実行する部分であり、主として、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏコントローラ、タイマー等からなるマイクロコンピュータにより実現される。
また、ＣＰＵは、ＲＯＭ等に記憶されたプログラムに基づいて、各種ハードウェアを有機的に動作させることによって、この発明のＭＦＰ２のコピー機能、プリンタ機能、商品購入操作を含むＰＯＳ機能などを実行させる。
特に、この発明では、後述するように、ＭＦＰに備えられた複数のカメラとスキャナとを利用して、ＭＦＰの原稿台に置かれた購入商品の画像データから、その商品の形状等の情報を生成して、購入商品を認識することにより、ＭＦＰでも商品取引処理を行わせ、ＭＦＰの遊休時間の有効活用、ユーザの待ち時間の短縮化、およびユーザの操作負担の軽減を図ることを特徴とする。
【００２０】
撮影部（以下、カメラとも呼ぶ）２２は、ＭＦＰ２の原稿台に置かれた物体の画像（主として、静止画）を撮影する部分であり、撮影された画像は、入力画像データ４３として記憶部４０に記憶される。
カメラ２２は、複数台設けられ、後述する図２、図３あるいは図４に示すような位置に配置される。たとえば、ユーザが購入しようとする商品を原稿台に置いた場合、複数のカメラによって、異なる方向からその商品を撮影する。
スキャナ部２３は、ＭＦＰ２の原稿台に置かれた物体の画像を取得する部分であり、特に、原稿台に置かれた商品に付与されたバーコードを読み取る部分である。スキャナ部２３としては、ＭＦＰ２の本来のコピー機能などを実行するときに使用するカメラを利用するものとする。
このスキャナ部２３は、原稿台の下部近傍に移動可能なように設置されている。ただし、スキャナ部２３として、上記カメラに加えて、バーコードを読み取る専用のバーコードリーダを備えてもよい。
【００２１】
印刷部２４は、画像データなどを所定の用紙に印刷する部分であり、いわゆるプリンタに相当し、従来のＭＦＰ本来の機能を実行するために備えられた部分である。
ＭＦＰ２でＰＯＳ機能を実行する場合において、この印刷部２４は、たとえば領収書（レシート）を出力するのに用いられる。
表示部２５は、ＭＦＰの各種機能を実行させるときに、ユーザが確認することが必要な情報や、操作アイコンなどを表示させる部分であり、ＣＲＴ、ＬＣＤ、有機ＥＬディスプレイなどが用いられる。
入力部２６は、ＭＦＰ２を利用するユーザが、所望の機能選択や、コピー枚数などの情報を入力する部分であり、キーボードやタッチパネルなどが用いられる。
タッチパネルを用いる場合は、表示部２５と入力部２６とが重ね合わせて配置されるか、あるいは表示部と入力部とを一体成形した入力デバイスとして提供される。
【００２２】
通信部２７は、主として、ＭＦＰ２をＬＡＮなどの店内ネットワーク１０に接続する部分であり、所定の通信プロトコルによって、ＬＡＮ１０に接続されたＰＯＳ３と、通信を行う部分である。後述するように、ＰＯＳ３から送信されたＰＯＳ機能起動要求やＰＯＳ機能停止要求を受信し、ＭＦＰ２からＰＯＳ３に、商品認識情報や集計情報を送信する。
ＬＡＮとの接続形態は、有線接続および無線接続のどちらでもよい。
【００２３】
画像認識部２８は、入力された画像データおよびバーコードの認識を行う部分であり、主として、カメラ２２で撮影された画像データを解析し、撮影された物体（商品）の特徴を抽出して、物体の特徴を示す情報を生成する部分である。
ここで、物体の特徴を示す情報としては、たとえば、物体の形状、色、大きさなどがあり、複数のカメラによって撮影された物体の複数の画像データを利用して合成された３次元画像データも含まれる。購入しようとする商品の特徴を示す情報を、商品認識情報４５と呼び、その商品の形状、色、大きさ等を含む。
物体の形状などの情報は、従来から行われている画像処理技術を利用することによって取得することができる。
あるいは、入力された画像データの中に、バーコードに相当する部分があると認識された場合は、その部分からバーコードを抽出し、入力バーコード４４として記憶する。
【００２４】
商品情報取得部２９は、商品認識情報４５を利用して、購入しようとしている商品を特定する情報を取得する部分である。
画像認識部２８によって認識された物体が購入しようとしている商品である場合に、生成された物体の特徴を示す情報に基づいて、その購入商品を一意に特定することが可能な情報を取得する。たとえば、商品を特定する情報としては、少なくとも商品名と商品バーコードのいずれか一方を取得する。
商品認識情報４５には、上記したように画像認識によって生成された商品の形状、色、大きさ、商品バーコード、３次元画像などが含まれるが、これに限るものではない。
後述するような画像比較情報４８が、記憶部４０に予め記憶されている場合は、商品を特定する情報には、画像認識の結果生成された商品認識情報４５と、画像比較情報４８とを対比することによって得られる商品名、商品バーコードが含まれる。
生成された商品認識情報４５は、ＰＯＳ３に送信され、購入しようとしている商品が、その店舗で販売されている商品か否かの確認（照会）が行われる。
【００２５】
商品取引実行部３０は、上記の取得された商品を特定する情報を利用して、ユーザが購入しようとする商品の清算処理を実行する部分である。
コンビニエンスストア等に設置される複合機ＭＦＰ２では、通常コピー料金等を支払うための料金投入機が備えられているので、この料金投入機を利用して、ユーザが購入しようとする商品の合計金額に相当する料金を投入することにより、商品の清算処理をしてもよい。
【００２６】
複合機能実行部３１は、ＭＦＰ本来の機能を実行する部分であり、原稿台に置かれた用紙に対して、コピー等の所定の画像処理を実行する部分である。ユーザによって機能選択がされた後、たとえば、コピー機能、プリント機能、ファックス機能、あるいはスキャン機能などのいずれかを実行する。
【００２７】
この発明では、ＭＦＰ２において、ＭＦＰ本来の機能と、商品情報入力機能とを明確に区別するために、複合機能実行部３１による画像処理が実行されていないときに、商品情報入力機能に関連する商品の撮影および画像認識処理を行い、商品取引実行部３０が、購入しようとする商品の清算処理などを実行するものとする。
【００２８】
記憶部４０は、ＭＦＰ２の各種機能を実行するために必要な情報や、プログラムを記憶した部分であり、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体記憶素子や、ＨＤＤ、ＳＳＤなどの記憶装置、ＣＤ、ＤＶＤその他の記憶媒体が用いられる。
記憶部４０に記憶される情報としては、主として、ＰＯＳ画面（商品購入操作画面）４１、ＭＦＰ画面（複合機能操作画面）４２、入力画像データ４３、入力バーコード４４、商品認識情報４５、ＰＯＳ時間帯情報４６、集計情報４７、画像比較情報４８などが含まれる。
【００２９】
ＰＯＳ画面４１は、ＭＦＰ２においてＰＯＳ機能を実行するときに表示部２５に表示させる画面であり、ユーザが商品を購入するときに入力操作を行うための画面である。
図５（ａ）に、表示部および入力部としてタッチパネルを用いた場合に、タッチパネルに表示されるＰＯＳ画面４１の一実施例を示す。
これは、ＭＦＰ２において、ＰＯＳ機能が開始されたときに最初に表示される画面である。
この画面４１が表示された場合、ユーザは、「お会計スタート」と表示された領域に接触することにより、商品購入操作を開始する。
この後、ユーザは、表示部２５に表示されるメッセージ等を確認しながら、購入しようとする商品を、ＭＦＰの原稿台に載せる操作を順次行いながら、商品購入処理を行うことになる。
【００３０】
ＭＦＰ画面４２は、ＭＦＰの本来の機能、すなわちＰＯＳ機能以外の機能（コピー機能など）を実行するときに、表示部２５に表示させる画面である。
図５（ｂ）に、タッチパネルに表示されるＭＦＰ画面４２の一実施例を示す。
この画面は、ＭＦＰの本来の機能が開始されたときに最初に表示される画面である。
この画面が表示された状態で、ユーザが、たとえばファックス機能を実行したい場合は、「ファックス」と表示された領域に接触することによって、ファックス機能が開始される。
【００３１】
入力画像データ４３は、カメラ２２によって撮影された画像データである。
入力バーコード４４は、スキャナ部２３によって取り込まれたバーコードの情報である。
あるいは、カメラ２２によってバーコードを含む画像が撮影された場合は、撮影された画像データからバーコードの部分が切り出されて、入力バーコード４４として記憶される。
商品認識情報４５は、入力画像データ４３と、入力バーコード４４とを利用して、画像認識処理をすることにより取得された商品の特徴を示す情報である。
図６に、商品認識情報４５の一実施例の説明図を示す。
ここで、商品認識情報４５としては、商品の形状、商品の色、商品の大きさ、商品の３次元画像、および商品バーコードを示している。ただし、これらに限るものではない。
【００３２】
複数のカメラ２２によって撮影された画像の入力画像データ４３を解析することによって、商品の形状、色、大きさを取得し、各方面から撮影された複数の画像データを合成することによって、３次元画像を生成することもできる。
商品バーコードは、入力バーコード４４を分析することによって得られた数値情報である。
商品バーコードが取得された場合は、購入商品を一意に特定することができるので、商品の形状等を取得しなくてもよい。
入力画像データ４３を画像認識しても、商品バーコードを取得できなかった場合は、購入しようとする商品を明確に特定するために、商品の形状や色などを取得する。
【００３３】
ＰＯＳ時間帯情報４６は、ＭＦＰ２を、ＰＯＳ３のように商品購入操作を行う端末として利用する時間帯を予め設定した情報である。
たとえば、店舗１にあるＰＯＳ端末３が混雑することの多い時間帯を、ＰＯＳ時間帯情報４６として、予め設定してもよい。
通常混雑することの多い時間帯としては、朝の時間帯（たとえば７時から９時まで）、昼の時間帯（１２時から１３時まで）、夕方の時間帯（１７時から１９時まで）などがある。
この情報４６が予め設定された場合は、ＭＦＰ２は、ＭＦＰ本来の機能が使用されていないとき、現在時刻がそのＰＯＳ時間帯に属している場合、自動的にＭＦＰ機能を停止し、ＰＯＳ機能が実行されるように、機能の切り替えを行うものとする。
逆に、現在時刻がその時間帯をはずれた場合は、ＰＯＳ機能を停止し、ＭＦＰ機能が実行されるように、機能の切り替えを行うものとする。
なお、この情報４６は、必ずしも設定しなくてもよい。
【００３４】
集計情報４７は、ＭＦＰ２において購入された商品に関する情報を集計したものである。
集計情報としては、たとえば、１人のユーザが購入した商品群の一取引分の情報（商品名、購入金額、購入日時など）、あるいはＰＯＳ時間帯の間に商品購入をした複数のユーザの各取引情報、一日のうちにＭＦＰで取引処理された全取引情報などが含まれる。
この集計情報４７は、たとえば、ＰＯＳ３からの送信要求があった場合、ＰＯＳ時間帯が終了したとき、一定時間ごと、あるいは、１人のユーザの購入取引処理が終了するごとのいずれかのタイミングで、ＭＦＰ２からＰＯＳ３に送信すればよい。
どのタイミングで送信するかは、ＭＦＰにおいて、予め設定しておいてもよい。
【００３５】
画像比較情報４８は、商品を特定する情報と、その商品の形状、色および大きさを対応付けて記憶したものであり、ＭＦＰ２において、ユーザが購入しようとしている商品を明確に特定するための情報である。上記商品情報取得部２９が、画像認識部２８によって生成された商品認識情報（形状など）４５と一致可能な画像比較情報４８を検索し、一致可能な画像比較情報４８に記憶されている商品を特定する情報を取得する。すなわち、商品認識情報４５のうち、生成された商品の形状、色、大きさ等の情報と、この情報４８とを比較することによって、購入しようとしている商品の商品名や商品バーコードを決定する。
【００３６】
ただし、ある店舗において販売される商品の種類や、商品の価格は、日々変化するので、画像比較情報４８をＭＦＰ２に予め記憶しておくことが困難な場合もあるので、画像比較情報４８は、必ずしもＭＦＰの記憶部４０に記憶しなくてもよい。
ＭＦＰ２にこの情報４８を記憶していない場合は、取得された商品認識情報４５をＰＯＳ３に送信して、サーバＳＶを利用して、購入商品の照会を行えばよい。
図６（ｂ）に、画像比較情報の一実施例の説明図を示す。
【００３７】
図６（ｂ）において、画像比較情報４８としては、商品名、商品バーコード、形状、色、大きさ（面積）、３次元データからなるものを示している。
たとえば、「缶コーヒー」という商品名の商品は、商品バーコードとして「ＡＡＡ０１２３」が付与され、その商品の形状は円柱であり、商品の色は茶色であり、大きさ（面積）は１００ｃｍ3程度であり、その商品の画像を示す３次元データのファイル名がＤＤＤＤＤであることを示している。
ただし、３次元データがない場合は、記憶する必要はなく、また、商品の表面の色が一色でない場合は、色を記憶しなくてもよい。
ＭＦＰ２において商品を特定しようとする場合、たとえば、上記した商品認識情報４５の形状、色、大きさと、画像比較情報４８に予め記憶された形状、色、大きさとを比較し、３つともほぼ一致している場合には、購入しようとする商品は、その形状、色、大きさに対応して記憶されている商品名と商品バーコードを持つ商品であると決定される。
【００３８】
このように、ＭＦＰ２において、画像比較情報４８を予め記憶している場合は、カメラで撮影した商品の画像データから、商品を特定することができるので、商品認識情報４５として、決定された商品バーコードを含む情報を、ＰＯＳ３に送信すればよい。
また、ＭＦＰ２において、画像比較情報４８を記憶していない場合は、カメラで撮影した商品の画像データから商品バーコードが抽出できなかったとしても、商品の形状、色、大きさからなる商品認識情報、あるいは、複数の画像データから生成した３次元画像そのものを、ＰＯＳ３に送信すればよい。
この場合は、ＰＯＳ３が受信した商品認識情報４５や３次元画像を含む照会要求をサーバＳＶ４に送信することによって、購入しようとしている商品がその店舗で販売されている商品に該当するか否かをチェックすればよい。
【００３９】
＜複合機ＭＦＰにおけるカメラの配置＞
図２、図３および図４に、カメラの配置について、いくつかの実施例の概略配置図を示す。
図示するように、複数台のカメラが備えられるが、いずれのカメラも、原稿台のほぼ中央方向を撮影するように、設置される。
また、主として、原稿台の周辺近傍に取り付けられた複数のカメラ（第１カメラ群）と、背面パネルが開状態において原稿台のほぼ中央方向を撮影することができるようになる背面パネルに取り付けられた複数のカメラ（第２カメラ群）とがあるが、少なくともいずれか一方のカメラ群を備えればよく、また両方のカメラ群を備えてもよい。
【００４０】
（実施例１）
図２に、複合機ＭＦＰの概観図と、複数のカメラの概略配置図を示す。
図２（ａ）において、複合機２は、その上面に、原稿台５１と、操作パネル５２とを備え、原稿台５１は、透明なガラス板からなり、そのガラス板の下側内部に、スキャナＳＣが移動可能なように配置される。
また、閉状態で原稿台５１の上に配置された用紙を上方から覆いかくすことのできる大きさを持つ背面パネル５４が、原稿台５１の近傍に開閉可能に取り付けられる。背面パネル５４の中央には、背面パネルを閉じたときに原稿台５１に置かれた原稿を上から押さえるための原稿押さえ５３が配置される。
操作パネル５２は、上記した表示部２５と入力部２６に対応するタッチパネルに相当する。
【００４１】
また、図２（ａ）には、５台のカメラ（Ｃ１〜Ｃ５）を設置している。
２台のカメラＣ１、Ｃ２は、原稿台５１と同じ平面上であって、それぞれ、長方形状の原稿台５１の２つの頂点の近傍に配置され、カメラの撮影方向は原稿台の中央方向である。
また、３台のカメラ（Ｃ３、Ｃ４、Ｃ５）は、それぞれ背面パネル５４の３つの辺の近傍のほぼ中央に配置され、背面パネル５４を開いたときに、撮影方向が原稿台の中央方向を向くように取り付けられる。
また、背面パネル５４の長辺のほぼ中央に取り付けられたカメラＣ５は、移動用レール５５の上を移動可能なように配置される。
移動用レール５５は、たとえば円形状に形成され、カメラＣ５によって撮影をしている場合に、図示しないモータによって、カメラＣ５は、移動用レール５５に沿って回転するように移動させられる。
カメラＣ５は、移動中であっても、原稿台５１のほぼ中央部分を撮影できるように撮影方向を変化させることが好ましい。
図２（ｂ）は、ＭＦＰの前にユーザが立って操作する場合の正面方向から見たＭＦＰの概略正面図である。
【００４２】
図２の場合、原稿台５１の上に商品が置かれたとすると、図２（ｂ）に示すように、５台のカメラによって、５つの方向から商品を撮影することになる。
この場合、置かれた商品の下面にバーコードが付与されていたとすると、スキャナＳＣによって、そのバーコードを読み取ることができる。
また、商品の下面以外にバーコードが付与されていたとすると、５台のいずれかのカメラによって、バーコードが撮影できる場合がある。
さらに、バーコードを撮影することができなかったとしても、５台のカメラによって撮影された画像データを解析することによって、商品の形状、色、大きさ、３次元画像を取得することができる。
したがって、ユーザは、バーコードがスキャナＳＣによって正しく読みとることができるように、バーコードが付与されている商品の配置方向を変える操作を行う必要がない。
【００４３】
特に、たとえば野菜などのバーコードが付与されていない商品が置かれた場合、複数のカメラで撮影された画像データを認識することによって、野菜の形状、色、大きさ、３次元画像を取得できるので、これらの取得情報を利用することによって、購入しようとする商品を特定することができる。
したがって、ユーザは、バーコードが付与されていない商品も、ＭＦＰ２を利用して購入することができる。
【００４４】
（実施例２）
図３に、複数のカメラの他の配置例の説明図を示す。
図３（ａ）は、ＭＦＰを上側から見た上面図、図３（ｂ）は、ＭＦＰを正面側から見た正面図である。
この実施例では、原稿台５１よりも上側の空間に、５つのカメラ（Ｃ１〜Ｃ５）を備え、どのカメラも原稿台５１のほぼ中央方向を撮影画面の中心としている。
４台のカメラ（Ｃ１〜Ｃ４）は、長方形状の原稿台５１の４つの頂点の上方に配置し、原稿台５１に置かれた商品の上面と側面を撮影する。
また、カメラＣ５は、原稿台５１のほぼ中央の上方に配置し、商品の真上から、商品の上面を撮影する。
カメラＣ５は、図２のカメラＣ５と同様に、移動用レールに沿って回転移動させてもよい。
なお、スキャナＳＣは、図２と同様に、商品の下面をスキャンする。
【００４５】
（実施例３）
図４に、複数のカメラの他の配置例の説明図を示す。
図４（ａ）は、ＭＦＰを上側から見た上面図、図４（ｂ）、（ｃ）は、ＭＦＰを正面側から見た正面図である。
この実施例では、５つのカメラ（Ｃ１〜Ｃ５）を備えるが、４つのカメラ（Ｃ１〜Ｃ４）は、原稿台５１とほぼ同じ平面上に設置し、カメラＣ５のみを、原稿台５１のほぼ中央の上方に配置し、いずれのカメラも、原稿台５１のほぼ中央方向を撮影画面の中心としている。
また、カメラＣ５は、図２のカメラＣ５と同様に、移動用レールに沿って移動し、図のカメラ移動ルートに示すように移動可能なものとする。
【００４６】
また、原稿台５１とほぼ同じ平面上に設置される４台のカメラ（Ｃ１〜Ｃ４）は、上下方向に回動可能なものとし、カメラで商品を撮影する場合には、図４（ｂ）に示すように、やや上方に回動して、原稿台５１の中央方向でやや上方空間を撮影するようにする。
また、カメラで商品を撮影しない場合、すなわちＰＯＳ機能を実行せず、ＭＦＰ本来のコピー機能などを実行する場合は、図４（ｃ）に示すように、下方に回動して、原稿台５１の平面の下方に、カメラ（Ｃ１〜Ｃ４）を収納するようにする。
これにより、コピー機能などを実行中に、カメラがじゃまにならないようにすることができる。
【００４７】
以上の３つの実施例では、５台のカメラを設置するものを示したが、これに限るものではなく、５台以外の複数のカメラを設置してもよく、カメラの配置位置も、図示した位置以外の位置にしてもよい。
原稿台５１に置かれる商品の形状は、長方体以外の様々な形状のものがあるので、どのように商品が置かれたとしても、できるだけ撮影されない死角部分がないように、３次元の立体形状が把握できるような位置に、複数台のカメラを配置すればよい。
また、１台のカメラＣ５のみを移動できるように設置した例を示したが、他のカメラについても移動可能なように設置してもよい。
【００４８】
＜複合機（ＭＦＰ）の動作説明＞
図７および図８に、複合機（ＭＦＰ）の動作のうち、この発明に関連する主要動作のフローチャートを示す。
ここでは、主に、ＭＦＰ２において、ＰＯＳ３で実行されている商品情報入力機能（ＰＯＳ機能）を実行する場合の処理、すなわち商品を購入しようとするユーザが、商品購入操作を行う場合の処理について説明する。
ステップＳ１において、ＭＦＰ２は、ＭＦＰ本来のコピー機能などの複合機（ＭＦＰ）機能の動作を開始する。
このとき、たとえば、図５（ｂ）に示すように、タッチパネルにＭＦＰ画面を表示させ、コピー機能などが実行できる状態となっている。
ステップＳ２において、通信部２７が、ＰＯＳ３から、ＰＯＳ機能起動要求を受信したか否かをチェックする。
この要求を受信した場合はステップＳ５へ進み、そうでない場合はステップＳ３へ進む。
【００４９】
ステップＳ３において、制御部２１が、ＰＯＳ時間帯情報４６が予め設定され、ＰＯＳ起動時間帯指定機能が有効に設定されているか否かをチェックする。
ＰＯＳ時間帯情報４６が設定されていないか、あるいはＰＯＳ起動時間帯指定機能が有効に設定されていない場合は、ステップＳ２に戻る。
ＰＯＳ時間帯情報４６が設定され、かつＰＯＳ起動時間帯指定機能が有効に設定されている場合は、ステップＳ４に進む。
ステップＳ４において、現在の時刻が、ＰＯＳ時間帯情報４６に設定されている時間帯（ＰＯＳ設定時間帯）に属しているか否かをチェックする。
属している場合は、ＭＦＰにおいてＰＯＳ機能を実行できるようにするために、ステップＳ５へ進む。
一方、現在時刻がＰＯＳ設定時間帯に属さない場合は、ステップＳ２に戻り、コピー機能などのＭＦＰ本来の機能が実行できる状態のままとする。
【００５０】
ステップＳ５において、制御部２１は、現在、複合機（ＭＦＰ）本来の機能のいずれかが使用中か否かをチェックする。
ＭＦＰ本来のいずれかの機能が使用中である場合は、ステップＳ５をループし、使用中の機能が終了するのを待つ。
一方、ＭＦＰ本来のどの機能も使用されていない場合は、ステップＳ６に進む。
すなわち、通信部２７が、ＰＯＳ３から、商品情報入力機能を起動させるためのＰＯＳ機能起動要求を受信した場合か、あるいは、現在時刻が、商品情報入力機能を実行する時間帯を予め設定したＰＯＳ時間帯情報に設定された時間帯に属している場合に、複合機能実行部３１による画像処理が実行されていなければ、商品情報入力機能（ＰＯＳ機能）を起動させる。
【００５１】
ステップＳ６において、商品取引実行部３０が、ＰＯＳ機能の動作を開始させる。
ここで、たとえば、図５（ａ）に示すように、タッチパネルに、ＰＯＳ画面を表示させる。
ステップＳ７において、図５（ａ）に示す「会計スタートキー」の部分を入力されたか否かをチェックする。
会計スタートキーが入力された場合は、ステップＳ１４に進み、そうでない場合はステップＳ８に進む。
【００５２】
ステップＳ８において、ＰＯＳ３から、ＰＯＳ機能停止要求が受信されたか否かをチェックする。この要求が受信された場合はステップＳ９に進み、そうでない場合はステップＳ１２に進む。
ステップＳ９において、制御部２１は、現在、ＰＯＳ機能を使用中か否かをチェックする。ＰＯＳ機能を使用中の場合は、ステップＳ９をループし、ＰＯＳ機能が終了するのを待つ。
ＰＯＳ機能が使用中か否かは、たとえば、商品が原稿台に置かれない状態が一定時間以上継続したか否かをチェックし、一定時間（たとえば５分以上）、商品が置かれない状態が継続した場合は、ＰＯＳ機能が使用中でないと判断すればよい。
また、ＰＯＳ機能を停止させるためのキーあるいはタッチパネルに停止を意味する表示領域を設け、そのキー等が入力されるか否かをチェックし、キーが入力されない場合は、ＰＯＳ機能を使用中と判断し、キーが入力された場合にＰＯＳ機能は使用中でないと判断してもよい。
【００５３】
ＰＯＳ機能が使用中でない場合は、ステップＳ１０に進む。
ステップＳ１０において、複合機能実行部３１が、ＭＦＰ機能の動作を開始させ、図５（ｂ）に示すように、タッチパネルにＭＦＰ画面を表示させる。
ステップＳ１１において、ＭＦＰで商品購入操作が実行され、清算処理を実行した結果、生成された購入商品についての集計情報４７が記憶部４０に記憶されている場合は、通信部２７は、その購入商品の集計情報４７を、ＰＯＳ３に送信する。
集計情報４７をＰＯＳ３に送信した後は、その集計情報４７を記憶部４０から消去する。
その後、ステップＳ２へ戻り、ＭＦＰ本来の機能が実行できる状態となる。
【００５４】
ステップＳ１２において、ＰＯＳ機能停止要求が受信されない場合は、ステップＳ３と同様に、ＰＯＳ時間帯情報が設定されＰＯＳ起動時間帯の指定機能が有効となっているか否かをチェックする。
有効となっている場合は、ステップＳ１３に進み、現在時刻がＰＯＳ設定時間帯に属するか否かをチェックする。有効となっていない場合は、ステップＳ７に戻る。
ステップＳ１３において、現在時刻がＰＯＳ設定時間帯に属する場合は、ステップＳ９に進み、属さない場合は、ステップＳ７に戻る。
【００５５】
ステップＳ１４において、会計スタートキーが入力された場合は、カメラによる撮影機能と、スキャナによる読取機能とを開始させ、図８のステップＳ１５に進む。
このとき、商品情報の入力操作をすることが可能となったこと、すなわち、購入しようとする商品を、原稿台５１の上に置いてもよいことを、表示あるいは音声でユーザに知らせてもよい。
ステップＳ１５において、各カメラから画像データを入力し、入力画像データ４３として記憶する。
ステップＳ１６において、入力画像データ４３をチェックして、原稿台５１に商品が置かれているか否かを確認する。
たとえば、原稿台５１に商品が置かれていない場合の基準画像データを予め記憶部４０に記憶しておき、入力画像データ４３と、予め記憶されていた基準画像データとを比較して、両方の画像データに大きな差異がある場合には、商品が置かれていると判断する。
【００５６】
原稿台５１に商品があると判断された場合は、ステップＳ２１に進み、そうでない場合はステップＳ１７に進む。
ステップＳ１７において、ユーザによって、商品情報の入力操作を最初からやり直すことを要求する入力がされたか否かをチェックする。
たとえば、入力キャンセル用のキーを設け、このキーが押された場合に、入力やり直し要求が入力されたと判断する。
入力やり直し要求が入力された場合、ステップＳ２０に進み、そうでない場合はステップＳ１８に進む。
ステップＳ１８において、ユーザによって、清算を意味する入力があるか否かをチェックする。清算入力があった場合は、ステップＳ１９に進み、そうでない場合はステップＳ１５へ戻る。
清算入力とは、ユーザが購入しようとするすべての商品について、商品情報の入力操作を行った後、購入金額を確定するための入力を意味する。
ステップＳ１９において、購入商品の清算処理を実行する。
【００５７】
この清算処理では、たとえば、購入商品の合計金額を計算し、購入商品名、各商品の購入金額と個数、合計金額などを表示部２５に表示させてユーザに確認を要求し、合計金額などが正しいことを示す確認入力があった場合、ユーザに合計金額の支払（入金）を求める。
合計金額に相当する金銭が入金された場合には、レシートを発行して、清算処理を終了する。また、清算処理では、クレジットカードや電子マネー、プリペイドカードによる処理を行ってもよい。
清算処理を終了した後、ステップＳ７に戻る。
一方、ユーザによるやり直し要求が入力された場合は、ステップＳ２０において、それまで記憶されていた商品認識情報４５を消去して、ステップＳ７に戻る。
【００５８】
ステップＳ２１において、原稿台５１に商品が置かれているので、すべてのカメラによって、画像撮影をし、撮影された画像データを、入力画像データ４３として記憶する。
また、スキャナ部２３を起動させ、バーコードの読み取りを行い、バーコードが読み取られた場合は、入力バーコード４４として記憶する。
ここで、ユーザは、商品にバーコードが付与されている位置を確認してから商品を原稿台に置く必要はなく、商品の向きやバーコードの付与位置を考慮することなく、購入しようとしている商品のうち、１つの商品を原稿台５１に置けばよい。
したがって、商品の置き方によっては、スキャナ部によって、バーコードを読み取れないこともあるが、後述するように、画像認識処理によって商品の形状等を認識して商品を一意に特定する処理を行うので、バーコード読取のエラー表示等をすることなく、次のステップに進めばよい。
【００５９】
ステップＳ２２において、スキャナ部によってバーコードが取得されたか否か（入力バーコードが記憶されたか否か）をチェックする。バーコードが取得された場合は、ステップＳ２４に進み、そうでない場合はステップＳ２３に進む。
ステップＳ２３において、画像認識部２８が、入力画像データ４３を利用して、画像認識処理を行う。
画像認識処理では、まず、原稿台５１に置かれた商品の輪郭を認識し、形状を取得する。さらに、カラーカメラを用いる場合は、商品の表面の主要な色を取得する。色が一色でなく複雑な多数色からなる場合は、表面の模様を取得してもよい。
模様は、単なる図形として認識してもよいが、図形の他に、表面に記載された文字、記号を区別して認識してもよい。
また、商品の周囲にある原稿台の大きさと比較して、商品の大きさや面積を取得する。
さらに、異なる方向から撮影した複数の画像データを、３次元的に合成して、商品の３次元画像を生成してもよい。
このように画像認識処理によって生成された情報（形状、色、大きさ、模様、３次元画像など）は、商品認識情報４５として、商品ごとに記憶される。
【００６０】
ステップＳ２４において、バーコードが取得された場合は、入力バーコード４４を解析して、数値化された商品バーコードを生成し、商品認識情報４５として、記憶部４０に記憶する。
商品バーコードが記憶された場合は、その購入しようとしている商品が明確に特定できるので、商品の形状等を取得する必要はない。ただし、購入商品をより正確に特定するために、バーコードとともに、商品の形状等も、商品認識情報４５として記憶してもよい。
ステップＳ２３あるいはＳ２４の後、ステップＳ２５に進む。
ただし、ＭＦＰ２において、上記したような画像比較情報４８を予め記憶している場合は、ステップＳ２３において、取得した形状、色、大きさの情報と画像比較情報４８とを比較して、購入しようとしている商品の商品名や商品バーコードを取得してもよい。
【００６１】
ステップＳ２５において、記憶された商品認識情報４５を、ＰＯＳ３に送信する。
これは、購入しようとする商品が、店舗で販売されている商品であって、入力された商品を明確に特定するために、ＰＯＳ３およびサーバ４に照会を要求するものであり、また、購入しようとする商品の販売価格を、ＰＯＳ３またはサーバ４から取得するために行うものである。
ＰＯＳ３あるいはサーバＳＶ４では、受信した商品認識情報４５に基づいて、購入しようとした商品が店舗で販売可能な商品であるか否かを確認する。そして、その確認した結果、販売可能な商品である場合に、ＰＯＳ３が、その商品を特定する情報を含む応答情報を、ＭＦＰ２に送信する。後述する図９のフローでは、ＰＯＳ３が、サーバＳＶに商品の照会を要求し、サーバＳＶから照会結果を得た後、照会結果を含む応答情報をＭＦＰ２に送信している。
【００６２】
ステップＳ２６において、ＰＯＳ３から、応答情報が受信されるか否かをチェックする。
応答情報が受信された場合はステップＳ２７に進み、そうでない場合はステップＳ２６をループし、応答情報が受信されるのを待つ。
受信した応答情報には、たとえば、購入しようとする商品の照会確認が成功したことや、商品を特定する情報（商品名など）や、購入しようとする各商品の販売価格が含まれる。
【００６３】
ステップＳ２７において、受信された応答情報をチェックし、購入しようとする商品が店舗で販売される商品に該当し、一意に特定されたことを示す照会結果（商品照会確認成功）が返信されてきた場合は、ステップＳ２８に進み、そうでない場合はステップＳ１５に戻る。
ステップＳ２８において、商品情報取得部２９が、受信した応答情報に含まれる購入された商品を特定する情報（購入商品情報）と、その商品の購入金額を取得し、両者を対応づけて、ユーザごとの一取引情報の中に記憶し、記憶部４０の集計情報４７に追加記憶する。
その後、ステップＳ１５に戻る。
以上のように、ＭＦＰ２において、購入しようとする商品の情報の入力操作が行われ、購入商品が明確に特定された場合は、ＰＯＳ３を利用しなくてもＭＦＰ２を利用して清算処理を行うことができる。
【００６４】
また、バーコードを読み取ること以外に、カメラによって撮影された画像データを利用して購入しようとする商品を明確に特定するので、バーコードが付与されていない商品もＭＦＰ２で購入することができ、ユーザは、バーコードが付与されている面をスキャナによって読み取らせるように商品の向きを考えて商品を原稿台に置く必要はないので、ユーザの商品情報入力操作の負担を軽減できる。
【００６５】
＜ＰＯＳ端末（ＰＯＳ）の動作説明＞
図９に、ＰＯＳ端末（ＰＯＳ）３の動作のうち、この発明に関連する主要動作のフローチャートを示す。
ステップＳ５１において、ＰＯＳ３は、いわゆる店舗の販売管理を行うＰＯＳ機能の動作を開始する。
この状態においては、ＰＯＳ３の担当者による購入商品の情報の入力操作や、清算処理が実行される。
ステップＳ５２において、担当者により、ＭＦＰのＰＯＳ機能の起動要求入力があったか否かをチェックする。
たとえば、ＰＯＳ３において、ＭＦＰの機能選択入力キーを設け、担当者がこのキーを押し下げた場合に、ＭＦＰのＰＯＳ機能を起動させる要求入力があったと判断する。
【００６６】
この起動要求入力があった場合は、ステップＳ５５に進み、なかった場合はステップＳ５３に進む。
ステップＳ５３において、担当者により、ＭＦＰのＰＯＳ機能の停止要求入力があったか否かをチェックする。
たとえば、ＰＯＳ３において、ＭＦＰのＰＯＳ機能停止入力キーを設け、担当者がこのキーを押し下げた場合に、ＭＦＰのＰＯＳ機能を停止させる要求入力があったと判断する。
【００６７】
この停止要求入力があった場合は、ステップＳ５４に進み、なかった場合はステップＳ５６に進む。
ステップＳ５４において、ＭＦＰ２に、ＰＯＳ機能停止要求を送信し、ステップＳ６０に進む。
一方、ステップＳ５５において、起動要求入力があった場合は、ＭＦＰ２に、ＰＯＳ機能起動要求を送信する。
ステップＳ５６において、ＭＦＰ２から、商品認識情報４５を受信したか否かをチェックする。
受信があればステップＳ５７に進み、受信のない場合はステップＳ６０に進む。
【００６８】
ステップＳ５７において、受信された商品認識情報４５を利用して、購入しようとする商品が正当なものであるか否かを、サーバにチェックしてもらうために、商品認識情報とＰＯＳ３を特定する情報（店舗名など）とを含めた照会要求を、サーバＳＶ４に送信する。
【００６９】
サーバＳＶ４は、この照会要求を受信すると、サーバＳＶに記憶されている商品管理データベースを調べる。ここで、データベースに格納されている情報を利用して商品認識情報に含まれる形状等をチェックすることによって、購入しようとしている商品がその店舗で販売されている商品であって、一意に特定できる商品であるか否かが判断される。一意に特定できる商品であることが確認された場合、サーバＳＶは、照会要求された商品の確認が成功したことを示す照会結果（照会確認成功）を、ＰＯＳ３に返信する。
一方、商品認識情報の形状等をチェックしても、商品が一意に特定できなかった場合は、商品の確認に失敗したことを示す照会結果（照会確認失敗）を、ＰＯＳ３に返信する。
また、ＰＯＳ３に商品の販売金額情報を記憶していない場合は、商品の販売金額もサーバＳＶ４に照会し、ＳＶ４は、照会結果に商品の販売金額も含めて、ＰＯＳ３に返信する。
【００７０】
ステップＳ５８において、サーバＳＶ４から、上記のような照会結果が受信されるか否かをチェックする。受信されなければ、ステップＳ５８をループし、照会結果がサーバから送られてくるのを待つ。
一方、照会結果が受信された場合は、ステップＳ５９に進む。
ステップＳ５９において、ＭＦＰ２に、受信した照会結果を含む応答情報を送信する。
ここで、ＰＯＳ３に購入しようとする商品の販売金額が記憶されていない場合は、照会結果に含まれる販売金額が、応答情報に含められる。
また、ＰＯＳ３に購入しようとする商品の販売金額が記憶されている場合は、その記憶されている販売金額が、応答情報に含められてＭＦＰ２に送信される。
【００７１】
ステップＳ６０において、ＭＦＰ２から集計情報４７が受信されるか否かをチェックする。集計情報が受信されなければ、ステップＳ５２に戻り、受信された場合は、ステップＳ６１に進む。
ステップＳ６１において、受信した集計情報４７を、ＰＯＳで管理している店舗の売上金額に追加し、記憶する。その後、ステップＳ５２に戻る。
【００７２】
以上のように、ＰＯＳ３は、ＭＦＰ２に対して、ＰＯＳ機能を実行させるか否かの制御を実行し、ＭＦＰ２がＰＯＳ機能を実行している場合には、ＭＦＰ２で生成された商品認識情報４５を受信して、サーバＳＶ４に、購入しようとしている商品の正当性を照会し、ＭＦＰ２から集計情報が送信されてきた場合には、ＰＯＳ３が設置されている店舗の売上として、ＭＦＰ２で入力操作がされた商品の購入情報を加算する。
【００７３】
＜実施形態のまとめ＞
（実施形態１）
上記実施例では、ＭＦＰ２からＰＯＳ３に集計情報４７を送信するタイミングを、ステップＳ１１に示すように、ＭＦＰ２において、ＰＯＳ機能を停止してＭＦＰ本来の機能を実行するときとしたが、これに限るものではない。
たとえば、次のようなタイミングのいずれかで、ＭＦＰ２からＰＯＳ３に、集計情報４７を送信してもよい。
（１）上記したように、ＭＦＰ２が、商品情報入力機能（ＰＯＳ機能）を停止して、複合機能実行部によるＭＦＰ本来の機能（画像処理）を開始するタイミングに、集計情報を送信する。
（２）ＭＦＰ２において、１つの商品が原稿台５１に置かれ、その商品についての商品認識情報４５がＰＯＳ３に送信されるのと同じタイミングに、集計情報を送信する。
すなわち、１商品の商品情報の入力操作が終了するごとに、集計情報をＰＯＳ３に送信する。
（３）ＭＦＰ２において、１人のユーザが購入しようとするすべての商品について、商品情報の入力操作を終了し、それらの商品に対する合計金額の支払を完了した場合、すなわち、１人のユーザの１つの取引処理が完了した場合に、集計情報を送信する。
（４）現在時刻が予め設定された時刻になった場合、商品情報入力機能を開始した後一定時間が経過した後、あるいは、一定時間が経過するごとに、集計情報を送信する。
（５）ＰＯＳ３から、任意のタイミングで、集計情報を送信することを要求する情報（送信要求）を受信した場合に、集計情報を送信する。
（６）店舗に開店時間と閉店時間がある場合は、開店時にＰＯＳおよびＭＦＰの電源を投入した直後、あるいは閉店時にＭＦＰの電源を切断処理をした直後に、集計情報を送信する。
【００７４】
また、上記のどのタイミングで、集計情報を、ＭＦＰ２からＰＯＳ３に送信するのかを、ＭＦＰ２あるいはＰＯＳ３において、その店舗の都合に合わせて、担当者が予め設定できるようにしてもよい。
（実施形態２）
ＭＦＰ２において、ＭＦＰ本来の機能を実行するモードと、商品情報を入力するＰＯＳ機能を実行するモードの切りかえは、次に示すようないずれかの処理により行えばよい。
（１）ＰＯＳ３の担当者が、ＰＯＳ３において、ＭＦＰのＰＯＳ機能を開始させることを要求する入力操作をする。この入力操作がされた場合は、ＭＦＰ２に、ＰＯＳ機能起動要求が送信される。なお、上記したように、ＰＯＳ３からＰＯＳ機能停止要求が送信された場合は、ＭＦＰ２は、ＭＦＰ本来の機能を実行するモードに戻す。
（２）ＭＦＰ２において、予め設定されたＰＯＳ時間帯情報に基づいて、ＭＦＰ本来の機能を実行する時間帯と、ＰＯＳ機能を実行する時間帯とを別々に設定しておく。
（３）ＭＦＰ２において、ＰＯＳ３の担当者が、ＭＦＰの入力部２６を用いて、ＭＦＰ本来の機能を実行するモードか、あるいはＰＯＳ機能を実行するモードのどちらかに切り替える入力操作をする。
（４）ＭＦＰ２において、ＭＦＰ２を利用するユーザが、ＭＦＰの入力部２６を用いて、コピー機能などＭＦＰ本来の機能を実行する場合は、ＭＦＰ本来の機能を実行するモードに切りかえる入力操作をし、ＰＯＳ機能を実行する場合は、ＰＯＳ機能を実行するモードに切り替える入力操作をする。
図５などでは、ＰＯＳ画面とＭＦＰ画面とを使い分ける実施例を示したが、図５（ｂ）のＭＦＰ画面において、「商品入力モード」というような選択領域も表示させ、ユーザが、この「商品入力モード」を選択入力した場合に、ＰＯＳ機能を実行するモードに切り替えた後に、図５（ａ）のＰＯＳ画面を表示させるようにしてもよい。
【００７５】
（実施形態３）
上記実施例では、商品認識情報を利用して、ＰＯＳ３からサーバＳＶ４に、商品等の照会をするようにした。しかし、１つの店舗しか経営していないコンビニエンスストアや、高々数店舗しか所有していない小規模なコンビニエンスストアでは、店舗以外の場所に設置されるサーバＳＶを利用しない運用形態をとる場合もある。
たとえば、１つの店舗において、主要な１つのＰＯＳ端末に、上記したサーバＳＶと同様の機能と商品管理データベースを備え、その主要なＰＯＳ端末で、同一店舗内にあるＭＦＰを利用して購入される商品の確認処理も行えばよい。
また、数店舗を一元管理する場合は、各店舗のＰＯＳ端末どおしをネットワーク（ＷＡＮ）で接続し、ある店舗の主要な１つのＰＯＳ端末に、サーバＳＶと同じ機能と商品管理データベースを備え、その主要なＰＯＳ端末で、各店舗に設置されたＭＦＰを利用して購入される商品の確認処理を行えばよい。
【符号の説明】
【００７６】
１  店舗、  ２  複合機（ＭＦＰ）、  ３  ＰＯＳ端末（ＰＯＳ）、  ４  サーバ（ＳＶ）、  １０  店内ネットワーク（ＬＡＮ）、  １１  ネットワーク（ＷＡＮ）、  ２１  制御部、  ２２  撮影部（カメラ）、  ２３  スキャナ部、  ２４  印刷部、  ２５  表示部、  ２６  入力部、  ２７  通信部、  ２８  画像認識部、  ２９  商品情報取得部、  ３０  商品取引実行部、  ３１  複合機能実行部、  ４０  記憶部、  ４１  ＰＯＳ画面、  ４２  ＭＦＰ画面、  ４３  入力画像データ、  ４４  入力バーコード、  ４５  商品認識情報、  ４６  ＰＯＳ時間帯情報、  ４７  集計情報、  ４８  画像比較情報、  ５１  原稿台、  ５２  操作パネル、  ５３  原稿押さえ、  ５４  背面パネル、  ５５  移動用レール
【図１】
0006556003.tif 000002
【図２】
0006556003.tif 000003
【図３】
0006556003.tif 000004
【図４】
0006556003.tif 000005
【図５】
0006556003.tif 000006
【図６】
0006556003.tif 000007
【図７】
0006556003.tif 000008
【図８】
0006556003.tif 000009
【図９】
0006556003.tif 000010