(57)【要約】【課題】      コンピュータモニタやテレビの画像情報を視聴者から情報提供者側に即時にその内容について応答返信させる時間と入力手間を短縮する。また、情報提供者側の文字や画像情報などの入力編集を簡素化する。更に処理速度の遅い携帯電話利用において、街頭などでの商品陳列販売、宣伝広告に対して、簡単にその広告主や宣伝スポンサーに効率良く、距離に関係なくそれらの利用者の要求情報を瞬時に伝達できること。【解決手段】  コンピュータモニタ又は一般のテレビの画面に予め情報提供者側で数値や制御情報を設定した専用のカラーブロックコードを表示し、それを専用の受信機リモコンで受信させ、また、その受信した情報をインターネット、又は電話回線、又はケーブル回線などを介して情報提供者側にリアルタイムに応答返信させることにより時間の短縮とパソコン入力などや電話をする手間を省くことにより正確、且つ高速化した。【選択図】なし【特許請求の範囲】
【請求項１】
コンピュータモニタ又はテレビ画面に表示されているテレビ画像内の任意の位置に直
接カラーブロックを表示、又は街頭などの商品陳列台などに直接カラーブロックのプレ
ートなどを設置又はビルの電飾看板などにカラーブロックを表示させる方法。
【請求項２】
そのカラーブロックを受信する専用のリモコン受信機や又は携帯電話のカメラでその
カラーブロックを撮影し、予めそれらカラーブロック画像に数値や制御コードを設定し、
それらのカラーブロックの色配列によってその数値情報、及び制御情報を瞬時に読取変
換し即座にインターネット又は携帯電話網を含む有線無線を問わず、それら回線網など
を通じてその数値化されたデータを情報提供者などにリアルタイムに送信できる機能。
【請求項３】
コンピュータモニタ又はテレビなどで画像を編集する段階でその画面に直接プログラ
ム制御などをするためのプログラムを事前に埋め込む必要を無くし、映像、又は画像編
集中又は編集後にその画像の任意の位置にカラーブロックをテロップとして重ねて表示
させる機能。
【請求項４】
上記で数値化された制御情報と対応するデータ「画像、数値、文字または動画像を含
む」を情報提供者側のデータベースとリンクし、端末から制御及び受信し視聴している
ユーザーがそれらの情報をテレビの専用リモコン又は携帯端末及び携帯端末を通じてデ
ータベース又は広告主にリアルタイムに応答送信できる機能。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータモニタ又は一般のテレビ画面にカラーブロックコードを表示し、
そのカラーブロックに予め特定の数値、又は制御情報を設定し、モニタ、又はテレビを
制御するリモコン受信機に送信し、そのリモコンで受信した情報をインターネット、又
は電話回線、又はケーブル回線の有線、無線を問わずそれらの情報提供者にリアルタイ
ムで返信送信できるのでパソコンやテレビを見ながらその画面に対応する返信情報が即
座に情報提供者に返信できるので在宅学習の返答システム、テレビ通信販売、テレビア
ンケート、商品物流システムなど、その他、多種多様の業種に応用できる。
また、携帯電話のカメラや携帯端末のカメラなどを利用し、街頭商品陳列台などに予め
カラーブロックをプレートなどで表示又はビルの電飾看板などに設置し、そのカラーブ
ロックコードを距離に関係なく撮影し、その場で携帯電話や携帯端末の無線パケット通
信網を利用し即座にコード情報や制御情報をデータベースや物流センターに電信できる
ので、商品パンフレット請求や注文又は街頭宣伝などを含め、アンケート調査などにも
利用でき、従来のバーコードや２次元バーコードのように撮影する距離に制約される事
もなく数百メートル離れた距離からでも撮影が可能になるため、利用範囲を限定するこ
となく幅広い分野でのコード化処理に応用が期待できる。
【背景技術】
【０００２】
従来までのパソコンやテレビ画面で表示されていたものは直接パソコンからキーボード
やマウス等を通じてコンピュータに直接制御情報を送るものであった。又は、テレビな
どの画面で通信販売などをする場合は例えば商品番号を表示し、また、その商品につい
て発注する際の申込受付電話番号「０１２０」などを表示させ、ユーザーからの間接的
な連絡の手段を待っているだけのものであった。
また、携帯電話やハンディスキャナーを利用するバーコード処理方法では、スキャンす
る距離に制約があり、数センチのところまで近づけて撮影する必要があった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
コンピュータ画面に表示し通信販売などをする場合、ウエブサーバーなどのコンピュー
タを情報提供者側に専用に設置し、同時にユーザー側にもそれらの専用端末機器や専用
の回線などが必要であり、またテレビで視聴者などに通信販売などをする場合、その画
面内に商品などの番号をテロップなどで重ねて表示し、且つ、商品購入案内電話番号「０
１２０」などを表示し、ユーザーから別に電話をさせて注文などを取っていたが、本発
明が解決する課題はそれらのコンピュータ装置の設置の必要なく、テレビ画面での視聴
者側の電話による手作業での注文をも無くし画面に向かってただ、視聴者は専用の信号
送受信付きリモコンの制御ボタンを押すだけで即座にその情報提供者側にその画面の内
容について応答することができる双方向の即時応答返信システム…「Real time 
Interactive Two way Response System」の構築が可能になった。
また、街頭では目的とするものの距離に関係なく、単純に表示又は設置されているカラ
ーブロックプレートやカラーブロック電飾看板などを携帯電話のカメラで撮影し簡単に
そのコード化された情報を広告スポンサーや情報提供者などへ返信することができるよ
うになる。
また、これらテレビなどの視聴者や携帯電話の所有者は返信する情報の中にユーザー固
有の情報などを予め登録しておくことによって、ユーザーからのデータが情報提供者に
返信された時点で、いつ、どの時点で、どのユーザーがその商品を注文したかなどの関
連情報を瞬時にして得ることができ、又、利用者決済情報なども予め登録しておくこと
により、それらの情報を商品発送センターなどとリンクするとにより数十秒以内での注
文商品受注処理、及び発送も可能になる。
従って、これらのシステムを応用することにより、今までにない、飛躍的な流通システ
ムの簡素化及び、スピードの向上を確立をするとともに、まったく中間に電話受付オペ
レーション業者などの第三者の介入することのない非常に安全な情報セキュリティー性
を持ち合わせるものであり、これらの高度な色画像―数値変換コード化処理技術の幅広
い分野での利用を目的とする。
【課題を解決するための手段】
【０００４】
上記目的を達成するために、図１にその解説をする。図１のコンピュータ画面、又は一
般テレビ画面に表示されている専用のカラーブロックを専用の受信リモコンで読み取り、
その読み取ったカラーブロックに対応した数値、又は制御情報を即座に別のインターネ
ット通信用ルータ、又はモデム、又は電話回線又はケーブル回線などを通じてその情報
提供者側に返信送信する。コンピュータモニタ又はテレビなどに表示されているカラー
ブロックなどは、予め情報提供者側が任意にそれらの情報を数値情報として管理でき、
その数値情報などを任意の商品や文書や画像とリンクしデータベース化し管理、又は摘
出して再利用することができる。
具体的な編集方法は、例えば、静止画像として表示する場合、その画像にカラーブロッ
クを重ねて貼り付けるだけで利用でき、画面上にアイコンなどの専用ボタンを設置す
る必要はない。また、一般テレビなどの編集については今まで通り、必要な画面を呼び
出し、テロップとして任意の位置に同様にカラーブロックを重ねて貼り付け表示させる
だけである。
また、携帯電話での利用においては、図２の通り、目的のものの側近に表示又は設置さ
れているカラーブロックを撮影し、携帯電話の特定のボタンを押すことによってコード
化された情報をそれらの無線中継センターを経由して送信するだけである。
なお、これらを実現するための画像認識に必要な計算式および方法は下項より説明する。
【０００５】
（計算方法）
カラーブロック色認識に応用する関数及び計算方法
＜＜本システムで独自に開発する関数一覧＞＞
本研究でカラーブロックの画像の色認識とその表示範囲を特定するために、下記に必要
関数を独自に開発作成し、そのメモリアドレス操作によって今までの数式演算とは全く
異なる手法で実現できることを確認する。
＜＜１・・画像メモリサーチ方法及び制御関数＞＞
携帯端末画像全体「ウインドウ全体」の表示範囲で通常左上端座標０,０「画像メモリの
始点アドレス」〜右下端座標 ２４０,３２０「画像メモリ終点アドレス」までの画像実
写メモリ全体をサーチする。
この場合、サーチする携帯端末の画像メモリ実アドレスは(００００００００−ＦＦＦＦ
ＦＦＦＦ)の範囲内で、指定できるアドレスの範囲は各携帯端末の画像メモリの大きさに
依存します。
又、携帯端末の実質表示可能画素数は最新のＮＴＴ−ＤｏＣｏＭｏのＦＯＭＡ対応携帯
電話の最大表示画素数のｘ座標「横」２４０ピクセル、及びｙ座標「縦」３２０ピクセ
ルまでの実写表示範囲とする。
【０００６】
（関数一覧）
本研究で開発作成する制御関数一覧と機能説明…
関数１  bufad
サーチするVRAMバッファメモリ領域の指定：bufad パラメータ(００００００００−Ｆ
ＦＦＦＦＦＦＦ)指定するアドレスの範囲は各携帯端末の画像メモリの大きさに依存す
る。（パラメータを設定しない場合はメモリ全体領域を指定）
関数２  sdad
サーチするＳＤメモリ領域の指定：sdad パラメータ(００００００００−ＦＦＦＦＦＦ
ＦＦ)指定するアドレスの範囲は携帯端末のＳＤメモリの大きさに依存する。
（パラメータを設定しない場合はメモリ全体領域を指定）
関数３  colbufad
連続した色番号数値が存在しているVRAMバッファメモリ領域の抽出：colbufadパラメー
タ（00000000-FFFFFFFF）の任意の範囲をサーチ、範囲は、各携帯端末の画像メモリの大
きさに依存する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数４  colsdad
連続した色番号数値が存在しているＳＤメモリ領域の抽出：colsdadパラメータ
（00000000-FFFFFFFF）の任意の範囲をサーチ、範囲は、各、携帯端末の、ＳＤメモリの
大きさに依存する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数５  ncolad
隣接する同じ色番号数値が存在するVRAMバッファメモリ領域の抽出:ncolad パラメータ
（ｘ00000000-FFFFFFFF）指定するアドレスの範囲は各携帯端末の画像メモリの大きさに
依存する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数６  ncolsdad
隣接する同じ色番号数値が存在するＳＤメモリ領域の抽出:ncolsdad パラメータ（ｘ
00000000-FFFFFFFF）指定するアドレスの範囲は各携帯端末のＳＤメモリの大きさに依存
する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数７  cbstpad
VRAM バッファメモリ内でのカラーブロック始点アドレス抽出：cbstpadパラメータ
（00000000-FFFFFFFF）の範囲でサーチ、範囲は各携帯端末の
画像メモリの大きさに依存する。（パラメータを設定しない場合はメモリ全体領域を指
定）
関数８  cbstpadsd
ＳＤメモリ内でのカラーブロック始点アドレス抽出：cbstpadsdパラメータ
（00000000-FFFFFFFF）の範囲でサーチ、範囲は各携帯端末のＳＤメモリの大きさに依存
する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数９  cbedpad
VRAM バッファメモリ内でのカラーブロック終点アドレス抽出：cbedpadパラメータ
（00000000-FFFFFFFF）の範囲でサーチ、範囲は各携帯端末の画像メモリの大きさに依存
する。（パラメータを設定しない場合は
メモリ全体領域を指定）
関数１０  cbedpadsd
ＳＤメモリ内でのカラーブロック終点アドレス抽出：cbedpadsdパラメータ
（00000000-FFFFFFFF）の範囲でサーチ、範囲は、各携帯端末のＳＤメモリの大きさに依
存する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数１１  colnum
色定義：colnum パラメータ（JIS標準の色番号を設定）１６種類の任意の中間色以外の
単調色を設定
関数１２  bccolnum
色番号定義：bccolnum パラメータ（1-16）カラーブロックの各色に対応する番号を設定
関数１３  mkcode
色に対応するコード化番号：mkcode パラメータ（０〜９までの番号及び桁数を任意に設
定）１６階調の場合、最大１６ｘ１６乗数までの桁数を設定可
【０００７】
その他、関連制御コマンド…
関数１４  codecopysd
データをＳＤメモリへコピー：パラメータ（ＳＤメモリ上のアドレスを指定）
関数１５  storesd
データをＳＤメモリにファイル形式で書き出す：パラメータ（ＳＤメモリの仕様に順ず
る）
関数１６  callnum
携帯電話で番号を発信しダイアルする：パラメータ（0-9,*,#,）
関数１７  sddatasend
ＳＤメモリのデータをパケットデータで送信：パラメータ（ＳＤメモリの仕様に順ずる）
【０００８】
（色認識方法）
１…カラーブロックの認識と表示されている範囲を抽出する方法…
目的と方法…
本研究で最も重要な要素となるカラーブロックの色識別技術として携帯端末で撮影され
たカラーブロック画像がファイル「ＳＤメモリなどの記憶媒体」に保存されまでの携帯
端末内のVRAMバッファメモリ「一時的に画像が保存される記憶エリア」のメモリを直接
検索し、それらの画像をカラーブロックであるかどうか…そして、そのカラーブロック
がメモリ内にいくつ存在し、また、どこからどこまでがカラーブロックの範囲である
かを特定する必要がある。
これらを実現する方法として、下記の数式により、携帯端末で撮影されたすべてのカラ
ーブロックの撮影画像表示位置、及び形状「傾き」大きさを特定し、それらの情報を抽
出することができる。
また、それらの抽出されたカラーブロックに予め設定された番号数値を元に、対応する
コードを割り当てコード情報に変換し携帯端末の持っている機能であるパケット無線通
信を利用してそれらのコード情報とリンクさせるサーバーやデータベースにそれらのコ
ード情報をリアルタイムに送信することが可能になる。
【０００９】
（カラーブロック抽出方法）
＜＜色の認識及び抽出方法…＞＞
画像表示範囲全体内に存在するカラーブロックの色数値とその表示座標、及び、横（Ｘ
方向）縦（Ｙ方向）の大きさ、及び表示範囲を特定する為に次の定義をしこれらの集合
確率を算定する集合関数を作成し、本方式を応用するすべての利用で同じ認識結果を得
ることを目的とする。
カラーブロック画像のサーチ方法及び規則（コンピュータ画像走査における絶対的規則）
は画像メモリ内に展開されているメモリアドレスのサーチは常に00000000より後方ア
ドレスに向いて実行される。したがって、ランダムサーチではなくシーケンシャルサー
チのみとする。
（実際には画像全体の表示エリアウインドウ内の左上端から右下端まで、上から順番に
１ラインづつ左から右方向のみ走査サーチされる。）
（ただし、逆サーチを利用する場合はこの反対の方法でサーチする。）
【００１０】
色認識及び画像ブロック特定法
上記の規則により、
横（Ｘ方向）の１ピクセルの値をＰｘとし、座標の最初の左上端の１ピクセルから次の
右隣の色を調べる演算をＡとすると、
＜なん化式＞
Ｐｘ＋１＝ＡＰｘ  が成り立つ、これより、
Ｐｘ＝ＡｘＰ０  （Ａ０＝１；”何もないという演算”  ）
ここで便宜的にＸ座標の隣に存在する複数の色数値をＮｘ, Ｙ座標の下に存在する複数
の色数値をＮｙとし、Ｐｘ,ｙ：＝Ｐｘ＋Ｎｘｙとおく。
この場合カラーブロックの設定数が全部で１６種類なので色数値は０００−ＦＦＦまで
の１６種類の色数値（１６色単色諧調でカラーブロックを構成する場合）が割り当てら
れる。
これらを下記の数式の通り、横（Ｘ方向）縦（Ｙ方向）をサーチする。
Ｐｘ,  ｙ＝Ｐｘ＋ｍ,  ｙ＋ｎＮｘｙ（ｎ＝１,２,３  ｍ＝１,２,３）
次に、斜め下前方方向及び斜め下後方方向のそれぞれ隣接した範囲をサーチする、そし
て、
Ｐｘ,  ｙ＝Ｐｘ＋ｋ,  ｙ＋ｋ（ｋ＝１,２,３）
が成立していればその周辺は同一の色数値であると特定できこれらの色数値の集合確立
によって色数値を特定できる。
また、この範囲に他の色数値が混在しても、色の集合確立を計算し、他の色数値の存在
比率が
（１６色の場合）
サーチした目的の色の全体のピクセル数÷別の色の全体のピクセル数が６．２５％以内
（１６色分の１）であれば混在した他の色は無視できる許容範囲内である。
また、他のカラーブロックとの境界の識別は、最初のカラーブロックの横（Ｘ方向）縦
（Ｙ方向）をサーチした場合、
Ｐｘ,  ｙ＝Ｐｘ＋ｍ,  ｙ＋ｎＮｘｙ（ｎ＝１,２,３  ｍ＝１,２,３）及び、斜め下前
方方向及び斜め下後方方向のそれぞれ隣接した範囲をサーチした時、
Ｐｘ,  ｙ＝Ｐｘ＋ｋ,  ｙ＋ｋ（ｋ＝１,２,３）が成立すれば、その隣接する範囲に、
他のカラーブロックが存在すると特定できる。
（なお、認識できる精度はサーチするピクセル数（ｎ＝１,２,３  ｍ＝１,２,３）を増
やすことによって向上させることができる。）
【図面の簡単な説明】
【００１１】
【図１】コンピュータモニタ又はテレビに表示させるカラーブロックコードをリモコンでスキャンする方法…この例では２０ブロックのカラー構成でそれぞれ１−９の数値「任意」の数値を割り当てる。実際に目的とする物体「商品、宣伝広告紙面や看板」の側近に複数のカラーで組み合わせたブロックを表示、又はプレートなどに書き込み又は貼り付けるなどして設置し、そのカラーブロックをテレビのリモコン又は専用の受信装置で読み取りさせる。通常はリモコンに内臓されているカラーＣＣＤセンサーで色画像を認識させ、その情報を瞬時に数値化し、無線又は有線の電話回線、ケーブル回線、インターネット回線などを通じて数値データを伝送する。
【図２】携帯電話で利用する場合のカラーブロックの表示方法及び利用例…実際にコンピュータモニタやテレビの画面上の任意のところにカラーブロックを表示し、そのカラーブロックを携帯電話や携帯端末の内臓カメラなどを利用して撮影し、その撮影されたカラーブロック画像を瞬時に数値化し、携帯電話や携帯端末が持っている無線パケットなどの通信機能を利用して、数値データを広告主やスポンサー側のデータベースセンターや物流センターへ直接伝送する。なお、この伝送経路内には一切データ処理中間業者「オペレーションや受注代行業者」などの介在はない。
【図３】カラーブロックコードの構成と表示の基本…通常、構成するカラーブロックの構成は正方形であるがその他、変形したカラーブロック、例えば円、三角、菱形など、どのような形であっても常に１つの色のブロックと隣の色のブロックが連続して配列されて構成されていればその形に規制はなく、自由にその配列順序や配列位置を形成できる。また、例では５種類の色のカラーブロック構成となっているが、必要に応じて自由にブロック数を加減し、情報量を増やしたり減らしたりできる。
【図４】カラーブロックコードの構成と細分化…通常、カラーブロックは、コンピュータなどで認識される場合、１つの画素単位で識別され、それぞれの画素には必ずその色の番号が割り当てられている。コンピュータはこれらの色を高精度なＣＣＤセンサーなどを内臓したカメラなどで取り込み、それを色認識し、それに対応した番号を割り当て、色番号を特定する。
【図５】標準配列のカラーブロック画像の「走査」サーチ及び色番号の特定方法…一般的にコンピュータの画像範囲「コンピュータのモニタやテレビや携帯電話、又は携帯端末」は、画像の右上端のポイント０、０を基点とし、順次上から下のライン「横方向走査」にしたがって画像を走査していき、次の下のラインに移動した時も、右から左に走査していき、最終の一番下のラインＦＦＦＦでそのラインの一番左のポイントが走査できた段階で画面全体の走査が完了する。
【図６】変形したカラーブロック画像の標準サーチ及び色番号の特定方法１…図５と同様に右上端から左に画像を走査する場合の説明である。また、この場合はカラーブロックの形状が正方形ではなく変形した画像を走査する場合の説明である。色の座標位置と色の特定方法については次項「カラーブロック色認識に応用する関数及び計算方法以降を参照。
【図７】変形配列のカラーブロック画像の逆サーチ及び色番号の特定方法２・・・図６と同様に逆からサーチした説明である。
【図８】カラーブロックの実メモリアドレスへの表示…実際のコンピュータ内の画像記憶エリア「ビデオメモリー」に展開されている画像の配列を説明している。
【図９】コード化処理データベースサーバー構成…予めカラーブロックを作成し、目的とする商品や宣伝物の側近にこれらのカラーブロックを表示又は設置し、それらのカラーブロック画像をテレビの専用リモコンや携帯電話や携帯端末のカメラで撮影する。次に、テレビのリモコンで受信又は携帯電話や携帯端末で撮影されたカラーブロック画像はそのリモコンや携帯電話の画像蓄積用メモリーで展開する。「図８参照」そして、その画像は独自の関数式「弊社で発明開発した関数」によって色認識し、それに特定の番号を割り当て、瞬時にしてその番号「数値化情報」を携帯電話または携帯端末が持っている通信機能を利用して中継局「携帯電話の場合は携帯電話会社が運営している無線パケット網」などを経由しインターネット網や専用線を経由し、最終的に目的のデータベースや物流システムに伝送される。
【図１】
2006023877.tif 000002
【図２】
2006023877.tif 000003
【図３】
2006023877.tif 000004
【図４】
2006023877.tif 000005
【図５】
2006023877.tif 000006
【図６】
2006023877.tif 000007
【図７】
2006023877.tif 000008
【図８】
2006023877.tif 000009
【図９】
2006023877.tif 000010