(57)【要約】【課題】  テレビ電話のリアルタイム画像の背景に映り込んだ見せたくない物のみを、利用者が背景画像上で指示することなく自動かつ選択的に隠蔽することが可能となる画像送信装置を提供する。【解決手段】  赤外線を検出可能なリアルタイムに利用者を撮影するカメラと、このカメラで撮影した連続した画像のうち前後の画像の情報から、赤外線の波長域においてあらかじめ定めた周期パターンで明滅する画面の範囲を抽出する画像情報抽出手段と、画像の抽出した範囲の周囲を含む所定の範囲を、別の画像に置き換えるように編集する画像編集手段とを備え、この編集した後の画像をカメラの撮影画像に代えて送信する。【選択図】  図２
2007158443.tif 000002
【特許請求の範囲】
【請求項１】
赤外線を検出可能な、リアルタイムに利用者を撮影するカメラと、
このカメラで撮影した連続した画像のうち前後の画像の情報から、赤外線の波長域においてあらかじめ定めた周期パターンで明滅する前記画面の範囲を抽出する画像情報抽出手段と、
前記画像の前記抽出した範囲の周囲を含む所定の範囲を、別の画像に置き換えるように編集する画像編集手段と、
この編集した後の画像を前記カメラの撮影画像に代えて送信する通信手段と
を備えたことを特徴とする画像送信装置。
【請求項２】
前記画像情報抽出手段は、
抽出した前記画面上のあらかじめ定めた周期パターンで明滅する範囲の形状が所定の形状と一致する場合、この抽出範囲をあらかじめ定めたパターンで明滅する前記画面の範囲とすることを特徴とする請求項１に記載の画像送信装置。
【請求項３】
所定の形状を持ち、あらかじめ定めた周期パターンに従って赤外線を発する発光装置と、
赤外線を検出可能な、リアルタイムに利用者を撮影するカメラ、
このカメラで撮影した連続した画像のうち前後の画像の情報から、赤外線の波長域においてあらかじめ定めた周期パターンで明滅する前記所定の形状と一致する前記画面の範囲を抽出する画像情報抽出手段、
前記画像の前記抽出した範囲の周囲を含む所定の範囲を、別の画像に置き換えるように編集する画像編集手段、
この編集した後の画像を前記カメラの撮影画像に代えて送信する通信手段
を備えた画像送信装置からなる画像送信システムであって、
前記発光装置と前期画像送信装置が、前記カメラが撮影する画像中に前記発光装置が映り込む位置に配置されたことを特徴とする画像送信システム。
【請求項４】
前記周期パターンを構成する最小単位時間を、前記カメラの画像の最小撮影間隔時間の２倍以上とすることを特徴とする請求項３に記載の画像送信システム。
【請求項５】
赤外線を検出可能な、リアルタイムに利用者を撮影するカメラで撮影し、
撮影した連続した画像のうち前後の画像の情報から、赤外線の波長域においてあらかじめ定めた周期パターンで明滅する前記画面の範囲を抽出し、
抽出した範囲の周囲を含む所定の範囲を、別の画像に置き換えるように編集し、
この編集した後の画像を前記カメラの撮影画像に代えて送信する
ことを特徴とする画像送信方法。
【請求項６】
前記画面の範囲を抽出する際、
抽出した前記画面上のあらかじめ定めた周期パターンで明滅する範囲の形状が所定の形状と一致する場合、この抽出範囲をあらかじめ定めたパターンで明滅する前記画面の範囲とすることを特徴とする請求項５に記載の画像送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像を他の通信装置に送信する装置であって、特に撮像場所の状況に応じて撮像画像の一部を見せないように編集して送信する装置に関する。
【背景技術】
【０００２】
事務所内のＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などに簡単に取り付けられ、ネットワークを介して他のＰＣとリアルタイムな画像の送受信を行うテレビ電話が製品化されている。テレビ電話で伝送する画像情報には、話者だけでなくその背景も広範囲に映り込んでしまう。そのような背景中に通信相手には見せたくない物が含まれる場合、セキュリティやプライバシー保護の観点から問題となることがある。
【０００３】
このため撮像画像の領域の見せたくない部分をあらかじめ指示することで、その指示した部分に相当する画像の一部を別の情報に置き換える発明が提案されている（特許文献１参照）。
【特許文献１】特開２００４−５６４８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
音声だけでなく自身のリアルタイム画像を送信することで電話の相手との意思の疎通が取り易くなるという利点がある。しかしながらリアルタイム画像を撮像するときに背景も映り込んでしまうため、相手には見せたくないものが背景にある場合に問題となる。
【０００５】
このとき、見せたくない背景部分を利用者が都度指定する方法も提案されているが、撮影アングルが変わる都度、あるいはその見せたくない物の位置が移動した場合にはその都度指定し直さねばならないというわずらわしさがある。
【０００６】
本発明は上記の問題に鑑みてなされたもので、見せたくない物のみを自動かつ選択的に隠蔽することが可能となる画像送信装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明にかかる画像送信装置とすれば、赤外線を検出可能な、リアルタイムに利用者を撮影するカメラと、このカメラで撮影した連続した画像のうち前後の画像の情報から、赤外線の波長域においてあらかじめ定めた周期パターンで明滅する前記画面の範囲を抽出する画像情報抽出手段と、前記画像の前記抽出した範囲の周囲を含む所定の範囲を、別の画像に置き換えるように編集する画像編集手段と、この編集した後の画像を前記カメラの撮影画像に代えて送信する通信手段とを備えたことを特徴とする画像送信装置が提供される。
【０００８】
また、本発明にかかる画像送信システムとすれば、所定の形状を持ち、あらかじめ定めた周期パターンに従って赤外線を発する発光装置と、赤外線を検出可能な、リアルタイムに利用者を撮影するカメラ、このカメラで撮影した連続した画像のうち前後の画像の情報から、赤外線の波長域においてあらかじめ定めた周期パターンで明滅する前記所定の形状と一致する前記画面の範囲を抽出する画像情報抽出手段、前記画像の前記抽出した範囲の周囲を含む所定の範囲を、別の画像に置き換えるように編集する画像編集手段、この編集した後の画像を前記カメラの撮影画像に代えて送信する通信手段を備えた画像送信装置からなる画像送信システムであって、前記発光装置と前期画像送信装置が、前記カメラが撮影する画像中に前記発光装置が映り込む位置に配置されたことを特徴とする画像送信システムが提供される。
【０００９】
および上記画像送信装置を実現する画像送信方法が提供される。
【発明の効果】
【００１０】
テレビ電話のリアルタイム画像の背景に映り込んだ見せたくない物のみを、利用者が背景画像上で指示することなく自動かつ選択的に隠蔽することが可能となる画像送信装置を提供する。
【発明を実施するための最良の形態】
【００１１】
（第１の実施形態）
図１に本実施形態におけるテレビ電話システムの一例を示す。図１には端末１００、カメラ１０１、ディスプレイ１０２およびインターネット網１０３が示されている。
【００１２】
端末１００は、テレビ電話であり複数の端末の間で通信相手のリアルタイム画像を映し出す機能を有する。端末１００はテレビ電話専用端末を想定しているが、同等の機能を実現するソフトウェアを搭載したＰＣであってもかまわない。
【００１３】
カメラ１０１は、端末１００を利用して通話中の利用者をリアルタイムに撮影する機能を有する。本実施形態では、カメラ１０１は端末１００の上辺に載置され、端末１００と向き合って通話中の利用者を正面から撮影できる方向に設置されている。この位置に載置すると端末１００に映し出された通信相手と向かい合うときに、自身の画像が正面を向いた画像となるため実際の会話と比べて違和感の少ない通話ができる。
【００１４】
ディスプレイ１０２は、たとえばＬＣＤ（液晶ディスプレイ）やＣＲＴといった端末１００が備える表示装置である。通信相手のリアルタイム画像を映し出す以外にも、通話状況や現在の通話料など各種情報を同時に表示することもできる。
【００１５】
インターネット網１０３は、誰も利用可能な世界的なＩＰネットワークである。このネットワーク網を利用することで、全世界のどこにいる相手とも通話できるようになる。本実施形態では端末１００間の通信をインターネット網１０３にて行う例を示しているが、これがプライベートに敷設したＬＡＮ、無線によるＬＡＮなど端末１００間でデータのやり取りが可能な通信媒体であれば容易に置換可能である。
【００１６】
図２は、本実施形態における発光装置の一例を示す図である。図２では、発光装置２００、発光体２０１、台座２０２およびスイッチ２０３が示されている。
【００１７】
発光装置２００は、図１に示したテレビ電話システムと共に使用されるもので、端末１００が送信するリアルタイム画像中の一部を隠蔽する目的で利用される。
【００１８】
発光体２０１は、赤外線を発生する機能を有する。赤外線は人の目では感知できないがカメラ１０１には発光していることが感知できるものである。この特性を用いると、発光体２０１が発光していても近傍にいる利用者にまぶしさを感じさせることなく、カメラ１０１を通じて所定の情報を端末１００に与えることができるという利点がある。
【００１９】
また、赤外線を得るための省電力な素子として赤外線ＬＥＤ（発光ダイオード）が代表的だが、これを用いる場合には指向性が問題となる。これは特定の位置で撮影しないと発光を感知できないからである。カメラ１０１の撮影の向きに関係なく広範囲に赤外線を放射するために、複数の赤外線ＬＥＤを放射状に配置する方法が考えられる。
【００２０】
台座２０２は、発光体２０１を支え、また卓上に置けるように下の面が平らに形成されている。内部には発光体２０１を発光させるための制御基板が収められている。
【００２１】
スイッチ２０３は、台座２０２に備えられており発光体２０１の発光パターンを切り替えるためのスイッチである。これは設置された環境や機材によっては、キャプチャフレームレートの違いによるタイミング等の関係からカメラ１０１が発光体２０１の発光パターンを認識できない場合が考えられる。このような場合にはスイッチ２０３を利用者自身が操作して発光パターンを別のパターンに変えることで認識させることができる可能性がある。このスイッチ２０３を設けることにより異なる特性を持つ複数の端末１００に対応できる可能性が高まり、実施の上で汎用性の向上が図れる。
【００２２】
図３は、本実施形態における端末１００のブロック構成図の一例を示す図である。図３には、撮像素子３００、Ａ／Ｄ変換部３０１、画像編集部３０２、画像情報抽出部３０３、エンコーダ３０４、通信部３０５、通信回線３０６、デコーダ３０７および表示装置３０８が示されている。
【００２３】
撮像素子３００は、カメラ１０１の光学系の終端に配置された、入射光を電気信号に変換する素子である。本実施形態のように画像として情報を得るためには、たとえばＣＣＤ（電荷結合素子）が使用できる。
【００２４】
Ａ／Ｄ変換部３０１は、撮像素子３００から得られたアナログの画像情報を、デジタル情報に変換する機能を有する。デジタル信号に変換することで、画像容量圧縮効果、編集容易性、画質劣化防止効果を向上させることができる。
【００２５】
画像編集部３０２は、Ａ／Ｄ変換部３０１から得られたデジタル画像情報の全部あるいは一部を編集して新たなデジタル画像を生成する機能を有する。
【００２６】
画像情報抽出部３０３は、Ａ／Ｄ変換部３０１で得られたデジタル画像情報から特定の情報を抽出し、その抽出結果に基づいて画像編集部３０２に編集すべき内容を指示する機能を有する。ここでいう特定の情報とは、本実施形態における発光装置２００が発する発光パターンを示す画像上の領域を指す。ここで得られた領域の座標を画像編集部３０２に送り、撮像画像の編集すべき場所を指示する。
【００２７】
エンコーダ３０４は、画像編集部３０２で編集した画像情報を所定のフォーマットに符号化（エンコード）する機能を有する。符号化方式の例として、AVI、MPEG-2、MPEG-4、H.264などを利用することができる。通信媒体のスループット、端末１００の処理能力等を考慮して適切な符号化方式を採用すればよい。
【００２８】
通信部３０５は、エンコーダ３０４で符号化した画像データを通信媒体を介して送信し、あるいは他の端末１００から画像データを受信する機能を有する。
【００２９】
通信回線３０６は、たとえばイーサネット（登録商標）である。この通信回線３０６を通じて端末１００は他の通信端末とデータのやり取りをすることができる。本実施形態では通信回線３０６は有線ＬＡＮを想定しているが、端末１００同士が通信可能に構成されている通信媒体であれば無線ＬＡＮ、赤外線通信、その他どのような通信媒体で構成されていてもかまわない。
【００３０】
デコーダ３０７は、他の端末１００から送られてきた通信相手の符号化された画像情報を表示できる形に復号化（デコード）する機能を有する。通信相手の施した符号化を復号するために、通信相手に対応した符号化方式に対応していなければならない。
【００３１】
表示装置３０８は、たとえばディスプレイ１０２であり、デコーダ３０７により復号化された通信相手の画像情報を映し出す機能を有する。
【００３２】
図４は、本実施形態における発光装置２００のブロック構成図の一例を示す図である。図４では、発光パターン生成部４００、発光部４０１および選択部４０２が示されている。
【００３３】
発光パターン生成部４００は、発光体２０１へ所定の発光パターンにしたがって明滅を指示する機能を有する。
【００３４】
発光部４０１は、発光体２０１に内蔵されており発光パターン生成部４００により指示されたパターンに従って明滅するように構成されている。
【００３５】
選択部４０２は、たとえばスイッチ２０３のようなスイッチである。ここで発光パターン生成部４００の発光パターンを選択する。
【００３６】
図５は、本実施形態における端末１００利用時のカメラ１０１の撮影画像５００の一例を示した図である。端末１００を利用してテレビ電話を使用している話者５０１および近傍で作業する本来相手にさらすべきではないオペレータ５０２とが示されている。
【００３７】
話者５０１がテレビ電話を掛ける際、別室に移動しない限りは普段の執務エリアから電話すると考えられる。執務エリアでは複数の社員と、これら社員が操作するＰＣの表示画面等が映り込んでしまう危険が高い。端末１００が固定されていて移動できないものであれば、カメラ１０１の位置や向きは変わらないので見せたくない部分についてはあらかじめ別の画像をはめ込む（編集する）ようにすればよい。しかしながら端末１００が移動可能なものである場合、行く先々で通信相手に見せるべきでないものが映り込んでいる部分を指示しなおさなければならない。本来、このような見せるべきではない物（者）は前述のオペレータ５０２のように執務エリアの所定の位置（たとえば執務机の設置場所）にある場合が多い。よって見せたくないものが存在する所定の位置が映り込む場合に、その映り込んだ周辺を含めて見せないように撮影画像を編集するようにすれば、カメラ１０１がどのような位置から撮影しても所定の位置にあるものを隠蔽することができる。本実施形態では、所定の位置を検出するために見せたくないものの近傍に端末１００が感知可能な光源を設置し、この光源を頼りに撮影画像の編集すべき範囲を特定しようとするものである。
【００３８】
図６は、本実施形態における撮影画像のなかの隠蔽する領域の特定方法の一例を示した模式図である。
【００３９】
図６（ａ）は、オペレータ５０２の映り込む方向に発光装置２００を載置したときのカメラ１０１が捉えた実際の撮像画像である。分かりやすいように発光装置２００を大きめに描いているが、この装置はカメラ１０１で発光が捕らえられる限りにおいて小さく設計することができる。移動可能な大きさであれば、見せたくない人物や物に発光装置２００を持たせることで、これらが背後で移動していてもそれらを自動かつ選択的に特定することもできる。
【００４０】
画像情報抽出部３０３は、画像情報の中から発光体２０１の映り込んでいる場所を特定し、その周囲の所定の範囲を求める。画像編集部３０２は、この求めた範囲６０１を図６（ｂ）のように別の画像で置き換える（編集する）ことで、その存在を通信相手から隠蔽することができる。
【００４１】
このようにすると、あくまで見せたくない対象物の映り込む位置を基準とした隠蔽したい撮影画像の範囲を指定することが可能となるため、利用者が通話場所を気にすることなくセキュリティの面で安全に通話することができる。また、通話する者の通話とは直接関係のないその執務エリアの管理者が見せたくないと思う物がそこに設置されている場合には、その管理者はあらかじめその構造物の場所に発光装置２００を設置しておくことで、あらゆる端末１００の送信する撮影画像から確実にそれを隠蔽することができる。
【００４２】
図７は、発光体２０１の発光パターンと、その画像情報抽出部３０３の検出方法の一例を示したものである。
【００４３】
図７（ａ）は、発光体２０１の発光パターンを時間軸に沿って表したものである。図中、「ＯＮ」とあるのは発光している時間であり「ＯＦＦ」は消灯している時間を示す。ＯＮ−ＯＦＦのタイミングはΔｔの間隔で切り替えられる。本実施形態では、このΔｔを１００ｍｓとする。
【００４４】
図７（ｂ）は、画像情報抽出部３０３が抽出した、画像情報の特定の領域の赤外線明滅パターンを示している。抽出は、測定ポイント７０１として５０ｍｓ単位で繰り返し行われる。ここで５０ｍｓとしているのは、リアルタイム画像として扱う一般的なフレームレートである２０ｆｐｓを想定したものである。図示するようにΔｔの間に測定ポイント７０１が２つ含まれる。この連続した２つの測定ポイント７０１が連続して現れるタイミングを調べ、発光のＯＮ−ＯＦＦを決定する。図７（ｂ）では、図７（ａ）で示される発光パターンと合致する明滅が検出された例を示している。
【００４５】
このように構成すると、容易に明滅の状態を検出することができる。
【００４６】
好ましくは発光パターンのΔｔ内に複数の測定ポイント７０１が含まれるように十分長い周期とすれば、より「ＯＮ」「ＯＦＦ」の判定が容易となり発光パターンが検出し易くなることから、意図した隠蔽する範囲の誤認識を減少させることができる。
【００４７】
図８は、本実施形態における端末１００の撮影画像を送信するためのフロー図の一例を示したものである。
【００４８】
まず、撮像素子３００で撮影しＡ／Ｄ変換部３０１でデジタル画像となった、連続して生成される撮影画像の、特定の座標について前後の画像から所定の発光パターンが表れている画素の範囲を抽出する（ステップＳ０１）。
【００４９】
所定の発光パターンに合致する範囲が見つかった場合（ステップＳ０２）、画像情報抽出部３０３は見つかった領域の座標を画像編集部３０２に指示し、その座標の周囲、所定の範囲の画像情報を編集する（ステップＳ０３）。所定の発光パターンに合致する範囲が見つからない場合は、ステップＳ０３による編集処理はスキップされる。
【００５０】
その後、画像編集部３０２で編集された撮影画像は、エンコーダ３０４により符号化され、通信部３０５を介して相手端末に送信される（ステップＳ０４）。
【００５１】
このように構成することにより、テレビ電話のリアルタイム画像の背景に映り込んだ見せたくない物のみを、利用者が背景画像上で指示することなく自動かつ選択的に隠蔽することが可能となる。
【００５２】
（変形例）
第１の実施形態における発光装置２００の発光体２０１の形状を特徴的な形状にし、その形状を検出することで隠蔽したい範囲の特定性能を向上しようとするものである。
【００５３】
図９は、本実施形態における、発光体９０１を備えた発光装置の一例を説明する図である。図９に示すように、発光体の形状が星型に形成されており、およそ背景に映り込むことのない形状としている。本変形例では発光体９０１のように星型としているが、執務エリアに同様の形状の物体がないような形状であればいかなる形状でも採用することができる。好ましくは、画像情報抽出部３０３で検出しやすい形状、つまりデジタル画像処理が容易に行える特長を持つ形状とすべきである。
【００５４】
このように構成することにより、さらに精度の向上、画像処理速度の向上を図ることができる。
【００５５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５６】
【図１】第１の実施形態におけるテレビ電話システムの一例を示す図である。
【図２】第１の実施形態における発光装置の一例を示す図である。
【図３】第１の実施形態における端末１００のブロック構成図の一例を示す図である。
【図４】第１の実施形態における発光装置２００のブロック構成図の一例を示す図である。
【図５】第１の実施形態における端末１００利用時のカメラ１０１の撮影画像５００の一例を示した図である。
【図６】第１の実施形態における撮影画像のなかの隠蔽する領域の特定方法の一例を示した模式図である。
【図７】発光体２０１の発光パターンと、その画像情報抽出部３０３の検出方法の一例を示した図である。
【図８】第１の実施形態における端末１００の撮影画像を送信するためのフロー図の一例を示した図である。
【図９】変形例における発光体９０１を備えた発光装置の一例を説明する図である。
【符号の説明】
【００５７】
１００・・・端末、１０１・・・カメラ、１０２・・・ディスプレイ、１０３・・・インターネット網、２００・・・発光装置、２０１・・・発光体、２０２・・・台座、２０３・・・スイッチ、３００・・・撮像素子、３０１・・・Ａ／Ｄ変換部、３０２・・・画像編集部、３０３・・・画像情報抽出部、３０４・・・エンコーダ、３０５・・・通信部、３０６・・・通信回線、３０７・・・デコーダ、３０８・・・表示装置、４００・・・発光パターン生成部、４０１・・・発光部、４０２・・・選択部、５０１・・・話者、５０２・・・オペレータ、９０１・・・発光体
【図１】
2007158443.tif 000003
【図２】
2007158443.tif 000004
【図３】
2007158443.tif 000005
【図４】
2007158443.tif 000006
【図５】
2007158443.tif 000007
【図６】
2007158443.tif 000008
【図７】
2007158443.tif 000009
【図８】
2007158443.tif 000010
【図９】
2007158443.tif 000011