(57)【要約】【課題】低コストで充分な性能を発揮できる天眼鏡機能を有するカメラ付き携帯端末、映像処理装置、映像処理方法及びプログラムを提供する。【解決手段】カメラ部で撮像した被写体の映像データからデータを間引く映像処理部と、前記映像処理部の出力の映像を拡大する拡大処理部と、前記拡大処理部の出力を表示する表示部と、を備える。【選択図】図２
2009188438.tif 000002
【特許請求の範囲】
【請求項１】
カメラ部で撮像した被写体の映像データからデータを間引く映像処理部と、前記映像処理部の出力の映像を拡大する拡大処理部と、前記拡大処理部の出力を表示する表示部と、を備えることを特徴とする天眼鏡機能を有するカメラ付き携帯端末。
【請求項２】
前記映像処理部は、走査データ単位でデータを間引くことを特徴とする請求項１記載のカメラ付き携帯端末。
【請求項３】
前記映像処理部は、映像データをインターレス化するインターレス部と、前記インターレス部の出力の連続する２フレーム毎に、前フレームの偶数走査データ又は奇数走査データと、後フレームのそれぞれ奇数走査データ又は偶数走査データとにより１フレームを構成して出力するデータ間引部と、からなることを特徴とする請求項１又は２記載のカメラ付き携帯端末。
【請求項４】
映像データを補間する補間処理部を備え、前記表示部は補間した映像データを表示することを特徴とする請求項１ないし３の何れかの請求項記載のカメラ付き携帯端末。
【請求項５】
カメラ部で撮像した被写体の映像データからデータを間引く映像処理部と、前記映像処理部の出力の被写体の映像を拡大する拡大処理部と、を備えることを特徴とするカメラ付き携帯端末の映像処理装置。
【請求項６】
前記映像処理部は、走査データ単位でデータを間引くことを特徴とする請求項５記載のカメラ付き携帯端末の映像処理装置。
【請求項７】
前記映像処理部は、映像データをインターレス化するインターレス部と、前記インターレス部の出力の連続する２フレーム毎に、前フレームの偶数走査データ又は奇数走査データと、後フレームのそれぞれ奇数走査データ又は偶数走査データとにより１フレームを構成して出力するデータ間引部と、からなることを特徴とする請求項５又は６記載のカメラ付き携帯端末の映像処理装置。
【請求項８】
映像データを補間する補間処理部を備えることを特徴とする請求項５ないし７の何れかの請求項記載のカメラ付き携帯端末の映像処理装置。
【請求項９】
カメラ部で撮像した被写体の映像データからデータを間引くステップと、被写体の映像を拡大するステップと、からなる天眼鏡機能を有するカメラ付き携帯端末の映像処理方法。
【請求項１０】
前記映像データからデータを間引くステップは、走査データ単位でデータを間引くステップを含むことを特徴とする請求項９記載のカメラ付き携帯端末の映像処理方法。
【請求項１１】
前記映像データからデータを間引くステップは、映像データをインターレス化するステップと、インターレスした出力の連続する２フレーム毎に、前フレームの偶数走査データ又は奇数走査データと、後フレームのそれぞれ奇数走査データ又は偶数走査データとにより１フレームを構成して出力するステップと、を含むことを特徴とする請求項９又は１０記載のカメラ付き携帯端末の映像処理方法。
【請求項１２】
被写体の映像を拡大した映像データを補間するステップを含むことを特徴とする請求項９ないし１１の何れかの請求項記載のカメラ付き携帯端末の映像処理方法。
【請求項１３】
カメラ部で撮像した被写体の映像データからデータを間引くステップと、前記データを間引いた映像データを入力し被写体の映像を拡大するステップと、拡大した映像を表示するステップと、をコンピュータに実行させる天眼鏡機能を有するカメラ付き携帯端末のプログラム。
【請求項１４】
前記映像データからデータを間引くステップは、走査データ単位でデータを間引くステップを含むことを特徴とする請求項１３記載のカメラ付き携帯端末のプログラム。
【請求項１５】
前記映像データからデータを間引くステップは、映像データをインターレス化するステップと、インターレスした出力の連続する２フレーム毎に、前フレームの偶数走査データ又は奇数走査データと、それぞれ後フレームの奇数走査データ又は偶数走査データとにより１フレームを構成して出力するステップと、を含むことを特徴とする請求項１３又は１４記載のカメラ付き携帯端末のプログラム。
【請求項１６】
被写体の映像を拡大した映像データを補間するステップと、補間した映像データを前記表示部に表示するステップと、を含むことを特徴とする請求項１３ないし１５の何れかの請求項記載のカメラ付き携帯端末のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子的な天眼鏡（拡大鏡）システムに関し、特にカメラ付き携帯端末、映像処理装置、映像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年の携帯電話機には高解像度のカメラ機能が実装されており、このカメラ機能は様々な方法で利用されており、電子的な拡大鏡として利用することも知られている。
【０００３】
本発明の関連技術には、携帯電話機のカメラ機能を拡大鏡として使用する際の使いやすいユーザインターフェースを提供するものであり、拡大表示、接写、照明等、２以上の機能の設定処理を可能とすることが特許文献１に提案されている。
【０００４】
この携帯電話機の拡大表示機能は、拡大したい文字が画面から欠落することなく表示されるように、拡大表示前の表示に対し十字キーにより拡大したい箇所を指定し、拡大表示前の範囲に収まるように当該箇所を拡大表示するものであり、部分的な拡大表示のため拡大前の画像を記憶部に保存して処理する。
【特許文献１】ＷＯ２００５−４１５６３号公報（段落0023〜0025、0035、0036）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前記関連技術においては、部分的な拡大表示を可能とするため、画像データを一旦記憶部に記憶した上で、画像処理を行うものであり、動画像処理を行う場合は膨大な画像データを処理する必要がある。
【０００６】
この点、最近の携帯端末のハードウエア（ＨＷ）は、ＣＰＵ（Central Processing Unit）のメモリ容量が増大し、処理性能も強化されてきている。
【０００７】
しかし、携帯端末の拡大鏡機能において映像データをリアルタイムに拡大表示するとなると、データの処理量が極めて膨大であるため、ソフトウェア処理能力を十分にサポートして必要な性能を実現するためには、携帯端末に一層高度なＨＷ装置や高価なＨＷ装置を実装しなければならず、コスト面と性能面からみて実現には困難を伴う。
【０００８】
以上のように通常の静止画像処理の方式に比べ、天眼鏡としてリアルタイム性を確保でき、映像データの拡大処理を伴う動画像処理を行う場合、処理量が極端に増大し、装置構成が複雑化、大型化し、低コストで低軽量、且つ充分な性能の天眼鏡を実現することは困難である。
【０００９】
［発明の目的］
本発明の目的は、前記課題を解決したカメラ付き携帯端末、映像処理装置、映像処理方法及びプログラムを提供することにある。  
【課題を解決するための手段】
【００１０】
本発明の第１の天眼鏡機能を有するカメラ付き携帯端末は、カメラ部で撮像した被写体の映像データからデータを間引く映像処理部と、前記映像処理部の出力の映像を拡大する拡大処理部と、前記拡大処理部の出力を表示する表示部と、を備えることを特徴とする。
【００１１】
本発明の第１のカメラ付き携帯端末の映像処理装置は、カメラ部で撮像した被写体の映像データからデータを間引く映像処理部と、前記映像処理部の出力の被写体の映像を拡大する拡大処理部と、を備えることを特徴とする。
【００１２】
本発明の第１の天眼鏡機能を有するカメラ付き携帯端末の映像処理方法は、カメラ部で撮像した被写体の映像データからデータを間引くステップと、被写体の映像の拡大するステップと、からなる。
【００１３】
本発明の第１の天眼鏡機能を有するカメラ付き携帯端末のプログラムは、カメラ部で撮像した被写体の映像データからデータを間引くステップと、前記データを間引いた映像データを入力し被写体の映像を拡大するステップと、拡大した映像を表示するステップと、をコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、映像を注視するという天眼鏡の使用形態を踏まえて、カメラ部で撮像した被写体の映像データからデータを間引くことにより映像の拡大等の処理量を削減でき、身近なカメラ付き携帯端末で手元の文字や細かな映像を充分な性能で拡大表示できる電子的な天眼鏡機能を低コストで実現することが可能であるという顕著な効果を奏する。
【発明を実施するための最良の形態】
【００１５】
次に、本発明のカメラ付き携帯端末、映像処理装置、映像処理方法及びプログラムの実施形態について、カメラ付き携帯電話機への適用例により、以下詳細に説明する。
【００１６】
［第１の実施形態］
図１は本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置の構成を示す図である。
【００１７】
携帯電話機１０に内蔵する高解像度のカメラ部１１、カメラ部１１より出力された撮像データからデータ量を削減した映像データを生成する映像処理部１２、映像処理部１２が出力する映像データを入力し、被写体の映像を拡大する拡大処理部１３、拡大処理部１３の出力を表示する表示部１４、映像処理部１２の処理と拡大処理部１３の拡大率等を制御するキー操作部１５により構成される。
【００１８】
ここで映像処理部１２と拡大処理部１３は本実施形態の映像処理装置を構成する。各部の機能は以下のとおりである。
【００１９】
カメラ部１１は被写体３０の動画撮影が可能であり、ＣＣＤ（Charge Coupled Device）等の撮像素子によりリアルタイムな撮像データを映像処理部１２に出力する。
【００２０】
映像処理部１２は撮像データをデジタルデータとし、露出等の補正処理を行い、映像データを生成して出力し、更にリアルタイムな動画処理を可能とするため、映像データのフレーム処理を行ってデータ量を削減する。
【００２１】
拡大処理部１３は削減されたデータ量の映像データを拡大する処理を行う。
表示部１４は液晶パネル等で構成され拡大処理が行われた映像データを入力し、拡大された被写体の映像を表示する。
【００２２】
キー操作部１５はユーザによる操作が可能であり、映像処理部１２の処理及び拡大処理部１３の拡大率を制御するデータを出力する。
【００２３】
図２は本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置の映像処理方法を示す図である。以下、本映像処理方法（手順）について説明する。
【００２４】
ユーザが携帯電話機のキー操作等により天眼鏡モードを起動すると、携帯電話機のカメラ部は撮影モードとなり、撮像素子から被写体の撮像データが出力され、デジタルデータに変換して出力される（ステップｓ１）。次に、前記デジタルデータについてデフォルト値又はキー操作等に応じた露出等の補正処理を行い所定の走査データでなる映像データを生成し、後続の映像処理の処理負担を下げるため、入力した映像データから走査データ単位等でデータを間引く処理を行う（ステップｓ２）。次に、間引いた後の映像データをデフォルト値又はキー操作等により指定された拡大倍率に拡大して出力する（ステップｓ３）。最後に、拡大した映像データを表示部１６に表示することにより、被写体３０に対し所定倍率に拡大された被写体の映像をリアルタイムに表示する（ステップｓ４）。
【００２５】
図３は本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置をコンピュータのプログラムにより実現する装置構成を示す図である。
【００２６】
本実施形態は、ＣＰＵ（Central Processing Unit：中央処理装置）１０ａ、ＲＯＭ（Read Only Memory）１０ｂ、ＲＡＭ（Random Access Memory）１０ｃ、表示部１０ｅ及びカメラ部１の出力データを入力するデータ入力部１０ｄがバス接続されて構成され、図１、２に示す処理機能及び映像処理方法を実現する。
【００２７】
このため、ＲＯＭ１０ｂには前記機能等を実現する制御プログラムが格納され、ＣＰＵ１０ａはＲＯＭ１０ｂから制御プログラムを読み込み、読み込んだ制御プログラムにより制御され、各部を制御する。ＣＰＵ１０ａはＲＡＭ１０ｃを作業領域としてデータ入力部１０ｄから入力するデジタルデータを処理し、映像データの間引き、間引き後の映像データの映像の拡大、及び拡大した被写体の映像を表示部１０ｅに表示させる制御を行い、前述の機能を実現する。
【００２８】
なお、携帯電話機１０は、基地局との位置登録等の通信、基地局を介する通信制御、通話、メールの送受信、Ｗｅｂサイトへのアクセス、閲覧等、各種の機能を有するものであるが、これらの詳細説明は省略する。
【００２９】
［第２の実施形態］
（構成の説明）
次に、本発明の天眼鏡として好適な第２の実施形態について説明する。
【００３０】
本実施形態では、リアルタイムの動画像としての映像データの時間的な連続性を確保するとともに、ユーザは天眼鏡の利用においては、拡大された被写体の映像を注視することが通常であり、非常に動きが早い映像として撮影することがないという天眼鏡の典型的な利用形態を考慮して構成したものである。
【００３１】
図４は本発明の第２の実施形態のカメラ付き携帯電話機及び映像処理装置の構成を示す図である。携帯電話機２０に内蔵する高解像度のカメラ部２１、カメラ部２１より出力された撮像データからデータ量を削減した映像データを出力する映像処理部２２、映像処理部２２から出力される映像データを入力し、被写体の映像を拡大する拡大処理部２３、拡大した映像の品質を向上させる補間処理部２４、補間処理部２４の出力を表示する表示部２５、映像処理部２２の処理と拡大処理部２４の拡大率等を制御するキー操作部２６により構成される。
【００３２】
ここで映像処理部２２、拡大処理部２３及び拡大処理部２４は本実施形態の映像処理装置を構成する。各部の機能は以下のとおりである。
【００３３】
カメラ部２１は被写体３０の動画撮影が可能であり、ＣＣＤ（Charge Coupled Device）等の撮像素子によりリアルタイムな撮像データをデジタルデータとして映像処理部２２に出力する。
【００３４】
映像処理部２２はデジタルデータの露出等の補正処理を行い映像データとし、更にリアルタイムな映像処理（動画処理）を可能とするため、映像データのフレーム処理を行ってデータ量を削減する。拡大処理部２３は削減されたデータ量の映像データを拡大する処理を行う。
【００３５】
補間処理部２４は拡大された映像データに補間処理を行いフォーカスとコントラストを補正した映像データとする。
【００３６】
表示部２５は液晶パネル等で構成され補間処理部２４からの映像データを入力し、拡大された被写体の映像を表示する。
【００３７】
キー操作部２６はユーザによる操作が可能であり、映像処理部２２の処理及び拡大処理部２４の拡大率を制御する制御データを出力する。
【００３８】
なお、携帯電話機２０は、基地局との位置登録等の通信、基地局を介する通信制御、通話、メールの送受信、Ｗｅｂサイトへのアクセス、閲覧等、各種の機能を有しているが、これらの詳細説明は省略する。
【００３９】
図５は第２の実施形態の映像処理部２２の構成例を示す図である。映像処理部２２は、カメラ部２１から入力されるデジタルデータにより映像データを生成する映像データ生成部２２１と、映像データ生成部２２１からの映像データを偶数走査データと奇数走査データに分離するインターレス化処理を行うインターレス部２２２と、インターレス部２２２からのインターレスの映像データに対し、連続する２フレームの前フレームの偶数走査データと後フレームの奇数走査データとの組み合わせを１フレームとして出力し、同様に後続の２フレームの前フレームの偶数走査データと後フレームの奇数走査データとの組み合わせを１フレームとして出力する処理を繰り返し、走査データ単位でデータの間引き処理を行うデータ間引部２２３と、から構成される。
【００４０】
図６は第２の実施形態のデータ間引部２２３の構成例を示す図である。データ間引部２２３は、インターレスの映像データの入力フレームに対し、連続する２フレームの前フレームの偶数走査データを格納するバッファ２２３１と、後フレームの奇数走査データを格納するバッファ２２３２と、各バッファの走査データを合成してノンインターレス（プログレッシブ）の映像データを出力フレームとする合成部２２３３とから構成される。
【００４１】
（動作の説明）
図７は第２の実施形態の動作を示す図である。図４〜７により本実施の形態の全体の動作について詳細に説明する。
【００４２】
ユーザがキー操作部２６を操作して携帯電話機２０を天眼鏡モードに設定すると、内蔵されたカメラ部２１は撮影モードとなり、カメラ部２１の撮像素子から被写体３０の撮像データがデジタルデータとして出力される（ステップｓ１１）。
【００４３】
映像データ生成部２２１は、入力したデジタルデータについて、デフォルト値又はキー操作部から入力された値等に応じて露出等の補正処理を行い、所定フレームの走査データでなる映像データとしてインターレス部２２２に出力する（ステップｓ１２）。
【００４４】
インターレス部２２２は前記映像データを奇数走査データと偶数走査データでなるインターレス化した映像データとして出力する（ステップｓ１３）。
【００４５】
データ間引部２２３は、後続の映像処理の処理負担を下げるため、インターレス化した映像データの連続する前後２フレームを単位とし、前フレームの偶数走査データと後フレームの奇数走査データを１フレームとすることで映像データを走査データ単位で間引く処理を行って出力する（ステップｓ１４）。
【００４６】
拡大処理部２３は、デフォルト値又はユーザのキー操作部２６からの指示により指定された拡大倍率に映像データを拡大する処理を行う（ステップｓ１５）。
【００４７】
補間処理部２４は拡大処理が行われた映像データについて、ソフトウェアのデジタル処理により拡大前の映像データと拡大後の映像データとによりデジタル補間を行い、フォーカスとコントラストを補正し、映像品質を高めた映像データとして出力する（ステップｓ１６）。
【００４８】
最後に、表示部２５は補間処理部２４から入力した映像データを表示することにより、被写体３０に対し所定倍率に拡大された映像をリアルタイムに表示する（ステップｓ１７）。
【００４９】
以上のように、映像の前後フレームが連続していることを生かし、１フレーム前の走査データを偶数走査データと奇数走査データとに分けるインターレス化を行い、走査データを前フレームの偶数走査データと後（現）フレームの奇数走査データとを合わせて１フレームとして扱うことにより、２フレームにつき１フレーム分のデータ処理で画像処理、拡大、補間、補正等の処理が可能となり、データ量の削減により高速性（リアルタイム性）を実現するとともに、性能向上が実現できる。
【００５０】
このように天眼鏡としての利用形態では映像を注視して使用することから、非常に動きが早い映像を忠実に撮影する必要がなく、インターレス方式により見た目のリアルタイム表示をスムーズに見せることを可能とする。
【００５１】
（第３の実施形態）
以上の実施形態では、前フレームの偶数走査データと現フレームの奇数走査データを１フレームとして処理し、次のフレーム処理時には、現フレームを前フレームとし、次フレームを現フレームとして、偶数走査データと奇数走査データを１フレームとして扱う方式について説明したが、１フレームとする前フレームと現フレームの走査データの組み合わせはそれぞれ偶数と奇数の他に、奇数と偶数の組み合わせとすることが可能である。
【００５２】
即ち、インターレス処理における走査データの組み合わせの扱いは、前フレームの奇数走査データと後フレームの偶数走査データとの組み合わせで１フレームとするように構成することができる。
【００５３】
これらの処理方式を採用することにより、２フレームのそれぞれのフレームの映像情報を担保できるとともに、２フレームから１フレームへの映像データのデータ削減を可能とし、これまでの携帯電話機等の携帯端末のハードウエア等でも十分な処理性能を得ることを可能とする。
【００５４】
つまり、動画像の時間的な連続性をもった映像データの特徴を維持する点と、天眼鏡という映像を注視するような形態で利用され、非常に動きが早い映像を撮影することがないという点と、を考慮した構成としたことにより、ハードウエア等を高度化せずにこれまでの携帯電話でも十分な処理性能を得ることが可能となる。
【００５５】
（他の実施形態）
以上、本発明の好適な実施形態を説明したが、表示部の構成によりインターレスの映像データを直接表示可能な場合は、第３の実施形態のインターレスの映像データをノンインターレス形式に変更する合成部等の構成は省略可能である。
【００５６】
更に、第２、３の実施形態はプログラム処理で実現可能であることは明らかである。つまり第２、３の実施形態の前述の各部の機能、方法（手順）を実現可能なプログラムを図３に示す天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置のＲＯＭ１０ｂに格納し、ＣＰＵ１０ａの制御プログラムとすることで実現可能である。
【産業上の利用可能性】
【００５７】
本発明によれば、映像データのデータ量を削減して手元の文字や細かな映像を拡大表示してみることができる電子的な天眼鏡を実現可能とするものであり、携帯電話機に限らずカメラ部を内蔵する情報端末等、各種の携帯端末に適用可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置の構成を示す図である。
【図２】本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置の映像処理方法を示すフローチャートである。
【図３】本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置をコンピュータのプログラムにより実現する装置構成を示す図である。
【図４】本発明の第２の実施形態のカメラ付き携帯電話機の構成を示す図である。
【図５】第２の実施形態の映像処理部２２の構成例を示す図である。
【図６】第２の実施形態のデータ間引部２２３の構成例を示す図である。
【図７】第２の実施形態の動作を示す図である。
【符号の説明】
【００５９】
１０、２０  携帯電話機
１１、２１  カメラ部
１２、２２  映像処理部
１３、２３  拡大処理部
２４  補間処理部
１４、２５  表示部
１５、２６  キー操作部
３０  被写体
【図１】
2009188438.tif 000003
【図２】
2009188438.tif 000004
【図３】
2009188438.tif 000005
【図４】
2009188438.tif 000006
【図５】
2009188438.tif 000007
【図６】
2009188438.tif 000008
【図７】
2009188438.tif 000009