(57)【要約】【課題】フレーム落ちすることがなく使用者に違和感がないように画像を通信可能な画像データ送信装置を提供すること。【解決手段】１フレームの画像を複数のブロックに分割するブロック分割部１２と、分割された複数のブロックに対応する複数のブロックの中から任意のブロックを選択する選択部９と、選択されたブロックに基づいて分割された各ブロックに対応する画像データの送信順を決定する送信データ制御部１３と、該決定に基づいて分割された複数のブロックの各々に対応する画像データを所定の順番で分割されたブロック毎に送信する送信部１４と、を具備する。【選択図】        図１
2010171534.tif 000002
【特許請求の範囲】
【請求項１】
１フレームの画像を複数のブロックに分割するブロック分割部と、
前記分割された複数のブロックに対応する複数のブロックの中から任意のブロックを選択する選択部と、
前記選択されたブロックに基づいて前記分割された各ブロックに対応する画像データの送信順を決定する送信データ制御部と、
前記決定に基づいて前記分割された複数のブロックの各々に対応する画像データを所定の順番で前記分割されたブロック毎に送信する送信部と、
を具備する画像データ送信装置。
【請求項２】
前記送信データ制御部は、前記分割された複数のブロックのうち隣接するブロックが順次送信されるよう前記送信順を決定することを特徴とする請求項１に記載の画像データ送信装置。
【請求項３】
前記送信データ制御部は、前記分割された各ブロックの前記１フレームの画像内における位置を基準として、前記選択されたブロックを中心として渦が巻かれる順に前記画像データがブロック毎に順次送信されるように前記送信順を決定することを特徴とする請求項１に記載の画像データ送信装置。
【請求項４】
前記選択部に選択されたブロックは複数であり、前記選択された各ブロックと当該各ブロックに隣接するブロックとはそれぞれブロック群をなし、前記送信データ制御部は、前記選択された各ブロックと当該各ブロックに隣接するブロックとを含むブロック群毎に、前記各ブロック群に属する前記分割されたブロックが順次送信されるよう、前記送信順を決定することを特徴とする請求項１に記載の画像データ送信装置。
【請求項５】
前記各ブロック群を構成する分割されたブロックは、１つのブロック群にのみに属することを特徴とする請求項４に記載の画像データ送信装置。
【請求項６】
前記分割されたブロックに対応する画像データから所定の画像データの検出を行う検出部を更に具備し、
前記選択部は、前記検出部での検出結果に基づいて、任意のブロックの選択を行うことを特徴とする請求項１に記載の画像データ送信装置。
【請求項７】
前記分割されたブロックに対応する画像データから輝度に関する輝度情報を抽出する抽出部と、
前記抽出された輝度情報それぞれの比較を行う比較部と、
を更に具備し、
前記選択部は、前記比較部での比較結果に基づいて、任意のブロックの選択を行うことを特徴とする請求項１に記載の画像データ送信装置。
【請求項８】
前記ブロック分割部で分割されたブロックの中から任意のブロックを特定する情報を外部から入力する入力部を更に具備し、
前記選択部は、前記入力部から入力された情報に基づいて、任意のブロックの選択を行うことを特徴とする請求項１に記載の画像データ送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ送信装置に関し、特に、内視鏡や監視カメラなどの画像データをリアルタイムに無線送信し、通信エラー発生時に再送することが出来る通信システムを有した画像データ送信装置に関する。
【背景技術】
【０００２】
無線通信で通信する場合、有線通信に比べて極端にエラー発生率が高くなる。そこで従来はエラー訂正ビットを付加して転送し、受信側でエラー訂正出来なかった場合に再送処理を行っている。例えば、特開平１１−９８１２８に示されているように、リアルタイム性を維持するためにモニタ出力に間に合う送信期限を決定し、その送信期限に間に合わないデータについては送信もしくは再送をしないシステムが提案されていた。
【０００３】
また、特開平８−１４００９１では、１画像を小さなブロックに分割し、画像を構成するブロックの配列をあらかじめ設定した規則に従って順次送信することでバーストエラーが発生してもブロックを元の配列に直した後に近隣のエラーがないブロックを用いて補間することで画像を再現する方法が提案されていた。
【特許文献１】特開平１１−９８１２８
【特許文献２】特開平８−１４００９１
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した特開平１１−９８１２８ではリアルタイム性維持のための送信手段が述べられているが、通信状態悪化時に１フレームの途中までしか取得出来なかった画像を利用するという観点については記載されていない。
【０００５】
また、特開平８−１４００９１ではブロック分割送信しエラーが多発した場合に近隣のエラーがないブロックを用いて補間することで画像を再現しているが、エラー発生時に重要なブロックが補間されることでの画質について述べられていない。
【０００６】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、  複数のブロックに分割された画像データの中から任意のブロックを選択可能とするとともに、選択されたブロックに基づいて各ブロックに対応する画像データの送信順を決定することによって、通信状態が悪化し送信レートが落ちて画像の一部が欠落することがあっても、使用者に違和感がないように画像を送信可能な画像データ送信装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の第１の態様に係る画像データ送信装置は、１フレームの画像を複数のブロックに分割するブロック分割部と、前記分割された複数のブロックに対応する複数のブロックの中から任意のブロックを選択する選択部と、前記選択されたブロックに基づいて前記分割された各ブロックに対応する画像データの送信順を決定する送信データ制御部と、前記決定に基づいて前記分割された複数のブロックの各々に対応する画像データを所定の順番で前記分割されたブロック毎に送信する送信部と、を具備する。
【０００８】
また、本発明の第２の態様に係る画像データ送信装置は、第１の態様に係る画像データ送信装置において、前記送信データ制御部は、前記分割された複数のブロックのうち隣接するブロックが順次送信されるよう前記送信順を決定する。
【０００９】
また、本発明の第３の態様に係る画像データ送信装置は、第１の態様に係る画像データ送信装置において、前記送信データ制御部は、前記分割された各ブロックの前記１フレームの画像内における位置を基準として、前記選択されたブロックを中心として渦が巻かれる順に前記画像データがブロック毎に順次送信されるように前記送信順を決定する。
【００１０】
また、本発明の第４の態様に係る画像データ送信装置は、第１の態様に係る画像データ送信装置において、前記選択部に選択されたブロックは複数であり、前記選択された各ブロックと当該各ブロックに隣接するブロックとはそれぞれブロック群をなし、前記送信データ制御部は、前記選択された各ブロックと当該各ブロックに隣接するブロックとを含むブロック群毎に、前記各ブロック群に属する前記分割されたブロックが順次送信されるよう、前記送信順を決定する。
【００１１】
また、本発明の第５の態様に係る画像データ送信装置は、第４の態様に係る画像データ送信装置において、前記各ブロック群を構成する分割されたブロックは、１つのブロック群にのみに属する。
【００１２】
また、本発明の第６の態様に係る画像データ送信装置は、第１の態様に係る画像データ送信装置において、前記分割されたブロックに対応する画像データから所定の画像データの検出を行う検出部を更に具備し、前記選択部は、前記検出部での検出結果に基づいて、任意のブロックの選択を行う。
【００１３】
また、本発明の第７の態様に係る画像データ送信装置は、第１の態様に係る画像データ送信装置において、前記分割されたブロックに対応する画像データから輝度に関する輝度情報を抽出する抽出部と、前記抽出された輝度情報それぞれの比較を行う比較部と、を更に具備し、前記選択部は、前記比較部での比較結果に基づいて、任意のブロックの選択を行う。
【００１４】
また、本発明の第８の態様に係る画像データ送信装置は、第１の態様に係る画像データ送信装置において、前記ブロック分割部で分割されたブロックの中から任意のブロックを特定する情報を外部から入力する入力部を更に具備し、前記選択部は、前記入力部から入力された情報に基づいて、任意のブロックの選択を行う。
【発明の効果】
【００１５】
本発明によれば、フレーム落ちすることがなく使用者に違和感がないように画像を送信可能な画像データ送信装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明が適用される画像データ送信装置の基本構成を示している。撮像素子１０は、被写体を撮像して画像データをフレーム単位で取得して画像処理部１１に送る。画像処理部１１は、取得した１フレームの画像に対して所定の画像処理を行う。ブロック分割部１２は、画像処理が施された１フレームの画像を複数のブロックに分割する。
【００１７】
一方、選択部９は、ブロック分割部１２によって分割された複数のブロックに対応して準備された複数のブロックの中から任意のブロックを選択する部分である。送信データ制御部１３は、選択部９で選択されたブロックに基づいて、分割された各ブロックに対応する画像データの送信順を決定する。送信部１４は、このときの決定に基づいて、複数のブロックの各々に対応する画像データを所定の順番で分割されたブロック毎に送信する。上記各構成要素の処理については、以下の具体的な実施形態の説明に沿ってより詳細に説明する。
【００１８】
（第一の実施の形態）
図２は、本発明の第一の実施の形態の構成を示しており、図１の選択部９を優先ブロック設定部１６によって実現したことを特徴とする。撮像素子１０はＣＣＤあるいはＣＭＯＳから構成され、画像データをフレーム単位で取得して、Ａ／Ｄ変換を行いデジタル信号に変換する部分である。画像処理部１１は撮像素子１０から入力されるデジタル信号に対して、デモザイキング、ＹＵＶ変換などの画像処理を施して画像データを得る部分である。ここでは、ＹＵＶ変換の例を示すが、必要に応じてＲＧＢ変換処理を行うことも出来る。
【００１９】
ブロック分割部１２は、１フレーム分のメモリを有し、画像処理部１１から入力された１フレーム分の画像データを複数のブロックに分割してメモリに格納する。メモリ内での画像の物理的位置に応じて各ブロックに対するブロック番号が決定される。この実施形態では各ブロックを構成する画素数を８×８画素として説明する。しかし、各ブロックの画素数は８×８画素に限らず、１６×１６画素や８×１０画素なども可能である。また、この画像の物理的位置によるブロック番号付けは、例えば図３（ａ）に示すように１画像を右上から左下へと順番にブロック番号を決めることができるが、このような順番に限定されることはなく、左上から右下の順や、中心から時計回りとなる順にブロック番号付けを行うことも出来る。
【００２０】
優先ブロック設定部１６は、使用者が外部からタッチパネルやマイクロフォンなどのユーザーインターフェースを使用して入力したブロック番号に対しデジタル信号に変換する処理を行い、そのブロック番号を認識して最優先ブロックとしてブロック番号を保持する。そして、保持している最優先ブロックのブロック番号を１フレーム毎に送信データ制御部１３に出力する。最優先ブロックの設定は動作中に変更が可能であるが、変更された設定は次のフレーム処理から有効になる。
【００２１】
送信データ制御部１３は、設定された最優先ブロックを先頭に時計回りとなる順番にブロック番号をブロック分割部１２に出力する。例えば、図３（ｂ）に示すようにブロック番号が２３のブロックが最優先ブロックとして設定されたとすると、時計回りに、２３→２４→３０→２９→２８→２２→…の矢印の順にブロック番号をブロック分割部１２に出力する。ここで、  図３（ｂ）の例にあるように、フレームの端に来た場合、最優先ブロックを中心とした渦になるようにブロックを飛ばして出力する。例えば、１８の次は３６、１２の次は３２とブロックを飛ばしている。送信順は時計回りに限らず、反時計回りになるように順番を設定することも出来る。
【００２２】
ブロック分割部１２は、送信データ制御部１３から入力される最優先ブロック番号を先頭としたブロック番号に従って、該ブロック番号に対応するブロック内８×８画素を図４の矢印で示したようにラスタースキャン順に出力する。
【００２３】
送信部１４は、ブロック分割部１２から入力された画像データに最優先ブロック番号をヘッダに付して外部に送信する。送信機と受信機の間でデータの送信順（最優先ブロックから時計回りなど）をあらかじめ決定しておくことで、送信時に最優先ブロック番号を付加するだけで、受信時に元の画像に戻すことが出来る。
【００２４】
以下に、第一の実施の形態の作用・効果について述べる。ハミング符号やリードソロモン符号などのエラー訂正符号を付加して送信し、訂正出来ないエラーが発生した場合には再送制御をするシステムにおいて、動画などリアルタイム性の維持が必要になる場合、１フレームの画像データを一定時間内に送信しなければならない。そのため、エラーが多発すると全データを送信することが出来なかった。この場合に送信出来た部分のみを再生表示することが可能だが、通常のラスタースキャンのシステムでは、画面の下側が送信されない可能性が高く、使用者にとって重要な部分が下側に写っている場合にはそこが再生できないという問題が生じていた。
【００２５】
しかし、この実施の形態では、重要な箇所に優先付けをすることで使用者にとって重要な部分が下側にある場合でも送信の成功の確率を高めることができる。以下にこれについて図５（ａ）、（ｂ）及び図６（ａ）、（ｂ）を参照して説明する。図５（ａ）、（ｂ）は、エラーが多発している状況において、通常の方法による場合と本発明に係る優先付けによる場合についてデータ送信の様子を示している。図６（ａ）、（ｂ）は、通常の方法による場合と本発明に係る優先付けによる場合について送信されるブロックを説明するための図である。ここでは１フレームが５×５ブロックで構成されているものとする。図６（ａ）に示すように、通常の送信においては、エラーが多発して２５ブロック中１１ブロック（斜線部分）しか送信されない場合には、重要ブロックである中心３Ｃが送信されないことになる。これに対して、図６（ｂ）に示すように、中心にある３Ｃを重要ブロックとして優先付けしておけば、３Ｃが送信の開始となるので、使用者にとって最優先となるブロックとその周辺のブロックが高い確率で送信出来るようになる。また、使用者が手動で最優先ブロックを設定し、送信データ制御部に入力出来るため、使用者にとってより適した最優先ブロックを選択することが出来る。
【００２６】
すなわち、第１実施の形態によれば、通信状態が悪化し送信レートが落ちて画像の一部が欠落することがあっても、ブロックの送信順序に優先付けを行い重要なブロックを最優先ブロックとして先に送信することで重要なブロックは再送により確実に送信出来るため、フレーム落ちすることがなく使用者に違和感がないように画像を通信することが可能になる。
【００２７】
（第二の実施の形態）
次に本発明の第二の実施の形態について説明する。図７は本実施の形態の構成を示している。第二の実施の形態は、第一の実施の形態の優先ブロック設定部１６を優先ブロック検出部２０に置き換えることで実現する。すなわち第一の実施の形態では、使用者が優先ブロック設定部１６を用いて最優先ブロックを手動で設定していたが、第二の実施の形態では、優先ブロック検出部２０がブロック分割部１２からの画像情報に基づいて最優先ブロックを自動で判定することを特徴とする。
【００２８】
その他の構成である撮像素子１０、画像処理部１１、ブロック分割部１２、送信データ制御部１３、送信部１４については第一の実施の形態と同じである。ここでは、第一の実施の形態と異なる優先ブロック検出部２０の動作のみについて説明する。
【００２９】
図８は優先ブロック検出部２０の一構成例を示しており、情報抽出部２０−１と、記憶部２０−２と、優先ブロック判定部２０−３とから構成される。情報検出部２０−１はブロック分割部１２からの画像情報から特定の情報を検出する部分である。
【００３０】
優先ブロック検出部２０での最優先ブロックの検出の具体的な方法としては、画像情報から輝度データを抽出する方法や、画像情報から所定部材を抽出する方法が考えられる。図９は、輝度データを抽出する方法を用いる優先ブロック検出部２０’の例を示しており、図８の情報検出部２０−１に対応する輝度データ算出部２０−４を備えている。また、図１０は、所定の部材の検出を用いる優先ブロック検出部２０”の例を示しており、図８の情報検出部２０−１に対応する処置部検出部２０−５を備えている。
【００３１】
まず、輝度データを抽出する場合について、その具体的な手順を詳細に説明する。図９において、輝度データ算出部２０−４は、ブロック分割部１２（図７）からブロック毎に入力された輝度データを用いてブロック毎の輝度値を算出し、優先ブロック判定部２０−３に出力する。ブロック毎の輝度値としては、例えば、単位ブロックを８×８とした場合、ブロックの６４個の輝度値はＹ０，Ｙ１，Ｙ２，…，Ｙ６３となり平均輝度値Ｙａ＝（Ｙ０＋Ｙ１＋Ｙ２＋…＋Ｙ６３）／６４を算出し、このブロックの輝度値とする方法や、ブロックの最大輝度値Ｙmax と最小輝度値Ｙmin から輝度値の変化量Ｙｂ＝Ｙmax −Ｙmin を算出し、ブロックの輝度値とする方法がある。
【００３２】
記憶部２０−２は、フリップフロップあるいはメモリで構成されており、後述する優先ブロック判定部２０−３から入力されたブロックのブロック番号と輝度値を保持しておく部分である。
【００３３】
優先ブロック判定部２０−３は、輝度データ算出部２０−４から入力された輝度値と記憶部２０−２に保持してある優先ブロックの輝度値とを比較し、輝度値の高いほう（輝度値に所定の範囲つまり閾値を設け、その範囲内で高いほうを選択することも出来るものとする）を優先ブロックとして輝度値とブロック番号を一緒に記憶部２０−２に出力する。
【００３４】
優先ブロック判定部２０−３は、１フレーム分この処理を繰り返すことによりフレームの最優先ブロックを決定する。ただし、１フレームの始めのブロックは比較する値がないため、比較を行わずに暫定優先ブロックとして記憶部２０−２に出力する。
【００３５】
最大となる輝度値が複数ある場合つまり最優先ブロックが複数ある場合には、以前の情報と現在の情報を両方とも記憶部２０−２に保持する構成や現在あるものを最優先ブロックとする方法が考えられる。優先ブロック判定部２０−３は最優先ブロックを決定し、送信データ制御部１３に出力する。
【００３６】
次に、図１０を参照して所定の部材（ここでは処置具）を抽出する方法について説明する。処置具を抽出する方法は、記憶部２０−２に所定の処置具パターン情報もしくは処置具に施した例えば星印のような特徴的なマーキング情報を格納しておき、処置具検出部２０−５でパターンマッチングを行うことで処置具を検出する。この場合、優先ブロック判定部２０−３に入力される情報は、上記パターンマッチングによって得られるパターンマッチング率であり、優先ブロック判定部２０−３は、入力されるパターンマッチング率の中でマッチング率が一番高いものを最優先ブロックであると判定する。
【００３７】
上記した第二の実施の形態によれば、第一の実施の形態と同様に、優先付けをすることで使用者にとって最優先となるブロックとその周辺のブロックの送信確率が高まる。また、入力画像から自動で最優先ブロックの検出をすることが出来るため、より画像に適した最優先ブロックを選択することが出来る。また、輝度情報を用いることで、内視鏡や暗い場所での監視などの画像に対し、より適した最優先ブロックを選択することが出来る。
【００３８】
また、所定の部材を検出する方法は、所定の部材が自動で最優先ブロックにされるため、注目像がある場合により適した最優先ブロックを選択することが出来る。
【００３９】
（第三の実施の形態）
次に本発明の第三の実施の形態について説明する。第三の実施の形態は、第一、第二の実施の形態の送信データ制御部１３に関するもので、最優先ブロックが複数存在する場合のブロック送信順の決定方法に関している。ここでは第一、第二の実施の形態と異なる送信データ制御部１３とブロック分割部１２のブロック番号付けのみについて説明する。
【００４０】
前記したように、ブロック分割部１２でのブロック番号付けの方法は、１画像の右上から左下の順、左上から右下の順、中心から時計回りとなる順など種種の方法があるが、ここでは、画像の中心から時計回りになるようにブロック番号を決定しておく。図１１（ａ）に６×６のブロックの番号付けの例を示す。
【００４１】
送信データ制御部１３は、入力された複数の最優先ブロックのブロック番号を比較し小さいものから順番に優先順位を決定して送信する。これにより決定した優先の高いブロックからそのブロックを中心としたブロック群（優先エリア）を複数個決定する。各優先エリアは複数ブロックからなるものであり縦横ブロック数を３×３や５×５などに固定してある。ここでは優先エリアのブロック数を３×３（縦×横）にしているものを例として示す。
【００４２】
送信データ制御部１３は、優先エリア内の送信順を時計回りに決定し、そのブロック番号をブロック分割部１２に出力する。優先エリア内のブロック送信順は時計回りだけでなく反時計回りにすることも出来る。２番目以降の最優先ブロックについても同様に優先ブロック内のブロック番号を決定し出力する。
【００４３】
ただし、送信済みブロックを重複して送らないようにするために、ある１つのブロックはどれか１つの優先エリアのみに属するようにする。このため、最初の優先エリア送信において送信されるブロックのブロック情報と送信済み情報とを確認することで、いったん送信されたブロックについては２番目以降の優先エリアの送信において送信されないようにする。このため、各ブロックのブロック番号と送信済み情報を合わせてメモリに格納しておき、ブロック順を決定するときに送信済み情報と比較を行い、まだ送信していないブロックについてのみ送信を行う。
【００４４】
例えば、図１１（ｂ）のように最優先ブロックが３個（Ａ，Ｂ，Ｃ）存在し、優先エリアのブロック数を３×３（縦×横）とした場合、ブロック番号の小さい順に優先付けするためＡブロックの優先度が高くなるので、図１１（ｃ）のようにＡブロックを中心とした３×３の優先エリアが１番目に送信される。優先エリア内のブロックは、図１１（ｃ）に示すように時計回りに処理をする。Ａブロックの優先エリア終了後、次にフレームの真ん中に近いＢブロックの処理を行う（図１１（ｄ））。この際、Ｂブロックの優先エリア内にあるブロック番号の送信済み情報を確認し、重なり合わないように処理を飛ばして行う。Ａブロックの処理後のブロック番号と送信済み情報がメモリに格納されているので、随時確認を行うことでＢブロックを中心に周辺３×３のエリアで右下の２つのブロック送信が終了しているのが分かる。
【００４５】
送信済みブロックがある場合はそのブロックを飛ばし時計回りにブロック番号を決定し出力する。同様にＣブロックの処理を行う。最優先ブロックの優先エリアについて処理を終えた後、残りのブロックについては、図１１（ａ）で示したブロック番号の小さい順に処理済みブロックを飛ばしてブロック番号を決定し、ブロック分割部１２に出力する。
【００４６】
上記した第三の実施の形態によれば、第一の実施の形態と同様に、優先付けをすることで使用者にとって最優先となるブロックとその周辺のブロックの送信確率が高まる。また、複数個の最優先ブロックが存在する場合にも１つの優先エリアを送信後にもう一方の優先エリアの送信が出来る。そのため、複数個最優先ブロックが存在していてそれらが離れている場合でも、効率的に優先エリアについて送信を行うことが出来る。
【００４７】
（第四の実施の形態）
次に本発明の第四の実施の形態について説明する。第四の実施の形態は、第三の実施の形態と同じく第一、第二の実施の形態の送信データ制御部１３に関するもので、フレームの縦横のブロック数が偶数ブロックの場合のブロック送信順の決定方法に関する。ここでは、第三の実施の形態とは異なり、最優先ブロックは１つのみの設定が出来るものとする。ここでは第一、第二の実施の形態と異なる送信データ制御部１３とブロック分割部１２のブロック番号付け方法のみについて説明する。
【００４８】
ここでは、ブロック分割部１２において、メモリ内での画像の物理位置に応じて各ブロック画像に対してブロック番号付けをする段階で、ブロック番号の上位ビットに縦位置を下位ビットに横位置を割り当てる。図１２（ａ）に１フレームが８×８のブロックの場合のメモリのブロック番号（１６進数表記）の例を示す。この例の場合、縦位置がブロック番号の上位３ビット、横位置がブロック番号の下位３ビットで表してあるためフレーム中のブロック位置がブロック番号で判断出来る。これは、６×６のような場合でも同様に表せ、６や７といった番号を使用しないことで縦横位置とも３ビットで表すようにする。
【００４９】
送信データ制御部１３は、設定された最優先ブロック番号から左右、上下方向の端までのブロック数が分かるため、奇数ブロックとなる方向へ最優先ブロックを中心にして渦巻状に順番を決定しブロック番号を出力する。例えば、上記した例では、ブロック分割部１２は図１２（ａ）に示すようにブロック番号を決定するため、星印を最優先ブロックとした場合、最優先ブロック番号は６’ｈ１Ｂ（＝２７）となり上位３ｂｉｔで縦方向の位置を下位３ｂｉｔで横方向の位置を確認することが出来る。左右方向には３’ｈ３の位置つまり左側が奇数ブロック、上下方向にも３’ｈ３つまり上側が奇数ブロックとなることが分かる。この場合は左に３ブロック、右に４ブロックあるため奇数ブロックとなる左に１つ進む。
【００５０】
次に、上下を同様に確認し奇数ブロックとなる方へ進む。この場合、上に３ブロック、下に４ブロックとなるため、上に１つ進む。渦巻状に進むため次は左に２つ進み、次は下に２つ進む。このように図１２（ｂ）に示すように１，２番目のブロックを決めることで時計回りか反時計回りかを決定する。縦横方向に進むブロック数はカウンタによって生成する。カウント値は横軸縦軸ともに同じであるため、縦のカウントが終了した後にカウント値を１つ上げる。フレームの端に来た場合は、同様にカウント値を１つ上げ、折り返すように処理を行う。このように、１フレームのブロック順を常に隣り合うものにすることで、エラー多発時に全てのブロックが送信出来なくても重要な箇所を中心に縦横の長さが同程度になる画像を提供することが出来るため、使用者が見やすくなる。
【００５１】
上記した第四の実施の形態によれば、第一の実施の形態と同様に、優先付けをすることで使用者にとって最優先となるブロックとその周辺のブロックの送信確率が高まる。また、重要な箇所から縦横の長さが同程度になる画像を提供することが出来るため、使用者が画像を見やすくなる。また、隣接ブロックを順番に圧縮ブロックに入力出来るため、ＤＣ成分の差をなくし圧縮率を上げることが出来る。
【００５２】
なお、上記した具体的な実施形態から以下のような構成の発明を抽出することができる。
【００５３】
１．撮像素子にて取得された１フレーム分の画像データを複数のブロックに分割するブロック分割部と、
複数のブロックの各々に対して送信の優先付けを行い１フレーム内における各ブロックの位置情報を付した上で優先付けに従って前記ブロック分割部より出力させる送信データ制御部と、
前記ブロック分割部から出力された各ブロックの画像データを送信する送信部と、
を有する画像データ送信装置。
【００５４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第一〜第四の実施形態が対応する。構成中の撮像素子は実施の形態の撮像素子に該当し、構成中のブロック分割部はブロック分割部に該当し、送信データ制御部は実施の形態の送信データ制御部に該当し、構成中の送信部は実施の形態の送信部に該当する。
【００５５】
（作用効果）
この画像データ送信装置は、撮像素子とブロック分割部、送信データ制御部、送信部により構成される。撮像素子は、画像データをフレーム単位で取得する。ブロック分割部は、１フレーム分の画像データを格納出来るメモリを有し、取得した１フレームの画像をメモリに格納する。１フレームの画像の物理的位置によってブロック番号が決定する。送信データ制御部は、設定された最優先ブロックに従ってブロックの送信順を決定し、決定した順番にブロック番号をブロック分割部に出力する。ブロック分割部は、送信データ制御部からブロック番号を入力されると、所定の順にブロック単位で画像データを出力する。送信部は、ブロック分割部から入力された最優先ブロック番号を付してデータを外部に送信する。送信時に最優先ブロック番号を付けることにより、受信時に元の画像データに戻すことが出来る。また、送信データ制御部にあらかじめ重要なブロックを最優先ブロックとして設定しておくことで重要なブロックを先に送信することが出来る。そのため、エラーが多発した場合でも重要なブロックを送信することが出来る。
【００５６】
２．前記送信データ制御部に対して、優先順位付けを手動で入力する優先ブロック設定部（入力部）をさらに有する１記載の画像データ送信装置。
【００５７】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第一の実施形態が対応する。構成中の送信データ制御部は、この実施の形態で送信データ制御部に該当する。また優先ブロック設定部は、この実施の形態では優先ブロック設定部に該当する。
【００５８】
（作用効果）
優先ブロック設定部は、外部からタッチパネルやマイクロフォンなどのユーザーインターフェースにより入力した重要なブロック番号を認識し、送信データ制御部に出力する。これにより使用者が手動で最優先ブロックを設定することが出来るため、使用者にとってより適した最優先ブロックを選択することが出来る。
【００５９】
３．前記送信データ制御部は、画像データに基づき優先すべきブロックを検出し、検出された優先ブロックに基づき各ブロックの優先順位付けを行う優先ブロック検出部を有する１記載の画像データ送信装置。
【００６０】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第二の実施形態が対応する。構成中の優先ブロック検出部は、この実施の形態では優先ブロック検出部に該当する。この優先ブロック検出部は情報抽出部と記憶部、優先ブロック判定部を有している。
【００６１】
（作用効果）
優先ブロック検出部は情報抽出部と記憶部、優先ブロック判定部により構成される。情報抽出部はブロック分割部から入力される画像情報からブロックの優先付けに必要な情報を抽出し、優先ブロック判定部にその情報を出力する。優先ブロック判定部は、情報抽出部から入力されたブロックの情報を記憶部にある情報と比較して優先ブロック番号を決定し、記憶部に出力する。優先ブロック判定部は、ブロックの情報比較を１フレーム分繰り返すことで最優先ブロックを決定し、最優先ブロックの番号を送信データ制御部に出力する。記憶部は、ブロック判定部から入力される優先ブロック番号と画像情報を格納する。入力画像から自動で最優先ブロックの検出をすることが出来るため、より画像に適した最優先ブロックを選択することが出来る。
【００６２】
４．前記優先ブロック検出部は輝度情報に基づいて優先すべきブロックを検出する３記載の画像データ送信装置。
【００６３】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第二の実施形態が対応する。構成中の優先ブロック検出部は、この実施の形態では図９に示す優先ブロック検出部に該当し、輝度データ算出部と記憶部、優先ブロック判定部を有している。
【００６４】
（作用効果）
優先ブロック検出部は、輝度データ算出部と優先ブロック判定部、記憶部で構成される。輝度データ算出部はブロック分割部から入力された輝度情報からブロック毎の輝度値を算出し、優先ブロック判定部に出力する。ブロック毎の輝度値とは、例えば、ブロックの平均輝度値やブロックの輝度最大値と輝度最小値の差分値を輝度値とする。優先ブロック判定部は、輝度データ算出部から入力された輝度値と記憶部に保持してある優先ブロックの輝度値を比較し、その結果優先ブロック番号を決定し、そのブロック番号と輝度値を記憶部に出力する。ただし、１フレームの始めのブロックは比較する値がないため、比較を行わずに暫定優先ブロックとして記憶部に出力する。記憶部はブロック判定部から入力された優先ブロックのブロック番号と輝度値を格納する。優先ブロック判定部は、輝度値の比較を１フレーム分繰り返すことで最優先ブロックを決定し、最優先ブロックの番号を送信データ制御部に出力する。輝度情報から最優先ブロックの判定を自動で出来るため、内視鏡や暗い場所での監視などの画像に対し、より適した最優先ブロックを選択することが出来る。
【００６５】
５．前記優先ブロック検出部は所定の部材に係る像の有無に基づいて優先すべきブロックを検出する３記載の画像データ送信装置。
【００６６】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第二の実施形態が対応する。構成中の優先ブロック検出部は、この実施の形態では図１０に示す優先ブロック検出部に該当し、部材検出部と記憶部、ブロック判定部を有している。
【００６７】
（作用効果）
優先ブロック検出部は、部材検出部と優先ブロック判定部、記憶部で構成される。記憶部にあらかじめ所定の部材に関係するパターン情報を格納しておく。部材検出部はブロック分割部から入力された画像情報と記憶部にあるパターン情報のパターンマッチングによりマッチング率を求め、優先ブロック判定部にマッチしたブロック番号とマッチング率を出力する。優先ブロック判定部は部材検出部から入力されたマッチング率と記憶部に保持してある優先ブロックのマッチング率を比較し優先ブロックを決定後、その優先ブロックのマッチング率とそのブロック番号を記憶部に出力する。ただし、始めのブロックは比較する値がないため、比較を行わずに暫定優先ブロックとして記憶部に出力する。記憶部はブロック判定部から入力された優先ブロックのブロック番号とマッチング率をパターン情報格納領域以外の箇所に格納する。優先ブロック判定部は１フレーム分この処理を繰り返すことによりフレームの最優先ブロックを決定し、送信データ制御部に出力する。これにより、所定の部材が自動で最優先ブロックにされるため、注目像がある場合により適した最優先ブロックを選択することが出来る。
【００６８】
６．送信データ制御部は優先すべき複数のブロックからなるエリアが２ヶ所以上存在している場合には、一方のエリアの送信が終了した後にただちに他方のエリアの送信を行う１から３の画像データ送信装置。
【００６９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第三の実施形態が対応する。構成中の送信データ制御部は、この実施の形態では送信データ制御部に該当する。
【００７０】
（作用効果）
ブロック分割部であらかじめ画像の物理領域にブロック番号を付けるときに画像の真ん中から順番にブロック番号を付けておく。
【００７１】
送信データ制御部は、複数ブロックからなるエリア（優先エリア）についてそのブロック数を決めておく。送信データ制御部は、優先ブロック検出部もしくは優先ブロック設定部から入力される複数の最優先ブロックをブロック番号の小さいものから優先付けし、その順番に最優先ブロックを中心とした優先エリアを出力する。優先エリア内のブロック出力順は、最優先ブロックを中心に時計回りもしくは反時計回りになるように決定後、同様に２番目以降の優先度の高いブロックの優先エリアについて同様にブロック順を決定する。ただし、優先エリア内のブロックが処理したものと重なる場合は、処理済みブロックを飛び越しながら処理を行う。全ての最優先ブロック優先エリアの処理が終了後、その他領域についてブロック番号の順に処理済みブロックを飛び越しながらブロック番号を出力する。これにより、最優先ブロックが複数個存在していてそれらがフレーム中で離れている場合でも、効率的に最優先ブロック優先エリアについて送信を行うことが出来る。
【００７２】
７．送信データ制御部は読み出すブロックの順番が表示画像上で隣接するように優先すべきブロックから優先順位付けを行う１から３の画像データ送信装置。
【００７３】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第四の実施形態が対応する。構成中の送信データ制御部は、この実施の形態では送信データ制御部に該当する。
【００７４】
（作用効果）
送信データ制御部は、１フレームの縦横それぞれ偶数ブロックになっている場合、最優先ブロック位置を０として左右の端までのブロック数を確認し、奇数ブロックとなる方向へ進む。次に同様にして上下の端までのブロック数を確認し、奇数ブロックとなる方向へ進む。最優先ブロックを中心にして左右を決定後、上下の方向を決めることで渦の向きが決定し、その順番にアドレスを生成する。例えば、図１２に８×８ブロックで星印の箇所を最優先ブロックとした場合を示すように、左右を確認すると左が３で右が４となるため、左方向に進む。同様に上下を確認すると上が３で下が４となるため上に進む。最優先ブロックを中心にして左から上へと進行するため、送信順が時計回りに決定する。このように、１フレームのブロック順を常に隣り合うものにすることで、エラー多発時に全てのブロックが送信出来なくても重要な箇所を中心に縦横の長さが同程度になる画像を提供することが出来るため、使用者が見やすくなる。また、ラスタースキャン時にブロック圧縮で発生するライン間のＤＣ成分差がなくなるため、圧縮率を上げることが出来る。
【図面の簡単な説明】
【００７５】
【図１】図１は、本発明の優先付けによるリアルタイム画像データ送信装置の基本構成を示す図である。
【図２】図２は、本発明の第一の実施の形態の構成を示す図である。
【図３】図３は、ブロック番号の決め方を説明するための図である。
【図４】図４は、ブロック分割部がブロック内８×８画素を出力する順番を示す図である。
【図５】図５（ａ）、（ｂ）は、エラーが多発している状況において、通常の方法による場合と本発明に係る優先付けによる場合についてデータ送信の様子を示す図である。
【図６】図６（ａ）、（ｂ）は、通常の方法による場合と本発明に係る優先付けによる場合について送信されるブロックを説明するための図である。
【図７】図７は、本発明の第二の実施の形態の構成を示す図である。
【図８】図８は、優先ブロック検出部の一構成例を示す図である。
【図９】図９は、輝度データを抽出する方法を用いる優先ブロック検出部の例を示す図である。
【図１０】図１０は、所定の部材の検出を用いる優先ブロック検出部の例を示す図である。
【図１１】図１１は、本発明の第三の実施の形態の構成を示す図である。
【図１２】図１２は、本発明の第四の実施の形態の構成を示す図である。
【符号の説明】
【００７６】
１０  撮像素子
１１  画像処理部
１２  ブロック分割部
１３  送信データ制御部
１４  送信部
１５  アンテナ
１６  優先ブロック設定部
２０  優先ブロック検出部
２０−１  情報抽出部
２０−２  記憶部
２０−３  優先ブロック判定部
２０−４  輝度データ算出部
２０−５  処置具検出部
【図１】
2010171534.tif 000003
【図２】
2010171534.tif 000004
【図３】
2010171534.tif 000005
【図４】
2010171534.tif 000006
【図５】
2010171534.tif 000007
【図６】
2010171534.tif 000008
【図７】
2010171534.tif 000009
【図８】
2010171534.tif 000010
【図９】
2010171534.tif 000011
【図１０】
2010171534.tif 000012
【図１１】
2010171534.tif 000013
【図１２】
2010171534.tif 000014