(57)【要約】【課題】  実映像とそれに関連する参照情報とを瞬時に切り替えてディスプレイに表示するシステム及び方法を提供する。【解決手段】  リアルタイム又は直前に撮影した実映像の電子データを取り込み再生可能にスタンバイする第一のコンピュータと、第一のコンピュータによって取り込まれた実映像に関連する参照情報についての電子データを再生可能にスタンバイする第二のコンピュータと、そして、第一のコンピュータと第二のコンピュータとを瞬時に切り替えてディスプレイ上に実映像又は参照情報を表示可能とするスイッチユニットとを含んで構成されてなるハイブリッドコンピュータシステム。【選択図】    図１
2005218721.tif 000002
【特許請求の範囲】
【請求項１】
リアルタイム又は直前に撮影した実映像の電子データを取り込み再生可能にスタンバイする第一のコンピュータと、
第一のコンピュータによって取り込まれた実映像に関連する参照情報についての電子データを再生可能にスタンバイする第二のコンピュータと、そして、
第一のコンピュータと第二のコンピュータとを瞬時に切り替えてディスプレイ上に実映像又は参照情報を表示可能とするスイッチユニットと、
を含んで構成されてなるハイブリッドコンピュータシステム。
【請求項２】
予め、所定の実映像に関連する参照情報についての電子データを第二のコンピュータのメモリに蓄積しておく工程と、
所定の実映像を撮影しこれを電子データに変換すると共にいつでもディスプレイ上に表示できるように再生可能にスタンバイする工程と、
第二のコンピュータに蓄積された参照情報をディスプレイ上に表示できるよう、その電子データを再生可能にスタンバイする工程と、
第一又は第二のコンピュータを選択することにより、実映像又は参照情報をディスプレイに表示する工程と、
を含んで構成されてなるハイブリッド情報表示方法。
【請求項３】
請求項２に記載のハイブリッド情報表示方法において、
前記実映像が、口腔内における歯列であり、且つ前記参照情報が歯槽膿漏、虫歯等疾病における過去の進行程度が相違した複数の実映像であることを特徴とするハイブリッド情報表示方法。
【請求項４】
請求項２又は３に記載のハイブリッド情報表示方法において、さらに、口腔内疾病における外観特徴症状の電子データを進行程度に対応させて第二のコンピュータに蓄積する工程と、
前記実映像の電子データを取得する際、口腔内疾病における外観特徴症状の有無を検出する工程と、そして、
実映像から検出された口腔内疾病の存在信号により、前記第二のコンピュータからその疾病についての過去の進行程度が相違した複数の実映像を呼び出す工程と、
を含んで構成されてなるハイブリッド情報表示方法。
【請求項５】
請求項２〜４のいずれか１項に記載のハイブリッド情報表示方法において、
実映像をディスプレイ上に表示するに際し、特定の部位のみを実映像とし、それ以外の部位をアニメ、無地の背景等人工映像とすると共に、実映像との境界をグラデーション等のぼかし処理することを特徴とするハイブリッド情報表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実映像とそれに関連する参照情報とを瞬時に切り替えてディスプレイに表示するシステム及び方法に関し、特に、歯科医療、美容整形等に関連して患者に実映像とそれに関連する種々の参照情報、例えば、虫歯や歯槽膿漏を放置した場合の疾病の進行状況や整形後の顔立ちの変化をディスプレイ上で見せながら説明する、いわゆる「インフォームドコンセント技術」に使用するハイブリッドコンピュータシステム及びハイブリッド情報表示方法に関する。
【背景技術】
【０００２】
従来、歯科医療、美容整形等において、患者の疾病の状況や整形後の顔立ちの変化といったものをディスプレイ上に表示しながら行う試みが始っている。例えば、歯科医療では、ＣＣＤカメラ等を歯科医師が装着し、口腔内を撮影してディスプレイ上に表示し虫歯等の健康でない歯を特定してみせる。そして、もしこれらを放置すると時間の経過と共にこのようになるものと予想されると説明すると共に、ディスプレイ上に参照情報、例えば、過去の進行程度が相違した複数の実映像を表示することを行う。参照情報として実映像を用いるのは、リアルさを重要視するという事もあるが、事態の深刻さを患者に間違いなく伝えるという理由による。
かかる参照情報は、予めＣＣＤカメラ等を用いて実映像を撮影しておき、それを迅速に検索することができるように整理して且つ分かり易いファイル名を付けてコンピュータのデスクトップ画面又はメモリに蓄積しておく。もちろん、参照情報としては、実映像以外の情報、例えば、イラストや説明文とすることもできる。
なお、特許文献１に記載の発明は一般に歯科医学の分野に係り、歯科医もしくは矯正歯科医によるツール（道具）として有用な画像処理方法とシステムを提供するものである。
従って、この発明によれば、歯の作像技術の一形式から得られた情報とデータとが他の種類の歯の作像技術により得られた画像内に転送されて使用される。この情報の転送は歯科医もしくは矯正歯科医に対して、矯正措置を設計するための有力なツールを提供する。
【特許文献１】特表２００２−５２８２１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
治療中の患者について、ＣＣＤカメラを使って取り込んだ実映像をディスプレイに表示させる際には、所定のソフトウエアを使用しなければならない。他方、コンピュータのメモリに予め蓄積しておく参照情報は、治療中の患者とは異なる人について異なる時期に撮影され取得された情報である。従って、コンピュータのメモリには、異なるファイル名で蓄積されており、多くの場合、異なるソフトウエアにより作動するものである。
【０００４】
そこで、患者に対して現在の歯の状況及びこれを放置した場合における事態を患者に説明する場合には、リアルタイムの又はその直前に撮影した実映像をディスプレイに表示する。次に、参照情報である過去の進行程度が相違した複数の実映像を表示することとなる。一般的には、デスクトップ画面又は記録装置内のホルダから必要なファイルを探し出し、これをクリックしてアクティブとする。蓄積されたとき使用したソフトウエアと実映像を取得しこれをディスプレイに表示するソフトウエアと異なる場合には、それを立ち上げた後、ディスプレイ上に参照情報を表示することとなる。
しかしながら、このように新たにソフトウエアを立ち上げ、しかる後、所定のファイルを開くのでは、現在の高速タイプの汎用ＰＣでも数秒〜十数秒かかり実用に耐えなかった。そこで、現状では、患者の状況は実映像をディスプレイに写して示すが、参照情報は他のメディア、例えば、ハードコピーや写真、専門誌の切抜きで代用していた。
なお、特許文献１の発明では、（ａ）少くとも第１の作像技術と第２の作像技術とを適用して歯の少くとも第１の部分の第１の二次元画像と歯の少くとも第２の部分の第２の三次元仮想画像とをそれぞれ取得し、該第１と第２の部分間には少くとも部分的な重畳があるようにすること、及び、 （ｂ）該２つの画像のいずれか一方に基本ランドマークの組を定義し、該２つの画像の他方内に該組を置いて該組を２つの画像内で位置決めするという画像処理方法が提供されているが、実映像とそれに関連する参照情報とを瞬時に切り替えてディスプレイに表示するものではなかった。
【０００５】
そこで、本発明は、実映像とそれに関連する参照情報とを瞬時に切り替えてディスプレイに表示するシステム及び方法を提供することを課題とする。
また、この種の「インフォームドコンセント技術」に関連する重要な問題点の一つに、患者の心理的な抵抗感がある。すなわち、医師とはいえ、自分以外の人と一緒に自分の体の一部、特に、疾病部分を観察するといことに抵抗感を持つ人がいる点である。
疾病の実情又は真実を患者に正確に伝えるということに関しては、実映像を患者に見せることが一番であるが、それと同時に患者が感じる上記のような心理的な抵抗感を除去することも必要である。
よって本発明の他の課題は、疾病の真実を患者に伝えることができるという初期の目的を達しつつ、あまりにも生々しい実映像は見たくないという患者の心理的嫌悪感を払拭することができるハイブリッド情報表示方法を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本願の第一発明は、リアルタイム又は直前に撮影した実映像の電子データを取り込み再生可能にスタンバイする第一のコンピュータと、第一のコンピュータによって取り込まれた実映像に関連する参照情報についての電子データを再生可能にスタンバイする第二のコンピュータと、そして、第一のコンピュータと第二のコンピュータとを瞬時に切り替えてディスプレイ上に実映像又は参照情報を表示可能とするスイッチユニットとを含んで構成されてなるハイブリッドコンピュータシステムを提供する。
【０００７】
また、上記課題を解決するために、本願の第二発明は、予め、所定の実映像に関連する参照情報についての電子データを第二のコンピュータのメモリに蓄積しておく工程と、所定の実映像を撮影しこれを電子データに変換すると共にいつでもディスプレイ上に表示できるように再生可能にスタンバイする工程と、第二のコンピュータに蓄積された参照情報をディスプレイ上に表示できるよう、その電子データを再生可能にスタンバイする工程と、そして、第一又は第二のコンピュータを選択することにより、実映像又は参照情報をディスプレイに表示する工程とを含んで構成されてなるハイブリッド情報表示方法を提供する。
【０００８】
また、上記課題を解決するために、請求項３に記載の発明は、請求項２に記載のハイブリッド情報表示方法において、前記実映像が、口腔内における歯列であり、且つ前記参照情報が歯槽膿漏、虫歯等疾病における過去の進行程度が相違した複数の実映像であることを特徴とする。
【０００９】
また、上記課題を解決するために、請求項４に記載の発明は、請求項２又は３に記載のハイブリッド情報表示方法において、さらに、口腔内疾病における外観特徴症状の電子データを進行程度に対応させて第二のコンピュータに蓄積する工程と、前記実映像の電子データを取得する際、口腔内疾病における外観特徴症状の有無を検出する工程と、そして、実映像から検出された口腔内疾病の存在信号により、前記第二のコンピュータからその疾病についての過去の進行程度が相違した複数の実映像を呼び出す工程とを含んで構成されてなることを特徴とする。
【００１０】
また、上記課題を解決するために、請求項５に記載の発明は、請求項２〜４のいずれか１項に記載のハイブリッド情報表示方法において、実映像をディスプレイ上に表示するに際し、特定の部位のみを実映像とし、それ以外の部位をアニメ、無地の背景等人工映像とすると共に、実映像との境界をグラデーション等のぼかし処理することを特徴とする。
【発明の効果】
【００１１】
第一のコンピュータにより、リアルタイム又は直前に撮影した実映像の電子データを取り込み再生可能にスタンバイする。第二のコンピュータには、第一のコンピュータによって取り込まれた実映像に関連する参照情報を記録しておき、これを再生可能にスタンバイする。かかる第一のコンピュータと第二のコンピュータとをスイッチユニットに並列に接続して、いずれか一方から他方へ瞬時に切り替えることにより、ディスプレイ上に実映像又は参照情報を瞬時に切り替え表示可能となる効果を有する。
【発明を実施するための最良の形態】
【００１２】
本発明に係るハイブリッドコンピュータシステム及びハイブリッド情報表示方法に関して、実施の形態に基づいて、更に詳しく説明する。
図１は本発明に係るハイブリッドコンピュータシステムを利用した歯科治療システムの全体の構成例を示したブロック図である。
図示されているように、本発明に係る歯科治療システム１は、概略的に、患者の口腔内の映像を撮影するＣＣＤカメラユニット１０と、ＣＣＤカメラユニット１０によって取得した実映像の電子データを取り込み再生可能にスタンバイする第一のコンピュータ２０と、歯槽膿漏、虫歯等疾病における過去の進行程度が相違した複数の実映像、各進行程度における治療費・治療日数等のデータを記録しておく第二のコンピュータ３０と、そして、第一のコンピュータと第二のコンピュータとを瞬時に切り替えてディスプレイ４０上に実映像又は参照情報を表示可能とするスイッチユニット５０とを含んで構成されている。
【００１３】
ＣＣＤカメラユニット１０は、医師が頭部等に装着して口腔内を撮影するＣＣＤカメラ１２と撮影された画像を電子データに変換する処理部１４と、そして、処理された電子データを第一のコンピュータ２０に送信する発信機１６とを備えている。もちろん、有線により第一のコンピュータ２０に送信することも可能である。ＣＣＤカメラ１２としては、例えば、ＭＯＳ型のコンデンサが並んだような構造の二次元型ＣＣＤを用いることができる。ＣＣＤには、その上に細かいＲＧＢのフィルムを重ねた単層式（一枚でカラー映像を撮像できる）のものと、プリズムとフィルタを使って三原色に分けてそれぞれにＣＣＤをつけた三板式とがあるが、いずれでも良い。
なお、前歯舌面や臼歯咬合面などの部位については、口腔外部からの撮影ではきれいな映像を取得することができないため、従来は、デンタルミラーと呼ばれる反射鏡が用いられている。
【００１４】
かかるデンタルミラーにＣＣＤカメラを組み込み、歯科医師の視野で見た状態の映像をディスプレイ上に表示する技術としては、特開２００３−２７５１７６号がある。
図２〜図４に示されているように、この発明では、デンタルミラーの反射鏡１１０の背面ミラーヘッドカバー１１３内にピンホールＣＣＤカメラ１１２を設置し、その反射鏡１１０のレンズ部に相当する中央部に光透過口部１１１を設けミラー前面の実体を撮影可能としている。この画像は、首部１１６内に配線されたピンホールＣＣＤカメラ基盤接続ケーブル１１５によって本体ハンドル部１１７内に設置したＣＣＤカメラ基盤１１４で画像情報に変換され、ＣＣＤカメラ基盤、送信機接続ケーブル１１８を介して送信機１１９によって送信用アンテナ１２０より送信される。送信された画像情報は手鏡型液晶モニター１０２の受信アンテナ１３４で受信され本体保持部１３３に内蔵した回路基盤１３１で処理し液晶回路基盤接続ケーブル１３２を介して液晶ディスプレイ１３０に映し出される。
【００１５】
また、この手鏡型液晶モニター１０２は、切り替えスイッチによって本体前面保持部１３３の液晶ディスプレイ１３０に近接する位置に装着されたＣＣＤカメラ１３５によって撮影される映像を映し出すものとして、一般の手鏡のごとく使用することも可能である。
かかるデンタルミラーにより、医師１０３は、日常臨床で用いるデンタルミラーを使用するように、患者の口腔内に挿入して医師の視線１０５を通して歯科ユニット無影灯光の入射方向１０７の光を光源として直視不能な部位を観察する。この際、反射鏡１１０を利用した医師の視線１０５と明視部位の反射角度は、水平診療下では歯科ユニット無影灯光を利用する場合約６０度以内であり、反射鏡１１０の光透過口部１１１背面に設置したピンホールＣＣＤカメラ１１２の撮影画角は、約１００度であるので、反射鏡１１０と明視部位との距離が１０ミリ以上確保されれば、反射鏡１１０に反射される医師の視線１０５の視野範囲は、ピンホールＣＣＤカメラ１１２の画角で十分に補われる。この医師１０３の視野と同等のピンホールＣＣＤカメラの画像情報は、ピンホールＣＣＤカメラ基盤接続ケーブル１１５を介してＣＣＤカメラ基盤１１４に、さらに、送信機１１９を経て送信用アンテナ１２０から送信される。この、送信情報は、受信アンテナ１３４で受信され回路基盤１３１、液晶回路基盤接続ケーブル１３２を介して患者の視線１０６に従って患者１０４が明視に好適な位置に患者自身が保持した手鏡型モニター１０２の液晶ディスプレイ１３０に映し出される。もちろん、本発明のように、ＣＣＤカメラ１２により取り込まれた画像情報は、液晶ディスプレイ１３０ではなく、診療室の壁などに取り付けたディスプレイ４０を通して表示することも可能である。
【００１６】
他方、第二のコンピュータ３０には、実映像に関連する参照情報が蓄積されている。参照情報としては、歯槽膿漏、虫歯等疾病における過去の進行程度が相違した複数の実映像でも良いし、書籍や雑誌といった専門誌から抽出した写真、イラスト、説明文などを用いることもできる。あるいは、各進行程度における治療費・治療日数等のデータとすることもできる。これらのデータは、検索用のファイル名を付けてメモリに記録しておく。
かかる第一のコンピュータ２０及び第二のコンピュータ３０は、スイッチユニット５０に対し配線５２，５２によって並列に接続されている。スイッチユニット５０は、瞬時に切り替えてディスプレイ４０又は前述の手鏡型モニター１０２を使う場合には液晶ディスプレイ１３０上に第一のコンピュータ２０からの実映像又は第二のコンピュータ３０からの参照情報のいずれかを表示するもので、例えば、本願の出願人である株式会社キネシクスから製品名「クイックビュースイッチ」として販売されている。
【００１７】
次に、図５を用いて、本願の第二発明に係るハイブリッド情報表示方法の一実施形態について説明する。
図５に示されているように、本発明のハイブリッド情報表示方法は、概略的に、参照情報を第二のコンピュータ３０に蓄積しておく工程（ステップ１）と、第一のコンピュータ２０で、所定の実映像を撮影しこれをディスプレイ４０上に表示できるように再生可能にスタンバイする工程(ステップ２)と、第二のコンピュータ３０に蓄積された参照情報をディスプレイ４０上に表示できるようスタンバイする工程(ステップ３)と、そして、第一又は第二のコンピュータを選択することにより、実映像又は参照情報をディスプレイ４０に表示する工程(ステップ４)とを含んで構成されている。
【００１８】
これを、図６に示されたような歯科治療について応用してみると、以下のような手順となる。ステップ１０においては、口腔内疾病における外観特徴症状の電子データを進行程度に対応させて第二のコンピュータ３０に蓄積する(ステップ１０)。例えば、虫歯の場合、白い歯の映像中に黒い部分を検出することによってその存在が確認される。そして、その進行程度は、白い部分と黒い部分の面積比によって定まり、例えば、軽度の虫歯Ｃ１は、５％以上１０％未満、中度の虫歯Ｃ２は、１０％以上２０％未満、重度の虫歯Ｃ３は２０％以上３０％未満、そして、超重度の虫歯Ｃ４は３０％以上とする。そこで、これら数値条件と共に各進行程度の実際の疾病者の歯を実映像として第二のコンピュータ３０に記録しておく。
また、歯槽膿漏の場合、ピンクであるべき歯茎の部分に赤い炎症部分として発症する。歯槽膿漏の場合、発症している部位の面積よりも色彩によってその進行の度合いを判定できる。そこで、色彩マップ上での所定の範囲を軽度の歯槽膿漏Ｄ１は、他の所定の範囲を中度の歯槽膿漏Ｄ２、そして、さらに他の範囲を重度の歯槽膿漏Ｄ３のように設定しておく。これら色彩マップ上の範囲条件と共に各進行程度の実際の疾病者の歯を実映像として第二のコンピュータ３０に記録しておく。
ステップ２において、口腔内の歯の状態を撮影した際(ステップ１１)、口腔内疾病における外観特徴症状の有無を検出する。すなわち、ＣＣＤカメラ１２から取り込んだ実映像をカラー分析し(ステップ１２)、白部分に黒い領域を検出した場合には(ステップ１３)、「虫歯が存在する」と認識して、第二のコンピュータ３０の記録装置から虫歯に関する参照情報を呼び出す。そして、いつでもディスプレイ４０に表示できるようにスタンバイする(ステップ２１)。図示された好ましい実施形態では、白い部分の面積と黒い部分の面積との比を求め(ステップ１４)、虫歯の進行程度を特定した後(ステップ１５)、その程度より進行が進んだ虫歯の参照情報のみを第二のコンピュータ３０から呼び出し(ステップ１６)再生可能にスタンバイしている。
他方、ＣＣＤカメラ１２から取り込んだ実映像をカラー分析し、ピンクの部分に赤い領域を検出した場合には(ステップ１７)、「歯槽膿漏が存在する」と認識して、第二のコンピュータ３０の記録装置から歯槽膿漏に関する参照情報を呼び出す。図示された好ましい実施形態では、さらに、当該色彩が色彩マップ上でどの領域と一致するかを判定し(ステップ１８)、歯槽膿漏の進行の程度を特定する(ステップ１９)。そして、その程度より進行した歯槽膿漏の参照情報のみを第二のコンピュータ３０から呼び出し(ステップ２０)再生可能にスタンバイする(ステップ２１)。
このようなカラー映像中に各種の色彩部位が存在する場合に、これを検出する技術は周知であるのでここでの詳細な説明は省略する。
【００１９】
前述のように、第二のコンピュータ３０では、虫歯を検出した場合には虫歯の参照情報を、そして、赤い部位を検出した場合には歯槽膿漏の参照情報を呼び出し、これをステップ３として、ディスプレイ４０上に表示できるようスタンバイする。
歯科医師が、患者に虫歯、あるいは、歯槽膿漏の状況を説明する場合には、患者は、治療中であれば、水平治療イスに寝た状態で又は別室に移動するのであれば、通常のソファに座って説明を受けることとなる。歯科医師は、先ず、スイッチユニット５０を操作して第一のコンピュータ２０からの実映像をディスプレイ４０又は手鏡型モニター１０２を使う場合には液晶ディスプレイ１３０（以下、「ディスプレイ４０」と称する。）上に表示し、現状を説明する。次に、スイッチユニット５０を操作して、第二のコンピュータ３０からの参照情報をディスプレイ４０に表示する。この場合において、本発明方法では、一のコンピュータを用いての場合にように、種々のファイルを開いたり閉じたりすることに伴う待ち時間（一つの必要な画面から次に必要な画面を表示するまでの時間）やタッチパネル式とマウス・キーボードを用いての入力方式を併用できない等の欠点が解消されている。
【００２０】
従って、歯科医師は、歯の実映像においてマウスを用いて虫歯の位置を指し示し、この部位がＣ２程度の虫歯であることを患者に伝え、これを放置するどうなるかを参照情報を用いて説明する。そこで、歯科医師は、スイッチユニット５０を操作して第二のコンピュータ３０から虫歯についての参照情報をディスプレイ４０に表示する。参照情報は、通常、実映像に比較すると情報の中身が多種にわたり且つ一つの種類の中の情報量も多い。そこで、このような情報を効率よく患者に伝えようとする場合にはタッチパネル式の入力方式が優れている。例えば、説明文の部分を触ると画面が次の頁に変化したり、写真の部分を触ると拡大図となったりするなどである。また、実映像を、又はさらに参照情報を、再度・再々度見たいという時は、スイッチユニット５０を操作することによって、２つのコンピュータからの異なる種類の情報を瞬時に切り替えるだけで簡単に見ることができる。
【００２１】
本発明の好ましい実施形態においては、実映像をディスプレイ上に表示するに際し、特定の部位のみを実映像とし、それ以外の部位をアニメ、無地の背景等人工映像とすると共に、実映像との境界をグラデーション等のぼかし処理することもできる。医師とはいえ、自分以外の人と一緒に自分の体の内部を観察するといことに抵抗感を持つ人がいるためである。歯及びそれに隣接する歯茎の部位のみを実映像とすることにより、疾病の真実を患者に伝えることができるという初期の目的を達しつつ、それ以外の部位を人工映像とすることでこのような患者の心理的嫌悪感を払拭することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係るハイブリッドコンピュータシステムの全体構成例を示した概略図である。
【図２】デンタルミラーを用いて本発明に係るハイブリッド情報表示方法を実施する場合の説明図である。
【図３】本発明に係るハイブリッド情報表示方法を実施する場合に用いるデンタルミラーの一実施形態の縦断面図である。
【図４】本発明に係るハイブリッド情報表示方法を実施する場合に用いる手鏡型モニターの一実施形態の正面図である。
【図５】本発明に係るハイブリッド情報表示方法の一実施形態のフローチャートである。
【図６】図５のハイブリッド情報表示方法を歯科治療に適用した場合の一実施形態のフローチャートである。
【符号の説明】
【００２３】
１０    ＣＣＤカメラユニット
１２    ＣＣＤカメラ
１４    処理部
１６    発信機
２０    第一のコンピュータ
３０    第二のコンピュータ
４０    ディスプレイ
５０    スイッチユニット
【図１】
2005218721.tif 000003
【図２】
2005218721.tif 000004
【図３】
2005218721.tif 000005
【図４】
2005218721.tif 000006
【図５】
2005218721.tif 000007
【図６】
2005218721.tif 000008