(57)【要約】検索対象画像群から抽出された複数の代表画像および、複数の代表画像の間に検索対象画像群に代表画像以外の画像があることを示す代表画像とは異なる形態で表示される画像群情報を表示する制御を行う制御部を備える表示制御装置である。【選択図】図３
2018235489.tif 000002
【特許請求の範囲】
【請求項１】
検索対象画像群から抽出された複数の代表画像および、複数の前記代表画像の間に前記検索対象画像群に前記代表画像以外の画像があることを示す前記代表画像とは異なる形態で表示される画像群情報を表示する制御を行う制御部
を備える表示制御装置。
【請求項２】
前記代表画像は、前記検索対象画像群中における画像の並び順において離れた画像である
請求項１に記載の表示制御装置。
【請求項３】
前記表示部において前記代表画像と前記画像群情報とは、交互に並んで表示される
請求項１に記載の表示制御装置。
【請求項４】
前記画像群情報は、前記画像が所定の順序で保存されている前記検索対象画像群中において、複数の前記代表画像間に前記所定の順序に沿って前記代表画像以外の画像が存在することを示す
請求項１に記載の表示制御装置。
【請求項５】
前記表示部に表示されている複数の前記代表画像における一の前記代表画像を選択するユーザの入力がなされると、前記一の代表画像のみを前記表示部に表示する
請求項１に表示制御装置。
【請求項６】
前記表示部に表示されている前記画像群情報を選択するユーザの入力がなされると、入力がなされた前記画像群情報に対応する画像群から代表画像を抽出して前記表示部に表示する
請求項１に記載の表示制御装置。
【請求項７】
入力がなされた前記画像群情報に対応する画像群から抽出された前記代表画像以外の画像を画像群情報として前記表示部に表示する
請求項６に記載の表示制御装置。
【請求項８】
前記表示部に表示されている前記画像群情報を選択する入力がなされた後、選択取り消しを指示する入力がなされると、選択された前記画像群情報に対応する画像を前記検索対象画像群から除外する
請求項６に記載の表示制御装置。
【請求項９】
前記検索対象画像群における画像の数が所定の数以下となると、前記検索対象画像群の全ての画像を前記表示部にサムネイル表示する
請求項８に記載の表示制御装置。
【請求項１０】
前記代表画像は、前記検索対象画像群を複数のグループに分類し、前記複数のグループごとに代表画像を抽出する
請求項１に記載の表示制御装置。
【請求項１１】
前記代表画像は、ユーザがタグ情報を付加した画像である
請求項１に記載の表示制御装置。
【請求項１２】
前記代表画像は、ユーザが所定の画像処理を施した画像である
請求項１に記載の表示制御装置。
【請求項１３】
前記代表画像は、過去に前記表示部に所定時間以上表示された画像である
請求項１に表示制御装置。
【請求項１４】
前記代表画像は、過去に前記表示部に所定回数以上表示された画像である
請求項１に記載の表示制御装置。
【請求項１５】
前記代表画像は、所定値以上の色情報を有する画像である
請求項１に記載の表示制御装置。
【請求項１６】
検索対象画像群から抽出された複数の代表画像および、複数の前記代表画像の間に前記検索対象画像群に前記代表画像以外の画像があることを示す前記代表画像とは異なる形態で表示される画像群情報を表示する制御を行う
表示制御方法。
【請求項１７】
検索対象画像群から抽出された複数の代表画像および、複数の前記代表画像の間に前記検索対象画像群に前記代表画像以外の画像があることを示す前記代表画像とは異なる形態で表示される画像群情報を表示する制御を行う
表示制御方法をコンピュータに実行させる表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、表示制御装置、表示制御方法および表示制御プログラムに関する。
【背景技術】
【０００２】
現在、多くのユーザがスマートフォン、タブレット端末などの端末装置を使用して、その端末装置の記憶部内に大量の画像を保有している。大量の画像から目的の画像を探すのは容易ではないため、ユーザが目的とする画像を検索するために画像検索方法が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３００６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１における方法では、ユーザが検索したい画像の正確な撮影日時を把握していない場合、頻繁に検索の表示形態を変更する必要があり、目的画像の検索に手間がかかる。また、表示される代表画はその日時の最初に撮影された画像など、ユーザにとって印象の薄い無意味な画像が指定される可能性があり、ユーザの検索の手助けとならない問題という問題もある。【０００５】
本技術はこのような問題点に鑑みなされたものであり、複数の画像の中から目的の画像を容易に見つけ出すことができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、第１の技術は、検索対象画像群から抽出された複数の代表画像および、複数の代表画像の間に検索対象画像群に代表画像以外の画像があることを示す代表画像とは異なる形態で表示される画像群情報を表示する制御を行う制御部を備える表示制御装置である。【０００７】
また、第２の技術は、検索対象画像群から抽出された複数の代表画像および、複数の代表画像の間に検索対象画像群に代表画像以外の画像があることを示す代表画像とは異なる形態で表示される画像群情報を表示する制御を行う表示制御方法である。【０００８】
さらに、第３の技術は、検索対象画像群から抽出された複数の代表画像および、複数の代表画像の間に検索対象画像群に代表画像以外の画像があることを示す代表画像とは異なる形態で表示される画像群情報を表示する制御を行う表示制御方法をコンピュータに実行させる表示制御プログラムである。
【発明の効果】
【０００９】
本技術によれば、複数の画像の中から目的の画像を容易に見つけ出すことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１０】
【図１】端末装置の構成を示すブロック図である。
【図２】表示制御処理の流れを示すフローチャートである。
【図３】図３Ａ、図３Ｂ、図３Ｃは表示部に表示される画像検索用ユーザインターフェースを示す図である。
【図４】図４Ａ、図４Ｂ、図４Ｃは表示部に表示される画像検索用ユーザインターフェースを示す図である。
【図５】画像検索用ユーザインターフェースにおいて表示される画像の順序を説明する図である。
【図６】画像検索用ユーザインターフェースにおいて表示される画像の順序を説明する図である。
【図７】画像のヒストグラムに基づいて代表画像を抽出する説明図である。
【図８】画像検索用ユーザインターフェースの他の例を示す図である。
【図９】画像検索用ユーザインターフェースの他の例を示す図である。
【図１０】代表画像抽出の他の例の処理を示すフローチャートである。
【図１１】サムネイル表示の説明図である。
【図１２】画像検索用ユーザインターフェースの他の例を示す図である。
【図１３】手術室システムの全体構成を概略的に示す図である。
【図１４】集中操作パネルにおける操作画面の表示例を示す図である。
【図１５】手術室システムが適用された手術の様子の一例を示す図である。
【図１６】図１５に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．端末装置の構成］
［１−２．表示制御処理］
［１−３．代表画像］
＜２．応用例＞
＜３．変形例＞
【００１２】
＜１．実施の形態＞
［１−１．端末装置の構成］
本技術に係る表示制御装置は、パーソナルコンピュータ、タブレット端末、スマートフォンなどの端末装置において動作し、端末装置１００内に保存されている検索対象である複数の画像（以下、検索対象画像群と称する。）からユーザが画像を探しやすくするためのユーザインターフェースを表示するものである。本実施の形態においては、表示制御装置は表示制御部１６０として、タッチパネルとしての機能を有する表示部１４０を備える端末装置１００において動作するものとする。また、端末装置１００はスマートフォンである場合を例にして説明を行う。
【００１３】
図１を参照して、端末装置１００について説明する。端末装置１００は、制御部１１０、記憶部１２０、通信部１３０、表示部１４０、入力部１５０および表示制御部１６０を備えている。
【００１４】
制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって端末装置１００全体の制御を行う。
【００１５】
記憶部１２０は、例えば、ハードディスク、ＳＤメモリカードなどの大容量記憶媒体である。記憶部１２０は、画像データ、映像データ、文書ファイルなどのコンテンツやアプリケーションなどを保存することができる。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などのメタ情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
【００１６】
通信部１３０は、外部装置、インターネットなどと通信するための通信モジュール、通信用コネクタなどである。通信部１３０による通信は、ＵＳＢ通信などの有線通信、Wi-Fiなどの無線ＬＡＮ、Bluetooth（登録商標）、ZigBee、４Ｇ（第４世代移動通信システム）、ブロードバンドなどの無線通信どちらであってもよい。
【００１７】
表示部１４０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部１４０には、端末装置１００のユーザインターフェース、記憶部１２０に保存された画像、映像、文書ファイルなどのコンテンツ、本技術に係る画像検索用ユーザインターフェースなどが表示される。
【００１８】
入力部１５０は、ユーザの端末装置１００に対する操作入力を受け付けるものである。入力部１５０に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部１１０に出力される。そして、制御部１１０はその制御信号に対応した演算処理、端末装置１００の制御を行う。入力部１５０としては、表示部１４０と一体に構成されたタッチパネル、トラックパッドやタッチパッドと称される表示部１４０とは一体となっていない平板状のセンサーを指でなぞって操作するポインティングデバイスや、キーボード、マウスなどがある。本実施の形態においては、表示部１４０は入力部１５０と一体的に構成されたタッチパネルであり、ユーザは指またはスタイラスを表示部１４０に接触させることで入力を行う。
【００１９】
表示制御部１６０は、表示部１４０に画像検索用ユーザインターフェースを表示し、ユーザからの入力に基づいて表示制御を行うものである。表示制御部１６０は、ファイル取得部１６１、代表画像抽出部１６２、サムネイル作成部１６３、表示処理部１６４とから構成されている。
【００２０】
ファイル取得部１６１は、表示制御部１６０による処理で表示部１４０に表示する検索対象画像を記憶部１２０などから取得するものである。代表画像抽出部１６２は検索対象画像群から代表画像を抽出する処理を行うものである。代表画像の詳細、代表画像の表示の態様について後述する。
【００２１】
検索対象画像群とは、端末装置１００の記憶部１２０に保存されている画像であり、例えば、端末装置１００が機能として備える画像フォルダの中に存在する画像の全てである。また、その画像フォルダに中で画像が予め複数のサブフォルダに分類されている場合には、そのいずれかのサブフォルダの中に存在する画像の全てであってもよい。また、画像フォルダ内において撮影／取得順に並んでいる複数の画像のうちの２つの画像を指定して、その２つの画像に挟まれるすべての画像を検索対象画像群としてもよい。本技術による画像検索用ユーザインターフェースの利用の前に、ユーザが画像フォルダのどの範囲を検索対象画像群とするかを指定できるようにするとよい。
【００２２】
代表画像とは、「過去にユーザが所定の処理または操作を行った画像」および／または「多段階の色情報を有する画像」である。このような画像はユーザの記憶に強く残っている可能性が高く、ユーザが探している目的の画像である可能性が高いと考えられるからである。代表画像は検索対象画像群中における画像の並び順において離れた画像である。「並び順において離れた」とは、画像が記憶部１２０（画像フォルダ等）内に何らかの並び順で保存されている状態で、抽出された一の代表画像と他の代表画像とがその並び順において離れている（隣り合っていない）ことを意味する。何らかの並び順の例としては、撮影／取得順があり、その撮影／取得順において離れたとは、例えば、撮影／取得順において期間的（時期、時間、分、秒、季節、年、月、日など）に離れていることが挙げられる。「期間的に離れている」はあくまで一例であり、何らかの並び順で並んでいる複数の画像中から抽出された代表画像がその並び順において離れていればどのような基準で離れていてもよい。また、何らかの並び順としては、ユーザが決定して設定した並び順、端末装置１００がアルゴリズムにより決定して設定した並び順などもあり、何らかの基準により複数の画像が並んでいる順序であればどのようなものでもよい。代表画像の具体例については後述する。
【００２３】
サムネイル作成部１６３は、ファイル取得部１６１で取得した検索対象画像からサムネイル画像を作成するものである。サムネイル画像の表示について後述する。
【００２４】
表示処理部１６４は、ファイル取得部１６１で取得した検索対象画像、代表画像抽出部１６２により抽出された代表画像などを表示部１４０に表示して本技術に係る画像検索用ユーザインターフェースを表示部１４０に表示する処理を行うものである。
【００２５】
なお、表示制御部１６０はプログラムで構成され、そのプログラムは、予め端末装置１００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、制御部１１０が表示制御部１６０としての機能を担うようにしてもよいし、表示制御部１６０は制御部１１０から独立した構成であってもよい。さらに、表示制御部１６０は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
【００２６】
端末装置１００は以上のようにして構成されている。
【００２７】
［１−２．表示制御処理］
次に、表示制御部１６０により行なわれる画像検索用ユーザインターフェースの表示制御処理について説明する。図２は表示制御処理の流れを示すフローチャートである。まずステップＳ１１で、検索対象画像群の画像枚数と全画像表示閾値との比較が行われる。検索対象画像群の画像枚数が全画像表示閾値以上である場合、処理はステップＳ１２に進む（ステップＳ１１のＮｏ）。
【００２８】
次にステップＳ１２で検索対象画像群から代表画像の抽出が行なわれる。検索対象画像群に含まれる複数の画像は所定の枚数ごとのグループに分割され、そのグループごとに代表画像が抽出される。例えば、検索対象画像群を５０枚ずつや１００枚ずつなど一定の枚数ごとにグループ分けして各グループから代表画像を抽出してもよい。
【００２９】
例えば、検索対象画像群に２００枚の画像が含まれており、５０枚ごとに代表画像を抽出する場合、１枚目〜５０枚目のグループ、５１枚目〜１００枚目のグループ、１０１枚目〜１５０枚目のグループ、１５１枚目〜２００枚目のグループからそれぞれ代表画像が抽出される。代表画像を何枚の画像毎に抽出するかはデフォルトで設定されていてもよし、ユーザが設定可能であってもよいし、検索対象画像群の画像枚数に応じて表示制御部１６０が設定するようにしてもよい。
【００３０】
また、検索対象画像群に含まれる複数の画像を、画像に対応付けられたメタ情報に基づいてグループ分けして、そのグループごとに代表画像を抽出するようにしてもよい。例えば、画像に対応付けられた撮影／取得日時情報を用いる場合、「月」単位で検索対象画像群の画像をグループ分けして代表画像を抽出できる。検索対象画像群に２００枚の画像が含まれている場合、１枚目〜５０枚目が１月に撮影／取得された画像、５１枚目〜８０枚目が２月に撮影／取得された画像、８１枚目〜１３４枚目が３月に撮影／取得された画像、１３５枚目〜２００枚目が４月に撮影／取得された画像、というようにグループ分けがされる。そして、それらのグループごとに代表画像が抽出される。
【００３１】
次にステップＳ１３で、図３Ａに示すように、表示部１４０に複数の代表画像および複数の画像群が表示され、第１の状態に遷移する。また、この画像検索用ユーザインターフェースでは、表示部１４０に「戻るボタンＲ」が表示されている。戻るボタンＲは、画像検索のためにユーザにより行われた入力をやり直す指示を行うためのボタンである。本実施の形態では戻るボタンＲはソフトウェアボタンにより構成されている。
【００３２】
第１の状態では、検索対象画像群の中から抽出された複数の代表画像および、検索対象画像群中における代表画像以外の画像を示す情報である画像群が一列に並んで表示されている。画像群は１つ１つの画像を個別に視認できる状態ではなく、複数の画像があるということが理解できるアイコンとして示されている。この画像群を示すアイコンが特許請求の範囲における画像群情報に相当するものである。
【００３３】
代表画像と画像群は交互に並ぶように表示され、図３Ａでは、上から代表画像Ａ、画像群ａ、代表画像Ｂ、画像群ｂ、代表画像Ｃ、画像群ｃ、代表画像Ｄの順で表示されている。
【００３４】
第１の状態は、図５中の矢印に示すように所定の順序（例えば、撮影／取得順序）で記憶部１２０の画像フォルダに保存されている複数の検索対象画像の中から抽出された代表画像と、代表画像以外の複数の画像を表す画像群が表示されている。画像群は、代表画像とその次の代表画像の間に並んでいる複数の画像を示している。よって、画像群が示している画像群中における画像の数はそれぞれ異なっている。
【００３５】
図５では画像群ａに含まれる画像を（ａ）、画像群ｂに含まれる画像を（ｂ）、画像群ｃに含まれる画像を（ｃ）と表している。
【００３６】
次にステップＳ１４で代表画像、画像群または戻るボタンＲに対してユーザからの選択入力があったか否かが判定される。選択入力があった場合、処理はステップＳ１５に進む（ステップＳ１４のＹｅｓ）。
【００３７】
次にステップＳ１５でユーザからの選択入力が代表画像への選択入力か否かが判定される。入力が代表画像への選択入力である場合、処理はステップＳ１６に進む（ステップＳ１５のＹｅｓ）。そしてステップＳ１６で、図３Ｂに示すように、ユーザにより選択された画像が表示部１４０に全画面表示される第２の状態となる。図３Ｂにおいては、ユーザにより選択された代表画像Ｂが全画面表示されている。この選択された画像はユーザが探していた目的の画像であるため、表示部１４０に全画面表示してユーザに提示する。
【００３８】
この第２の状態から直接、画像のお気に入り登録、所定の画像加工処理（トリミング、回転、明度調整、色調調整、画像合成、アイコン重畳など）、メールに添付しての送信、インターネット上のＳＮＳ、画像共有サイトなどへのアップロード処理などを行えるようにしてもよい。
【００３９】
一方、ステップＳ１５でユーザからの入力が代表画像を選択する入力ではない場合、処理はステップＳ１７に進む（ステップＳ１５のＮｏ）。次にステップＳ１７で、ユーザからの選択入力が表示部１４０に表示されている画像群のいずれかを選択する入力であるか否かが判定される。
【００４０】
ユーザからの入力が画像群のいずれかを選択する入力である場合、処理はステップＳ１８に進む（ステップＳ１７のＹｅｓ）。次にステップＳ１８で検索対象画像群の画像枚数と全画像表示閾値との比較が行われる。検索対象画像群の画像枚数が全画像表示閾値以上である場合、処理はステップＳ１９に進む（ステップＳ１８のＹｅｓ）。
【００４１】
そしてステップＳ１９で、選択された画像群から新たな代表画像の抽出が行なわれる。次にステップＳ２０に進み、図３Ｃに示すように、表示部１４０にユーザに選択された画像群から抽出された新たな代表画像および画像群が表示される第３の状態に遷移する。
【００４２】
ユーザが代表画像を選択せずに画像群を選択する場合とは、ユーザが探している画像が現在表示されている代表画像ではなく、画像群の中にある場合である。ユーザは表示部１４０に表示されている複数の代表画像を見て、画像の保存順序、画像の関連性などに基づいて探している画像がどこにあるかの目星をつけて画像群を選択する。
【００４３】
図３Ｃでは、画像群ａに対してユーザから入力がなされたとして、画像群ａから抽出された、代表画像ａＸ、代表画像ａＹと、画像群ａ−１、画像群ａ−２、画像群ａ−３が新たに表示されている。
【００４４】
この点について図６を参照して説明する。ユーザにより画像群aが選択されると、ステップＳ１９で画像群ａの中に含まれる複数の画像から新たな代表画像が抽出される。そして、ステップＳ２０でその新たな代表画像ａＸ、代表画像ａＹが代表画像Ａと代表画像Ｂの間に表示される。さらに、代表画像Ａと代表画像ａＸとの間に新たな画像群ａ−１が表示され、代表画像ａＸと代表画像ａＹの間に新たな画像群ａ−２が表示され、代表画像ａＸと代表画像Ｂとの間にも新たな画像群ａ−３が表示される。画像群ａ−１、画像群ａ−２、画像群ａ−３は全て画像群ａの中に含まれている画像である。
【００４５】
図３Ｃおよび図６では画像群ａ−１に含まれる画像を（ａ−１）、画像群ａ−２に含まれる画像を（ａ−２）、画像群ａ−３に含まれる画像を（ａ−３）と表している。画像群ａ−１は、代表画像Ａから代表画像ａＸの間に並んでいる画像である。また、画像群ａ−２は代表画像ａＸから代表画像ａＹの間に並んでいる画像である。さらに、画像群ａ−３は代表画像ａＹから代表画像Ｂの間に並んでいる画像である。
【００４６】
このように、代表画像が新たに抽出されると、所定の順序（例えば、撮影／取得順序）で並んでいる検索対象画像群内において代表画像と代表画像との間に並んでいる画像が新たな画像群としてまとめられて表示される。よって、個々の画像群それぞれに含まれる画像の数は同一の場合もあれば異なる場合もある。
【００４７】
なお、上記の説明では画像群ａが選択されると、画像群ａから代表画像ａＸおよび代表画像ａＹが抽出されているが、画像群の中から抽出される代表画像の数は２つに限られるものではない。この説明はあくまで例示であり、抽出される代表画像が１つの場合もあれば３つ以上の場合もありうる。
【００４８】
なお、図３Ｃにおいては代表画像Ｃ、画像群ｃ、代表画像Ｄが現れていないが、表示部１４０の一画面中に全ての代表画像および画像群を表示できない場合には、画面を上下方向などにスクロールさせることより、表示されていない代表画像、画像群が表示されるようにするとよい。
【００４９】
フローチャートの説明に戻る。処理はステップＳ２０からステップＳ１４に進み、ステップＳ１４乃至ステップＳ１７でユーザからからの選択入力に応じた処理が行なわれる。
【００５０】
一方、ステップＳ１７でユーザからの選択入力が画像群への選択入力ではない場合、それはユーザの入力が代表画像の選択入力でもなく、画像群の選択入力でもなく、戻るボタンＲへの入力であるため、処理はステップＳ２１に進む（ステップＳ１７のＮｏ）。
【００５１】
そしてステップＳ２１で、直近のステップＳ１９で代表画像が抽出された画像群と、検索対象画像群において、ステップＳ１９で代表画像が抽出された画像群の１つ前に並ぶ代表画像が検索対象画像群から除外される。そしてステップＳ２２で、表示部１４０に検索対象画像群から除外された代表画像および画像群に対応する画像群以外の代表画像および画像群が表示される。
【００５２】
この点について、ユーザから画像群ａに選択入力があった後、戻るボタンＲに入力がなされた場合を想定して説明を行う。ユーザが画像群ａを選択した後に戻るボタンＲに入力を行ったということは、画像群ａから展開されて図３Ｃに示すように表示部１４０に表示された画像群ａ−１、代表画像ａＸ、画像群ａ−２、代表画像ａＹ、画像群ａ−３には目的の画像はなかったということである。よって、画像群ａ−１、代表画像ａＸ、画像群ａ−２、代表画像ａＹ、画像群ａ−３を検索対象画像群から除外して非表示にする。さらに、選択された画像群ａの並び順で１つ前の代表画像である代表画像Ａも選択されなかったということはユーザの目的の画像ではないということで検索対象画像群から除外して非表示にする。これにより、表示部１４０における表示は図４Ａに示す状態となる。
【００５３】
このようにして、画像群が選択され、特定の画像を選択することなく戻るボタンＲに入力がされた場合、その画像群中にユーザの目的の画像がないということなので、検索対象画像群から画像を除外していく。さらに、その検索対象画像群から除いた画像を非表示にする。ユーザの目的の画像が見つかるまで上述の入力およびそれに応じた処理を繰り返すことにより、検索対象画像は徐々に減っていくので、検索対象を絞っていき、目的の画像を見つけやすくなる。
【００５４】
そして処理はステップＳ１１に戻り、検索対象画像群の画像枚数と全画像表示閾値との比較が行われる。ここで全画面表示閾値と比較されるのは、ステップＳ２１の除外処理によって画像数が減った後の検索対象画像群である。
【００５５】
検索対象画像群の画像枚数が全画像表示閾値以下である場合、処理はステップＳ２３に進む（ステップＳ１１のＮｏ）。そして、ステップＳ２３で検索対象画像群の全ての画像についてサムネイル作成部１６３でサムネイル画像が作成され、図４Ｂに示すように表示部１４０にサムネイル画像が表示される。これは、検索対象画像群の画像枚数が全画像表示閾値以下であり、検索対象画像群の全ての画像を表示部１４０に表示できる場合には、ユーザが個々の画像を視認できるようにサムネイル表示したほうがよいからである。
【００５６】
次にステップＳ２４でサムネイル表示されている画像のいずれかに対してユーザからの選択入力があったか否かが判定される。この選択入力はユーザがサムネイル表示されている画像の中から探していた目的の画像を見つけた場合にその画像を選択し、種々の処理などを行うためのものである。選択入力がない場合、選択入力があるまでステップＳ２４の判定が繰り返される（ステップＳ２４のＮｏ）。そして、ユーザからの選択入力があった場合、処理はステップＳ１６に進む（ステップＳ２４のＹｅｓ）。
【００５７】
そしてステップＳ１６で、図４Ｃに示すように、ユーザに選択された画像が表示部１４０に全画面表示されて処理は終了となる。この選択された画像はユーザが探していた目的の画像であるため、表示部１４０に全画面表示してユーザに提示する。
【００５８】
また、ステップＳ１８で検索対象画像群の画像枚数が全画像表示閾値以下である場合、処理はステップＳ２３に進む（ステップＳ１８のＮｏ）。そして、ステップＳ２３で検索対象画像群の全ての画像についてサムネイル作成部１６３でサムネイル画像が作成され、表示部１４０にサムネイル画像が表示される。
【００５９】
なお、画像群へのユーザからの選択入力を受けて、新たな代表画像および新たな画像群を表示する場合、選択された画像群から新たな代表画像および新たな画像群が展開される様子をアニメーションで表示してもよい。それにより、ユーザはどの画像群からどの代表画像および画像群が展開されたかを容易に把握することができる。
【００６０】
［１−３．代表画像］
次に代表画像の具体例について説明する。代表画像の第１の例は、ユーザがタグ情報（ロック、お気に入りなど含む）を付加した画像がある。これはユーザが端末装置１００から消去しないようにしたロック（保護）した画像、お気に入りに登録した画像は当然ユーザの記憶に強く残っていると考えられるからである。
【００６１】
代表画像の第２の例は、所定の画像加工処理（トリミング、回転、明度調整、色調調整、画像合成、アイコン重畳など）が施された画像である。ユーザがこのような画像加工処理を施したということは、ユーザはよりよい状態でその画像を保存しておきたいと考えており、そのような画像はユーザが探している画像である可能性が高いと考えられるからである。また、そのような画像加工処理が施された画像は、ユーザがその画像を友人に送信する、インターネット上のＳＮＳ、画像共有サイトなどにアップロードするなどを行った可能性が高く、ユーザの記憶に強く残っており、ユーザが探している画像である可能性が高いと考えられるからである。画像加工処理の有無に基づいて代表画像を抽出する場合は画像に対する画像加工処理の履歴を保存しておく必要がある。また、端末装置１００が画像加工処理履歴を保存する機能を有している場合には表示制御部１６０はその履歴を端末装置１００から得てもよい。
【００６２】
代表画像の第３の例は、表示回数が所定の回数以上の画像である。この場合の表示とは、表示部１４０に全画面表示させた回数を意味する。画像の表示回数が所定回数以上である場合それはユーザがその画像を何度も見ているまたは他人に見せているということを意味する。よって、そのような画像はユーザの記憶に強く残っており、ユーザが探している画像である可能性が高いと考えられる。なお、表示回数に基づいて代表画像を抽出する場合、表示制御部１６０は画像ごとに表示回数をカウントし保存しておく必要がある。また、端末装置１００が表示回数カウント機能を有している場合には表示制御部１６０は表示回数情報を端末装置１００から得てもよい。
【００６３】
代表画像の第４の例は、表示時間が所定時間以上の画像である。この場合の表示時間とは、例えば、表示部１４０において全画面表示させている時間の長さを意味する。画像の表示時間が所定時間以上である場合それはユーザがその画像を長時間見ている、または他人に見せているということを意味する。よって、そのような画像はユーザの記憶に強く残っており、ユーザが探している画像である可能性が高いと考えられる。なお、表示時間に基づいて代表画像を抽出する場合、表示制御部１６０は画像ごとに表示時間を計測し保存しておく必要がある。また、端末装置１００が表示時間計測機能を有している場合には表示制御部１６０は表示時間情報を端末装置１００から得てもよい。
【００６４】
代表画像の第５の例は、画像の共有回数が所定の回数以上の画像である。ここで共有とは、画像をメールや相互通信アプリケーションで友人に送る、画像をインターネット上のＳＮＳや画像共有サイトにアップロードするなど、自分以外の他人がその画像を見ることができる状態にすることを指すものとする。なお、共有回数に基づいて代表画像を抽出する場合、表示制御部１６０は画像ごとに共有回数をカウントし保存しておく必要がある。
【００６５】
端末装置１００が、ユーザにより画像フォルダから選択された一の画像を共有できる機能を備える場合、端末装置１００はその処理（共有処理）を行った回数を把握することが可能である。過去にこの共有を行った回数が所定回数以上である場合、その画像はユーザの記憶に強く残っており、ユーザが探している画像である可能性が高いと考えられる。よって、端末装置１００がこのような共有回数カウント機能を有している場合には表示制御部１６０は共有回数情報を端末装置１００から得てもよい。
【００６６】
また、上述した第１乃至第５の例以外にも、「多段階の色情報を有する画像」も代表画像とすることができる。ここでいう色情報とはＲＧＢ（Red、Green、Blue）、ＹＵＶ等、色空間を表す情報全般が含まれるものである。また、単調な白黒を基調とした明度の情報も含まれる。多段階の色情報を持つ画像を判別する手法例としてヒストグラムによる手法がある。この点について図７を参照して説明する。図７は画像のヒストグラムの例を示すものである。横軸は画像の色情報を示す入力値Ｖであり、縦軸は画素数に基づく画素の出現頻度である。図７のグラフは色情報ごとにその色を有する画素が画像中においてどの程度を存在するかを示しているものである。
【００６７】
縦軸の画素の出現頻度に対して所定の閾値Ｈｔを設定し、グラフの曲線が閾値Ｈｔと交差する点における色情報の入力値をそれぞれＶ１、Ｖ２、Ｖ３とし、グラフにおける色情報の入力値の最大値をＶ４とする。そして、下記の式（１）を満たす場合に画像は多段階の色情報を有しているとする。
【００６８】
［数１］
（（Ｖ２−Ｖ１）＋(Ｖ４−Ｖ３))／（Ｖmax−Ｖmin）＞Ｗｔ・・・・（１）
【００６９】
式（１）において、Ｖmaxは入力値Ｖの最大値、Ｖminは入力値Ｖの最小値、Ｗｔは画素数に対して設定した閾値以上の入力値Ｖの画像全体における割合Ｗに対する閾値である。なお、上述の画像が多段階の色情報を有しているか否かの判断方法はあくまで一例であり、本技術はそれに限定されるものではない。
【００７０】
本実施の形態における画像表示処理は以上のようにして行なわれる。本技術によれば、ユーザが大量の画像の中から目的の画像を探す際に、ユーザの記憶に強く残っており、ユーザが探している画像である可能性が高い画像を優先して提示することができるので、ユーザは迅速かつ容易に目的の画像を見つけることができる。
【００７１】
また本技術によれば、例えば、日時、場所などの検索条件の入力を行うことなく目的の画像を検索することができる。よって、ユーザが目的の画像の正確な撮影条件（撮影／取得日時など）を憶えていなくても、迅速かつ容易に目的の画像を見つけることができる。
【００７２】
検索対象画像の全てを表示して検索する形態、または代表画像のみを表示して検索する形態に比べてユーザの検索にかける負担を低減させることができる。
【００７３】
誤検索の結果、戻るボタンＲにより戻り操作を行った場合、検索対象画像の枚数が減っていくので、検索対象画像を絞り込んでいくことができ、再検索にかける負担を低減するとともに、検索の精度を徐々に高めることができる。
【００７４】
なお、本技術により表示部１４０に表示させて検索可能な画像は、カメラ機能による撮影で取得した画像に限られない。インターネットのウェブサイトから保存した画像、動画のサムネイル画像、音声ファイルに対応付けられたジャケット画像、アプリケーションのアイコン画像、ウェブサイトのファビコン画像などであってもよい。
【００７５】
なお、端末装置１００の音楽再生アプリケーション、動画再生アプリケーションなどと連動させて、またはそれらのアプリケーションが本技術に係る機能を備え、本技術の機能で楽曲検索、動画検索を行えるようにしてもよい。また、端末装置１００にインストールされた複数のアプリケーションのアイコン画像に本技術を適用し、アプリケーションの検索を行えるようにしてもよい。
【００７６】
なお、表示部１４０に代表画像と画像群を表示する場合に、図８に示すように、代表画像の前後の画像を画像群ではなく単体の画像として代表画像より小さく表示するようにしてもよい。代表画像はユーザの記憶に強く残っており、ユーザが探している画像である可能性が高いものであるため、その前後の画像（時系列で代表画像の前後に得られた画像）もユーザが探している画像である可能性が高いと考えられるからである。
【００７７】
さらに、画像群の周囲にその画像群内に含まれる画像の枚数を示すアイコン／記号を表示してもよい。例えば、図９Ａに示すように、点１つが画像１０枚を意味するように定義し、画像群内に４０枚の画像がある場合には点を４つ表示する。また、例えば、画像群内に２２枚の画像がある場合には四捨五入して点を２つ表示する。
【００７８】
また、画像群の周囲にその画像群内に含まれる画像の枚数を示す数値で表示してもよい。例えば、画像群内に５０枚の画像が含まれる場合には図９Ｂに示すように画像群の横に５０と表示する。このように表示することにより、ユーザは画像群にどのくらいの枚数の画像が含まれているかを容易に把握することができ、画像検索の効率をより高めることができる。
【００７９】
実施の形態では、検索対象画像群を複数のグループに分け、各グループから代表画像を抽出すると説明した。しかし、１つの基準に基づいて代表画像を抽出しようとすると、１つのグループから多数枚の代表画像が抽出されてしまう場合が考えられる。例えば、同じグループ内でユーザがお気に入り登録した画像が多数枚ある場合や、表示回数に基づいて代表画像を抽出する場合に表示回数が同一である画像が同じグループ内に多数枚ある場合などである。
【００８０】
このような場合を防ぐために、代表画像抽出において複数の基準を併用してそれら複数の基準に優先度を予め設定しておくとよい。例えば、図１０のフローチャートに示す処理を行って代表画像を抽出することができる。図１０のフローチャートでは３つの基準を用いて代表画像を抽出するものとする。
【００８１】
まずステップＳ３１で第１の基準に基づいて代表画像が抽出される。次にステップＳ３２で抽出された代表画像が所定枚数以下であるかが判定され、代表画像が所定枚数以下である場合には処理はステップＳ３６に進み（ステップＳ３２のＹｅｓ）、その抽出された画像が代表画像として決定される。
【００８２】
一方、ステップＳ３２で代表画像が所定枚数以下ではないと判定された場合、処理はステップＳ３３に進む（ステップＳ３２のＮｏ）。次にステップＳ３３で、ステップＳ３１で抽出された複数の代表画像から第２の基準に基づいて代表画像の抽出を行う。
【００８３】
そしてステップＳ３４で、ステップＳ３３で抽出された代表画像が所定枚数以下であるかが判定され、代表画像が所定枚数以下である場合には処理はステップＳ３６に進み（ステップＳ３４のＹｅｓ）、ステップＳ３３で抽出された画像が代表画像として決定される。
【００８４】
一方、ステップＳ３４で代表画像が所定枚数以下ではないと判定された場合、処理はステップＳ３５に進む（ステップＳ３４のＮｏ）。次にステップＳ３５で、ステップＳ３３で抽出された複数の代表画像から最終基準に基づいて代表画像の抽出を行う。この場合の最終基準とは、例えば、「撮影／入手日時が早い画像を抽出する」など、２つ以上の画像が抽出されることのない基準である。
【００８５】
そして、ステップＳ３６で１つの画像が最終的に抽出される代表画像として決定される。このようにすることで最終的に必ず１つの代表画像を抽出することができる。なお、図１０のフローチャートでは第１の基準、第２の基準および最終基準に基づいて代表画像の抽出を行ったが、それはあくまで説明の便宜上使用する基準の数は３つに限られるものではない。また、代表画像は必ず１つのグループから１枚のみ抽出するのではなく、複数枚抽出されてもよい。
【００８６】
また、実施の形態で説明した全画像表示閾値は、表示部１４０に一度に同時に表示することができるサムネイル画像の枚数に必ずしも一致するものではない。例えば、図１１Ａに示すように表示部に同時に表示することができるサムネイル画像の最大枚数が１５枚である場合、全画像表示閾値は１５としてもよいし、１５以上としてもよい。
【００８７】
例えば、図１１Ａから図１１Ｂのへスクロール入力により画面遷移に示すように、全画像表示閾値を２画面分のサムネイル画像表示の最大枚数である３０としてもよい。全画像表示閾値が一画面におけるサムネイル画像の表示上限以上の場合、図１１Ａから図１１Ｂへの遷移で示すように、ユーザから画面をスクロール操作により表示されるサムネイル画像が変化することになる。図１１Ａにおいては１〜１５枚目のサムネイルが表示され、図１１Ｂでは１６〜３０枚目までのサムネイルが表示されている。
【００８８】
上述の実施の形態では検索対象画像群から除外された画像は表示部１４０において非表示にすると説明を行ったが、除外された画像の扱いはそれだけに限られない。図１２Ａに示すように、検索対象画像群から除外された画像である代表画像と画像群を除外されてない画像と区別できる態様で表示部１４０に表示してもよい。図１２Ａでは除外された代表画像Ａと画像群ａは薄く破線で表示されている。区別できる態様は例えば、濃淡を変化させて薄く表示する、透過状態で表示する、色を変化させるなど、区別できればどのような態様であってもよい。
【００８９】
また、図１２Ｂに示すように、検索対象画像群から除外された画像（図１２Ａにおける代表画像Ａと画像群ａ）を非表示にし、除外されていない画像群から新たな代表画像を抽出し、その代表画像を表示するとともにその代表画像の前後の複数の画像を新たな画像群として表示してもよい。図１２Ｂでは、代表画像Ｎと画像群ｎ１、ｎ２が新たに表示されている。
【００９０】
なお、本技術は画像の検索において検索条件の入力が必要ないと説明したが、画像検索条件の入力との併用を禁止するものではない。任意の検索条件を用いた画像の絞り込み（フィルタリング）を行ってもよい。
【００９１】
絞り込み（フィルタリング）のための任意の検索条件としては、過去の検索結果、被写体検出情報、顔検出情報、位置情報、撮影に用いたメタ情報、撮影／取得日時情報、ユーザが画像に付加したタグ情報、画像に付加されたピント情報などが挙げられる。
【００９２】
例えば、撮影／取得日時情報を用いる場合、ユーザが具体的な日時または期間を入力すると、画像にEXIF情報として対応付けられた日時情報を参照して、入力された日時または期間以外の画像を除外する。または、入力された日時または期間の画像を除外するようにしてもよい。いずれを除外するかはユーザが指定できるようにするとよい。
【００９３】
また、顔検出情報を用いる場合、まず検索対象画像群の全画像に対して顔検出処理を行い、検出された顔を含んだ画像（１つの顔につき一枚の画像）を一覧として表示部１４０に表示してユーザに提示する。そして、ユーザにより、表示された複数の顔の中から１つが選択されると、選択されなかった顔を含む画像を除外する。または、選択された顔を含む画像を除外するようにしてもよい。いずれを除外するかはユーザが指定できるようにするとよい。
【００９４】
また、画像に撮影時のピント情報が対応付けられている場合、ピントが合っている画像のみが検索対象画像群となるようにピントが合っていない画像を除外することも可能である。
【００９５】
この絞り込み（フィルタリング）は、図２のフローチャートにおけるステップＳ１１の前、すなわち表示制御処理を開始する前に行ってもよい。また、ステップＳ１７からステップＳ２１の間、すなわち、戻るボタンＲに入力が行なわれて検索対象画像群から画像を除外する前に行ってもよい。また、ステップＳ２２からステップＳ１１の間、すなわち、戻るボタンＲに入力が行なわれて検索対象画像群から画像を除外した後に行ってもよい。
【００９６】
また、公知の画像解析処理を行い、画像の撮影／取得日時、色分布検出結果、被写体認識結果などから検索対象画像群をグループ分けして、一のグループを選択して他のグループを除外することにより絞り込み（フィルタリング）を行ってもよい。画像の撮影／取得日時、色分布検出結果、被写体認識結果などの情報を複合的に用いて画像をグループ分けすることにより、例えば、イベント（例えば、旅行、ホームパーティーなど）ごとに画像をグループ分けしてその中から目的の画像を見つけ出すことができる。
【００９７】
なお、例えば、検索対象画像群に画像Ａ、画像Ｂ、画像Ｃ・・・と画像が所定の順序で並んでいる場合に、画像Ａと画像Ｃが代表画像として抽出された場合には、代表画像Ａと代表画像Ｃの間には画像Ｂのみからなる画像群が表示されることになる。
【００９８】
＜２．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
【００９９】
図１３は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１３を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV  Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。
【０１００】
手術室には、様々な装置が設置され得る。図１３では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ〜５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。
【０１０１】
ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ〜５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
【０１０２】
視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ〜５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。
【０１０３】
具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
【０１０４】
あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。
【０１０５】
視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ〜５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal  Computer））である。
【０１０６】
また、図１３では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
【０１０７】
手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。
【０１０８】
手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。
【０１０９】
図１４は、集中操作パネル５１１１における操作画面の表示例を示す図である。図１４では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図１４を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。
【０１１０】
発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。
【０１１１】
プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。
【０１１２】
コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical  User  Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。
【０１１３】
また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。
【０１１４】
なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。
【０１１５】
図１５は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。
【０１１６】
内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１３に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１５では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
【０１１７】
以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。
【０１１８】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ〜５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ〜５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【０１１９】
内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。
【０１２０】
（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。
【０１２１】
（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。
【０１２２】
鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０１２３】
カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【０１２４】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【０１２５】
（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１３に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。
【０１２６】
表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。
【０１２７】
光源装置５１５７は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。
【０１２８】
アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。
【０１２９】
入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。
【０１３０】
入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。
【０１３１】
あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head  Mounted  Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【０１３２】
処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０１３３】
以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。
【０１３４】
（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１５では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ〜５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ〜５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。
【０１３５】
関節部５１４７ａ〜５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ〜５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ〜５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。
【０１３６】
例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。
【０１３７】
また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ〜５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。
【０１３８】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【０１３９】
なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ〜５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。
【０１４０】
（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０１４１】
また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０１４２】
また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow  Band  Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０１４３】
（カメラヘッド及びＣＣＵ）
図１６を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１６は、図１５に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。
【０１４４】
図１６を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。
【０１４５】
まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【０１４６】
撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。
【０１４７】
撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【０１４８】
また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。
【０１４９】
また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。
【０１５０】
駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。
【０１５１】
通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。
【０１５２】
また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。
【０１５３】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto  Exposure）機能、ＡＦ（Auto  Focus）機能及びＡＷＢ（Auto  White  Balance）機能が内視鏡５１１５に搭載される。
【０１５４】
カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。
【０１５５】
なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【０１５６】
次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。
【０１５７】
また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【０１５８】
画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【０１５９】
画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【０１６０】
制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【０１６１】
また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【０１６２】
カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０１６３】
ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。
【０１６４】
以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【０１６５】
本開示に係る技術は、以上説明した応用例のうち、手術中において撮影された手術の画像をパーソナルコンピュータ、タブレット端末などに転送および保存して、その画像を検索する場合に利用できる。
【０１６６】
＜３．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【０１６７】
実施の形態では端末装置がスマートフォンである場合を例にして説明を行ったが、端末装置はタブレット端末、パーソナルコンピュータ、携帯ゲーム機、ウェアラブル端末、デジタルカメラなどでもよい。表示部と記憶部（外部記憶部でも可）を備え、記憶部に保存されている画像を表示する機能を有する装置であればどのようなものにも適用可能である。
【０１６８】
本技術は以下のような構成も取ることができる。
（１）
検索対象画像群から抽出された複数の代表画像および、複数の前記代表画像の間に前記検索対象画像群に前記代表画像以外の画像があることを示す前記代表画像とは異なる形態で表示される画像群情報を表示する制御を行う制御部
を備える表示制御装置。
（２）
前記代表画像は、前記検索対象画像群中における画像の並び順において離れた画像である（１）に記載の表示制御装置。
（３）
前記表示部において前記代表画像と前記画像群情報とは、交互に並んで表示される（１）または（２）に記載の表示制御装置。
（４）
前記画像群情報は、前記画像が所定の順序で保存されている前記検索対象画像群中において、複数の前記代表画像間に前記所定の順序に沿って前記代表画像以外の画像が存在することを示す（１）から（３）のいずれかに記載の表示制御装置。
（５）
前記表示部に表示されている複数の前記代表画像における一の前記代表画像を選択するユーザの入力がなされると、前記一の代表画像のみを前記表示部に表示する（１）から（４）のいずれかに表示制御装置。
（６）
前記表示部に表示されている前記画像群情報を選択するユーザの入力がなされると、入力がなされた前記画像群情報に対応する画像群から代表画像を抽出して前記表示部に表示する（１）から（５）のいずれかに記載の表示制御装置。
（７）
入力がなされた前記画像群情報に対応する画像群から抽出された前記代表画像以外の画像を画像群情報として前記表示部に表示する（６）に記載の表示制御装置。
（８）
前記表示部に表示されている前記画像群情報を選択する入力がなされた後、選択取り消しを指示する入力がなされると、選択された前記画像群情報に対応する画像を前記検索対象画像群から除外する（６）に記載の表示制御装置。
（９）
前記検索対象画像群における画像の数が所定の数以下となると、前記検索対象画像群の全ての画像を前記表示部にサムネイル表示する（８）に記載の表示制御装置。
（１０）
前記代表画像は、前記検索対象画像群を複数のグループに分類し、前記複数のグループごとに代表画像を抽出する（１）から（１０）のいずれかに記載の表示制御装置。
（１１）
前記代表画像は、ユーザがタグ情報を付加した画像である（１）から（１０）のいずれかに記載の表示制御装置。
（１２）
前記代表画像は、ユーザが所定の画像処理を施した画像である（１）から（１０）のいずれかに記載の表示制御装置。
（１３）
前記代表画像は、過去に前記表示部に所定時間以上表示された画像である（１）から（１０）のいずれかに表示制御装置。
（１４）
前記代表画像は、過去に前記表示部に所定回数以上表示された画像である（１）から（１０）のいずれかに記載の表示制御装置。
（１５）
前記代表画像は、所定値以上の色情報を有する画像である（１）から（１０）のいずれかに記載の表示制御装置。
（１６）
検索対象画像群から抽出された複数の代表画像および、複数の前記代表画像の間に前記検索対象画像群に前記代表画像以外の画像があることを示す前記代表画像とは異なる形態で表示される画像群情報を表示する制御を行う
表示制御方法。
（１７）
検索対象画像群から抽出された複数の代表画像および、複数の前記代表画像の間に前記検索対象画像群に前記代表画像以外の画像があることを示す前記代表画像とは異なる形態で表示される画像群情報を表示する制御を行う
表示制御方法をコンピュータに実行させる表示制御プログラム。
【符号の説明】
【０１６９】
１４０・・・表示部
１６０・・・表示制御部
【図１】
2018235489.tif 000003
【図２】
2018235489.tif 000004
【図３】
2018235489.tif 000005
【図４】
2018235489.tif 000006
【図５】
2018235489.tif 000007
【図６】
2018235489.tif 000008
【図７】
2018235489.tif 000009
【図８】
2018235489.tif 000010
【図９】
2018235489.tif 000011
【図１０】
2018235489.tif 000012
【図１１】
2018235489.tif 000013
【図１２】
2018235489.tif 000014
【図１３】
2018235489.tif 000015
【図１４】
2018235489.tif 000016
【図１５】
2018235489.tif 000017
【図１６】
2018235489.tif 000018
【国際調査報告】
2018235489.tif 000019
2018235489.tif 000020
2018235489.tif 000021
2018235489.tif 000022