(57)【要約】【課題】複数のカメラから出力された画像をレイアウトする装置において、放送に使用する画像の選択及び決定と、カメラ操作による画像調整と、の両方を好適に行うことができるようにする。【解決手段】複数の撮像装置による撮像で得られた撮像画像が入力される入力手段と、前記複数の撮像画像を合成した合成画像を出力する出力手段と、前記複数の撮像装置の各々において行われている撮像操作の情報である操作情報を取得する第１取得手段と、前記複数の撮像画像を入力しいずれか１つを選択して出力する選択装置において選択中の撮像装置の情報である選択情報を取得する第２取得手段と、前記操作情報及び前記選択情報に基づき前記合成画像における前記複数の撮像画像のレイアウトを決定する決定手段と、前記決定手段が決定したレイアウトに基づき前記合成画像を生成する合成手段と、を備えることを特徴とする画像出力装置。【選択図】図１
2018037981.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置による撮像で得られた撮像画像が入力される入力手段と、
前記複数の撮像画像を合成した合成画像を出力する出力手段と、
前記複数の撮像装置の各々において行われている撮像操作の情報である操作情報を取得する第１取得手段と、
前記複数の撮像画像を入力しいずれか１つを選択して出力する選択装置において選択中の撮像装置の情報である選択情報を取得する第２取得手段と、
前記操作情報及び前記選択情報に基づき前記合成画像における前記複数の撮像画像のレイアウトを決定する決定手段と、
前記決定手段が決定したレイアウトに基づき前記合成画像を生成する合成手段と、
を備えることを特徴とする画像出力装置。
【請求項２】
前記決定手段は、前記選択中の撮像装置の撮像画像と、前記撮像操作が行われている操作中の撮像装置の撮像画像と、を前記レイアウトに含ませる請求項１に記載の画像出力装置。
【請求項３】
前記決定手段は、前記選択中の撮像装置が操作中でない場合、前記操作中の撮像装置の撮像画像の表示サイズが、前記選択中の撮像装置の撮像画像の表示サイズより大きくなるように、前記レイアウトを決定する請求項２に記載の画像出力装置。
【請求項４】
前記決定手段は、前記操作中の撮像装置が複数ある場合、前記操作中の複数の撮像装置の撮像画像の各々の表示サイズが同程度となるように前記レイアウトを決定する請求項３に記載の画像出力装置。
【請求項５】
前記決定手段は、前記選択中の撮像装置が操作中である場合、前記操作中の撮像装置の撮像画像の表示サイズと、前記選択中かつ操作中の撮像装置の撮像画像の表示サイズと、が同程度となるように、前記レイアウトを決定する請求項２に記載の画像出力装置。
【請求項６】
前記決定手段は、操作中の撮像装置が１つもない場合、前記複数の撮像画像が全て同程度の表示サイズとなるように前記レイアウトを決定する請求項１〜４のいずれか１項に記載の画像出力装置。
【請求項７】
前記操作情報は、前記撮像装置に対して行われている撮像操作の内容である操作内容の情報を含み、
前記決定手段は、前記操作情報、前記選択情報及び前記操作内容の情報に基づき、前記レイアウトを決定する請求項１〜６のいずれか１項に記載の画像出力装置。
【請求項８】
前記決定手段は、選択中かつ操作中でない撮像装置の撮像画像の表示サイズよりも、所定の操作内容で操作中の撮像装置の撮像画像の表示サイズが大きくなるように、前記レイアウトを決定する請求項７に記載の画像出力装置。
【請求項９】
前記決定手段は、選択中かつ操作中でない撮像装置の撮像画像の表示サイズと、所定の操作以外の操作内容で操作中の撮像装置の撮像画像の表示サイズとが、同程度の表示サイズになるように前記レイアウトを決定する請求項７に記載の画像出力装置。
【請求項１０】
前記決定手段は、所定の操作内容で操作中の撮像装置の撮像画像の表示サイズが、所定の操作以外の操作内容で操作中の撮像装置の撮像画像の表示サイズより大きくなるように、前記レイアウトを決定する請求項７〜９のいずれか１項に記載の画像出力装置。
【請求項１１】
前記所定の操作は、構図を変化させる操作である請求項８〜１０のいずれか１項に記載の画像出力装置。
【請求項１２】
前記所定の操作は、フォーカス、パン、ズームの調整に関する操作を含む請求項１１に記載の画像出力装置。
【請求項１３】
前記所定の操作以外の操作は、構図を変化させない操作である請求項８〜１２のいずれか１項に記載の画像出力装置。
【請求項１４】
前記所定の操作以外の操作は、明るさ、色あいの調整に関する操作を含む請求項１３に記載の画像出力装置。
【請求項１５】
前記入力手段は、前記レイアウトに含まれない撮像画像を出力する撮像装置から撮像画像を入力しない請求項１〜１４のいずれか１項に記載の画像出力装置。
【請求項１６】
前記画像出力装置に対し前記複数の撮像画像を出力する装置に対し、前記レイアウトに含まれない撮像画像を出力しないよう要求する請求項１〜１５のいずれか１項に記載の画像出力装置。
【請求項１７】
前記画像出力装置に対し前記複数の撮像画像を出力する装置に対し、前記レイアウトに含まれる撮像画像を、前記レイアウトにおける表示サイズに変換して出力するよう要求する請求項１〜１６のいずれか１項に記載の画像出力装置。
【請求項１８】
前記選択装置は、前記複数の撮像画像のうち放送する撮像画像を選択し出力する装置である請求項１〜１７のいずれか１項に記載の画像出力装置。
【請求項１９】
請求項１〜１８のいずれか１項に記載の画像出力装置と、
前記画像出力装置から出力される前記合成画像を表示する表示手段と、
を備える表示装置。
【請求項２０】
複数の撮像装置による撮像で得られた撮像画像が入力される入力工程と、
前記複数の撮像画像を合成した合成画像を出力する出力工程と、
前記複数の撮像装置の各々において行われている撮像操作の情報である操作情報を取得する第１取得工程と、
前記複数の撮像画像を入力しいずれか１つを選択して出力する選択装置において選択中の撮像装置の情報である選択情報を取得する第２取得工程と、
前記操作情報及び前記選択情報に基づき前記合成画像における前記複数の撮像画像のレイアウトを決定する決定工程と、
前記決定工程で決定したレイアウトに基づき前記合成画像を生成する合成工程と、
を有することを特徴とする画像出力装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像出力装置及びその制御方法に関するものである。
【背景技術】
【０００２】
ライブ放送を行う放送システムでは、複数のカメラを用いて撮像した複数の画像（複数の撮像装置による撮像で得られた複数の撮像画像）から、放送に使用する画像を選択・決定すること（以下「スイッチング」と記載する）が一般的に行われる。通常、カメラの向きやフォーカス、ズーム等の操作とスイッチングは、別の人が行う。スイッチングは、複数の画像をレイアウトして１つの画面に表示して行うシステムが一般的に用いられる。一方、小規模なライブ放送システムでは、撮影に要する人数が少ない。そのため、複数の画像が表示されたディスプレイを見ながら、カメラ操作とスイッチングを１人で行う場合がある。放送に使用する画像を切り換える際の手順は、まず、次に放送する画像のカメラを操作して調整し、放送中の画像と次に放送する画像を比較し、画像を切り換えて問題ないことを確認し、スイッチングする。この場合、画面に表示する画像について、カメラ操作とスイッチングそれぞれにおける望ましい表示レイアウトについて述べる。カメラ操作では、操作しているカメラの画像を大画面で表示する必要がある。理由は、例えばフォーカスを調整する場合、近年の撮像画像の高解像度化により、小画面で表示すると細かい表示ができず、正確にピントが合っているか確認できないためである。よって、不要な画像は可能な限り表示しないことが望まれる。また、スイッチングでは、放送に使用する画像を切り換える場合に違和感がないように、切換前後の画像を比較して表示する必要がある。この２つの要求に応えるには、カメラを操作しているか否か、及び放送に使用しているカメラ画像はどれか、といった外部から取得する情報に応じて、表示画像のレイアウトを動的に変更することが求められる。
【０００３】
複数の画像を表示する際、外部から取得する情報に応じて動的にレイアウトを変更する技術は、従来から提案がなされている。特許文献１では、表示装置が搭載しているアプリケーションのウィンドウを画面に複数表示する際に、外部から送信された情報に関連するアプリケーションのウィンドウを、他のアプリケーションのウィンドウより大きくする。例えば、「速報」という情報を外部から取得すると、予め速報に関連づけられているテレビ画面やインターネット画面を大きく表示することで、見落としを防止するための技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０５２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術を用いると、カメラ操作中かどうか、放送に使用中かどうかによって、対応するカメラ画像を他の画像より大きく表示することが可能となる。さらに、他の画像より小さくすることや、シングル／マルチの切り換えが可能となることも容易に想像できる。しかしながら、操作中でないカメラが放送に使用中の場合や、複数のカメラが同時に操作中の場合などの組み合わせの動作が実現できない。つまり、複数のカメラが「操作中か否か」の状態をもち、さらに操作中か否かのどちらかに「放送に使用中」があり、それぞれの状況に応じた適切なレイアウトを選択することが従来技術では実現できず、ユーザの利便性を達成できない課題があった。
【０００６】
そこで、本発明は、複数のカメラから出力された画像をレイアウトする装置において、放送に使用する画像の選択及び決定と、カメラ操作による画像調整と、の両方を好適に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、複数の撮像装置による撮像で得られた撮像画像が入力される入力手段と、
前記複数の撮像画像を合成した合成画像を出力する出力手段と、
前記複数の撮像装置の各々において行われている撮像操作の情報である操作情報を取得する第１取得手段と、
前記複数の撮像画像を入力しいずれか１つを選択して出力する選択装置において選択中の撮像装置の情報である選択情報を取得する第２取得手段と、
前記操作情報及び前記選択情報に基づき前記合成画像における前記複数の撮像画像のレイアウトを決定する決定手段と、
前記決定手段が決定したレイアウトに基づき前記合成画像を生成する合成手段と、
を備えることを特徴とする画像出力装置である。
【０００８】
本発明は、複数の撮像装置による撮像で得られた撮像画像が入力される入力工程と、
前記複数の撮像画像を合成した合成画像を出力する出力工程と、
前記複数の撮像装置の各々において行われている撮像操作の情報である操作情報を取得する第１取得工程と、
前記複数の撮像画像を入力しいずれか１つを選択して出力する選択装置において選択中の撮像装置の情報である選択情報を取得する第２取得工程と、
前記操作情報及び前記選択情報に基づき前記合成画像における前記複数の撮像画像のレイアウトを決定する決定工程と、
前記決定工程で決定したレイアウトに基づき前記合成画像を生成する合成工程と、
を有することを特徴とする画像出力装置の制御方法である。
【発明の効果】
【０００９】
本発明によれば、複数のカメラから出力された画像をレイアウトする装置において、放送に使用する画像の選択及び決定と、カメラ操作による画像調整と、の両方を好適に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１のブロック図
【図２】実施例１の管理部の処理フロー
【図３】カメラリスト情報の一例
【図４】実施例１のレイアウト部の処理フロー
【図５】実施例１のカメラリストとレイアウトの関係図
【図６】実施例２のブロック図
【図７】実施例２の管理部の処理フロー
【図８】カメラリスト情報の一例
【図９】実施例２のレイアウト部の処理フロー
【図１０】実施例２のカメラリストとレイアウトの関係図
【図１１】実施例３のブロック図
【図１２】実施例３のレイアウト部の処理フロー
【図１３】実施例４のブロック図
【図１４】実施例４のレイアウト部の処理フロー
【図１５】実施例４のカメラリストと画像サイズ情報の関係図
【発明を実施するための形態】
【００１１】
（実施例１）
実施例１では、複数の入力画像を表示する装置において、カメラ操作情報と放送中のカメラ情報に応じてレイアウトを決定する方法について説明する。
【００１２】
図１は、本発明の画像出力装置及びその制御方法の実施例１を説明するブロック図である。
【００１３】
撮像装置である第１カメラ１０１は、撮像で得られた画像である撮像画像を出力する。また、第１カメラ１０１は、カメラ（撮像装置）を識別する情報であるカメラ識別情報と、ユーザから操作されているかどうかを示すカメラ操作情報を画像データに重畳して切換装置１０３及びレイアウト装置１０４へ出力する。カメラ識別情報は、メーカ名、カメラ名、シリアル番号が入っており、カメラを一意に定める情報である。カメラ識別情報の内容は、カメラが一意に定まる情報であれば良く、特に限定されない。画像データへの重畳は、画像のフレーム毎にメタデータとして付加する方法を用いる。重畳の方法は任意であるが、フレームに付加することで、カメラを操作した時点のフレームにカメラ操作情報が重畳され、レイアウト装置１０４へ即時に伝達されるため、利便性が良い。カメラ操作情報は、通常ＯＦＦに設定されており、ユーザからの操作を検出した場合にＯＮ設定される。
【００１４】
第Ｎカメラ１０２の動作は、第１カメラ１０１の動作と同一である。カメラの台数Ｎは任意である。
切換装置１０３は、第１カメラ１０１から第Ｎカメラ１０２の全ての画像データを受信し、その内１つの画像を選択して、放送に使用する画像を決定する。画像の選択は、ユーザ操作により行う。また、放送に使用する画像を切り換えた際、切換後の画像に重畳されているカメラ識別情報を取得し、レイアウト装置１０４へ出力する。このカメラ識別情報は、放送に使用中の画像を出力しているカメラを識別するための情報であり、以降放送中カメラ情報と記述する。なお、ここでいう放送中カメラ情報は、複数のカメラ画像を入力しいずれか１つを選択して出力する選択装置としての切換装置１０３において選択中のカメラを示す選択情報の一例である。切換装置１０３とレイアウト装置１０４はＬＡＮケーブルで接続されており、放送中カメラ情報はＬＡＮ経由で伝送される。実施例１では、放送中カメラ情報の伝送にＬＡＮを用いているが、伝送方法については特に限定されない。
【００１５】
次に、レイアウト装置１０４の各ブロックを説明する。
第１入力部１０５は、第１カメラ１０１から画像データを受信し、合成部１１１へ出力する。また、第１入力部１０５は、第１カメラ１０１からカメラ識別情報とカメラ操作情報を受信し、第１管理部１０８へ出力する。
第Ｎ入力部１０６の動作は、第Ｎカメラ１０２に関して、第１入力部１０５の動作と同様の動作をする。
【００１６】
第１管理部１０８は、第１入力部１０５からカメラ識別情報とカメラ操作情報を取得し、カメラ操作中であるか否かを判定し、カメラ操作状態の情報をレイアウト部１１０へ送信する。判定の詳細については後述する。
第Ｎ管理部１０９の動作は、第Ｎカメラ１０２に関して、第１管理部１０８の動作と同様の動作をする。
取得部１０７は、切換装置１０３から、どのカメラの画像を放送で使用しているかを表す放送中カメラ情報を取得し、レイアウト部１１０へ出力する。
【００１７】
レイアウト部１１０は、第１管理部１０８〜第Ｎ管理部１０９からカメラ識別情報とカメラ操作状態の情報を取得する。また、レイアウト部１１０は、取得部１０７から、放送中カメラ情報を取得する。レイアウト部１１０は、取得したカメラ操作状態の情報及び放
送中カメラ情報に応じて、入力画像のレイアウトを決定し、合成部１１１へ出力する。レイアウト決定の詳細については後述する。
【００１８】
合成部１１１は、レイアウト部１１０から取得したレイアウト情報に従って、第１入力部１０５から第Ｎ入力部１０６から出力された合成画像を生成し、表示部１１２へ出力する。
表示部１１２は、合成部１１１より出力された画像を表示する。
【００１９】
なお、実施例１ではレイアウト装置１０４が表示部１１２を有する構成を例示するが、表示部１１２を有しない構成も本発明に含まれる。その場合、レイアウト装置は、複数のカメラから画像を受信し、カメラ操作情報と放送中カメラ情報とに基づいて受信した各カメラの画像をレイアウトし、外部の表示装置へ出力する画像出力装置となる。
【００２０】
＜管理部のカメラ操作情報送信処理＞
次に、第１管理部１０８が、カメラ操作中であるか否かを判定してレイアウト部１１０へカメラ操作情報を送信する処理について説明する。
【００２１】
まず、第１管理部１０８の動作概要を述べる。第１管理部１０８は、ユーザがカメラ操作しているかどうかを示すカメラ操作情報を第１入力部１０５から取得し、必要に応じて第１管理部１０８が管理するカメラ操作状態の情報を更新する。カメラ操作情報は、前述の通り、画像データに付加される情報（メタデータ）である。カメラ操作状態の情報は、カメラが操作中か否かを示す情報である。第１管理部１０８は、カメラ操作状態が変化した場合にレイアウト部１１０へカメラ操作状態を送信する。カメラ操作状態には２つあり、カメラ操作中の場合は操作中状態と、操作していない場合は非操作状態である。第１管理部１０８は、取得したカメラ操作情報がＯＮの場合に、カメラ操作状態を操作中状態とする。第１管理部１０８は、取得したカメラ操作情報がＯＦＦである期間（以下、非操作期間と記す）が所定の閾値以上の時間継続した場合に、カメラ操作状態を非操作状態とする。なお、非操作期間を判定する閾値は特に限定されないが、実施例１では例えば１０秒とする。この場合、１０秒間連続でカメラ操作情報がＯＦＦであったときに、第１管理部１０８は、管理するカメラ操作状態の情報を「非操作状態」に設定する。
【００２２】
以下に、図２のフローチャートを用いて、第１管理部１０８の処理の詳細について説明する。
第１管理部１０８は、まず、第１入力部１０５からメタデータ（カエラ操作情報、カメラ識別情報）を取得すると処理を開始する。取得のタイミングは任意であるが、フレーム単位で行うことが望ましい。理由は、カメラ操作をいち早く検出でき、レイアウトの変更を素早く行えるので、ユーザの利便性が良いためである。第１管理部１０８は、まず取得したメタデータからカメラ操作情報を取得する（Ｓ１００１）。
【００２３】
Ｓ１００１で取得したカメラ操作情報が「カメラ操作ＯＮ」であった場合（Ｓ１００２Ｙｅｓ）、第１管理部１０８は、保持しているカメラ操作状態の情報を確認する（Ｓ１００３）。保持しているカメラ操作状態の情報は、実施例１の場合、１つ前のフレームにおけるカメラ操作状態を示す。
【００２４】
保持しているカメラ操作状態の情報が「非操作状態」であった場合（Ｓ１００３Ｙｅｓ）、第１管理部１０８は、カメラ操作状態を「操作中状態」に変更する（Ｓ１００４）。第１管理部１０８は、第１カメラは操作中である旨をレイアウト部１１０へ送信（Ｓ１００５）し、非操作期間をリセットする（Ｓ１００６）。
保持しているカメラ操作状態の情報が「操作中状態」であった場合（Ｓ１００３Ｎｏ）、第１管理部１０８は、非操作期間をリセットする（Ｓ１００６）。
【００２５】
Ｓ１００１で取得したカメラ操作情報が「カメラ操作ＯＦＦ」であった場合（Ｓ１００２Ｎｏ）、第１管理部１０８は、保持しているカメラ操作状態を確認する（Ｓ１００７）。
保持しているカメラ操作状態の情報が「操作中状態」であった場合（Ｓ１００７Ｎｏ）、第１管理部１０８は、処理を終了する。
【００２６】
保持しているカメラ操作状態の情報が「非操作状態」であった場合（Ｓ１００７Ｙｅｓ）、第１管理部１０８は、非操作期間を更新する（Ｓ１００８）。ここで、非操作期間を更新するとは、記憶している非操作期間に所定の時間を加算することである。所定時間は、図２のフローチャートを実行する間隔であり、実施例１の場合、毎フレーム実行するので、所定時間は１フレーム時間である。フレームレートが６０ｆｐｓなら１／６０秒を非操作期間に加算する。次に、第１管理部１０８は、更新後の非操作期間が閾値以上であるかを確認する（Ｓ１００９）。実施例１では閾値は１０秒である。
【００２７】
非操作期間が１０秒未満であった場合（Ｓ１００９Ｎｏ）、第１管理部１０８は、処理を終了する。
非操作期間が１０秒以上であった場合（Ｓ１００９Ｙｅｓ）、第１管理部１０８は、カメラ操作状態を「非操作状態」に変更し（Ｓ１０１０）、第１カメラは非操作状態である旨をレイアウト部１１０へ送信する（Ｓ１０１１）。
【００２８】
＜レイアウト決定処理について＞
次に、レイアウト部１１０におけるレイアウトの決定処理について説明する。
レイアウト部１１０は、図３に示すカメラリスト情報をもつ。カメラリスト情報は、全カメラ、操作中カメラ、放送中カメラの３つの情報からなる。全カメラの情報は、レイアウト装置１０４に画像を入力している全てのカメラの情報である。
【００２９】
全カメラの情報は、第１管理部１０８〜第Ｎ管理部１０９から取得した全てのカメラのカメラ識別情報からなる。
操作中カメラの情報は、全カメラのうちユーザが操作中のカメラの情報である。レイアウト部１１０は、操作中カメラの情報を、第１管理部１０８〜第Ｎ管理部１０９から取得したカメラ操作状態の情報に基づき更新する。
放送中カメラの情報は、全カメラのうち放送でその出力画像を使用しているカメラの情報である。レイアウト部１１０は、放送中カメラの情報を、取得部１０７から取得した放送中カメラ情報に基づき更新する。
【００３０】
以下に、図４のフローチャートを用いて、レイアウト部１１０の処理の詳細について説明する。
レイアウト部１１０は、第１管理部１０８〜第Ｎ管理部１０９からカメラ操作状態の情報を取得した場合、又は取得部１０７から放送中カメラ情報を取得した場合に処理を開始する。
【００３１】
取得した情報が放送中カメラ情報であった場合（Ｓ１１０１Ｙｅｓ）、レイアウト部１１０は、カメラリストの放送中カメラの情報を更新する（Ｓ１１０２）。
取得した情報がカメラ操作状態の情報であった場合（Ｓ１１０１Ｎｏ）、レイアウト部１１０は、取得したカメラ操作状態の情報が「カメラ操作中」であるか否かを判定する（Ｓ１１０３）。
【００３２】
取得したカメラ操作情報が「カメラ操作中」であった場合（Ｓ１１０３Ｙｅｓ）、レイアウト部１１０は、カメラリストの操作中カメラ情報に、取得したカメラ操作情報に対応
するカメラのカメラ識別情報を追加する（Ｓ１１０４）。
取得したカメラ操作情報が「カメラ非操作」であった場合（Ｓ１１０３Ｎｏ）、レイアウト部１１０は、カメラリストの操作中カメラ情報から、取得したカメラ操作情報に対応するカメラのカメラ識別情報を削除する（Ｓ１１０５）。
【００３３】
カメラリストの更新が完了すると、次に、レイアウト部１１０は、カメラリストに応じてレイアウトを決定する処理を行う。まず、レイアウト部１１０は、カメラリストの操作中カメラの有無を確認する（Ｓ１１０６）。
【００３４】
操作中カメラがある場合（Ｓ１１０６Ｙｅｓ）、レイアウト部１１０は、操作中カメラの台数を取得し、当該台数で画面を分割したレイアウトに決定する（Ｓ１１０７）。さらに、レイアウト部１１０は、操作中カメラの中に放送中カメラが含まれているか確認し（Ｓ１００８）、含まれない場合（Ｓ１１０８Ｎｏ）、放送中カメラの画像を子画面で表示するようにレイアウトを決定する（Ｓ１１０９）。
操作中カメラがない場合（Ｓ１１０６Ｎｏ）、レイアウト部１１０は、カメラリストの全カメラの画像を表示するレイアウトに決定する（Ｓ１１１０）。
最後に、レイアウト部１１０は、決定したレイアウト情報を合成部１１１へ送信する。
【００３５】
図５は、カメラリストに応じたレイアウトの例を示す。図５の例では、レイアウト装置１０４に４つのカメラから画像が入力している場合を例に説明するが、レイアウト装置１０４に入力するカメラ画像の数はこの限りではない。
【００３６】
カメラリスト２０１の場合は、レイアウト２０２になる。本動作は、図４のＳ１１１０に相当する。操作中カメラがないので、入力しているカメラ台数（４）で画面を均等に分割し、全てのカメラ画像を表示する。このような表示にする理由は、ピント合わせ等のために大画面表示する必要がある操作中カメラが存在しないからである。
【００３７】
カメラリスト２０３の場合は、レイアウト２０４になる。本動作は、図４のＳ１１０９に相当し、操作中カメラが１台の例である。操作中カメラは１台のため、画面分割数は１となり、結果全画面表示となる。さらに、放送中カメラと操作中カメラは別なので（操作中カメラの中に放送中カメラが含まれない）、放送中カメラからの画像を子画面表示する。このような表示にする理由は、放送するカメラ画像を他のカメラに切り換える際に現在放送中のカメラ画像と比較してスイッチングが自然になるように調整する等の確認作業をするためである。
【００３８】
カメラリスト２０５の場合は、レイアウト２０６になる。本動作は、図４のＳ１１０９に相当し、操作中カメラが２台の例である。操作中カメラは２台のため、画面分割数は２となり、デュアル画面表示となる。さらに、放送中カメラと操作中カメラは別なので、放送中カメラからの画像を子画面表示する。
【００３９】
カメラリスト２０７の場合は、レイアウト２０８になる。本動作は、図４のＳ１１０８Ｙｅｓに相当し、操作中カメラが１台の例である。放送中カメラの画像は、操作中カメラの画像で既にレイアウトされているため、同じ画像を子画面で出力する必要がない。
【００４０】
カメラリスト２０９の場合は、レイアウト２１０になる。本動作は、図４のＳ１１０８Ｙｅｓに相当し、操作中カメラが２台の例である。放送中カメラの画像は、操作中カメラの画像で既にレイアウトされているため、同じ画像を子画面で出力する必要がない。
【００４１】
以上により、本発明によれば、「操作中のカメラ情報」と「放送に使用中のカメラ情報」に応じてレイアウトを決定することで、放送に使用する画像の選択・決定とカメラ操作
による画像調整の両方を実施するのに適したレイアウトで表示することができる。
【００４２】
（実施例２）
実施例２では、複数の入力画像をレイアウトして表示するレイアウト装置において、カメラ操作情報と放送中のカメラ情報に応じてレイアウトを決定する際、特にカメラ操作内容に応じてレイアウトを決定する方法について説明する。
実施例１と同等の動作を行うものは、同一の符号を付け、説明を省略する。
【００４３】
図６は、本発明の実施例２を説明するブロック図である。
第１カメラ３０１は、撮像画像を出力する。さらに、カメラ識別情報とカメラ操作情報、及びカメラ操作内容の情報を画像データに重畳して切換装置１０３及びレイアウト装置３０３へ出力する。カメラ操作内容の情報は、ユーザがカメラに対して行っている操作の内容を示す情報である。例えば、フォーカスリングを回転させてフォーカス調整する操作の場合は「フォーカス」、露出を変更して明るさを調整する操作の場合は「露出」である。
第Ｎカメラ３０２は、第１カメラ３０１の動作と同様である。カメラの台数Ｎは任意である。
【００４４】
次に、レイアウト装置３０３の各ブロックを説明する。
第１入力部３０４は、第１カメラ３０１から画像データを受信し、合成部１１１へ出力する。また、第１カメラ３０１からカメラ識別情報とカメラ操作情報、及びカメラ操作内容情報を受信し、第１管理部３０６へ出力する。
第Ｎ入力部３０５は、第Ｎカメラ３０２に関して、第１入力部３０４と同様の動作をする。
【００４５】
第１管理部３０６は、第１入力部３０４からカメラ識別情報とカメラ操作情報、及びカメラ操作内容を取得する。その後、第１管理部３０６は、取得したカメラ操作情報に基づき、カメラ操作状態を判定し、レイアウト部３０８へ送信する。さらに、第１管理部３０６は、カメラ操作内容に基づきカメラ操作内容を判定し、レイアウト部３０８へ通知する。これらの判定の詳細については後述する。
第Ｎ管理部３０７の動作は、第Ｎカメラ３０２に関して、第１管理部３０６の同様の動作をする。
【００４６】
レイアウト部３０８は、第１管理部３０６〜第Ｎ管理部３０７からカメラ識別情報とカメラ操作状態の情報、及びカメラ操作内容の情報を取得する。また、レイアウト部３０８は、取得部１０７から、放送中カメラ情報を取得する。レイアウト部３０８は、取得した情報に応じて、入力画像のレイアウトを決定し、合成部１１１へ出力する。レイアウト決定の詳細については後述する。
【００４７】
＜管理部のカメラ操作情報及びカメラ操作内容情報送信処理について＞
次に、第１管理部３０６がカメラ操作状態及びカメラ操作内容をレイアウト部３０８へ送信する処理について説明する。
【００４８】
まず、第１管理部３０６の動作概要を述べる。第１管理部３０６は、実施例１における第１管理部１０８の機能に加え、カメラ操作内容を示す情報を管理する機能を有する。第１管理部３０６は、カメラ操作状態が操作中である間、現在のカメラ操作内容の情報をカメラ操作内容情報として保持する。第１管理部３０６は、第１入力部３０４から取得したカメラ操作内容と、保持しているカメラ操作内容とが、同じであるか異なるかを比較する。その結果、異なる場合、カメラ操作内容が変化したと判定し、新しいカメラ操作内容の情報を現在のカメラ操作内容情報として保持する。第１管理部３０６は、新しいカメラ操
作内容の情報をレイアウト部３０８へ送信する。
【００４９】
以下に、図７のフローチャートを用いて、第１管理部３０６の処理の詳細について説明する。
第１管理部３０６は、第１入力部３０４からカメラ操作情報を取得し（Ｓ１００１）、カメラ操作中であるか否かを判定する（Ｓ１００２）。
カメラ操作ＯＮ（カメラ操作中）であった場合（Ｓ１００２Ｙｅｓ）、第１管理部３０６は、保持しているカメラ操作状態の情報（１フレーム前のカメラ操作状態）に基づき、保持しているカメラ操作状態が非操作状態であるか否かを確認する（Ｓ１００３）。
【００５０】
保持しているカメラ操作状態が「非操作状態」であった場合（Ｓ１００３Ｙｅｓ）、第１管理部３０６は、カメラ操作状態を「操作中」に設定（Ｓ１２０１）し、現在のカメラ操作状態として保持する。さらにカメラ操作状態に関する処理を行う。
保持しているカメラ操作状態が「操作中状態」であった場合（Ｓ１００３Ｎｏ）、第１管理部３０６は、カメラ操作状態をそのまま保持し、次の処理へ移行する。
【００５１】
次に、第１管理部３０６は、保持しているカメラ操作内容と今回取得したカメラ操作内容とを比較して、操作内容が変化したか否かを判定する（Ｓ１２０２）。
カメラ操作内容が異なる場合（Ｓ１２０２Ｙｅｓ）、第１管理部３０６は、カメラ操作内容が変化したと判定して、カメラ操作内容が変化したことを示す情報をレイアウト部３０８へ送信する（Ｓ１２０３）。第１管理部３０６は、保持しているカメラ操作内容の情報を新しいカメラ操作内容の情報によって更新し（Ｓ１２０４）、処理を終了する。
カメラ操作内容が同じである場合（Ｓ１２０２Ｎｏ）、第１管理部３０６は処理を終了する。
Ｓ１００２でカメラ操作ＯＦＦであった場合の処理は実施例１と同じである。
【００５２】
＜レイアウト決定処理について＞
次に、レイアウト部３０８におけるレイアウトの決定処理について説明する。
レイアウト部３０８は、図８に示すカメラリスト情報をもつ。カメラリスト情報は、全カメラ、操作中カメラ及び操作内容、放送中カメラの情報をもつ。全カメラ、操作中カメラ、放送中カメラについては、実施例１におけるレイアウト部１１０が有するカメラリスト情報と同様である。
操作内容とは、操作中カメラにおいて、ユーザがカメラに対して行っている操作の内容を示す情報である。レイアウト部３０８は、操作内容の情報を、第１管理部３０６〜第Ｎ管理部３０７から取得したカメラ操作内容情報に基づき更新する。
【００５３】
以下に、図９のフローチャートを用いて、レイアウト部３０８の処理の詳細について説明する。
レイアウト部３０８は、以下の３つのうちいずれかを取得した場合に処理を開始する。１．第１管理部３０６〜第Ｎ管理部３０７からのカメラ操作状態の情報
２．第１管理部３０６〜第Ｎ管理部３０７からのカメラ操作内容の情報
３．取得部１０７からの放送中カメラ情報
【００５４】
カメラ操作状態の情報及び放送中カメラ情報を取得した場合の処理は、実施例１におけるレイアウト部１１０の処理と同様である（図４、Ｓ１１０１〜Ｓ１１１０参照）。実施例２では、取得した情報が放送中カメラ情報でなかった場合（Ｓ１１０１Ｎｏ）、レイアウト部３０８は、取得した情報がカメラ操作状態の情報であるか判定する（Ｓ１３０１）。カメラ操作状態の情報であった場合（Ｓ１３０１Ｙｅｓ）、実施例１と同様の処理（Ｓ１１０３）を実行する。取得した情報がカメラ操作状態の情報でなかった場合（Ｓ１３０１Ｎｏ）、レイアウト部３０８は、取得した情報はカメラ操作内容の情報であると判定す
る。そして、カメラリストの操作中カメラのうち、取得したカメラ操作情報に対応するカメラの操作内容の情報を更新する（Ｓ１３０２）。
【００５５】
カメラリストの更新が完了すると、レイアウト部３０８は、カメラリストに応じてレイアウトを決定する処理を行う。実施例１におけるレイアウト部１１０の処理との違いは、操作中カメラの中に放送中カメラが含まれない場合（Ｓ１１０８Ｎｏ）の以降の処理である。この場合、レイアウト部３０８は、操作中カメラの操作内容を確認し、操作内容が所定の操作内容であった場合（Ｓ１３０３Ｙｅｓ）、レイアウト部３０８は、放送中のカメラ画像を子画面表示する（Ｓ１１０９）。操作内容が所定の操作内容以外であった場合（Ｓ１３０３Ｎｏ）、レイアウト部３０８は、操作中カメラ台数に１を足した数で等分割表示するようなレイアウトに決定する（Ｓ１３０４）。ここで、所定の操作は、構図を変化させる操作であり、例えばフォーカス、パン、ズームの調整に関する操作を含む。所定の操作以外の操作は、構図を変化させない操作であり、例えば明るさ、色あいの調整に関する操作を含む。等分割表示する理由は、この場合のカメラ操作内容は、フォーカス調整のような大画面を要するカメラ操作でないため、放送中カメラ画像と同等の大きさで大きく表示すことを優先するためである。放送中カメラ画像と操作中カメラ画像とを同等の大きさで大きく表示することで、次に放送する予定のカメラ画像へのスイッチングが自然に行えるような構図、被写体の大きさ、明るさ等の調整を行いやすくなる。
【００５６】
図１０は、実施例２における、カメラリストに応じたレイアウトの例を示す。
カメラリスト４０１の場合は、レイアウト４０２になる。本動作は、図９のＳ１１０９に相当する。操作中カメラと放送中カメラは別なので、画像を比較するために２画面表示のレイアウトに決定する。さらに操作内容がフォーカスのため、操作中カメラ画像を大画面で表示することが望ましい。よって、放送中カメラ画像を子画面で表示する。以上により、操作中カメラの操作内容がフォーカス調整の場合は、大画面表示による正確なピント調整が可能となり、かつ放送中画像との比較も可能なレイアウトとなる。
【００５７】
カメラリスト４０３の場合は、レイアウト４０４になる。本動作は、図９のＳ１３０４に相当する。操作中カメラと放送中カメラは別なので、画像を比較するために２画面表示のレイアウトに決定する。さらに操作内容がズームのため、放送中カメラ画像と操作中カメラ画像の構図比較を行うために、同程度の大きさで互いに近くの領域に表示することが望ましい。よって、放送中カメラ画像と操作中カメラ画像を等分割表示する。以上により、操作中カメラがズームの場合は、等分割表示により構図比較が容易なレイアウトとなる。
【００５８】
上記の実施例では画面分割数が２つになる場合を例示したが（レイアウト４０２の小画面又はレイアウト４０４の２等分割）、画面分割数が３つ以上の場合にも本発明は適用できる。
その場合、放送中カメラ画像は必ず表示する。表示レイアウトは、種々考えられるが、少なくとも放送中カメラが所定操作中（フォーカス調整等）であれば、大きく表示する。放送中カメラが所定操作以外の操作中（ズーム調整等）や非操作である場合、レイアウト４０２のように小さく小画面表示しても良いし、レイアウト４０４のように大きく等分割表示しても良い。これはレイアウト４０４のように他のカメラで行われている操作に応じて決めても良い。
【００５９】
放送中でないカメラ画像は、操作中カメラ画像のみ表示する（ただし操作中カメラが１つもない場合は全カメラ画像を等分割表示する）。そして操作内容が所定操作（フォーカス調整等）である操作中カメラ画像は大きく表示し、所定操作でない操作（ズーム調整等）である操作中カメラ画像は小さく表示する。ここで、「小さく表示」とは、小画面（ＰｉｎＰ）表示等の表示態様を意味する。「大きく表示」とは、画面を等分割する表示態様
を意味する。
【００６０】
例えば、第１カメラがズーム操作中、第２カメラがフォーカス操作中、第３カメラが非操作で放送中であるとする。この場合、Ｓ１３０４においてカメラ台数３となり、３分割表示することになる。この場合、図５のレイアウト２０６のようなレイアウトとし、フォーカス調整中の第２カメラを等分割のいずれか一方に表示する。放送中の第３カメラとズーム調整中の第１カメラはそれぞれ小画面にしても等分割の他方に表示しても良い。ズーム調整にしろフォーカス調整にしろカメラ操作を大画面で行うことを優先する場合は、等分割の他方に第１カメラ、小画面に第３カメラとする。
【００６１】
あるいは、図５のレイアウト２０２において右下の第４カメラの映像がないようなレイアウトとすることもできる。これは、ズーム調整もフォーカス調整も大画面で行い、かつ、スイッチングのための絵合わせのために放送中画像も大画面に表示したいケースである。この場合も、大画面で行うことが好ましいフォーカス調整を大きな画面で行うことができるのでカメラ操作の利便性が高い。
【００６２】
なお、上記の説明では大画面表示が好ましい所定の撮像操作の一例としてフォーカス調整を例示し、所定の撮像操作以外の撮像操作の一例としてズーム調整を例示したが、これは説明のための例示に過ぎない。ズーム調整やフォーカス調整、明るさ調整等、種々の撮像操作において大画面表示を好ましいと感じるか否かは撮影者の好みにも依存することである。従って、大画面表示が好ましい所定の撮像操作がズーム調整で、それ以外の操作がフォーカス調整であるような構成も可能であるし、どのような撮像操作時に大画面表示を行うかをユーザが任意に設定できるようにしても良い。
【００６３】
以上により、本発明によれば、「操作中のカメラ情報」と「放送に使用中のカメラ情報」、及び「操作中のカメラ操作内容」に応じてレイアウトを決定する。これにより、放送に使用する画像の選択・決定とカメラ操作による画像調整の両方を実施するのに適したレイアウトで表示することができる。
【００６４】
（実施例３）
実施例３では、複数のカメラから出力されＩＰ（Internet Protocol）伝送される画像
をレイアウトして表示する装置に本発明を適用した例を説明する。実施例３では、カメラ操作情報と放送中のカメラ情報に応じてレイアウトを決定し、表示に必要な画像のみ伝送するよう外部の画像出力機器に対して要求する方法について説明する。
実施例１と同等の動作を行うものは、同一の符号を付し、説明を省略する。
【００６５】
実施例３では、ＩＰ伝送技術を用いる。ＩＰ伝送技術を用いると、複数の画像データを多重化して送ることができる。従来では複数のカメラ画像を単一のレイアウト装置に入力する場合、カメラ画像数分のケーブルを接続する必要があった。一方、ＩＰ伝送を用いると、複数のカメラ画像を１つの入出力装置に集約し、その入出力装置とレイアウト装置とを１本のＬＡＮケーブルで接続することで、複数カメラの画像をまとめてレイアウト装置へ送信することができる。ただし、伝送の帯域には限界があるため、多数の高解像度画像をまとめて送ることはできない。そこで、実施例３では、レイアウト装置で処理するのに必要な画像のみ伝送するように入出力に指示することで、必要な伝送帯域の増加を抑制することを図った構成である。
【００６６】
図１１は、本発明の実施例３を説明するブロック図である。
切換装置５０１において、複数の画像データを複数のカメラから入力して、放送に使用する画像を選択し出力する動作は、実施例１における切換装置１０３と同様である。さらに、切換装置５０１は、第１カメラ１０１〜第Ｎカメラ１０２の全てのカメラ識別情報と
カメラ操作情報をレイアウト装置５０２へ出力することができる。
【００６７】
切換装置５０１は、レイアウト装置５０２から表示カメラ情報を取得する。表示カメラ情報とは、レイアウト装置５０２の表示部１１２に表示するカメラ画像を出力するカメラのカメラ識別情報から構成される。表示カメラ情報は、レイアウト部５０４が生成する。表示カメラ情報の生成処理の詳細は後述する。
【００６８】
切換装置５０１は、取得した表示カメラ情報に記載されているカメラ識別情報に対応するカメラの画像をレイアウト装置５０２へ出力する。切換装置５０１は、表示カメラ情報に記載されていないカメラの画像は出力しない。切換装置５０１は、第１カメラ１０１〜第Ｎカメラ１０２の全てのカメラ識別情報とカメラ操作情報をレイアウト装置５０２へ出力することができるが、レイアウト装置５０２から取得する表示カメラ情報に応じて、適宜出力するカメラ画像を調整する。
【００６９】
次に、レイアウト装置５０２の各ブロックを説明する。
ＩＰ入力部５０３は、切換装置５０１からＬＡＮ経由で複数のカメラのカメラ識別情報、カメラ画像、カメラ操作情報が多重化されたデータを取得する。ＩＰ入力部５０３は、多重化されたデータから各カメラの識別情報、画像、操作情報を分離し、対応する入力部（１０５，１０６）へ出力する。
カメラの識別情報、画像、操作情報を受信した入力部（１０５，１０６）は、対応する管理部（１０８，１０９）へ識別情報及び操作情報を出力し、合成部１１１へカメラ画像を出力する。
【００７０】
レイアウト部５０４は、管理部（１０８，１０９）から取得した識別情報及び操作情報に基づきカメラリストを更新し、カメラリスト情報に基づきレイアウトを決定し、合成部１１１へ出力する。レイアウト部５０４は、さらに、管理部（１０８，１０９）から取得した情報に基づき表示カメラ情報を生成してＩＰ送信部５０５へ出力する。表示カメラ情報の生成処理については、後述する。
ＩＰ送信部５０５は、レイアウト部５０４から取得した表示カメラ情報を、切換装置５０１へ出力する。
【００７１】
＜レイアウト部の表示カメラ情報の生成処理について＞
次に、レイアウト部５０４における表示カメラ情報の生成処理について説明する。
以下に、図１２のフローチャートを用いて、レイアウト部５０４の処理の詳細について説明する。
【００７２】
レイアウト部５０４の動作のうち、動作契機とカメラリスト更新の動作は、実施例１におけるレイアウト部１１０の動作と同様である。よって、図１２のＳ１４００は、図４のＳ１１０１からＳ１１０５と同様である。
カメラリストの更新が完了すると、レイアウト部５０４は、カメラリストに応じてレイアウトを決定する処理を行う。まず、レイアウト部５０４は、カメラリストの操作中カメラの有無を確認する（Ｓ１１０６）。
【００７３】
カメラリストに操作中カメラがある場合（Ｓ１１０６Ｙｅｓ）、操作中カメラの台数で分割したレイアウトに決定する（Ｓ１１０７）。次に、レイアウト部５０４は、操作中カメラのうちに放送中カメラが含まれるか判定し（Ｓ１１０８）、含まれない場合（Ｓ１１０８Ｎｏ）、放送中のカメラ画像を子画面で表示するようなレイアウトに決定する（Ｓ１１０９）。この場合、画面に画像を表示するカメラは、操作中カメラと放送中カメラの両方であり、レイアウト部５０４は、操作中カメラと放送中カメラのカメラ識別情報を表示カメラ情報に記載する（Ｓ１４０４）。
【００７４】
操作中カメラに放送中カメラが含まれる場合（Ｓ１１０８Ｙｅｓ）、レイアウト部５０４は、操作中カメラ台数で画面を等分割して表示するレイアウトに決定する。この場合、画面に画像を表示するカメラは、操作中カメラであり、レイアウト部５０４は、操作中カメラのカメラ識別情報を表示カメラ情報に記載する（Ｓ１４０３）。
【００７５】
カメラリストに操作中カメラがない場合（Ｓ１１０６Ｎｏ）、レイアウト部５０４は、放送中カメラ画像を表示する（Ｓ１４０１）。この場合、画面に画像を表示するカメラは放送中カメラであり、レイアウト部５０４は、放送中カメラのカメラ識別情報を表示カメラ情報に記載する（Ｓ１４０２）。
レイアウト部５０４は、以上のようにして作成した表示カメラ情報をＩＰ送信部５０５へ出力する。
【００７６】
以上により、実施例３によれば、複数のカメラから出力されＩＰ伝送される画像をレイアウトして表示する装置において、カメラ操作情報と放送中のカメラ情報に応じてレイアウトを決定する。そして、表示に必要な画像のみ伝送するよう外部の画像出力装置に要求するので、表示に必要な伝送帯域の増加を抑制できる。
【００７７】
（実施例４）
実施例４では、複数のカメラから出力されＩＰ伝送される画像をレイアウトして表示する装置に本発明を適用した例を説明する。実施例４では、カメラ操作情報と放送中のカメラ情報に応じてレイアウトを決定し、外部の画像出力装置に対して、出力するカメラ画像の画像サイズ（画素数）を要求する方法について説明する。
実施例１及び実施例３と同等の動作を行うものは、同一の符号を付け、説明を省略する。
【００７８】
実施例４では、ＩＰ伝送技術を用いる。そのため、実施例３で述べた通り、伝送の帯域には限界があるため、多数の高解像度画像をまとめて送ることはできない。そこで、実施例４では、レイアウト装置は複数のカメラ画像を入力する際、通常は各カメラ画像の画像サイズを縮小した画像を入力する。そして、必要な場合のみ特定のカメラ画像の画像サイズを大きくするよう外部画像出力機器に要求することで、伝送の帯域内に収めることを目的としている。
【００７９】
図１３は、本発明の実施例４を説明するブロック図である。
切換装置６０１は、複数のカメラから出力される画像を受信して、放送に使用する画像を選択し出力する。この動作は、実施例１における切換装置１０３と同様である。
【００８０】
切換装置６０１は、第１カメラ１０１から第Ｎカメラ１０２の全てのカメラ識別情報とカメラ操作情報をレイアウト装置６０２へ出力する。また、レイアウト装置６０２から画像サイズ情報を取得する。画像サイズ情報とは、レイアウト装置６０２によって画面にレイアウトされた各カメラ画像の表示領域のサイズ（表示サイズ）を示し、各表示領域の幅と高さの画素数の情報を有する。画像サイズ情報は、レイアウト部６０３が生成する。生成処理の詳細は後述する。
切換装置６０１は、画像の拡縮機能を有し、画像サイズ情報に記載の画像サイズへカメラ画像を拡縮し、レイアウト装置６０２へ出力する。
【００８１】
次に、レイアウト装置６０２の各ブロックを説明する。
レイアウト部６０３は、カメラリストを更新し、カメラリストに基づきレイアウトを決定し、合成部１１１へ出力する。さらに、レイアウト部６０３は、画像サイズ情報を生成してＩＰ送信部６０４へ出力する。画像サイズ情報の生成処理については、後述する。
ＩＰ送信部６０４は、レイアウト部６０３から取得した画像サイズ情報を、切換装置６０１へ出力する。
【００８２】
＜レイアウト部の画像サイズ情報の生成処理について＞
次に、レイアウト部６０３における画像サイズ情報の生成処理について説明する。
以下に、図１４のフローチャートを用いて、レイアウト部６０３の処理の詳細について説明する。
レイアウト部６０３の動作のうち、動作契機とカメラリスト更新の動作は、実施例１におけるレイアウト部１１０の動作と同様である。よって、図１２のＳ１４００は、図４のＳ１１０１からＳ１１０５と同様である。
【００８３】
カメラリストの更新が完了すると、レイアウト部６０３は、表示部１１２の全画面に全カメラの画像を等分割表示する場合の各カメラ画像の画像サイズを算出し、画像サイズ情報の各カメラの画像サイズとして設定する。これは、図５のレイアウト２０２のような表示を行う場合の画像サイズ情報である。分割方法は図５のレイアウト２０２のように格子状であっても良いし、別の分割方法であっても良い。また、表示部１１２の有効表示領域の全部をレイアウト表示に用いなくても良い。
【００８４】
次に、レイアウト部６０３は、カメラリストに応じてレイアウトを決定する処理を行う。まず、レイアウト部６０３は、カメラリストの操作中カメラの有無を確認する（Ｓ１１０６）。操作中カメラがある場合（Ｓ１１０６Ｙｅｓ）、レイアウト部６０３は、実施例１におけるレイアウト部１１０と同様にレイアウトを決定する。そして、表示部１１２の全画面に操作中カメラを等分割表示する場合の各カメラ画像の画像サイズを算出し、画像サイズ情報の各操作中カメラの画像サイズとして設定する。あるいは、Ｓ１１０９において放送中カメラ画像を小画面表示するレイアウトに決定した場合は、小画面のサイズ情報を放送中カメラの画像サイズとして設定する。操作中カメラがない場合（Ｓ１１０６Ｎｏ）、Ｓ１５０１で決定した全カメラマルチ画面表示の場合の画像サイズ情報が生成される。
レイアウト部６０３は、生成した画像サイズ情報をＩＰ送信部６０４へ出力する。
【００８５】
図１５は、レイアウト部６０３が生成する画像サイズ情報の例を示す。図１５では、レイアウト装置６０２の表示部１１２の全画面の画素数が幅４０９６×高さ２５６０で、切換装置６０１に４つのカメラ画像が入力している場合の例である。各カメラは４０９６×２５６０の画素数の画像を出力しているものとする。
【００８６】
カメラリスト７０１の場合は、画像サイズ情報７０２になる。本動作は、図１５のＳ１１１０の処理を行った場合に相当する。レイアウト装置６０２は、全カメラ数である４で表示部１１２の表示領域を等分割した画像サイズである２０４８×１２８０を各カメラの画像サイズに設定し、切換装置６０１へ出力する。よって、切換装置６０１は、各カメラの４０９６×２５６０の画素数の画像を画像サイズ情報に基づき２０４８×１２８０に縮小した上で４つのカメラ画像を多重化し、レイアウト装置６０２へ出力する。そのため、オリジナルの解像度の４つのカメラ画像を出力する場合と比較して画像伝送に必要な伝送帯域を少なくすることができる。
【００８７】
カメラリスト７０３の場合は、画像サイズ情報７０４になる。本動作は、図１５のＳ１５０２の処理を行った場合に相当する。レイアウト装置６０２は、全カメラ数である４で等分割した画像サイズである２０４８×１２８０を各カメラの画像サイズに設定した後、操作中カメラである第１カメラのみ画像サイズを更新する。本例では、操作中カメラ台数が１のため、４０９６×２５６０を設定する。その後、画像サイズ情報を切換装置６０１へ出力する。よって、切換装置６０１は、第１カメラ画像のみ、他の画像より大きな画像
サイズで画像を多重化して出力する。
【００８８】
以上により、実施例４によれば、複数のカメラから出力されＩＰ伝送される画像をレイアウトして表示する装置において、カメラ操作情報と放送中のカメラ情報に応じてレイアウトを決定する。そして、外部の画像出力装置に対して、出力するカメラ画像の画像サイズ（画素数）を要求し、限られた伝送帯域の中で効率的な画像伝送を行うことができる。
【００８９】
なお、実施例４において、レイアウト装置６０２に表示部１１２が備わる場合の例に説明したが、レイアウト装置６０２には表示部がなく、外部の表示装置にレイアウト画像を出力する構成の場合にも適用できる。その場合、レイアウト部６０３は、出力先の外部の表示装置から表示画素数の情報を取得してそれに基づいて画像サイズ情報を生成しても良いし、ユーザが手動でレイアウト装置６０２に出力先の表示装置の表示画素数の情報を入力できるようにしても良い。
【００９０】
また、実施例３、４では画像をＩＰ伝送する画像出力装置から画像を入力してレイアウトするレイアウト装置について説明したが、実施例１，２と同様の切換装置から画像を入力するシステムにも適用できる。例えば、実施例１において、全てのカメラの画像が切換装置１０３に入力されるように構成し、レイアウト情報に基づいて切換装置１０３が出力対象のカメラ画像に対しスケーリング等の画像の変換を行ってレイアウト装置１０４に出力するようにしても良い。また、レイアウトに必要な画像のみレイアウト装置１０４に出力するようにしても良い。これらの特徴的な構成は画像をＩＰ伝送するシステムに限定されない。
【００９１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９２】
１０１：第１カメラ、１０２：第Ｎカメラ、１０３：切換装置、１０４：レイアウト装置、１０５：第１入力部、１０６：第Ｎ入力部、１０７：取得部、１１０：レイアウト部、１１１：合成部
【図１】
2018037981.tif 000003
【図２】
2018037981.tif 000004
【図３】
2018037981.tif 000005
【図４】
2018037981.tif 000006
【図５】
2018037981.tif 000007
【図６】
2018037981.tif 000008
【図７】
2018037981.tif 000009
【図８】
2018037981.tif 000010
【図９】
2018037981.tif 000011
【図１０】
2018037981.tif 000012
【図１１】
2018037981.tif 000013
【図１２】
2018037981.tif 000014
【図１３】
2018037981.tif 000015
【図１４】
2018037981.tif 000016
【図１５】
2018037981.tif 000017