JP 2021-132305 A 2021.9.9(57)【要約】【課題】再符号化無しでの編集時に編集点の前後で時刻が連続した動画像データの作成を容易にするような符号化を行うこと。
【解決手段】複数の入力画像を符号化する画像符号化装置であって、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャでの符号化の第１の指示を他の画像符号化装置から受信する受信部と、前記複数の入力画像のうちの符号化対象画像を
前記基準ピクチャで符号化するか否か判定する判定部と、前記受信部が前記第１の指示を受信した場合または前記判定部が前記基準ピクチャで符号化すると判定した場
合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する符号化部と、前記判定部により前記基準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する送信部と、を備える画像符号化装置。
【選択図】図２

(2)JP 2021-132305 A 2021.9.9【特許請求の範囲】【請求項１】
複数の入力画像を符号化する画像符号化装置であって、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピク
チャでの符号化の第１の指示を他の画像符号化装置から受信する受信部と、前記複数の入力画像のうちの符号化対象画像を前記基準ピクチャで符号化するか否か判定する判定部と、
前記受信部が前記第１の指示を受信した場合または前記判定部が前記基準ピクチャで符号化すると判定した場合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する符号化部と、前記判定部により前記基準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する送信部と、を備える画像符号化装置。
【請求項２】
前記複数の入力画像を撮像するカメラ部をさらに備え、
前記判定部は、前記カメラ部のズームの開始時または終了時、前記カメラ部のパンの開始時または終了時、前記カメラ部のチルトの開始時または終了時、または前記カメラ部のオートフォーカスの開始時または終了時に前記符号化対象画像を前記基準ピクチャで符号化すると判定する請求項１記載の画像符号化装置。
【請求項３】
前記所定の符号化方式は、Ｈ．２６４またはＨ．２６５であり、前記基準ピクチャは、ＩＤＲピクチャであること特徴とする請求項１または２記載の画像符号化装置。
【請求項４】
複数の第１の入力画像および複数の第２の入力画像を符号化する画像符号化装置であって、前記複数の第１の入力画像のうちの第１の符号化対象画像をフレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャで符号化するか否か判定し、前記複数の第２の入力画像のうちの第２の符号化対象画像を前記基準ピクチャで符号化するか否か判定する判定部と、前記判定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、
または前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場
合、前記所定の符号化方式を用いて前記第１の符号化対象をフレーム内予測符号化して前記基準ピクチャを生成する第１の符号化部と、前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、
または前記判定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場
合、前記所定の符号化方式を用いて前記第２の符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する第２の符号化部と、を備える画像符号化装置。
【請求項５】
前記複数の第１の入力画像を撮像する第１のカメラ部および前記複数の第２の入力画像を撮像する第２のカメラ部をさらに備え、
前記判定部は、前記第１カメラ部のズームの開始時または終了時、前記第１のカメラ部のパンの開始時または終了時、前記第１のカメラ部のチルトの開始時または終了時、または前記第１のカメラ部のオートフォーカスの開始時または終了時に前記第１の符号化対象
画像を前記基準ピクチャで符号化すると判定し、前記第２カメラ部のズームの開始時または終了時、前記第２のカメラ部のパンの開始時または終了時、前記第２のカメラ部のチル
トの開始時または終了時、または前記第２のカメラ部のオートフォーカスの開始時または終了時に前記第２の符号化対象画像を前記基準ピクチャで符号化すると判定する請求項４記載の画像符号化装置。

10

20

30

40

50

(3)

JP 2021-132305 A 2021.9.9【請求項６】
前記所定の符号化方式は、Ｈ．２６４またはＨ．２６５であり、前記基準ピクチャは、ＩＤＲピクチャであること特徴とする請求項４または５記載の画像符号化装置。
【請求項７】
複数の入力画像を符号化する画像符号化装置の画像符号化方法であって、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピク
チャでの符号化の第１の指示を他の画像符号化装置から受信し、前記複数の入力画像のうちの符号化対象画像を前記基準ピクチャで符号化するか否か判定し、前記第１の指示を受信した場合または前記基準ピクチャで符号化すると判定した場合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準ピク
チャを生成し、
前記基準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する、処理を備える画像符号化方法。
【請求項８】
複数の第１の入力画像および複数の第２の入力画像を符号化する画像符号化装置の画像
符号化方法であって、前記複数の第１の入力画像のうちの第１の符号化対象画像をフレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャで符号化するか否か判定し、前記複数の第２の入力画像のうちの第２の符号化対象画像を前記基準ピクチャで符号化するか否か判定し、第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判
定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第１の符号化対象をフレーム内予測符号化して前記基準ピクチ
ャを生成し、第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判
定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第２の符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する、処理を備える画像符号化方法。
【発明の詳細な説明】【技術分野】【０００１】
本発明は、画像符号化装置および画像符号化方法に関する。
【背景技術】【０００２】
符号化効率を損なわずに画像ストリーム途中からでも迅速な再生及び容易な編集が可能な画像ストリームを出力する技術が知られている（例えば、特許文献１参照）。
【０００３】
また、符号化効率の低化を抑えながら、笑顔や泣き顔等の表情があるシーンを基準フレームとして作成し、迅速な再生及び容易な編集を行うことができる技術が知られている（
例えば、特許文献２参照）。
【先行技術文献】【特許文献】【０００４】【特許文献１】特開２００６−３４０００１号公報

10

20

30

40

50

(4)

JP 2021-132305 A 2021.9.9【特許文献２】特開２０１０−１６１７４０号公報【発明の概要】【発明が解決しようとする課題】【０００５】
動画像の符号化方式として、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣが知られている。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで使用されるピクチャのタイプとしては、同一画面内の情報のみから符号化するＩピクチャ、時間的に前のピクチャとの差分を利用して符号化するＰピクチャ、時間的に前のピクチャとの差分と時間的に後のピクチャとの差分との 差 分 も 利 用 で き る Ｂ ピ ク チ ャ が あ る 。 ま た 、 Ｉ Ｄ Ｒ （ Instant Decoder Refresh） ピ ク
チャと呼ばれる自身より前のピクチャを参照画像として参照することを禁止する制限付きのＩピクチャがある。以下では、ＩピクチャとしてＩＤＲピクチャを使用する場合を説明する。
【０００６】
例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで符号化された動画像データを再生する場
合、フレーム間参照が行われないＩＤＲピクチャから復号する必要がある。例えば、動画像データの途中のある時刻から再生（復号）する場合、当該時刻のピクチャがＩＤＲピク
チャである場合には、当該時刻の箇所から再生できるが、当該時刻のピクチャがＩＤＲピ
クチャでない場合、当該時刻より前の直近のＩＤＲピクチャ若しくは当該時刻より後の直近のＩＤＲピクチャを探索し、探索したＩＤＲピクチャから再生する必要がある。よって、指定された時刻のピクチャがＩＤＲピクチャでない場合は、当該時刻の前または後ろのＩＤＲピクチャから復号を行う必要がある。これは、符号化された動画像データから（時間的に）不要な部分を削除する等の編集を行う場合も同様である。
【０００７】
図１は、従来の動画編集の例を説明する図である。
【０００８】
図１に示すように、例えば、２台のカメラ（第１のカメラおよび第２のカメラ）でそれぞれ異なるアングルから同時に同一の被写体を撮影し、それぞれのカメラで撮影されて符号化された２つの動画像データがあるとする。図１の上段は第１のカメラで撮影されて符号 化 さ れ た 第 1の 動 画 像 デ ー タ 、 中 段 は 第 ２ の カ メ ラ で 撮 影 さ れ て 符 号 化 さ れ た 第 ２ の 動
画像データを示す。図１の動画像データにおいて、ＩＤＲピクチャの箇所はＩＤＲと表記され、特に表記されていない箇所のピクチャのタイプはＰピクチャまたはＢピクチャである。
【０００９】
動画編集において、２つの動画像データを編集して１つの動画像データを作成する場合に、時刻ｔ１で第１の動画像データから第２の動画像データに切り替えると、第２の動画像データの時刻ｔ１のピクチャはＩＤＲピクチャでないため時刻ｔ１から使用できず、時刻ｔ１より後の時刻ｔ２のＩＤＲピクチャから再生（復号）される。このように、図１の下段に示す編集後の動画像データにおいて、時刻ｔ１から時刻ｔ２間の第２の動画像デー
タは使用されず、編集後の動画像データでは、時刻ｔ０から時刻ｔ１までの第１の動画像
データの後、時刻ｔ２からの第２の動画像データが結合されている。よって、編集後の動画像データでは、時刻ｔ０から時刻ｔ１までの第１の動画像データの後、時刻ｔ２からの第２の動画像データが再生される。
【００１０】
同様に、時刻ｔ３で第２の動画像データから第１の動画像データに切り替えると、第１の動画像データの時刻ｔ３のピクチャはＩＤＲピクチャでないため使用できず、時刻ｔ３
より後の時刻ｔ４のＩＤＲピクチャから再生（復号）される。図１の下段に示す編集後の動画像データにおいて、時刻ｔ３から時刻ｔ４間の第１の動画像データは使用されない。
よって、編集後の動画像データでは、時刻ｔ２から時刻ｔ３までの第２の動画像データの後、時刻ｔ４からの第１の動画像データが再生される。
【００１１】

10

20

30

40

50

(5)

JP 2021-132305 A 2021.9.9

図１の編集後の動画像データのように、編集元の２つの動画像データにおける時刻ｔ１からｔ２の箇所、および時刻ｔ３からｔ４の箇所は、編集後の動画像データからは抜けてしまう。
【００１２】
このように、再符号化なしで２つの動画像データを編集して１つの動画像データを作成する場合に、２つの動画像データの結合箇所である編集点の前後で時刻が不連続になってしまう場合がある。
【００１３】
尚、動画編集の際に動画像データを復号し、フレーム間参照を行わないピクチャ（例えば、ＩＤＲピクチャ）で再度符号化することで編集点の前後で時刻が連続した動画像デー
タは可能である。例えば、図１の第２の動画像データにおいて、時刻ｔ１より前のＩＤＲ
ピクチャから復号して、復号した動画像データをＩＤＲピクチャで再度符号化すれば、時刻ｔ１からの第２の動画像データを編集後の動画像データで利用することは可能となる。
しかしながら、この場合、復号と符号化を両方行うため、処理コストが高くなるという問題がある。
【００１４】
本発明の一態様は、再符号化無しでの編集時に編集点の前後で時刻が連続した動画像データの作成を容易にするような符号化を行うことを目的とする。
【課題を解決するための手段】【００１５】
本発明の一態様に係る画像符号化装置は、複数の入力画像を符号化する画像符号化装置
であって、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する
基準ピクチャでの符号化の第１の指示を他の画像符号化装置から受信する受信部と、前記複数の入力画像のうちの符号化対象画像を前記基準ピクチャで符号化するか否か判定する判定部と、前記受信部が前記第１の指示を受信した場合または前記判定部が前記基準ピク
チャで符号化すると判定した場合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する符号化部と、前記判定部により前記基
準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する送信部と、を備える。
【００１６】
本発明の一態様に係る画像符号化装置は、複数の第１の入力画像および複数の第２の入力画像を符号化する画像符号化装置であって、前記複数の第１の入力画像のうちの第１の符号化対象画像をフレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャで符号化するか否か判定し、前記複数の第２の入力画像のうちの第２の符号化対象画像を前記基準ピクチャで符号化するか否か判定する判定部と、前記判定部
が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判
定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第１の符号化対象をフレーム内予測符号化して前記基準ピクチ
ャを生成する第１の符号化部と、前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第１の符号化対象画像を前記基準ピク
チャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第２の符号化対象
画像をフレーム内予測符号化して前記基準ピクチャを生成する第２の符号化部と、を備える。
【００１７】
本発明の一態様に係る画像符号化方法は、複数の入力画像を符号化する画像符号化装置の画像符号化方法であって、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャでの符号化の第１の指示を他の画像符号化装置から受信し、前記複数の入力画像のうちの符号化対象画像を前記基準ピクチャで符号化するか否か判定し、前記第１の指示を受信した場合または前記基準ピクチャで符号化すると判定した場
合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準

10

20

30

40

50

(6)

JP 2021-132305 A 2021.9.9

ピクチャを生成し、前記基準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する、処理を備える。
【００１８】
本発明の一態様に係る画像符号化方法は、複数の第１の入力画像および複数の第２の入力画像を符号化する画像符号化装置の画像符号化方法であって、前記複数の第１の入力画像のうちの第１の符号化対象画像をフレーム間予測符号化において自身を飛び越しての参
照画像の参照を禁止する基準ピクチャで符号化するか否か判定し、前記複数の第２の入力
画像のうちの第２の符号化対象画像を前記基準ピクチャで符号化するか否か判定し、第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第１の符号化対象をフレーム内予測符号化して前記基準ピクチャを生成し、第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前
記判定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第２の符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する、処理を備える。
【図面の簡単な説明】【００１９】【図１】従来の動画編集の例を説明する図である。
【図２】第１の実施の形態に係る画像符号化システムの構成図の一例である。
【図３】第１の実施の形態に係る画像符号化方法のフローチャートの一例である。
【図４】第１の実施の形態に係る画像符号化方法のシーケンス図の一例である。
【図５】第１の実施の形態に係る動画像データを用いた動画編集の例を説明する図である。
【図６】第２の実施の形態に係る画像符号化装置の構成図の一例である。
【図７】第２の実施の形態に係る画像符号化方法のフローチャートの一例である。
【発明を実施するための形態】【００２０】
以下、実施の形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する【００２１】（第１の実施の形態）
図２は、第１の実施の形態に係る画像符号化システムの構成図の一例である。
【００２２】
画像符号化システム１０１は、画像符号化装置１１１、１２１を有する。画像符号化装置１１１と画像符号化装置１２１は、互いに通信可能である。また、画像符号化装置の数は、２つに限らず、３つ以上でもよい。
【００２３】
画像符号化装置１１１は、カメラ部１１２、制御部１１３、操作部１１４、符号化部１
１５、通信部１１６、および記憶部１１７を有する。画像符号化装置１２１は、カメラ部
１２２、制御部１２３、符号化部１２４、通信部１２５、および記憶部１２６を有する。
画像符号化装置１１１，１２１は、例えば、ビデオカメラ、スマートフォン、またはパーソナルコンピュータ（ＰＣ）等の動画を撮影可能な装置である。
【００２４】
カメラ部１１２は、被写体の撮影を行い、非圧縮の画像データを制御部１１３および符号化部１１５に出力する。詳細には、例えば、カメラ部１１２は、レンズ、撮像部（例えば、ＣＣＤまたはＣＭＯＳ）、Ａ／Ｄ（アナログ／デジタル）変換部、および信号処理部等を有する。カメラ部１１２の撮像部は、レンズを介して入射した被写体光を受光し、得られた被写体光を電気信号に変換してＡ／Ｄ変換部に出力し、Ａ／Ｄ変換部は、アナログ
信号をデジタル信号に変換し、信号処理部に出力する。信号処理部は、Ａ／Ｄ変換部から入力されるデジタル信号に対して、ガンマ補正およびホワイトバランス補正等の処理を行

10

20

30

40

50

(7)

JP 2021-132305 A 2021.9.9

い、非圧縮の画像データを生成し、非圧縮の画像データを制御部１１３および符号化部１１５に出力する。カメラ部１１２は、定期的（例えば、１／３０秒ごと）に非圧縮の画像
データを制御部１１３および符号化部１１５に出力する。尚、カメラ部１１２は、画像符号化装置１１１の外部にあってもよい。
【００２５】
制御部１１３は、カメラ部１１２の制御を行う。例えば、ユーザによる操作部１１４への入力に基づいて、制御部１１３は、カメラ部１１２を制御して、パン、チルト、ズーム、またはオートフォーカス等を行う。さらに制御部１１３は、通信部１１６を介して、画像符号化装置１２１にＩＤＲピクチャでの符号化の指示を送信する。
【００２６】
さらに制御部１１３は、符号化部１１５による符号化の処理の制御を行う。具体的には、例えば、制御部１１３は、符号化部１１５による符号化の処理に際して、ピクチャのタイプ（例えば、ＩＤＲピクチャ、Ｐピクチャ、またはＢピクチャ）を判定（決定）し、判定したピクチャのタイプを指示（指定）する。具体的には、例えば、制御部１１３は、定期的（例えば、１秒毎）、またはカメラ部１１２のパン、チルト、ズーム、またはオート
フォーカスの開始時または終了時に、ＩＤＲピクチャで符号化すると判定し、符号化部１１５にＩＤＲピクチャでの符号化を指示する。また、例えば、制御部１１３は、ＩＤＲピ
クチャで符号化すると判定しない場合には、符号化部１１５に非ＩＤＲピクチャ（Ｐピク
チャまたはＢピクチャ）での符号化を指示する。さらに制御部１１３は、例えば、通信部
１１６が画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信した場合、符号化部１１５にＩＤＲピクチャでの符号化を指示する。尚、制御部１１３は、例えば、通信部１１６を監視または画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信した旨の通知を通信部１１６から受信することで、通信部１１６が画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信したか否か判定する。制御部１１３は、判定部の一例である。
【００２７】
操作部１１４は、画像符号化装置１１１の操作、カメラ部１１２の操作、または画像符
号化装置１１１へのデータの入力等を行うためのユーザからの入力を受け付ける。操作部
１１４は、例えば、タッチパネル、押しボタン、またはスイッチ等である。
【００２８】
符号化部１１５は、制御部１１３からの指示に基づいて、カメラ部１１２により入力された非圧縮の画像データ（入力画像）を所定の符号化方式により符号化する。具体的には、例えば、符号化部１１５は、制御部１１３からＩＤＲピクチャでの符号化の指示を受信した場合（制御部１１３がＩＤＲピクチャで符号化すると判定し場合または通信部１１６が画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信した場合）、カメラ部１１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予
測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部１
１５は、制御部１１３から非ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部
１１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。そして、符号化部１１５は、符号化により生成されたＩＤＲピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像データ（符号化ビットストリーム）を記憶部１１７に記憶する。符号化部１１５における所定の符号化方式は、ＩＤＲピクチャを使用可能な符号化方式であり、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４）またはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（以下、Ｈ．２６５）等である。また、ＩＤＲピクチャは、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャの一例である。
【００２９】
通信部１１６は、画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信する。また、通信部１１６は、制御部１１３の判定結果に基づいて、画像符号化装置１２１

10

20

30

40

50

(8)

JP 2021-132305 A 2021.9.9にＩＤＲピクチャでの符号化の指示を送信する。通信部１１６は、受信部および送信部の一例である。
【００３０】
記憶部１１７は、画像符号化装置１１１で利用されるプログラムおよびデータ、並びに画像符号化装置１１１で生成されたデータ等を記憶する。記憶部１１７は、符号化部１１
５により生成された動画像データ（符号化ビットストリーム）を記憶する。記憶部１１７は、例えば、フラッシュメモリまたはＨＤＤ（ハードディスクドライブ）等の記憶装置である。また、記憶部１１７は、ＳＤメモリーカードまたはＵＳＢメモリ等の可搬型記録媒体でもよい。
【００３１】
また、画像符号化装置１１１は、カメラ部１１２が撮影した画像および記録部１１７に記憶された動画像データを表示する表示部をさらに備えてもよい。
【００３２】
画像符号化装置１２１のカメラ部１２２、制御部１２３、操作部１２４、符号化部１２
５、通信部１２６、および記憶部１２７の機能は、カメラ部１１２、制御部１１３、操作部１１４、符号化部１１５、通信部１１６、および記憶部１１７の機能とそれぞれ同様であるため、説明は省略する。
【００３３】
図３は、第１の実施の形態に係る画像符号化方法のフローチャートの一例である。ここでは、画像符号化装置１１１の処理について説明する。尚、画像符号化装置１２１の処理
は、画像符号化装置１１１の処理と同様であるため、説明は省略する。
【００３４】
ステップＳ３００において、ユーザによる操作部１１４への操作により、画像符号化装置１１１の電源が入力される。これにより、カメラ部１１２や制御部１１３等は動作を開始し、動画の撮影が可能になる。尚、図３のフローチャートには記載されていないが、カ
メラ部１１２への制御（例えば、ズーム、パン、またはチルト等）は、ユーザによる操作
部１１４への操作に従って制御部１１３により適宜行われる。
【００３５】
ステップＳ３０１において、制御部１１３は、動画撮影が開始されたか否か判定し、動画撮影が開始されたと判定された場合、制御はステップＳ３０２に進む。例えば、ユーザによる操作部１１４への操作により、動画撮影開始の操作が行われると、制御部１１３は、操作部１１４への動画撮影開始の操作を検出し、動画撮影が開始されたと判定し（ステップＳ３０１：Ｙｅｓ）、カメラ部１１２および符号化部１１５を制御し、動画撮影を開始する。これにより、符号化部１１５は、カメラ部１１２により入力された非圧縮の画像データに対して所定の符号化方式による符号化を開始する。また、制御部１１３は、動画撮影の開始のタイミングを通信部１１６を介して画像符号化装置１２１に通知し、画像符号化装置１１１と画像符号化装置１２１の動画撮影開始のタイミング（詳細には、画像符号化装置１１１と画像符号化装置１２１の符号化のタイミング）を同期させてもよい。これにより、画像符号化装置１１１と画像符号化装置１２１において符号化されるＩＤＲピ
クチャの符号化タイミングにずれが出るのを防止できる。以下、入力される複数の非圧縮の画像データのうち符号化対象となる画像（符号化対象画像）の処理について説明する。
【００３６】
ステップＳ３０２において、制御部１１３は、符号化対象画像を定期のＩＤＲピクチャ
で符号化をするか否か判定する。具体的には、例えば、制御部１１３は、符号化対象画像
を定期的（例えば、１秒ごと）にＩＤＲピクチャで符号化すると判定する。制御部１１３が符号化対象画像を定期のＩＤＲピクチャで符号化をすると判定した場合（ステップＳ３
０２：Ｙｅｓ）、制御はステップＳ３０６に進み、制御部１１３が符号化対象画像を定期のＩＤＲピクチャで符号化をしないと判定した場合（ステップＳ３０２：Ｎｏ）、制御はステップＳ３０３に進む。また、制御部１１３は、カメラ１１２がズーム、パン、または
チルトを行っている間は、定期のＩＤＲピクチャの間隔をズーム、パン、またはチルトを

10

20

30

40

50

(9)

JP 2021-132305 A 2021.9.9

行っていない時よりも長くしてもよい。また、ＩＤＲピクチャが多くなると符号化効率が低下するため、制御部１１３は、現時刻と直近の非定期のＩＤＲピクチャが符号化された
時刻との間隔が所定の時間以下の場合、定期のＩＤＲピクチャで符号化をすると判定しなくてもよい。
【００３７】
ステップＳ３０３において、制御部１１３は、前回のステップＳ３０３の処理から今回のステップＳ３０３の処理までの間の期間（尚、ステップＳ３０３が初回の場合は、ステップＳ３０１から今回のステップＳ３０３の処理までの間の期間）に、通信部１１６が他の画像符号化装置（例えば、画像符号化装置１２１）からＩＤＲピクチャでの符号化の指示を受信したか否か判定する。制御部１１３は、上記期間に通信部１１６が他の画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信したと判定した場合（ステップＳ３０３：Ｙｅｓ）、制御はステップＳ３０６に進み、上記期間に通信部１１６が他の画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信していないと判定した場
合（ステップＳ３０３：Ｎｏ）、制御はステップＳ３０４に進む。
【００３８】
ステップＳ３０４において、制御部１１３は、非定期のＩＤＲピクチャでの符号化をするか否か判定する。制御部１１３は、例えば、カメラ部１１２への制御に基づいて、非定期のＩＤＲピクチャでの符号化をするか否か判定する。具体的には、例えば、制御部１１
３は、カメラ部１１２のズームの開始時または終了時、カメラ部１１２のパンの開始時または終了時、またはカメラ部１１２のチルトの開始時または終了時にＩＤＲピクチャで符号化すると判定する。また、例えば、制御部１１３は、カメラ部１１２のオートフォーカ
スの開始時または終了時にＩＤＲピクチャで符号化すると判定してもよい。また、制御部
１１３は、例えば、カメラ部１１２により入力された入力画像に基づいて、非定期のＩＤ
Ｒピクチャでの符号化をするか否か判定してもよい。具体的には、例えば、制御部１１３は、入力画像の構図が良いと判定される区間の開始時または終了時、または入力画像の被写体が話している区間の開始時または終了時等にＩＤＲピクチャで符号化すると判定してもよい。尚、構図が良い画像とは、例えば、プロの写真家が撮影した画像であり、例えば、制御部１１３が機械学習により予めプロの写真家が撮影した画像を学習することで、各時刻の入力画像の構図が良いか否かを判定する。制御部１１３が非定期のＩＤＲピクチャでの符号化をすると判定した場合（ステップＳ３０４：Ｙｅｓ）、制御はステップＳ３０
５に進み、制御部１１３が非定期のＩＤＲピクチャでの符号化をしないと判定した場合（ステップＳ３０４：Ｎｏ）、制御はステップＳ３０７に進む。
【００３９】
ステップＳ３０５において、制御部１１３は、通信部１１６を介して、他の画像符号化装置（例えば、画像符号化装置１２１）にＩＤＲピクチャでの符号化の指示を送信する。
【００４０】
ステップＳ３０６において、制御部１１３は、符号化部１１５にＩＤＲピクチャでの符号化を指示する（ＩＤＲ指定）。
【００４１】
ステップＳ３０７において、制御部１１３は、符号化部１１５に非ＩＤＲピクチャ（ＰピクチャまたはＢピクチャ）での符号化を指示する（非ＩＤＲ指定）。
【００４２】
ステップＳ３０８において、符号化部１１５は、ステップＳ３０６またはステップＳ３０７で送信された制御部１１３からの指示に基づいて、カメラ部１１２により入力された非圧縮の画像データ（入力画像）を所定の符号化方式（例えば、Ｈ．２６４またはＨ．２
６５等）により符号化する。具体的には、例えば、符号化部１１５は、制御部１１３から
ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部１１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部１１５は、制御部１１３から非Ｉ
ＤＲピクチャでの符号化の指示を受信した場合、カメラ部１１２により入力された非圧縮

10

20

30

40

50

(10)

JP 2021-132305 A 2021.9.9の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。以下、制御はステップＳ３０２に戻り、ステッ
プＳ３０８で符号化した符号化対象画像の次に符号化される非圧縮の画像データを新たな符号化対象画像として、ステップＳ３０２〜Ｓ３０８の処理を符号化対象画像となる画像
データが無くなるまで繰り返す。
【００４３】
図４は、第１の実施の形態に係る画像符号化方法のシーケンス図の一例である。図４は、上から順に、ユーザ操作、制御部１１３、通信部１１６、符号化部１１５により符号化された動画像データを示す。図４の符号化された動画像データにおいて、ＩＤＲはＩＤＲ
ピクチャ、ＰはＰピクチャ、ＢはＢピクチャを示す。
【００４４】
先ず、ユーザによる操作部１１４への操作により、画像符号化装置１１１の電源が入力される（ステップＳ３００）。これにより、カメラ部１１２や制御部１１３等は動作を開始し、動画の撮影が可能になる。
【００４５】
そして、ユーザによる操作部１１４への操作により、動画撮影開始の操作が行われると（ステップＳ３０１）、制御部１１３は、操作部１１４への動画撮影開始の操作を検出し、カメラ部１１２および符号化部１１５を制御し、動画撮影を開始する。これにより、符号化部１１５は、カメラ部１１２により入力された非圧縮の画像データに対して所定の符号化方式による符号化を開始する。図４の符号化された動画像データは、最初から順にＩ
ＤＲピクチャ、Ｐピクチャ、Ｂピクチャ・・・となる。
【００４６】
制御部１１３は、符号化対象画像を定期（例えば、１秒ごと）のＩＤＲピクチャで符号化すると判定する（ステップＳ３０２：Ｙｅｓ）。これにより、符号化部１１５は、符号化対象画像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。
【００４７】
ユーザによる操作部１１４への操作により、カメラ部１１２のズームが開始され、制御部１１３は、非定期のＩＤＲピクチャで符号化すると判定し（ステップＳ３０４：Ｙｅｓ）、符号化部１１５にＩＤＲピクチャでの符号化を指示する。これにより、符号化部１１５は、符号化対象画像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。
【００４８】
さらに、制御部１１３は、通信部１１６を介して、画像符号化装置１２１にＩＤＲピク
チャでの符号化の指示を送信する（ステップＳ３０５）。
【００４９】
その後、ユーザによる操作部１１４への操作により、カメラ部１１２のズームが終了され、制御部１１３は、非定期のＩＤＲピクチャで符号化すると判定し（ステップＳ３０４：Ｙｅｓ）、符号化部１１５にＩＤＲピクチャでの符号化を指示する。これにより、符号化部１１５は、符号化対象画像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。
【００５０】
そして、通信部１１６は像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信する。それにより、制御部１１３は、通信部１１６が他の画像符号化装置１２１からＩ
ＤＲピクチャでの符号化の指示を受信したと判定し（ステップＳ３０３：Ｙｅｓ）、符号化部１１５にＩＤＲピクチャでの符号化を指示する。これにより、符号化部１１５は、符号化対象画像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。
【００５１】
制御部１１３は、定期のＩＤＲピクチャで符号化すると判定してから、所定の時間（例えば、１秒）経過すると、再度、符号化対象画像を定期のＩＤＲピクチャで符号化すると判定する（ステップＳ３０２：Ｙｅｓ）。これにより、符号化部１１５は、符号化対象画
像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。

10

20

30

40

50

(11)

JP 2021-132305 A 2021.9.9【００５２】
その後、ユーザによる操作部１１４への操作により、動画撮影の停止の操作が行われ、制御部１１３は、符号化部１１５による符号化の処理を停止する。そして、ユーザによる
操作部１１４への操作により、画像符号化装置１１１の電源オフの操作がされると、制御部１１３は画像符号化装置１１１の電源をオフにする。
【００５３】
図５は、第１の実施の形態に係る動画像データを用いた動画編集の例を説明する図である。
【００５４】
例えば、符号化装置１１１のカメラ１１２と符号化装置１２１のカメラ部１２２で異なるアングルから同時に同一の被写体を撮影し、符号化装置１１１、１２１のそれぞれで符号化された２つの動画像データがあるとする。図５の上段は画像符号化装置１１１で符号化された第１の動画像データ、中段は画像符号化装置１２１で符号化された第２の動画像データ、下段は編集後の動画像データを示す。
【００５５】
例えば、時刻ｔ１において、画像符号化装置１１１のカメラ部１１２がズームを開始したため第１の動画像データに非定期のＩＤＲピクチャが生成される。これに応じて、画像符号化装置１１１から画像符号化装置１２１にＩＤＲピクチャでの符号化の指示が送信されるため、画像符号化装置１２１で符号化される第２の動画像データにおいても時刻ｔ１
でＩＤＲピクチャが生成される。
【００５６】
また同様に、時刻ｔ３において、画像符号化装置１２１のカメラ部１２２がパンを開始
したため第２の動画像データに非定期のＩＤＲピクチャが生成される。これに応じて、画像符号化装置１２１から画像符号化装置１１１にＩＤＲピクチャでの符号化の指示が送信されるため、画像符号化装置１１１で符号化される第１の動画像データにおいても時刻ｔ
３でＩＤＲピクチャが生成される。
【００５７】
ここで、図１と同様に、カメラ部１１２のズーム中はカメラ部１２２で撮影した画像に切り替えるようなアングル切り替えの編集を行うとする。動画編集において、時刻ｔ１で第１の動画像データから第２の動画像データに切り替えると、第２の動画像データの時刻
ｔ１のピクチャはＩＤＲピクチャであるので、第２の動画像データは時刻ｔ１のＩＤＲピクチャから再生（復号）される。
【００５８】
このように、図５の下段に示す編集後の動画像データにおいて、時刻ｔ０から時刻ｔ１
までの第１の動画像データの後、時刻ｔ１からの第２の動画像データが結合されている。
よって、編集後の動画像データでは、時刻ｔ０から時刻ｔ１までの第１の動画像データの後、時刻ｔ１からの第２の動画像データが再生される。
【００５９】
同様に、時刻ｔ３で第２の動画像データから第１の動画像データに切り替えると、第１の動画像データの時刻ｔ３のピクチャはＩＤＲピクチャであるため、時刻ｔ３のＩＤＲピクチャから再生（復号）される。図５の下段に示す編集後の動画像データでは、時刻ｔ１
から時刻ｔ３までの第２の動画像データの後、時刻ｔ３からの第１の動画像データが再生される。
【００６０】
このように、２つの動画像データを編集して１つの動画像データを作成する場合に、Ｉ
ＤＲピクチャの時刻が同じとなる２つの動画像データを用いることで、編集点の前後で時刻が連続した動画像データの作成が容易になる。
【００６１】
上述の図１に示す従来の動画編集では、時刻ｔ１で第１の動画像データから第２の動画像データに切り替える編集をした場合、時刻ｔ１から時刻ｔ２間の第２の動画像データは

10

20

30

40

50

(12)

JP 2021-132305 A 2021.9.9

編集後の動画像データで使用できなかったため、編集点の前後で時刻が不連続な動画像データが作成される。
【００６２】
一方、第１の実施の形態に係る動画像符号化装置による動画像データでは、図５に示す
ように、再符号化無しで編集点の前後で時刻が連続な動画像データを作成できる。
【００６３】
第１の実施の形態の動画像符号化装置によれば、自装置と他装置のそれぞれで符号化された複数の動画像データにおいて、非定期のＩＤＲピクチャの時刻を同じにすることができる。これにより、複数の動画像データを組み合わせて一つの動画像データに編集する場
合、編集後の動画像データにおける編集点の前後で時刻が連続した動画像データの作成が容易となる【００６４】（第２の実施の形態）
第１の実施の形態では、２つの画像符号化装置１１１、１２１で符号化を行っているが、第２の実施の形態では２つのカメラ部を有する１つの画像符号化装置で符号化を行う場
合を説明する。
【００６５】
図６は、第２の実施の形態に係る画像符号化装置の構成図の一例である。
【００６６】
画像符号化装置６１１は、カメラ部６１２，６２２、制御部６１３、操作部６１４、符号化部６１５，６２５、および記憶部６１７を有する。画像符号化装置６１１は、例えば、ビデオカメラ、スマートフォン、またはＰＣ等の動画を撮影可能な装置である。
【００６７】
カメラ部６１２は、被写体の撮影を行い、非圧縮の画像データを制御部６１３および符号化部６１５に出力する。カメラ部６２２は、被写体の撮影を行い、非圧縮の画像データを制御部６１３および符号化部６２５に出力する。カメラ部６１２，６２２の詳細な機能および構成は、カメラ部１１２の機能および構成と同様であるため説明は省略する。また、カメラ部６１２とカメラ６２２は、それぞれ異なる範囲を可能であり、例えば、カメラ部６１２とカメラ部６２２の一方は標準レンズを有し、他方は広角レンズを有する。また、例えば、カメラ部６１２とカメラ部６２２の一方は望遠レンズを有し、他方は標準レンズ（または広角レンズ）を有してもよい。カメラ部６１２は、定期的（例えば、１／３０
秒ごと）に非圧縮の画像データを制御部６１３および符号化部６１５に出力する。カメラ部６２２は、定期的（例えば、１／３０秒ごと）に非圧縮の画像データを制御部６１３および符号化部６２５に出力する。
【００６８】
制御部６１３は、カメラ部６１２，６２２の制御を行う。例えば、制御部６１３は、ユーザによる操作部１１４への入力に基づいて、カメラ部６１２，６１３をそれぞれ制御して、パン、チルト、ズーム、またはオートフォーカス等を行う。
【００６９】
さらに制御部６１３は、符号化部６１５、６２５による符号化の処理の制御を行う。具
体的には、例えば、制御部６１３は、符号化部６１５、６２５による符号化の処理に際して、ピクチャのタイプ（例えば、ＩＤＲピクチャ、Ｐピクチャ、またはＢピクチャ）を判定（決定）し、判定したピクチャのタイプを指示（指定）する。具体的には、例えば、制御部６１３は、定期的（例えば、１秒毎）に、ＩＤＲピクチャで符号化すると判定し、符号化部６１５にＩＤＲピクチャでの符号化を指示する。具体的には、例えば、制御部６１
３は、カメラ部６１２のズームの開始時または終了時、カメラ部６１２のパンの開始時または終了時、カメラ部６１２のチルトの開始時または終了時、またはカメラ部６１２のオートフォーカスの開始時または終了時に、ＩＤＲピクチャで符号化すると判定し、符号化
部６１５および符号化部６２５にＩＤＲピクチャでの符号化を指示する。具体的には、例
えば、制御部６１３は、望遠レンズを有するカメラ部６１２により撮影された画像から被

10

20

30

40

50

(13)

JP 2021-132305 A 2021.9.9

写体がフレームアウトした（撮影された画像に被写体が映っていない）が、標準レンズ（
または広角レンズ）を有するカメラ部６２２により撮影された画像から被写体がフレーム内にいる（撮影された画像に被写体が映っている）場合、ＩＤＲピクチャで符号化すると判定する。具体的には、例えば、制御部６１３は、カメラ部６１２，６１３の少なくとも何れか一方のレンズが撮影者により覆われた場合、ＩＤＲピクチャで符号化すると判定する。尚、カメラ部６１２，６１３のレンズが撮影者により覆われているか否かは、例えば、制御部６１３が撮影された画像から判断する。
【００７０】
具体的には、例えば、制御部６１３は、定期的（例えば、１秒毎）に、ＩＤＲピクチャで符号化すると判定し、符号化部６２５にＩＤＲピクチャでの符号化を指示する。具体的には、例えば、制御部６１３は、カメラ部６２２のズームの開始時または終了時、カメラ部６２２のパンの開始時または終了時、カメラ部６２２のチルトの開始時または終了時、またはカメラ部６２２のオートフォーカスの開始時または終了時に、ＩＤＲピクチャで符号化すると判定し、符号化部６２５および符号化部６１５にＩＤＲピクチャでの符号化を指示する。
【００７１】
また、例えば、制御部６１３は、カメラ部６１２で撮像した画像データをＩＤＲピクチ
ャで符号化すると判定しない場合には、符号化部６１５に非ＩＤＲピクチャ（Ｐピクチャ
またはＢピクチャ）での符号化を指示する。例えば、制御部６１３は、カメラ部６２２で撮像した画像データをＩＤＲピクチャで符号化すると判定しない場合には、符号化部６２
５に非ＩＤＲピクチャ（ＰピクチャまたはＢピクチャ）での符号化を指示する。制御部６１３は、判定部の一例である。
【００７２】
操作部６１４は、画像符号化装置６１１の操作、カメラ部６１２、６２２の操作、または画像符号化装置６１１へのデータの入力等を行うためのユーザからの入力を受け付ける。操作部６１４は、例えば、タッチパネル、押しボタン、またはスイッチ等である。
【００７３】
符号化部６１５は、制御部６１３からの指示に基づいて、カメラ部６１２により入力された非圧縮の画像データ（第１の入力画像）を所定の符号化方式により符号化する。具体的には、例えば、符号化部６１５は、制御部６１３からＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部６１５は、制御部６１３から非ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。そして、符号化部６１５は、符号化により生成されたＩＤＲピクチャ、Ｐピクチ
ャ、およびＢピクチャを含む符号化ビットストリームを記憶部６１７に記憶する。
【００７４】
符号化部６２５は、制御部６１３からの指示に基づいて、カメラ部６２２により入力された非圧縮の画像データ（第２の入力画像）を所定の符号化方式により符号化する。具体的には、例えば、符号化部６２５は、制御部６１３からＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６２２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部６２５は、制御部６１３から非ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６２２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。そして、符号化部６２５は、符号化により生成されたＩＤＲピクチャ、Ｐピクチ
ャ、およびＢピクチャを含む動画像データ（符号化ビットストリーム）を記憶部６１７に記憶する。
【００７５】

10

20

30

40

50

(14)

JP 2021-132305 A 2021.9.9

符号化部６１５、６２５における所定の符号化方式は、ＩＤＲピクチャを使用可能な符号化方式であり、例えば、Ｈ．２６４またはＨ．２６５等である。
【００７６】
記憶部６１７は、画像符号化装置６１１で利用されるプログラムおよびデータ、並びに画像符号化装置６１１で生成されたデータ等を記憶する。記憶部６１７は、符号化部６１
５、６２５により生成された動画像データ（符号化ビットストリーム）を記憶する。記憶部６１７は、例えば、フラッシュメモリまたはＨＤＤ等の記憶装置である。また、記憶部
６１７は、ＳＤメモリーカードまたはＵＳＢメモリ等の可搬型記録媒体でもよい。
【００７７】
また、画像符号化装置６１１は、カメラ部６１２，６２２が撮影した画像および記録部
６１７に記憶された動画像データを表示する表示部をさらに備えてもよい。
【００７８】
図７は、第２の実施の形態に係る画像符号化方法のフローチャートの一例である。
【００７９】
ステップＳ７００において、ユーザによる操作部６１４への操作により、画像符号化装置６１１の電源が入力される。これにより、カメラ部６１２，６２２や制御部６１３等は動作を開始し、動画の撮影が可能になる。
【００８０】
ステップＳ７０１において、制御部６１３は、動画撮影が開始されたか否か判定し、動画撮影が開始されたと判定された場合、制御はステップＳ７０２に進む。例えば、ユーザによる操作部６１４への操作により、動画撮影開始の操作が行われると、制御部６１３は、操作部６１４への動画撮影開始の操作を検出し、動画撮影が開始されたと判定し（ステップＳ７０１：Ｙｅｓ）、カメラ部６１２、６２２および符号化部６１５、６２５を制御し、動画撮影を開始する。これにより、符号化部６１５および符号化部６２５は、それぞれカメラ部６１２およびカメラ部６２２により入力された非圧縮の画像データに対して所定の符号化方式による符号化を開始する。以下、符号化部６１５および符号化部６２５のそれぞれ入力される複数の非圧縮の画像データ（複数の第１の入力画像および複数の第２の入力画像）のうち符号化部６１５および符号化部６２５のそれぞれにおいて符号化対象となる画像（符号化対象画像）の処理について説明する。
【００８１】
ステップＳ７０２において、制御部６１３は、符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行うか否かを示す非定期ＩＤＲ挿入フラグをｆａｌｓｅに設定する。非定期ＩＤＲ挿入フラグは、ｔｒｕｅの場合、符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行うことを示し、ｆａｌｓｅの場合、符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行わないことを示す。尚、非定期ＩＤＲ挿入フラグは、
例えば、制御部６１３に記憶される。また、非定期ＩＤＲ挿入フラグは、記憶部６１７または不図示のメモリ等に記憶され、制御部６１３により適宜読み書きされてもよい。
【００８２】
ステップＳ７０２の後、符号化部６１５の符号化の制御（詳細には符号化部６１５の符号化におけるピクチャのタイプの制御）に関するステップＳ７０３〜Ｓ７０９の処理、および符号化部６２５の符号化の制御（詳細には符号化部６２５の符号化におけるピクチャのタイプの制御）に関するステップＳ７１３〜Ｓ７１５、Ｓ７０６、Ｓ７１７〜Ｓ７１９の処理は、並列に実行される。以下、符号化部６１５の符号化の制御（詳細には符号化部
６１５の符号化におけるピクチャのタイプの制御）に関するステップＳ７０３〜Ｓ７０９の処理の詳細について説明する。
【００８３】
ステップＳ７０３において、制御部６１３は、符号化対象画像を定期のＩＤＲピクチャ
で符号化をするか否か判定する。具体的には、例えば、制御部６１３は、符号化対象画像
を定期的（例えば、１秒ごと）にＩＤＲピクチャで符号化すると判定する。制御部６１３が符号化部６１５における符号化対象画像を定期のＩＤＲピクチャで符号化をすると判定

10

20

30

40

50

(15)

JP 2021-132305 A 2021.9.9

した場合（ステップＳ７０３：Ｙｅｓ）、制御はステップＳ７０７に進み、制御部６１３が符号化部６１５における符号化対象画像を定期のＩＤＲピクチャで符号化をしないと判定した場合（ステップＳ７０３：Ｎｏ）、制御はステップＳ７０４に進む。
【００８４】
ステップＳ７０４において、制御部６１３は、非定期のＩＤＲピクチャでの符号化をするか否か判定する。制御部６１３は、例えば、カメラ部６１２への制御またはカメラ部６１２により撮影された画像に基づいて、非定期のＩＤＲピクチャでの符号化をするか否か判定する。具体的には、例えば、制御部６１３は、カメラ部６１２のズームの開始時または終了時、カメラ部６１２のパンの開始時または終了時、カメラ部６１２のチルトの開始
時または終了時、またはカメラ部６１２のオートフォーカスの開始時または終了時にＩＤ
Ｒピクチャで符号化すると判定する。また、具体的には、例えば、制御部６１３は、望遠レンズを有するカメラ部６１２により撮影された画像から被写体がフレームアウトしたが、標準レンズ（または広角レンズ）を有するカメラ部６２２により撮影された画像から被写体がフレーム内にいる場合、ＩＤＲピクチャで符号化すると判定してもよい。また、具体的には、例えば、制御部６１３は、カメラ部６１２，６１３の少なくとも何れか一方のレンズが撮影者により覆われた場合、ＩＤＲピクチャで符号化すると判定してもよい。また、具体的には、例えば、制御部６１３は、入力画像の構図が良いと判定される区間の開始時または終了時、または入力画像の被写体が話している区間の開始時または終了時等に
ＩＤＲピクチャで符号化すると判定してもよい。制御部６１３が符号化部６１５において非定期のＩＤＲピクチャでの符号化をすると判定した場合（ステップＳ７０４：Ｙｅｓ）、制御はステップＳ７０６進み、制御部６１３が符号化部６１５において非定期のＩＤＲピクチャでの符号化をしないと判定した場合（ステップＳ７０４：Ｎｏ）、制御はステッ
プＳ７０５に進む。
【００８５】
ステップＳ７０５において、制御部６１３は、符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行うか否かを示す非定期ＩＤＲ挿入フラグがｔｒｕｅまたはｆａｌ
ｓｅのいずれかであるか判定する。制御部６１３がＩＤＲ挿入フラグがｔｒｕｅであると判定した場合、制御はステップＳ７０７に進み、制御部６１３がＩＤＲ挿入フラグがｆａｌｓｅであると判定した場合、制御はＳ７０８に進む。
【００８６】
ステップＳ７０６において、制御部６１３は、符号化部６１５、６２５それぞれの符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行うか否かを示す非定期ＩＤＲ
挿入フラグをｔｒｕｅに設定する。符号化部６１５の符号化の制御において、ステップＳ
７０６の処理の後、制御はステップＳ７０７に進む。後述するように、非定期ＩＤＲ挿入
フラグは、符号化部６２５の符号化の制御においても使用され、非定期ＩＤＲ挿入フラグ
がｔｒｕｅの場合、制御部６２５の指示に応じて符号化部６２５は符号化対象画像をＩＤ
Ｒピクチャで符号化する。制御部６１３が符号化部６１５において非定期のＩＤＲピクチ
ャでの符号化をすると判定した場合（ステップＳ７０４：Ｙｅｓ）、非定期ＩＤＲ挿入フ
ラグをｔｒｕｅに設定する（ステップＳ７０６）ことで、後述の符号化部６２５の符号化の制御において、非定期ＩＤＲ挿入フラグがｔｒｕｅと判定され（ステップＳ７１５：Ｙｅｓ）、制御部６１３は符号化部６２５にＩＤＲピクチャでの符号化を指示する（ステップＳ７１７）。
【００８７】
ステップＳ７０７において、制御部６１３は、符号化部６１５にＩＤＲピクチャでの符号化を指示する（ＩＤＲ指定）。
【００８８】
ステップＳ７０８において、制御部６１３は、符号化部６１５に非ＩＤＲピクチャ（ＰピクチャまたはＢピクチャ）での符号化を指示する（非ＩＤＲ指定）。
【００８９】
ステップＳ７０９において、符号化部１１５は、ステップＳ７０７またはステップＳ７

10

20

30

40

50

(16)

JP 2021-132305 A 2021.9.9０８で送信された制御部６１３からの指示に基づいて、カメラ部６１２により入力された非圧縮の画像データ（入力画像）を所定の符号化方式（例えば、Ｈ．２６４またはＨ．２
６５等）により符号化する。具体的には、例えば、符号化部６１５は、制御部６１３から
ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部６１５は、制御部６１３から非Ｉ
ＤＲピクチャでの符号化の指示を受信した場合、カメラ部６１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。以下、制御はステップＳ７０２に戻り、ステッ
プＳ７０９で符号化した符号化対象画像の次に符号化される非圧縮の画像データを新たな符号化対象画像として、ステップＳ７０２〜Ｓ７０９の処理を符号化対象画像となる画像
データが無くなるまで繰り返す。
【００９０】
符号化部６２５の符号化の制御に関するステップＳ７１３〜Ｓ７１５、Ｓ７０６、Ｓ７
１７〜Ｓ７１９の処理は、上述の符号化部６１５の符号化の制御に関するステップＳ７０
３〜Ｓ７０９の処理の説明において、カメラ部６１２をカメラ部６２２、符号化部６１５を符号化部６２５にそれぞれ置き換えた処理と同様であるため詳細な説明は省略する。尚、符号化部６２５の符号化の制御において、ステップＳ７０６の処理の後、制御はステッ
プＳ７１７に進む。
【００９１】
第２の実施の形態の画像符号化装置によれば、符号化部６１５、６２５のそれぞれで符号化された複数の動画像データにおいて、非定期のＩＤＲピクチャの時刻を同じにすることができる。これにより、複数の動画像データを組み合わせて一つの動画像データに編集する場合、編集後の動画像データにおける編集点の前後で時刻が連続した動画像データの作成が容易となる【００９２】（ソフトウェアによる実現例）
画像符号化装置１１１、１２１、６１１の制御ブロック（特に、制御部１１５、１２５、 ６ １ ５ 、 符 号 化 部 １ １ ５ 、 １ ２ ５ 、 ６ １ ５ ） は 、 集 積 回 路 （ Ｉ Ｃ （ Integrated Circuit）チップ）等に形成された論理回路（ハードウェア）によって実現可能であり、またＣＰ
Ｕ （ Central Processing Unit） を 用 い て ソ フ ト ウ ェ ア に よ っ て 実 現 し て も よ い 。 後 者 の場合、画像符号化装置１１１、１２１、６１１は、各機能を実現するソフトウェアである
プログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（
またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、伝送可能な任意の伝送媒体を介して上記コンピュータに供給されてよい。
【００９３】
なお、本発明は、上述した実施の形態に限定されるものではなく変形可能であり、上記の構成は、実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。
【００９４】
例えば、第１の実施の形態において、ＩＤＲピクチャで符号化するか否かの判定を符号化部１１５，１２５が行ってもよい。また、例えば、第２の実施の形態において、符号化部６１５の符号化の制御に関するステップＳ７０３〜Ｓ７０９の処理、および符号化部６２５の符号化の制御に関するステップＳ７１３〜Ｓ７１５、Ｓ７０６、Ｓ７１７〜Ｓ７１
９の処理は、それぞれ異なる制御部で実行されてもよいし、符号化部６１５および符号化

10

20

30

40

50

(17)

JP 2021-132305 A 2021.9.9

部６２５のそれぞれで実行されてもよい。その場合、各制御部または符号化部６１５、６
２５は、自身がＩＤＲピクチャで符号化すると判定した場合、他の制御部または他の符号化部６２５、６１５に第１の実施の形態と同様にＩＤＲピクチャでの符号化の指示を送信する。
【符号の説明】【００９５】
１０１
画像符号化システム
１１１，１２１
画像符号化装置
１１２，１２２
カメラ部
１１３，１２３
制御部
１１４，１２４
操作部
１１５，１２５
符号化部
１１６，１２６
通信部
１１７，１２７
記憶部
６１１
画像符号化装置
６１２，６２２
カメラ部
６１３
制御部
６１４
操作部
６１５，６２５
符号化部
６１７
記憶部

【図１】

【図２】

10

20

(18)

【図３】

【図４】

【図５】

【図６】

JP 2021-132305 A 2021.9.9

(19)

【図７】

JP 2021-132305 A 2021.9.9