情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-472023/3/1

ハイブリッド・イメージ手法による動画合成
奥村秀岳1,a)Peeraya Sripian2,b)

西野 裕樹1,3,c)

概要：本稿ではハイブリッド・イメージの手法を用いた動画像を合成する実験に関して報告する．ハイブ
リッド・イメージとは，2 つの違った静止画像を，近くで見た時は一方の画像に見え，遠くで見た時はもう一方の画像に見えるように合成した画像である．既存の研究ではハイブリッド・イメージの手法は静止画像にのみ適用されており，同手法による動画像合成に関する研究はほぼ未踏である．そのため，本研究では，ハイブリッド・イメージ手法を用いて「動画像と動画像」「動画像と静止画像」の 2 つの組み合わせにたいし，ハイブリッド・イメージ手法を適用した動画像合成を行ったのち，簡易なユーザ・スタディを予備実験として行った．結果として，ハイブリッド・イメージの性質は，同手法を用いて同画像を合成しても保たれることがわかった．さらに，動画像と静止画像の 2 つを元画像として合成した場合，合成動画内の動画像が見える距離が伸びるようであること，また，元動画が 2 つとも動画像の場合，どちらの動画像も認知できる距離が短くなるようであること，元動画像内の被写体の動きが早い場合より見えやすくなることなども，予備実験から示唆された．

1. はじめにてもらい，各動画で合成元画像の 2 つのどちらを被験者が視認できるか，鑑賞距離の測定を行うとともに，動画に関ハイブリッド・イメージとは「ある画像の低周波数成分する意見をヒアリングし質的な意見として記録した．結果と別画像の高周波成分を取り出した画像を合成し，鑑賞距として後述のように，合成元動画と合成手法が適切なもの離によって合成画像の見え方が変わるような画像」[3] でであれば，ハイブリッド・イメージの性質である「2 つのある．本稿では，ハイブリッド・イメージの合成手法を動合成元動画のうち，片方が鑑賞距離によって認知される・画像に適用し，予備実験として行ったユーザ・スタディにされやすくなる」といった性質は，動画像でも保たれてい関して報告する．既存のハイブリッド・イメージの研究でることがわかった．また合成元が「動画像と動画像」であは，その合成手法は静止画像への適用に限定され，動画像るか，もしくは「動画像と静止画像」であるかの違いが，を生成した先行例は現在のところ存在しないようであるた

適切な鑑賞距離の変化に関わりそうであるということ，元め，本予備実験によりハイブリッド・イメージ動画像に関動画の被写体の動きが速ければみえやすくなりそうである

して基礎的な知見が得られることが期待される．

こと，などが予備実験から示唆された．

本研究では，最初のハイブリッド・イメージ画像合成の手法と知られている Oliva らのハイブリッド・イメージ手

2. 関連研究

法 [3] と，さらに合成元画像の形状類似度が低くても効果

2.1 Oliva らによるハイブリッド・イメージの合成手法

的にハイブリッド・イメージ画像を合成できるように改善

ハイブリッド・イメージの合成手法を最初に提示したのした Sripian と Yamaguchi による手法 [6] の 2 つを用いては，Oliva らである．文献 [3] では，以下のような簡易な動画像の合成を行うソフトウェアを最初に開発し，その後手法でハイブリッド・イメージが合成できることが報告「動画像と動画像」「動画像と静止画像」の組み合わせで動されている．まず，離れた距離から見えるようにしたい画像をいくつか合成した．

画像 (I1 ) の低周波成分をローパスフィルタ (G1 ) を適用し予備実験として，5 名の被験者にそれら動画像を鑑賞し抜き出す．その後，近くで見えるようにしたい画像 (I2 )の高周波成分をハイパスフィルタ（1 − G2 ) を使い抜き出123a)b)c)

高知工科大学 情報学群
芝浦工業大学・工学部情報工学科・先進国際課程
高知工科大学 Creative and Cultural Computing Laboratory
230310p@ugs.kochi-tech.ac.jp
peeraya@shibaura-it.ac.jp
nishino.hiroki@kochi-tech.ac.jp© 2023 Information Processing Society of Japan

す．ここで，G1 と G2 は，合成に関するパラメータ (例えば I2 がどれくらいの距離から見えてほしいのかなど) を与えられたガウシアン・フィルタである．これらを使って合成されるハイブリッド・イメージ (H) を式で表すと．

667

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-47
2023/3/1

H = I1 · G1 + I2 · (1 − G1 ) と表せる．
図 1 に，Oliva らの手法で合成されたハイブリッド・イメージの例を示す*1 . 図 1(b) と (c) はそれぞれ，マリリン・モンローの顔画像から低周波成分，アインシュタインの顔画像から高周波成分を抽出したものである．これらをそのまま足し合わせて合成すると図 1(a) の画像となり，遠くからはマリリン・モンロー，近くからはアインシュタインに見える画像となる．Oliva らのこの手法は，広く利用されている基本的なハイブリッド・イメージの合成手法ではあるが，2 つの元画像の形状の類似度が高くなければ，ハイブリッド・イメージを効果的に合成できないという欠点がある．
例として図 2 を示す（表 1

No.2 の動画である）．高周波成分にアヒルの画像*2 を，低周波成分に犬の画像*3 をして合成した画像であるが，形状の類似度が低いため，ハイブリッド・イメージの効果が適切に現れず，単に犬の画像の上に，型押しされたようにアヒルの画像が浮き上がって見えてしまっている．

2.2 Konishi,Sripian らのハイブリッド・イメージ合成
手法
前述の Oliva らの手法を使用した場合，形状類似度の低い元画像ではハイブリッド・イメージの効果が現れないという欠点を改善するため，いくつかの新しい手法が提案されている．Konishi らは，文献 [2] において，形状類似性が低い画像でもハイブリッド・イメージの効果を出すために，近距離では低周波成分の画像を見えにくくして，高周波成

図 1

Oliva らの手法によるハイブリッド・イメージ：(a) 合成結果の画像,(b) 低周波成分の元画像，(c) 高周波成分の元画像．

分画像が認識されやすくするように，高周波成分画像にノイズを加える手法を提案した．しかし，このノイズ付加により高周波成分の画像も見づらくなるという弊害があるため，さらに高周波成分の画像に合成前の色を残して合成することで，より高周波成分の画像を見えやすくすることも同時に提案した．

Sripian，この Konishi の手法をさらに発展させた手法を
文献 [4][5][6] で提案している．Konisi らの手法ではノイズを付加することにより高周波成分まで見にくくなってしまうが，Sripian らの手法では付加するノイズを少なくし見やすくするために，低周波画像を参照して低周波画像の特徴的な部分を隠すように付加するすることによって視認性を向上させている．また，Konishi らの手法では高周波*1*2*3

パブリック・ドメインの画像を使用
URL: https://en.wikipedia.org/wiki/Hybrid image.
Duck Cub Chick Cute Water Bird by NickyPe,
URL:https://pixabay.com/videos/duck-cub-chick-cutewater-bird-108438/ (Pixabay License)
A Puppy Playing Tug Of War By Biting Its Collar Slingby Andrea Hamilton,
URL:https://www.pexels.com/video/a-puppy-playingtug-of-war-by-biting-its-collar-sling-3144446/(CreativeCommons License)© 2023 Information Processing Society of Japan

図 2

形状類似度の低い画像を Oliva らの手法で合成した例（元動画は図 3 の (b)（c）と同じ).

成分に色を塗り認識しやすくしているが，低周波成分画像を遠距離から見る場合にもこの色が見えてしまう．このため，Sripian，補色を用いて高周波画像の強調を行い，遠距離から低周波画像を見るときは，補色が混ざり合い色が認識できなくなるように改善を行った．このうち，本予備実験で使用した（色成分は用いない）ノイズ付加法のみによる Sripian らの手法による合成結果を図 3 に示す．

668

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-47
2023/3/1

い．予備実験で使用するハイブリッド・イメージの手法による合成動画像をつくるため，まずソフトウェアを開発した．同ソフトウェアは，2 つの入力動画像を 1 フレームずつ静止画として抽出し，そのフレームに対応する静止画のハイブリッド・イメージを合成し，その後に各フレームに対応する合成した静止画をまとめて動画像を生成するものである．これを用い，ハイブリッド・イメージの合成手法が静止画と同様に動画像にも適用できるのかを知るため，予備実験として簡易なユーザ・スタディを行った．使用した元動画像の概要を表 1 に示す．
また，静止画と動画の組み合わせで何らかの差異や影響があるのかも大まかに調べるため，表 2 のように各動画を10 秒ごとにセクションわけした合計 40 秒の長さの動画として生成した. 各動画は，前述の Oliva らの手法と Sripian
図 3

Sripian らの手法によるハイブリッド・イメージ：(a) 合成結のノイズ付加法の 2 つを用いて合成を行い，合計 6 動画を果の画像,(b) 低周波成分の元画像，(c) 高周波成分の元画像．

用意した．
予備実験の被験者は高知工科大学の学部生ボランティア

表 1

Clip No.

使用した動画像5 名（男性 4 名・女性 1 名）である．被験者は一度に 1 名

低周波成分の動画（動きの速さ）（動きの速さ）

象 (遅い）

サイ（遅い）

高い

つずつリピート再生して被験者に提示し，被験者は自由に

1

形状の類似度ずつ実験に参加し，40 インチの LCD ディスプレイで上記高周波成分の動画の 6 動画を鑑賞した．実験の実施の際には，各動画をひと2

アヒル (遅い）

犬（遅い）

低い

前後に動いてもらい，合成元画像が見える範囲や 3 つの動

3ライオン (遅い）子犬（早い）

低い

画での見やすさの比較などを報告してもらった．また，自由に気づいたことを報告してもらった．

表 2

動画のセクション分け

3.2 予備実験の結果
高周波成分の動画

低周波成分の動画

長さ

1

静止画

静止画

10 秒

2

静止画

動画

10 秒

3動画

静止画

10 秒

4動画

動画

10 秒

Section No.

予備実験の結果，ハイブリッド・イメージの効果を動画に適用しても，静止画の時と同様に，鑑賞する距離によって合成元画像のどちらかにみえるという性質は基本的には保たれていることがわかった．しかし，静止画の時と比べて，それぞれの元動画の見えやすさや適切な鑑賞距離には2.3 その他のハイブリッド・イメージ合成手法違いがあるとの意見が全ての被験者から得られた．

その他の手法として，新井らによる 3 つの画像を重ね合まず，６種類全ての動画について，合成元動画像と静止わせ，近距離・中距離・遠距離でそれぞれ違った画像が見画の組み合わせのセクション（セクション 2 と 3) の方が，えるように合成する手法なども提案されている. 同手法に静止画同士の組み合わせセクションよりも，合成元動画の関しては，本稿で扱う「動画像と動画像」「動画像と静止画

視認性が高いと報告が全ての被験者からあった．被験者の像」の組み合わせで 2 つの画像の合成をする動画像合成実

多くは, 動画 2 と 3 のように合成元動画の被写体の形状の験からは大きく範囲を超えるため，本稿では扱わない．詳

類似度が低いほど，この効果がよく現れるとも述べた．特しくは文献 [1] を参照していただきたい．に動画 2 においては，高周波成分動画において，輪郭の細3. ハイブリッド・イメージによる動画像の生成と予備実験
3.1 予備実験の概要かい部分がよく現れるため，効果が高いとの意見だった．
また，合成元画像がそれぞれ認識可能な距離にも差が見られた．動画のセクション 2（高周波成分が静止画，低周波成分が動画）の場合，セクション 1（静止画のみのハイ本予備実験は，まずハイブリッド・イメージの効果が動ブリッドイメージ）より近くでも低周波成分の動画が見え，画合成でも保たれているかを初期段階で調べるためのも動画のセクション 3 では（高周波成分が動画，低周波成分のであり，また将来の本格的なユーザ・スタディの実験設が静止画），セクション 1 よりも画面からより遠くても高計や実施に役立てる知見を得るためのものである．そのた

周波成分が見えた（つまり，上述の両方の場合において元め，統計的な有意差などを想定した実験設計としてはいな

画像のうち動画が合成されている側が見える距離が延長さ© 2023 Information Processing Society of Japan669

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

れた）と多くの被験者が述べ，実際に被験者が立っていた

2B-47
2023/3/1[4]位置もそれを反映していた．
しかし，2 つの動画像を合成したセクション 4 では，高[5]周波成分の動画が見える距離の範囲も，低周波成分の動画が見える距離の範囲も，どちらも狭くなる傾向が見られた．
いいかえれば，高周波成分の画像を認識するためにはより近づかなければならず，低周波成分の画像を認識するためにはより遠ざからなければならないという傾向が現れた．

[6]

Sripian, P & Yamaguchi, Y.: Hybrid Image From Diﬀerent Contents. 情報処理学会研究報告． グラフィックスと CAD 研究会報告 2010-CG-138, 1-6 (2010).
Sripian, P & Yamaguchi, Y.: Toward a shape-free hybrid
image: experimental on visual contrast sensitivity. Proc.
of the 14th International Conference on Geometry andGraphics (DVD), 214, 1-9 (2010).
Sripian, P & Yamaguchi, Y.: Synthesis and assessment methods for an edge-alignment-free hybrid image.Journal of Electronic Imaging, Vol.26, 4. (2017).

また，動画内の被写体の動く速度に関しては，速度が早いほど認識しやすいとの報告も全ての被験者からあった．

Oliva らの手法と Sripian らの手法の違いについては，形状の類似度が高いときには，ハイブリッド・イメージの効果は両者で静止画を合成した場合と同じようにあらわれたが，形状類似度が低い場合（違った形状の被写体の場合），Oliva らの手法ではそれぞれの画像が同時に見えてしまうという同手法の性質の欠点はそのまま現れていた．一方，

Sripian らの手法の特徴である，類似度が低い元動画でも効果的にハイブリッド・イメージを合成できるという特徴もそのまま保たれており，特に高周波成分が Oliva らの手法よりも見やすいという言及があった．

4. まとめ本稿ではハイブリッド・イメージの手法を用いた動画像を合成する実験に関して報告した．動画像でも静止画像と同様のハイブリッド・イメージの性質が保たれることがわかった．また Oliva らの手法や Sripian らの手法の特性も基本的には保たれていることがわかった．同時に，ハイブリッド・イメージの生成手法を適用した合成動画では，それぞれの元動画（高周波成分動画と低周波成分動画）によって，視認できる距離に影響が出ることがわかった．既存のハイブリッド・イメージの研究では静止画像の合成のみが行われており，今のところ動画像に適用した例は未だないようである．そのため本研究により，かなり初歩的ではあるものの，ハイブリッド・イメージ合成手法の動画像への応用に関して，一定の知見を得られたと考えられる．
今後は予備実験で得られた結果に基づいて，本格的なユーザ・スタディを設計・実践し統計的な有意さを検定する予定である．
参考文献
[1]

[2]

[3]

新井仁之, 新井しのぶ: 数学による新しい表現方法 スー
パーハイブリッド・アート (online),
入手先 ⟨ http://www.araiweb.matrix.jp/Exhibition/FromHybridToSuperHybrid.html⟩ (2022.10.21).
小西 真裕美， 山口 泰: 局所的空間周波数解析を利用した二重画像作成法． Visual Computing/グラフィッ
クスと CAD 合同シンポジウム講演論文集, 36 (2008).
Oliva, A, Torralba, A. & Schyns, P.G.: Hybrid images.
ACM Transcations on Graphics, Vol 25, 3. 527-532(2006).

© 2023 Information Processing Society of Japan670