こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

追跡型QEMアルゴリズム：メッシュ登録に基づく
動的メッシュ簡略化への時間整合性の追加

概要
3Dマルチメディア技術の進化により、より効果的な3Dビデオストレージと伝送方法の必要性が高まっている。メッシュデシメーション段階における現在の標準化3Dボリュームビデオコーディング手法のほとんどは、まだ限定的である:各簡略化されたフレームにおける幾何学的構造の違いが、最適な圧縮を妨げている。提案するTracked QEM Algorithmは、連続するフレームに渡るメッシュモデルを効果的に追跡し、3Dボリューム映像における動的メッシュのための調整されたソリューションを提供する。

追跡QEMアルゴリズムは、簡略化された結果が、オリジナルのQEMアルゴリズムよりも、連続するフレーム間のトポロ
ジー的一貫性と空間的平滑性が優れていることを保証する。時間的整合性に基づく評価結果から、提案手法が従来のメッシュ簡略化手法よりも優れていることがわかる。類似のトポロジーを持つより滑らかな単純化された結果は、フレーム間の不連続な構造情報を明確にする。3Dビデオ圧縮の新しい前処理アプローチとして、この提案は圧縮率を向上させる可能性がある。

3D映像の動的メッシュが一連の静的メッシュフレー
ムで構成されていることを考えると、現在の符号化
ここ数年、AR/VR(Augmented and Virtual Reality)技基準9)は静的メッシュの簡略化手法に依存している。

術 1) が急速に発展している 2) 。これらの先進的なマルチメディア技術の中心である3Dボリュームビデオ3)

二次誤差メトリック(QEM)アルゴリズム10) で表現され、は、3Dオブジェクトやシーンを正確に再現する上で極これらの方法は個々の静的メッシュフレーム 11) を効めて重要であり、大きな注目を集めている4) 。3Dボリ

率的に単純化することができる。図2に示すように、

ューム映像符号化5) の標準化における現在進行中の動簡略化アルゴリズムは、各フレームのメッシュを入力として使用し、対応する簡略化結果を生成する。しか

作により、この特定の3D映像フォーマットのストレー
ジと伝送効率を向上させることが決定的に必要である。

2次元映像圧縮6)と同様に、3次元ボリューメトリック
映像符号化は多段階パイプライン7)に従う。符号化の進捗は、一連の生フレームを入力とし、それらを連続ビットストリームに変換して効率的な記憶と伝送を行うことから始まる8) 。この図に示す赤い部分のように、このパイプラインの本質的な構成要素はメッシュデシメーションであり、入力メッシュの面の数を減らしてデータ量を減少させる。

し、フレーム間の連続性があまり考慮されていないた
め、単純化処理で隣接フレーム間の差が増幅される可能性がある。簡略化されたフレームは、外観やトポロ
ジーが異なる場合があり、これはメッシュデシメーションステップの不整合と呼ぶことができる。
不連続な構造情報はビットストリームフェーズ12)でより高い符号化コストにつながるため、前処理段階でフレームシーケンスの整合性をできるだけ確保することが、3Dビデオ符号化において不可欠な課題となる。この問題を解決するために、新しいメッシュデシメーシ
ョン法を提案する。この方法は、参照フレームを導入することで、時間的整合性を追加することを目的としている。
図3に示すように、ダイナミックメッシュが静的メッシュフレームで構成されていることを考慮し、【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

ITE Trans. on MTA Vol. 12, No. 3, pp. 175-189 (2024)

Copyright © 2024 by ITE Transactions on Media Technology and Applications (MTA)

Paper
Tracked QEM Algorithm: Adding Temporal Consistency to Dynamic Mesh Simpliﬁcation Based on Mesh
Registration
Yunlong Liu (student member)† , Jianfeng Xu (member)†† , Kei Kawamura (member)†† ,Hiroshi Watanabe (fellow)†
Abstract

The evolution of 3D multi-media technology has spurred the need for more eﬀective 3D video storage andtransmission methods. Most of the current standardizing 3D volumetric video coding methods in the mesh decimation stage
are still limited: the diﬀerence of geometric structure in each simpliﬁed frame hinders optimal compression. The proposed
Tracked QEM Algorithm eﬀectively tracks mesh models across successive frames, oﬀering a tailored solution for dynamic
meshes in 3D volumetric videos.
The Tracked QEM Algorithm ensures that the simpliﬁed results have better topological consistency and spatial smoothness
between consecutive frames than the original QEM algorithm. The evaluation results based on temporal consistency showthat the proposed approach is superior to the conventional mesh simpliﬁcation. The smoother simpliﬁed results with similar
topology delineate the discontinuous structural information between frames. As a novel pre-processing approach to 3D video
compression, this proposal has the potential to improve the compression rate.

Key words: Multi-media Technology, Volumetric Video, Computer Graphic, Mesh Simpliﬁcation, Mesh Registration, QEM Algorithm

ber of faces in the input mesh to diminish the amountof data. Given that dynamic meshes in 3D videos consist of a series of static mesh frames, current encoding
standards9) rely on static mesh simpliﬁcation methods.
Represented by the Quadratic Error Metric (QEM)
algorithm10) , these methods can eﬃciently simplify theindividual static mesh frame11) . As shown in Fig.2, thesimpliﬁcation algorithm uses the mesh of each frame as
an input to generate corresponding simpliﬁed results.
However, due to less consideration of the inter-frame
continuity, the diﬀerence between adjacent frames may
be ampliﬁed in the simpliﬁcation process. The simpliﬁed frames may diﬀer in appearance and topology,
which can be called inconsistency of the mesh decimation step.
Since the discontinuous structural information willlead to higher encoding expenses in bitstream phase12) ,ensuring the consistency of frame sequences as muchas possible in pre-processing stages becomes an essential issue in 3D video coding. A novel mesh decimation
method is proposed to solve this problem. This method
aims to add temporal consistency via the introductionof a reference frame.
As shown in Fig.3, considering the dynamic meshconsists of static mesh frames, the proposed Tracked

1. Introduction
Over the past few years, Augmented and Virtual
Reality (AR/VR) technologies1) developed rapidly2) .
Central to these advanced multi-media technologies, 3D
volumetric video3) is pivotal in accurately recreating
3D objects and scenes, gaining signiﬁcant attention4) .
With the ongoing actions in standardizing 3D volumetric video coding5) , there is a critical need to enhancestorage and transmission eﬃciency for this particular
3D video format.
Similar to 2D video compression6) , 3D volumetricvideo encoding follows a multi-step pipeline7) , a concise summary can be depicted in Fig.1. The encoding
progress begins by taking a series of raw frames as input, transforming them into a continuous bitstream foreﬃcient storage and transmission8) . As the red partshown in this ﬁgure, an essential component of thispipeline is mesh decimation, which reduces the numReceived; Accepted
Received April 4, 2024; Revised; Revised
May 25, 2024; Accepted May 28,
2024† Graduate School of Fundamental Science and Engineering,
Waseda University(3-4-1 Ohkubo, Shinjuku-ku, Tokyo, 169-8555, Japan)†† KDDI Research, Inc.
(2-1-15 Ohara, Fujimino-shi, Saitama, 356-8502, Japan)

175

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

図1 3Dボリューム映像のための典型的なエンコーダパイプライン

提案するTracked QEMアルゴリズムは、動的メッシュ単純化において時間的整合性を飛躍的に高めるために、前の- 3Dボリューム映像のダイナミックメッシュに適した追跡型Q
EMアルゴリズムを提案する。

フレームから登録された13)メッシュモデルを追跡する。

- フレーム間の折りたたみコスト関数と最適戦略を再設計し、QEMアルゴリズムが参照入力を扱えるようにする。

2. 1 メッシュ登録

個々のフレームに対する3Dビデオ符号化における現在のメッシュ
デシメーション

また、提案するTracked QEM Algorithmと従来のオリ
ジナルQEM Algorithmの動的メッシュデシメーション
タスクの有効性を比較する実験も行っている。この結果から、本提案は従来のアプローチの時間的整合性を大幅に改善することが明らかになった。3Dビデオコー
ディングの前処理として、より滑らかでコヒーレント
な3Dフレームシーケンスを準備することで、入力メッ(c) 剛体レジストレーション(d) 非剛体レジストレーション

図4 剛体レジストレーションと非剛体レジストレーション

シュの一貫したトポロジーを維持することができる。
このメリットは、Tracked QEM Algorithm が将来的に関連する 3D ボリュームビデオ圧縮の研究を前進させる可能性を示している。
本論文で提案する手法の主な貢献は以下の通りである:- メッシュ簡略化タスクにおいて、時間的整合性を考慮する可能性を探るため、3Dメッシュレジストレーションを革新的に導入。

本論文の主な研究は、メッシュ登録の原理を革新的に統合した新しいメッシュ簡略化手法の提案である。メ
ッシュレジストレーションは、コンピュータビジョンとコンピュータグラフィックスにおける特定の3Dレジ
ストレーションであり、典型的な座標系13)への明確な
3Dモデルの追跡と位置合わせに焦点を当てた有益なタ
スクである。

【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

ITE Trans. on MTA Vol. 12, No. 3 (2024)

Fig. 1

A typical encoder pipeline for 3D Volumetric video• Proposes a Tracked QEM Algorithm suitable fordynamic mesh in 3D volumetric video.
• Redesigns inter-framed collapsed cost function andoptimal strategy, enabling QEM Algorithm to handle
reference input.

QEM algorithm tracks registered13) mesh model fromthe previous frame to drastically boost the temporalconsistency in dynamic mesh simpliﬁcation.

2. Related work
2. 1 Mesh Registration

Fig. 2

Fig. 3Current mesh decimation in 3D video coding on
individual frames(a) Tracked mesh(b) Reference mesh(c) Rigid registration(d) Non-Rigid registration

Proposed dynamic mesh simpliﬁcation withinter-frame tracking

Experiments are also carried out to compare the eﬀectiveness in dynamic mesh decimation task between the
proposed Tracked QEM Algorithm and previous Original QEM Algorithm. The result reveals that the proposal signiﬁcantly improves the temporal consistencyof the traditional approach. As a pre-processing step of
3D video coding, preparing a smoother, more coherent
3D frame sequence helps maintain the consistent topology of input meshes. This merit shows the potential of
the Tracked QEM Algorithm to advance the related 3Dvolumetric video compression research in the future.
The main contributions of the proposed method inthis paper are as follows:• Innovatively introduces 3D mesh registration to explore the possibility of considering temporal consistency
in mesh simpliﬁcation tasks.

Fig. 4

Rigid & Non-Rigid Registration

The main work in this paper is a proposal of a novel
mesh simpliﬁcation method that innovatively integrates
the principles of mesh registration. Mesh registration isa speciﬁc 3D registration in computer vision and computer graphics, which is a beneﬁcial task that focuseson tracking and aligning distinct 3D models into a typical coordinate system13) . The registration has evolved176

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

登録は、ばらつきや歪みを考慮した剛体アプローチから非剛体アプローチへと進化してきた14) 。図4に示すように、
メッシュレジストレーションは剛体レジストレーションと非剛体レジストレーションに分けられる。

正則化項目Ereg (X)は重みαによる変形Dijのオーバ
ーフィッティングを避ける、回転項目Erot (X)は偏差
A iを射影変換proj R (A i ) に近づける、重みby β.

剛体登録: Rigid Registrationは、ユークリッド変換15)を適用することで、2つの3D画像を整列させるが、多くの関連研究も様々な3D画像フォーマットで進歩している16)。剛体メッシュ登録は点群からの点集合マッチング17 − 19)のアプローチから発展したもので、代表的な手法21 − 24)と多くのバリエーショ
ン25)は反復最接近点(ICP)26)である。式(1)に示す
ように、ICPは対応する各点ペアpciとprjに対して、2つの点集合Pc = {p c1:Nc }とPr = {p r1:Nr }の間の距離関数を構成する。 Nr }を3次元センサからの固有ノイズΩijで構成し、最小二乗法によりアフィン変換行列Tの最小値を反復して最適な変換行列T*27)を得る:

この方式では、最適化の滑らかさを確保するために、ウェルシュ関数ψν (-)39) を導入している。FastRNRRはMMとL-BFGSを組み合わせた準ニュートンソルバーを用いて最適化効率を向上
させ、事前データや学習なしで収束速度が速い。

非剛体登録: 非剛体登録の文脈では、剛体運動

2. 2 メッシュの簡略化の単純さを凌駕する変換の多面的な性質を考慮することが不可欠である28) 。修正ICPアルゴリ
ズム30 − 32)から着想を得た埋め込み変形29)が代表的なアプローチ33)である。式(2)で述べたよ
うに、剛体レジストレーションと同様に、初期の方法は、アフィンRjを持つ複数の変換Xjから変換点集合G = gj g1 : N Xを持つ変形場Xを生成し、tj行列を変位させることを目的としていた。
各ターゲット点v^iと変換元viの関係は、wjで重み付けされた複数の近傍変換Xjで記述できる。

(a) 元の入力

典型的なメッシュ簡略化の入力と出力の可視化ケース

一般性と使いやすさを考慮すると、ロバストな反復最適化ベースの手法34 − 37)は、上流や下流のタスクとの組み合わせに適している。提案手法に統合されたアプローチはFast-RNRR38)であり、式(3)の3つのサブ項目を通してコスト関数E(X)から最適な目標X*を構築した。(3):整列項目Ealign (X)は整列関連研究のもう1つの部分は、基本知識としてのメッシ
ュ簡略化技術を中心に構成されており、提案で使用されるQEMアルゴリズムの文脈化に役立つ。メッシュの簡
略化は、3Dコンピュータグラフィックス処理における重要な研究方向である。図5に示すように、メッシュモ
デル 40)の頂点、辺、面の数を減らす手順である。

v^ iと入力u ρ(i)間の偏差にペナルティを与える、【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

Paper » Tracked QEM Algorithm: Adding Temporal Consistency to Dynamic Mesh Simplification Based on Mesh Registrationfrom rigid to non-rigid approaches that account for variations and distortions14) . As shown in Fig.4, mesh registration can be divided into rigid and non-rigid registration.
Rigid Registration: Rigid Registration aligns two
3D image by applying an Euclidean transformations15) ,many related research has also made progress in various 3D image formats16) . The rigid mesh registration
evolved from approaches for point set matching17–19)
from point cloud20) , the representative methods21–24)
with many variants25) is Iterative Closest Point(ICP)26) . As shown in Eq.(1), for each corresponding point pair pci and prj , ICP constructs the distancefunction between two point sets P c = {pc1:N c } andP r = {pr1:N r } with the inherent noise Ωij from 3D sensor, then iterates the minimum value of aﬃne transformation matrix T via least square method to get themost suitable transformation matrix T∗27) :T∗ = arg minTc

pci −T⊕prj

T

item Ereg (X) to avoid the over-ﬁtting of deformation
Dij with weight α, and rotation item Erot (X) to makethe deviation Ai close to a projection transformation
projR (Ai ) weighted by β.
X∗ = min Ealign (X) + αEreg (X) + βErot (X),X

Ealign (X) =mEreg (X) =wj (vi ) [Rj (vi − gj ) + gj + tj ] ,rψνr (Dij ) ,i=1 pj ∈N (pi )Erot (X) =

r

i=1

(3)

2

Ai − projR (Ai )F ,ψν (x) =1 − exp −

x2
2ν 2

This scheme introduces the Welsch function ψν (·)39)
to ensure the smoothness of the optimization. FastRNRR uses the Quasi-Newton solver combining MM
and L-BFGS to improve optimization eﬃciency, which
has rapid convergence speed without prior data or training.
2. 2 Mesh Simpliﬁcation
Ωij pci −T⊕prj (1)

j=1



ψνa v̂i − uρ(i)  ,i=1

Non-Rigid Registration: In the context of nonrigid registration, it is imperative to account for themultifaceted nature of transformations that surpass
Emthe simplicity of rigid body movements28) .
29)
inspired from modiﬁed ICP
bedded deformation
30–32)
is a representative approach33) . As
algorithm
stated in Eq.(2), Like rigid registration, the early methods, aimed to generate the deformationﬁeld X with a transformation point set G = gj g1:N X from severaltransformation Xj with aﬃne Rj and displace tj matrices. The relationship between each target point v̂iand transformed source vi can be described by several
neighbour transform Xj weighted by wj .

v̂i =

n


(2)

(a) Original input

Xj = (Rj , tj ) , Xj ∈ X

Fig. 5

Considering generality and usability, the robust iterative optimization-based methods34–37) are more suitable for combining with upstream or downstream tasks.
The approach integrated into proposed method is theFast-RNRR38) , which constructed the optimal targetX∗ from cost function E(X) through three sub-items inEq.(3): alignment item Ealign (X) to penalizes the deviation between aligned v̂i and input uρ(i) , regularization(b) Simpliﬁed result

A visualized case for input and output of typicalmesh simpliﬁcation

The other part of the related work is structured
around mesh simpliﬁcation techniques as the basic
knowledge, which helps to contextualize the QEM algorithm used in the proposal. Mesh Simpliﬁcation
is a crucial research direction in 3D computer graphics processing. As shown in Fig.5, it is a procedure
to reduce the number of vertices, edges, and faces
177こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

一方、元のモデルの外観とトポロジー構造は、何度も試みても保持します41) 。これらの研究42)は1990年代に登場し、3Dモデル47)の異なる詳細度(
LOD)を自動的に生成することを目的としている。

初期の手法では、幾何学的誤差48 − 51)に着目し、簡略化後も元の外観を保持するようにした。プログレッシブメッシュ 53)のような反復削減法 52)は広く研究されており、モデルの漸進的な洗練や簡略化が可能である54 − 56)。
近年、並列計算 57 − 59)や機械学習 60 − 62)などの高度な計算技術を活用することで、より効式(5)によれば、この誤差Δ(v)は2次関数であるため、最適位置vを求めることは線形問題に変換される:2次行列Qを正定値行列とすると、
位置vの極値vは、 ∂x = ∂y = ∂z = 0のとき、偏微分によって求めることができる:

率的で正確な簡略化結果を得る傾向にある。
上記の多くのアプローチの中で、QEMアルゴリズムはメッシュの簡略化のためによく使われる手法であり、本稿の提案にインスピレーションを与えた。マイケル・ガーランドとポール・S・ヘクバートは1997年にこの種を導入し10)、その後数年で多くの可変種を導き出した48 − 50)63)。
3. 提案手法

3Dボリュームビデオの特徴は、本論文のアプローチに影響を与えた: 隣接するフレーム間のこのような動きを条件としてアルゴリズムが考えることができる場合、
このメッシュ簡略化アルゴリズムは、従来の既存の方法よりも動的メッシュに有利である。図7に示すよう
図6 QEMアルゴリズムにおける典型的なエッジ崩壊ステップに、この動的な動きを追跡するために、メッシュレジ
ストレーションにより前のフレームを参照として導入できるTracked QEM Algorithmを提案する。

図6に示すように、高品質なモデル簡略化処理に
より、QEMアルゴリズムは2次誤差を最小化し、頂点ペアを効率的に選択・マージする。このマージ手順はエッジ崩壊とも呼ばれる。QEMアルゴ
リズムはユークリッド距離を用いて崩壊コストを測定する。具体的には、ターゲット位置vからマージされる頂点ペア(v1, v2 )までの全ての隣

現在のボリューメトリックビデオ符号化規格5)で使用されているオリジナルのQEMアルゴリズムと比較して、提案する追跡QEMアルゴリズムは主に3つの場
所から改善されている:単純化のための参照を生成するためのメッシュ登録の導入、エッジ崩壊コスト関数のためのフレーム間トラッキングの追加、2次誤差行列が不可逆的な場合の最適探索戦略の改善。

接平面p∈平面(v i )の二乗距離の和を求める:
これらの修正により、簡略化されたメッシュの構造が前のフレームと時間的に整合性を保ち、隣接するフレーム間の運動や変形に起因する幾何学的構造との違いが大きすぎることを避けることができる。本章の次の任意の頂点ペア(v1, v2 ) → vの合体(v1, v2 )に対し部分は、この提案アプローチにおけるこれら3つの主
要なイノベーションポイントを包括的に説明する。

て、対象場所v = [vx, vy, vz, 1]における二次誤差Δ(v) = v Q vは、対称4×4行列Qによる幾何学的近似として定義できる:3. 1 前フレーム参照【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

ITE Trans. on MTA Vol. 12, No. 3 (2024)

Fig. 6

v

v





pp

p∈planes(v)

⎛





  2p v

p∈planes(v)

v

⎞



=v ⎝

(5)

Kp ⎠ vp∈planes(v)=v Q v
According Eq.(5), since this error Δ(v) is a quadratic
function, ﬁnding the optimal position v is transformed
into a linear problem: Assuming the quadratic matrix
Q is a positive deﬁnite matrix, the extreme value vof position v can be ﬁnd by partial derivative when∂Δ/∂x = ∂Δ/∂y = ∂Δ/∂z = 0:
⎡

q11
⎢
⎢ q12
⎢
⎢ q
⎣ 13
0

q12
q22
q23
0

q13
q23
q33
0

⎤
⎡
⎤
0
q14
⎥
⎢
⎥
⎢
⎥
q24 ⎥
⎥v = ⎢ 0 ⎥
⎥
⎢
⎥
q34 ⎦
⎣ 0 ⎦
1
1

(6)

3. Proposed Method
The characteristic of 3D volumetric video inspired
the approach in this paper: If an algorithm can consider such movement between adjacent frames as conditions, then this mesh simpliﬁcation algorithm is moreadvantageous for dynamic mesh than the traditional existing method. As shown in Fig.7, the Tracked QEM
Algorithm is proposed to track this dynamic movement,
which can introduce the previous frame as a reference
via mesh registration.
Compared with the original QEM algorithm used incurrent volumetric video coding standard5) , the proposed Tracked QEM Algorithm is mainly improved
from three places: introduced mesh registration to generate the reference for simpliﬁcation; added inter-frame
tracking for edge collapse cost function; and improved
optimal search strategy when the quadratic error matrix is irreversible.
These modiﬁcations ensure that the structure of thesimpliﬁed mesh has temporal consistency with the previous frame to avoid geometric structures that are too
diﬀerent from those caused by motion and deformation
between adjacent frames. The following part of thischapter will comprehensively describe these three main
innovation points in this proposed approach.
3. 1 Previous frame reference
As discussed in Section 1, the dynamic mesh in 3D
volumetric videos is similar to a frame sequence in 2D

As shown in Fig.6, with high-quality model simpliﬁcation processing, the QEM algorithm minimizes thequadratic error to select and merge vertex pairs efﬁciently. This merging procedure can also be callededge collapse. QEM algorithm uses Euclidean distance to measure the collapse cost. Speciﬁcally, thesum of the squared distances of all neighboring planesp ∈ plane (vi ) from the target position v to the vertex
pair (v1 , v2 ) being merged:=

A typical edge collapse step in QEM Algorithmv = arg minΔ(v) = Δ [vx , vy , vz , 1] =in a mesh model40) . Meanwhile, retain the originalmodel’s appearance and topological structure with numerous attempts41) . These researches42) emerged in the
1990s43–46) , which aims to automatically generate different Levels of Detail (LOD) for 3D models47) .
Early methods focused on the geometric error48–51) ,ensuring retaining the original appearance after simpliﬁcation. Iterative reduction methods52) , such as Progressive Meshes53) , were widely studied, allowing for
gradual reﬁnement or simpliﬁcation of the model54–56) .
In recent years, the trend has shifted towards leveraging advanced computational techniques, such as Parallel Computing57–59) and Machine Learning60–62) , toachieve more eﬃcient and accurate simpliﬁcation results.
Among the many approaches mentioned above, theQEM algorithm is a commonly used method for meshsimpliﬁcation, which inspired the proposal in this paper. Michael Garland and Paul S. Heckbert introduced
it in 199710) , then derived many variable species in thefollowing several years48–50)63) .

distance(v, p)2 (4)p∈plane(v1 )∪ plane (v2 )For the merger (v1 , v2 ) → v of any given vertex pair
(v1 , v2 ), the quadratic error Δ (v) = v Q v in target
place v = [vx , vy , vz , 1] can be deﬁned as an geometricapproximation via a symmetric 4 × 4 matrix Q:

178

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

ビデオ、これも静的なメッシュフレームで構成されている。図8に示す例のように、一定の時間間隔Δt

64)

でキャ

プチャされたこれらの静的メッシュフレームは、このシーケンスにおける特定のk番目のフレームは、従来のコンピュータグラフにおける静的メッシュメッシュ(k)と見なすこともできる。特定の期間(k - 1)Δt 〜 kΔt におけこのフレーム間の関連付けを追跡する。

3Dボリューム映像は、ボリューム空間内の姿勢変化のニュアンスに焦点を当てているが、発生する可能性のあるキャラクタの位置の変位を考慮する
ことも同様に重要である65) 。この変位と変形は、る被写体の動きは、現在のフレームメッシュ(k)と前のフ剛体変換と非剛体変換の組み合わせ14)とみなす

レームメッシュ(k − 1)の差分によって記録される。

ことができ、体積環境内で人間の動きをキャプチ
ャし、再現することの複雑さを強調している。

3Dボリューム映像断片のダイナミックメッシュからのフレー
ムシーケンス

簡略化した結果を隣接する2つのフレーム間のこれらの違いを活用するために、Tracked QEMは簡略化
プロセスの参考として前のフレームの情報を導入した。しかし、被写体の動きを含むフレーム間情報のため、静的メッシュの幾何学的構造において、
2つのフレームの間に有意な対応関係はない。このため、メッシュレジストレーションを導入した。

図9に示すフローチャートのように、提案手法では剛体レジス
トレーションと非剛体レジストレーションを同時に使用する。

図7 提案するTracked QEM Algorithmのフローチャート(前フレームからの追跡参照を含む【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

Paper » Tracked QEM Algorithm: Adding Temporal Consistency to Dynamic Mesh Simplification Based on Mesh Registration

video, which also consists of static mesh frames. As theexample shown in Fig.8, these static mesh frames captured with a constant time interval Δt64) , speciﬁc k-th
frame in this sequence can also be viewed as a staticmesh mesh(k) in traditional computer graph. the subject movement in a speciﬁc period (k − 1)Δt ∼ kΔt
will be recorded by diﬀerence between current framemesh(k) and previous frame mesh(k−1) .

(a) (k-1)-th frameFig. 8(b) k-th frame

to track this inter-frame association.
While the 3D volumetric video focuses on the nuancesof posture alterations within the volumetric space, it isequally crucial to consider the displacing of the character’s position that may occur65) . This displacement anddeformation can be regarded as a combination of rigid
and non-rigid transformation14) , which underscores thecomplexity of capturing and replicating human motion
within volumetric environments.

(c) (k+1)-th frame

A frame sequence from dynamic mesh in 3D volumetric video fragment

In order to make the simpliﬁed results leverage these
diﬀerences between two adjacent frames, Tracked QEM
introduced the information of the previous frame as areference in the simpliﬁcation process. However, due
to the inter-frame information, including subject movement, there is no signiﬁcant correspondence between
the two frames in the geometric structure of the staticmesh. For this reason, mesh registration was introduced

Fig. 7

Fig. 9Mesh registration for reference input to align the(k-1)-th frame

As the ﬂowchart shown in Fig.9, rigid and non-rigid
registration is used in the proposed method simultane-

Flowchart of proposed Tracked QEM Algorithm, including tracked reference from previous frame179こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

複雑な人間の動きを追跡するために13) 。登録メッシュγ(k − 1)

メッシュ登録はトラッキングを確立することを目的

は、以前のメッシュ(k − 1)からγ(-)を登録することで得とする。mesh(k − 1)とmesh(k)の間の幾何学的実体の対応は、このフレーム間トラッキングを得ることが(k)

ることができ、追跡エッジ崩壊における現在のメッシュの基準として用いることができる:

1. 剛体レジストレーション: 剛体レジストレー
ションは、後続の処理における変位によって引き起こされる可能性のある困難を排除するために、入力を整列させることを目的とする。ここで採用したアルゴリズムは、ナイーブ反復最密点(ICP)26)

追跡メッシュγ(k − 1)の関連頂点も最適化目標v (k)に導入する必要がある。最適化目標を "現在のメッシュの外観への影響を最小化する "から "前と現在のメッシュへの影響を最小化する "に変更する。
3. 2 追跡された崩壊コスト関数(k)

この名の通り、Tracked QEMはオリジナルのQEMアルと整列するように移動させ、剛体変換を行う。式

ゴリズムをベースに、Trackingに関連するいくつか(1)の最適化目標T*を、対応する点対γ(k-1)変換の新機能を追加したものである。現在のk番目のフレ

Pijを最小化する以下の式(7)の特定の形式Tγ(k − 1)

ームメッシュ(k)上でエッジが折りたたまれ、特定のである。前のメッシュ(k − 1)

できる。現在のフレームメッシュ(k)の基準として、を現在のメッシュに変更する。結果は、その後の非剛体レジストレーション処理の入力として渡される。

エッジe上の2つの端点v1 とv2 を縮約して1つの点vに折りたたむ元のQEMを考える。式(4)と同じ意味で、エッジ崩壊関数は、現在のメッシュ表面から面(v1 )と面(v2 )に隣接する崩壊頂点v1 , v2 のみを考慮する。

2. 非剛体レジストレーション:剛体アライメント
後に非剛体変形が修正される。非剛体変形は潜在的に不均質であり、局所的な領域でのみ発生する可能性がある。そこで、許容できる対応関係を得るために、反復に基づくFast-RNRR38)を選択した。
この準ニュートンのソルバーにより、式(2)の変形場X*は2層の反復で解くことができる。提案手法では、アフィンR γjと変位t γj変換は、式(8)の式によりXγ(k − 1)と記述できる。

フレーム間情報が考慮されていないため、元のQEMで図9に示すフローチャートと一致し、剛体変換Tγ(k − 1)(-)と非剛体変形Xγ(k − 1) (-)が得られれば、剛体は簡略化された結果に時間的整合性が欠けていた可能性がある。幸いなことに、メッシュレジストレーショ

変形Xγ(k − 1) (-)が得られる。式(2)の定義を組み合ンの導入により、2フレーム間のトラッキングが再確立された。Tracked QEM Algorithmは、Fig.6に示すよ

わせると、登録された参照メッシュγ(k − 1)は変換行

うに、この対応関係を利用するために、提案された設列Tγ(k − 1)と変形場X

γ(k − 1)で表すことができる:計を示すように、崩壊コスト関数を再設計した。

計算の利便性を考慮すると、登録結果メッシュγ(k − 1)と現在のモデルメッシュ(k)の類似度を考慮する必要がある40) 。つまり、エッジe(k)の崩壊を計算す
るとき、ターゲットv (k)に導入されたトラッキン【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

ITE Trans. on MTA Vol. 12, No. 3 (2024)

Mesh registration aims to establish tracking.
The correspondence of geometric entities between
mesh(k−1) and mesh(k) can obtain this inter-frame
tracking. As the reference of current frame mesh(k) ,related vertices in tracked meshγ(k−1) also need to be
introduced into the optimization target v (k) . It changes
the optimization goal from ”minimize the eﬀect on current mesh appearance” to ”minimize the eﬀect on theprevious and current mesh.”
3. 2 Tracked collapse cost function
As implied by the name, Tracked QEM is based on
the original QEM algorithm and has added some newfeatures related to tracking. Consider an edge collapsing on the current k-th frame mesh(k) , original QEM
contracting two endpoints v1 and v2 on a speciﬁc edge
e to be collapsed into a single point v. With the same
meaning as in Eq.(4), the edge collapse function only
considers the faces plane (v1 ) and plane (v2 ) adjacentcollapsed vertices v1 , v2 from current mesh surface.

ously to track complex human motion13) . The registered meshγ(k−1) can be obtained by registration γ(·)
from previous mesh(k−1) , which can be used as a reference of current mesh(k) in tracked edge collapse:
1. Rigid registration: Rigid registration aims toalign inputs to eliminate the possible diﬃculties causedby displacement in the subsequent processing. The algorithm employed here is the naive Iterative ClosestPoint (ICP)26) . The previous mesh(k−1) will be moved
to align with the current mesh(k) to fetch rigid transformation. The optimization target T∗ in Eq.(1) ischanged into the speciﬁc format Tγ(k−1) in Eq.(7)below, which minimum the corresponding point pairγ(k−1). The result will be passed astransformation Pij
input for the subsequent non-rigid registration processing.

Tγ(k−1) = arg minTcγ(k−1)PijT 
γ(k−1)
Ωij Pij,(7)γ(k−1)(k)(k−1)= pi −T⊕pj
Pij

2. Non-rigid registration: non-rigid deformations
will be corrected after rigid alignment. Non-rigid deformations can potentially be in-homogeneous and may occur only in a local region. Therefore, the Fast-RNRR38)
based on iteration was selected to obtain acceptable correspondence. Through this Quasi-Newton’s solver, thedeformation ﬁeld X∗ in Eq.(2) will be able to be solved
by a two-layer iteration. In the proposed method, theaﬃne Rγj and displace tγj transformation can be described as Xγ(k−1) by the formula in Eq.(8).
Fig. 10Xγ(k−1)= min Ealign (X)+αEreg (X)+βErot (X) ,X

X

γ(k−1)


=



(8)






Xγj  Xγj = Rγj , tγj

Since the inter-frame information was not considered,the original QEM may have led to a lack of temporalconsistency in the simpliﬁed results. Fortunately, due tothe introduction of mesh registration, tracking between
two frames was re-established. The Tracked QEM Algorithm redesigned the collapse cost function to utilize
this correspondence, as described in Fig.6, above Fig.10
illustrates the proposed design.
Considering the convenience in computing, the similarity between the registration results meshγ(k−1) andthe current model mesh(k) should be considered40) .
Which means that when calculating the collapsesof edge e(k) , optimized items of introduced tracking

Consistent with the ﬂowchart shown in Fig.9, once
the rigid transformation Tγ(k−1) (·) and non-rigid deformation Xγ(k−1) (·) has been obtained. Combine the definition from Eq.(2), the registered reference meshγ(k−1)
can then be expressed by the transformation matrix
Tγ(k−1) and the deformation ﬁeld Xγ(k−1) :meshγ(k−1) = γreg(k) mesh(k−1)γ(k−1)=XT

γ(k−1)

(k−1)

Tracked Quadric Error Metrics (QEM) Algorithm



(9)

mesh

180

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

グメッシュγ(k − 1)の最適化項目は、メッシュ(k)と同様の形式を持つべきである。
(k)
辺e(k)の2つの頂点v(k)1 とv2 を除き、追跡メッ面(v2 )との和距離Δ(v)=v Qvは、Q1とQ2の和で表すことができる。同様に、あるk番目のフレームメッシュ(k)で追跡された2次誤差行列Q(k)を求めることができる:

シュ γ(k − 1)からそれらに近い頂点も考慮する。
次に、式(5)の最適化目標vはv(k)に変化し、位置は隣接する三角形平面p∈平面(vi )との距離が最小となる。ただし、メッシュ(k)のマージ(k)(k)
されたv(k)1 とv2 以外は、vi を中心とするあγ(k − 1)る近傍δ(i)のメッシュγ(k − 1)からの閉頂点Vδ(i)も考慮する必要がある:

上式は、隣接するverγ(k-1) tices collection Vδ(i)によって構成される追加の2次行列maγ(k-1) trices Qδ(i)を導入した:

つまり、近傍点を探索する場合、探索の最大半径2つのフレーム間の対応する大まかな関係は、メは辺の長さe(k)に限定される、すなわち、length

ッシュレジストレーションによって確立されてい2(e(k) ) = (v1(k) - v(k)2 ) となる。この制限的る。mesh γ(k − 1)とmesh (k)の位置も同じ空間座標に揃える。したがって、近傍δ(i)のγ(k-1)頂点な戦略は、過剰なトラッキングポイントを導入することを回避し、その結果、2つのフレーム間のvδ(i)は、メッシュ^{δ(i)}^{γ(k-1)}から、メメッシュデータの重みの不均衡をもたらす。図11ッシュγ(k − 1)内の特定の中心v(k)i に対して、K-最− 1)(k − 1)に近傍頂点集合V(kδ(1) とVδ(2) の構築過程を示す。

近傍(K-NN)アルゴリズムによって効率的に構築できる。各近傍領域は特定の探索半径e(k)を持ち、(k)
これは辺の長さe (k) = v (k)を意味する:
1 , v2

3. 3 近似最適探索戦略

もう一つの改良点は、近似最適崩壊位置の探索戦略である。元のQEMアルゴリズムでは、最適点vの位置は2次行列Qの性質に関係し、これは追跡QEMにおけるQ(k)でもある。式(5)より、任意の平面pの式がax + by + cz + d = 0であ式(5)のQEM行列によれば、与えられた辺の崩壊(v1, v2 )→ vに対して、崩壊頂点vと周囲の平面p∈平面(v1 ) 〜
平

るとすると、式(12)のある頂点v(k)i の2次行列Q(k)track(i) は式(14)の形式で表すことができる。

【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

Paper » Tracked QEM Algorithm: Adding Temporal Consistency to Dynamic Mesh Simplification Based on Mesh Registration

planes p ∈ plane (v1 ) ∪ plane (v2 ) can be represent bysum of Q1 and Q2 . Similarly, the tracked quadric error matrix Q(k) with certain k-th frame mesh(k) can beobtained:meshγ(k−1) in the target v (k) should have similar format with mesh(k) .
(k)(k)
Except for the two vertices v1 and v2 of edgee(k) , vertices near to them from tracked meshγ(k−1)
will also be considered. Then the optimization target v from Eq.(5) changes to v (k) , where the position
has a minimum distance to the adjacent triangle planes(k)(k)
p ∈ plane (vi ). But except merged v1 and v2 inγ(k−1)
from meshγ(k−1) inmesh(k) , closed vertices Vδ(i)(k)

a certain neighbourhood δ(i) centered around vi
should be considered:v (k) = arg minv

γ(k−1)

distance(v, p)2 ,p∈plane(vi )γ(k−1)

Qδ(i)

(10)

γ(k−1)
vδ(i) ∈ meshγ(k−1) ,γ(k−1):=

Qγ(k−1)v(13)

3. 3 Approximate optimal search strategy
Another improvement is the search strategy for theapproximate optimal collapse position. In the original QEM algorithm, the location of the optimal pointv is related to the nature of the quadratic matrix Q,
which is also the Q(k) in tracked QEM. According
to Eq.(5), suppose the expression of any plane p is(k)ax + by + cz + d = 0, the quadratic matrix Qtrack(i)

(11)

(k)
vi ∈ mesh(k)(k)

of certain vertex vi
format in Eq.(14).

(k)

in Eq.(12) can be denoted as theγ(k−1)

in neighbourhood of v1

Fig. 11(12)

It means that when searching for nearby points, themaximum radius of the search will be limited
to the side

(k)
(k)
length of e(k) , namely length(e(k) ) = (v1 − v2 )2 .
This restrictive strategy avoids introducing excessive
tracking points, resulting in an imbalance in the weightof mesh data between the two frames. The Fig.11 shows
the construction process of the neighbour vertices set
(k−1)
(k−1)
Vδ(1) and Vδ(2) .

According to the QEM matrix in Eq.(5), for the givenedge collapse (v1 , v2 ) → v, the sum distance Δ(v) =v Qv between collapsed vertex v and surrounding(a) vertex vδ(1)γ(k−1)

γ(k−1)

from meshγ(k−1) for a speciﬁc cen-γ(k−1)  γ(k−1)(k)= vδ(i) vδ(i) −vi  < e(k)  ,(k)+ Q2 + Qδ(2)v∈Vδ(i)(k)γ(k−1)

γ(k−1)

tices collection Vδ(i)tre vi in mesh(k) can be eﬃciently built through the
K-Nearest Neighbor (K-NN) algorithm. Each neighbor(k)hood have a speciﬁc search , which means
 radius e(k) (k)(k)the length of edge e = v1 , v2 :
Vδ(i)

(k)

The above formula introduced additional quadric maγ(k−1)
trices Qδ(i) , which constructed by the neighbour ver-also

The corresponding rough relationship between thetwo frames has been established through the mesh registration. The position of meshγ(k−1) and mesh(k) arealso aligned into the same space coordinates. Hence theγ(k−1)
in the neighbourhood δ(i) constructedvertices vδ(i)γ(k−1)(k)= Q1 + Qδ(1)(k) (k)γ(k−1)
γ(k−1)
vi ∈ {v1 , v2 } ∪ Vδ(1)∪ Vδ(2)collection Vδ(i)(k)

Q(k) = Qtrack(1) + Qtrack(2)(b) vertex vδ(2)Nearest Point Search for Edge in Tracked QEM Based on K-NN Algorithm

181

(k)

in neighbourhood of v2

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

図12 三角形表面上の近似解探索

しかし、式(14)によれば、追跡QEMにおける近傍1頂点V δ(i)を考慮すると、Q (k)track(i) が不可
逆である確率が高くなる。このため、簡略化されたモデルの出現の質を保証するために、より正確な探索戦略を設計する必要がある。
元のQEMでは、探索領域はエッジe(k)上で定義されるセグメントであり、これも元のメッシュ表面に制限される。追跡QEMアルゴリズムでは、参照フレー
ムメッシュγ(k − 1)を導入するため、メッシュ(k)表面での解の可能性は制限されなくなる。図12に示すよ
うに、提案する探索戦略は解空間を大幅に拡大する。

最適化された頂点の空間における候補位置は、3元のQEMと同様に、式(6)によれば、最適化されたv(k)は式(15)の逆行列で解くことができ、式(12)で示される行列Q(k)を通して、式(14)のQ(k)track(i) で計算される要素値を得ることができる。ただし、二次誤差行列Qが不可逆である場合は、近似的に最適解を求めるために探索方法を指定する必要がある。

次元空間において三角形平面に展開されている。
本提案では、新しい探索方向は、追跡された近傍γ(k-1) γ(k-1)頂点集合Vδ(1)とVδ(2)の重心
m δによって傾向づけられるexγ(k-1)である:

過度の計算費用を避けるため、最適な探索は2つの段階に分けられる。最初のステージは、オリジナルのQEMア
ルゴリズムで一様である。アルゴリズムは、セグメン(k))の探索のみを行い、第1ステージの最ト(v(k)
1 , v2

現実には、行列Qはほとんどの場合可逆であるため、単純な探索戦略で済む。元のQEMアルゴリズムは、中点位
置(v1 +v2 )/2を選択するか、エッジeに沿って再帰的二値探索を実行する。

適化結果v(k)1st を求める。sec(k) γ(k-1) ondステージ
はセグメント(v1st, mδ )の探索である。したがって、最終的なv(k)を得るまでの全進歩は、2つの線分に対する段階的探索で考えることができる:【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

ITE Trans. on MTA Vol. 12, No. 3 (2024)

Fig. 12(k)(k)

Qtrack(i) = Qiγ(k−1)+ Qδ(i)=

Approximate solution search on the triangular surface

γ(k−1)
v∈Vδ(i)
∪





(k)
vi

⎡

a2p
⎢
 ⎢ a p bp
⎢
=
⎢ a c
p p
p ⎣
ap dp
⎡
q11 q12⎢⎢ q12 q22=⎢
⎢ q
⎣ 13 q23
q14 q24



Kp

(k)

probability that the Qtrack(i) is irreversible. For thisreason, more precise search strategies must be designed
to ensure the quality of the appearance of the simpliﬁed
model.
In the original QEM, the search area is the segmentdeﬁned on edge e(k) , which is also restricted on an original mesh surface. Since in the tracked QEM algorithm,
the introduction of reference frame meshγ(k−1) , possible solution should not be limited at the mesh(k) surface anymore. As shown in Fig.12, the proposed searchstrategy signiﬁcantly expands the solution space.
The candidate position in the space of the optimized
vertex has been expanded into a triangular plane in 3D
space. In this proposal, the new search direction is exγ(k−1)
of tracked neighbour
tended by the barycenter mδγ(k−1)
γ(k−1)and Vδ(2) , which deﬁned by thevertices set Vδ(1)p∈plane(v)a p bpb2p
bp c pbp d p
q13
q23
q33
q34

the edge e. But according to Eq.(14), accounted neighγ(k−1)
in tracked QEM increases thebour vertices Vδ(i)ap c pbp c pc2p
c p dp⎤⎤ap dp⎥
bp d p ⎥⎥ (14)c p dp ⎥
⎦
d2p

q14
⎥
q24 ⎥
⎥
q34 ⎥
⎦
q44

As same as the original QEM, according to Eq.(6),the optimized v (k) can be solved by the inverse matrix
in the form of Eq.(15), which can get the element value
through the matrix Q(k) stated in Eq.(12) calculate by(k)
Qtrack(i) in Eq.(14). However, if the quadric error matrix Q is irreversible, it is necessary to specify the searchmethod to ﬁnd approximately optimal solutions.

(k)

q11
⎢
⎢ q12
v=⎢
⎢ q
⎣ 13
0

q12
q22
q23
0

q13
q23
q33
0

⎤−1 ⎡

q14
⎥
q24 ⎥
⎥
q34 ⎥
⎦
1

mδ

⎤

0
⎢
⎥
⎢ 0 ⎥
⎢
⎥
⎢ 0 ⎥
⎣
⎦
1

in current edge e(k) :γ(k−1)⎡(k)

endpoint v1 , v2=γ(k−1)

Vδ(1)
nδ(1)

+
2

γ(k−1)

Vδ(2)
nδ(2)

(16)

In order to avoid excessive computing expenses, theoptimal search will be split into two stages. The ﬁrst
stage is uniform with the original QEM algorithm. Al(k)(k)
gorithm only proceed search on segment (v1 , v2 ) to(k)of 1st stage. The secﬁnd the optimized result v1stγ(k−1)(k), mδ
).
ond stage is the search on the segment (v1stTherefore, the entire progress to get the ﬁnal v (k) can
be considered in staged search on the two line segments:(15)

In reality, only a simple search strategy is needed
since the matrix Q is invertible in most cases. The
original QEM algorithm chooses the midpoint position(v1 +v2 )/2 or executes the recursive binary search along
182

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

アルゴリズム1 反復に基づく二値探索
セグメント(v1, v2 )のバイナリサーチが必要。

を確保する: 最小のコストで近似v

このアルゴリズムは、1stフレームを除いた2ndフレー
ムから5thフレームまでメッシュを簡略化する。同じ理由で、評価には各簡略化されたk番目のフレームと登録された(k-1)番目のフレームとの間の誤差も含まれる。
簡略化された結果は可視化され、時間整合性の性能を分析するために評価される。

初期化。反復回数 c ← 0(a) メッシュ表面距離
図 13 距離測定に基づく指標を確保する: 最小のコストで近似v

アルゴリズム1で説明したように、両ステージの探索は、性能を考慮した反復ベースのバイナリ探索を使用する。アルゴリズムは、まず探索線分の中点mを選択し、コストを計算する。終点が両側より小さければ、2つの新しい線分を現在の中間点で割った上に、新しい中間点m1とm2が2つ取られる。中点がより無視できるコストを持つセグメ
ントが、次の反復のために選択される。この項目で選択される最大反復回数は4回である。反復回

誤差の評価指標は、3Dビデオ圧縮66)における動的メッ
シュデシメーションタスクのフレーム間整合性を測定するために設計されている。図13に示すように、Cloud-MeshとCloud-Cloud distance67)に触発され、メッシュ
表面距離と最近接頂点距離を主な指標として使用した:

1. メッシュ表面距離: 単純化メッシュ(k)の各頂点
vi(k)から、比較した元のメッシュ(k)または参照メッシュγ(k − 1)の表面上の任意の点までの最短距離。
これは、外観の類似性を測定するために使用できる。
値が小さいほど、結果が入力に近いことを意味する。

数が1回しかない場合、アルゴリズムは(k) (k)2. 最近接頂点距離: 簡略化メッシュ(k)の各頂点γ(k-1)に劣化し、三角形の中心点v1, v2, mδをvi(k)から、最も近い頂点vjまたはvjに応答するco

近似解として使おうとすることは注目に値する。

r(k) γ(k-1)までの最短距離。幾何学的トポロジ
ーの一貫性を評価するために使用できる。値が小さいほど、入力に近似していることを意味する。

4. 1 データと指標

実験パートでは、提案するTracked QEMをオリジナルQ
EMアルゴリズムと比較し、動的メッシュデシメーショ
ンタスクの品質と効率を評価した。両アルゴリズムと

4. 2 視覚化された結果

図14は、Tracked QEMアルゴリズムによる結果を可視化したものである。視覚的な効果が良好な典型的な
簡略化されたフレームを選択し、視覚化した。図14.

も、比較の客観性を確保するために、同じデータと評価条件を使用する。入力として、いくつかの短い3Dボ(a)と図14.(b)は現在のフレーム入力メッシュ(k)と前リュームビデオフレームシーケンスがインターセプト

現在のk番目のフレームからの入力メッシュ(k)と(k-1される。ビデオは合計150フレームで、人間の動きを記録した。合計5つのフレームシーケンスがカットさ)番目のフレームから追跡されたメッシュ γ(k − 1)は、れた。各シーケンスには5つのフレームが含まれる。
各フレームは約20,000個の有効頂点、4万個の三角形、6万個の辺を持つ。
トラッキングQEMアルゴリズムは、常に前の(k-1)番目のフレームを各簡略化されたk番目のフレームの追加参照として必要とするため、各グループは4つの実験を行った。

のフレーム参照メッシュ(k − 1)である。図14.(c)から、外観が高度に重なっていることが容易にわかる。しかし、2つのフレーム間の局所的な詳細と幾何学的なトポロジーの乖離は、登録結果のいくつかの領域において、依然として微妙な差異をもたらす。従来のメッシュデシメーション処理では、この違いが簡略化されたフレームシーケンスの一貫性に影響する。
この結論は、登録された参照メッシュγ(k − 1)をTracked QEMに導入すべき理由である。

【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

Paper » Tracked QEM Algorithm: Adding Temporal Consistency to Dynamic Mesh Simplification Based on Mesh Registration



(k)

(k)

v 1 , v2γ(k−1)(k), mδ
and v1st.

from the 2-nd to the 5-th frame, without the 1-st frame.
For the same reason, the evaluation will also include
the error between each simpliﬁed k-th frame and theregistered (k-1)-th frame. Simpliﬁed results will be visualized and evaluated to analyze the performance oftime consistency.

Algorithm 1 Iteration-based binary search
Require: binary search on segment (v1 , v2 )Ensure: Approximate v with smallest cost
Initialization: Iteration count c ← 0m ← middle(v1 , v2 )while c < Cmax do
if cost(m) < min(cost(v1 ), cost(v2 )) thenm1 ← middle(v1 , m)
m2 ← middle(m, v2 )if cost(m1 ) < cost(m2 ) thenv2 ← m, m ← m1else
v1 ← m, m ← m2
end ifend ifUpdate: v ← min(cost(v1 ), cost(v2 ), cost(m))
end while
Ensure: Approximate v with smallest cost(a) Mesh surface distanceFig. 13(b) Nearest vertex distance

Indicators based on distance measurement

The evaluation metric of error is designed to measure
the inter-frame consistency of the dynamic mesh decimation task in 3D video compression66) . Inspired by
Cloud-Mesh and Cloud-Cloud distance67) , as shown in
Fig.13, mesh surface distance and nearest vertex distance were used as main metrics:
1. Mesh surface distance: The shortest distancefrom each vertex vi(k) in simpliﬁed mesh(k) to any pointon surface of compared original mesh(k) or referenced
meshγ(k−1) . Which can be used to measure appearance
similarity. The smaller value means the result is closer
to the input.
2. Nearest vertex distance: The shortest distancefrom each vertex vi(k) in simpliﬁed mesh(k) to the cor(k)γ(k−1). Which can
responding nearest vertex vj or vj
be used to evaluate the consistency of geometric topology. The smaller value means more approximate to the
input.
4. 2 Visualized result
Fig.14 shows the visualized results from the Tracked
QEM algorithm. A typical simpliﬁed frame with goodvisual eﬀects was selected and visualized. Fig.14.(a)and Fig.14.(b) is the current frame input mesh(k) andprevious frame reference mesh(k−1) . It is easy to seefrom Fig.14.(c) that aligned the input mesh(k) fromthe current k-th frame and tracked meshγ(k−1) from(k-1)-th frame have a high degree of overlapping in appearance. However, the divergence of local details andgeometric topology between the two frames still leads tosubtle diﬀerences in some areas in the registered result.
In traditional mesh decimate processing, this diﬀerence
will aﬀect the consistency of the simpliﬁed frame sequence. This conclusion is why the registered reference
meshγ(k−1) should be introduced to Tracked QEM.

As described in Algorithm 1, the search for bothstages uses an iteration-based binary search for performance considerations. The algorithm will ﬁrst selectthe middle point m of the search line segment to calculate the cost. If the endpoints are less than both sides,
two new middle points m1 and m2 will be taken on
the two new line segments divided by the current middle point. The segment with the middle point with amore negligible cost will be selected for the next iteration. The maximum number of iterations selected inthis item is 4. It is worth noting that when the numberof iterations is only 1, the algorithm will be degraded to(k)(k)γ(k−1)
try to use the centre point of triangle v1 , v2 , mδas the approximate solution.

4. Experiment
4. 1 Data and Metrics
In the experiment part, the proposed Tracked QEM
was compared with the Original QEM algorithm toevaluate the quality and eﬃciency of the dynamic meshdecimation task. Both algorithms use the same dataand conditions for evaluation to ensure the objectivity of the comparison. A few short 3D volumetric video
frame sequences are intercepted as the input. The video
totalled 150 frames and recorded a human movement.
A total of ﬁve frame sequences were cut. Each sequence
contains ﬁve frames. Each frame has about 20,000 valid
vertices, 40,000 triangles, and 60,000 edges.
Due to the tracking QEM algorithm always requiring
the previous (k-1)-th frame as the additional reference
for each simpliﬁed k-th frame, each group conductedfour experiments. The algorithm will simplify the mesh183

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

(c) 整列メッシュ γ(k − 1)。
図14 Tracked QEM Algorithmによる入力と簡略化結果の可視化

追跡QEMアルゴリズムでは、2つの入力メッシュγ(k − 1)

メッシュはほとんどの領域で良好に保持された。

とメッシュ(k)の空間情報の両方が適度に活用される。これらの非常に類似した追跡表面情報は、式(10)の良い参照γ(k-1)部分Vδ(i)として使うことがで同じフレームグループからの追加の可視化結果は、2つの入力メッシュを別々に単純化した結果と比較することで、この結論を支持している。図15.(a)と図15.(b)にそれぞれメッシュγ(k − 1)とメッシ

きる。図10に示すように、メッシュγ(k − 1)とメッシ
ュ(k)の間に簡略化した結果の新しい頂点が生成されるため、図14.(d)に示すメッシュ(k)の結果を1フレームからフレーム間に変換することになる。図14.(e)を見ると、アライメント結果を最終的な簡略化
結果に重ね合わせると、両フレームの出現がュ(k)を用いた簡略化した結果メッシュ(k)を重ね合わせると、両者が重なる領域はほぼ同じになる。
可視化された結果は、提案手法が、2つのフレー
ム間で追跡対象の姿勢が劇的に変化しても、簡略化された結果が幾何学的構造上でより良い時間的一貫性と空間的平滑化を持つことを保証できることを示している。この結果は、Tracked QEM アル
ゴリズムにおける期待値および次の比較実験の結果と一致する。
4. 3 比較実験

視覚化された結果における直感的な感覚と一致して、参照フレームを導入することで、簡略化された結果
は、従来のデシメーション法よりも、2つの入力メッシュγ(k − 1)とメッシュ(k)の平均に数値的に近くなる。これは、前述のメッシュ表面距離とニアレスト
頂点距離の確率的比較によって承認できる。

2フレーム間の入力の比較と簡略化した結果簡略化された結果にはまだ数百から数千の頂点があることを考慮すると、2つの距離の測定は統計的指標を用いて要約する必要がある。

【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

ITE Trans. on MTA Vol. 12, No. 3 (2024)(a) mesh(k−1)(b) mesh(k)Fig. 14(c) aligned meshγ(k−1)

Fig. 15(e) overlapping result

Visualized inputs & simpliﬁcation result from Tracked QEM Algorithm

In the Tracked QEM Algorithm, both the spatial information in two input meshγ(k−1) and mesh(k) willbe leveraged moderately. These highly similar tracked
surface information can be used as a good referenceγ(k−1)
in Eq.(10). As shown in Fig.10, the newpart Vδ(i)vertices in simpliﬁed result will be generated between
meshγ(k−1) and mesh(k) , which means convert the result mesh(k) shown in Fig.14.(d) from single frame tothe inter-frame. It can be observed in Fig.14.(e) that
if the alignment results are to be superimposed on theﬁnal simpliﬁed results, the appearance of both frame(a) meshγ(k−1)(d) simpliﬁed mesh(k)mesh was retained well in most regions.
The additional visualized results from the same framegroup support this conclusion by comparing the two input meshes with the simpliﬁed results separately. As
shown in Fig.15.(a) and Fig.15.(b), respectively superimposed with the simpliﬁed results mesh(k) usingmeshγ(k−1) and mesh(k) , the areas where they overlap
are almost identical. The visualized result shows thatthe proposed method can also ensure that the simpliﬁed results have better temporal consistency and spatialsmoothing on geometric structure, even if the movement dramatically changes the attitude of the tracked
object between two frames. This result is consistent
with the expectations in the Tracked QEM algorithm
and the results from the next Comparative experiment.
4. 3 Comparative experiment
Consistent with the intuitive feelings in visualized
results, introducing the reference frame will make thesimpliﬁed result also numerically closer to the averageof two input meshγ(k−1) and mesh(k) than the traditional decimation method, which can be approved by
the stochastic comparison on Mesh surface distance andNearest vertex distance mentioned before.
Considering the simpliﬁed result still has several hundreds or thousands of vertices, the measurement of
two distances needs to be summarized using statisti-(b) mesh(k)Comparison of inputs between two frames withsimpliﬁed results184こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

本研究では、アルゴリズムの性能を定量化するた
めに、平均、平均、分散、標準偏差、平均二乗誤

表3および表4のデータから、Tracked QEMとOrigi

差、二乗平均平方根誤差の5つの指標を選択した。

ッシュ表面距離と最近接頂点距離の両方で同様の

これらの指標は、誤差距離の分布を特徴付けるた性能を持つことがわかる。平均値の指標でも、Trめに使用される。距離の値が小さいほど良いので、

acked QEMアルゴリズムは若干の劣化を生じる。

nal QEMは、現在のk番目のフレームにおいて、メ統計の値が小さいほど良い結果も得られる。

分散を除いて有効な数字を4つ保持する。
分散を除いて有効な数字を4つ保持する。

4 最近接頂点距離の平均値
表2 最近接頂点距離の最良結果

統計的指標

統計的指標

分散を除いて有効な数字を4つ保持する。
分散を除いて有効な数字を4つ保持する。

表1および表2の結果は、Tracked QEMアルゴリズムとO
riginal QEMアルゴリズムについて別々にテストデー
タで得られる最良の結果である。表.1より、Tracked
QEMはすべての指標において、より良い表面距離の結果を達成していることがわかる。この結果は、ギャッ
プが大きくない限り、Tracked QEMは、最良のケースにおいて元のQEMを失うことなく、現在のフレームメとはいえ、前の(k-1)番目のフレームでの追跡QEMの2つの距離がうまく最適化され、現在のk番目のフレームと同様の統計指標を達成できることは容易に理解できる。この結果は、2つのフレーム間のトポロジー構造が大きく変化した場合、Tracked QEMはこの変化をよく捉え、動的メッシュデシメーションタ
スクにおいて従来のQEMよりも優れた時間的整合性を達成することができることを示している。

ッシュ (k) の簡略化を達成できるだけでなく、前のフレームメッシュγ(k − 1) からの参照情報をより良く扱うことができることを示している。

表2の結果によると、Tracked QEMは、最も細かい状況でも、より近い頂点距離を得ることができる。
興味深いことに、オリジナルQEMの結果には(k1)番
目のフレームからの情報は含まれていないが、距離分布はトラッキングQEMよりも優れている。Trac
ked QEMの結果は平均と分散が優れていることを考慮すると、この差は妥当なものとして扱われるべきである。その理由は、QEMアルゴリズムが隣接する曲面までの距離のみを考慮し、最も近い頂点の距離が最適化目的の一部ではなかったからである。

次に、すべての有効な実験結果の平均から得られる平均性能である。実験結果の平均値を表3、表4に示す。評価指標の値では最良の結果が得られているが、2つのQEM手法の平均性能は、実際の適用シナリオにおける実際の状況に近いものである。

簡略化した結果メッシュγ(k − 1) を現在のフレームメッ
シュ (k) のように正確な座標に揃えると、図16.(a)に示すように、2つのメッシュの表面は高度に一致し、局所的な交差が生じるはずである。したがって、簡略化された結果メッシュ(k)は、重なり合った新しい表面に対して、より見栄えが良くなるはずである。

【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

Paper » Tracked QEM Algorithm: Adding Temporal Consistency to Dynamic Mesh Simplification Based on Mesh Registration

cal metrics. Five metrics were chosen to quantify algorithm performance in this study: average, Mean,
Variance, Standard Deviation, Mean Square Error, andRoot Mean Square Error. These metrics are used tocharacterize the distribution of error distances. Since
smaller distance values are usually better, smaller statistical values also mean better results.

The data in Table.3 and Table.4 shows that Tracked
QEM and Original QEM have similar performance at
the current k-th frame both on the mesh surface distance and nearest vertex distance. Even on the indicator of mean value, the Tracked QEM algorithm produces a slight degradation.
Table 3

Table 1Best result of mesh surface distance

Statistical indicator
Ave
Var
STD
MSE
(k-1)-th
101.4
18424
135.7
95.34
Orig QEM
k-th
57.84
4578
67.66
48.40
(k-1)-th 64.26
4246
65.16 55.25
Track QEM
k-th
60.96
4122
64.20
52.52
Retain 4 valid digits except variance.
Algorithm

Statistical indicator
Ave
Var
STD
MSE
(k-1)-th
82.73
6143
78.37
56.97
Orig QEM
k-th
46.23
2129
46.14
21.48
(k-1)-th 52.36
2448
49.47 22.42
Track QEM
k-th
45.80
1975
44.44 20.41
Retain 4 valid digits except variance.
Algorithm

Mesh

Average value of mesh surface distance

RMSE
7.547
4.635
4.734
4.518

Mesh

Table 4
Table 2

Best result of nearest vertex distance

Statistical indicator
Ave
Var
STD
MSE
(k-1)-th
178.2
28798
169.7
122.4
Orig QEM
k-th
139.0
22320
149.4
117.3
(k-1)-th 144.7 24211 155.6
125.2
Track QEM
k-th
134.8 20793 144.2 113.4
Retain 4 valid digits except variance.
Algorithm

Mesh

Average value of nearest vertex distance

Statistical indicator
Ave
Var
STD
MSE
(k-1)-th
222.4
55731
236.0
220.5
Orig QEM
k-th
174.5 33238 182.3
176.3(k-1)-th 187.5 37425 193.4 167.7
Track QEM
k-th
185.0
35124
187.4
165.9
Retain 4 valid digits except variance.
Algorithm

RMSE
11.06
10.82
11.19
10.64

RMSE
9.764
6.957
7.433
7.247

Mesh

RMSE
14.85
13.27
12.95
12.88

Nevertheless, it is easy to see that the two distancesof the Tracked QEM at the previous (k-1)-th frame are
optimized well, which can even achieve similar statistic indicators to the current k-th frame. This resultshows that when the topology structure between thetwo frames changes considerably, the Tracked QEM cancapture this change well to achieve better temporal consistency than the traditional QEM in the dynamic Meshdecimation task.
4. 4 Analysis and discussion

The results in Table.1 and Table.2 are the best resultsthat can be obtained on test data separately for the
Tracked and Original QEM algorithm. Table.1 showsthat the Tracked QEM achieved better surface distanceresults in all indicators. This result indicates that unless the gap is not large, the Tracked QEM not only
can the simpliﬁcation of the current frame mesh(k) be
achieved without losing the original QEM in the best
case, but it can also handle the reference informationfrom previous frame meshγ(k−1) better.
According to the result in Table.2, Tracked QEM canalso get the closer vertex distance in the ﬁnest of circumstances. Interestingly, although the results of theOriginal QEM do not include the information from (k1)-th frame, the distance distribution is better than the
Tracked QEM. Considering that the results of Tracked
QEM do have a better mean and variance, this diﬀerence should be treated as reasonable. The reason is that
the QEM algorithm only considers the distance to theneighbouring surfaces, and the nearest vertex distance
was not part of the optimization objective.
Then is the average performance, which comes fromthe average of all eﬀective experimental results. The
average value of the experimental results is shown in
Table.3 and Table.4. Although the best result is betterin the value of evaluation metrics, the average performance of the two QEM methods is closer to the realsituation in the actual application scenario.

(a) Registration
Fig. 16(b) Original QEM(c) Tracked QEM

Comparison with Traditional QEM Algorithm

If the simpliﬁed result meshγ(k−1) is aligned to theexact coordinates as the current frame mesh(k) , the surfaces of two meshes should be highly coincident and produce some local crossings, as shown in Fig.16.(a). Accordingly, the simpliﬁed result mesh(k) should be more
ﬂattering in appearance to the new overlapped surfaces
185

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

比較実験の可視化は、統計的指標からの結論も裏付けることができ、追跡QEMによる結果(図16.(c)の青いメッシュ)は、元のQEM(図16.(b)のオレンジのメッシュ)よりも外観が似ている。追跡されたQEMの結果
は、キャラクターの顔や手のひらのような細かいディテールによく適合していることが明らかになった。

別の観点からは、比較実験の結果、ほとんどの
場合、Tracked QEMアルゴリズムは、現在のk番
目のフレームの簡略化された性能を有意に改善しないことが示された。しかし、このアルゴリ
ズムの利点はフレーム間の時間的整合性であり、比較結果はこの意見を証明するものである。
参照を導入することで、Tracked QEMは、登録された前のフレームメッシュγ(k − 1)から現在のフレー(k)

ムメッシュ に近いレベルまで簡略化した結果をそれによって、簡略化プロセスの時間的一貫性が確保される。この改善により、再設計された崩壊コスト関数と近似最適探索戦略は、簡略化されたメッシュシーケンスの滑らかさを保証する。

実験結果は、追跡されたQEMが時間的一貫性を維持する上で優れた性能を発揮することを強調していることを示している。登録された前のフレームまでの誤差距離は、現在のフレームに近い近似値に縮小される。本研究は、前処理段階における3Dビデオ圧縮率を向上させる可能性を示した。今後の研究では、
この方法を標準的な3Dビデオコーディングパイプラ
インに統合し、圧縮率への影響をさらに評価し、その後の研究を刺激することが期待される。

本研究は、総務省(MIC)より助成を受けた(助成番号:JPJ000595)。

圧縮することができ、簡略化したメッシュ(k)が元のQEMと同程度の精度を同時に持つことを保証し、Tracked QEMが現在のフレームの簡略化に影響を与えることなく、動的メッシュデシメーションの時間整合性を大幅に改善できることを証明した。
3Dボリュームビデオ圧縮の場合、メッシュデシメーシ
ョンはエンコーダパイプライン全体の第一段階である。
後続のエンコーダがビデオをより良く圧縮できるように、ビデオ内の冗長な情報を削減することを目的としている。トラックQEMの単純化結果は、時間的整合性を著しく改善する。簡略化されたメッシュシーケンス
をより連続的にすることで、このような冗長性を明確にし、エンコーダパイプラインの後続ステップで3Dボ
リュームビデオをより良く圧縮するのに役立つ。

本論文では、連続フレーム間の時間的整合性を改善するために、前のフレームからの追加入力を参照として使用できる、特殊なTracked QEM Algorithmを提案した。この探索では、従来のメッシュ簡略化アルゴリズムを動的メッシュデシメーションタスクに拡張する可能性について議論し、3Dボリュームビデオ
エンコーディングの前処理におけるメッシュデシメーションのための調整されたソリューションを提供
し、連続するフレーム間の差をシームレスに埋める。
最も革新的な点は、3Dメッシュレジストレーションの適用であり、これにより、連続するフレームを横断するメッシ
ュモデルの追跡が容易になり、【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

ITE Trans. on MTA Vol. 12, No. 3 (2024)

after alignment.
Visualization of the comparative experiment can also
support conclusions from statistical indicators, result
by tracked QEM (Blue mesh in Fig.16.(c)) have a moresimilar appearance than the original QEM (Orange
mesh in Fig.16.(b)). It was evident that the tracked
QEM’s result is better ﬁtted with ﬁner details like thecharacter’s face and palm.
From another perspective, the comparative experiment results show that in most cases, the Tracked QEM
algorithm does not signiﬁcantly improve the simpliﬁed
performance of the current k-th frame. However, thealgorithm’s advantage is the temporal consistency between frames; the comparative results prove this opinion.
By introducing reference, Tracked QEM can compress the simpliﬁed results from the distance from theregistered previous frame meshγ(k−1) to the level similar to the current frame mesh(k) , and ensure the simpliﬁed mesh(k) still have the similar accuracy to theoriginal QEM simultaneously, which proved that the
Tracked QEM can signiﬁcantly improve the time consistency of dynamic mesh decimation without aﬀecting
the simpliﬁcation of the current frame.
For 3D volumetric video compression, mesh decimation is the ﬁrst stage of the whole encoder pipeline. It
aims to reduce the redundant information in the video
so that subsequent encoders can compress the video
better. The simpliﬁcation result of track QEM remarkably improves temporal consistency. It makes the simpliﬁed mesh sequence more continuous to delineate such
redundancies, which helps compress the 3D volumetric video better in the subsequent steps of the encoder
pipeline.

temporal consistency of the simpliﬁcation process. Dueto this improvement, the redesigned collapse cost function and the approximate optimal search strategy guarantee the smoothness of simpliﬁed mesh sequences.
The experimental results show that tracked QEM emphasizes its excellent performance in maintaining temporal consistency. The error distance to the registeredprevious frame is reduced to a close approximation to
the current frame. This study demonstrated the potential to improve 3D video compression rates at the
pre-processing stage. In future work, the method is
expected to be integrated into the standard 3D videocoding pipeline to evaluate its impact on compression
rates further and inspire subsequent research.
Acknowledgment This work was supported by Ministry of Internal Aﬀairs and Communications (MIC) of
Japan (Grant no. JPJ000595).

References
1)

2)

3)

5. Conclusion

4)

In this paper, a specialized Tracked QEM Algorithm
was proposed, which can use an additional input as areference from the previous frame to improve temporal consistency between continuous frames. This exploration discussed the potential to extend the conventional mesh simpliﬁcation algorithm to the dynamic
mesh decimation task, oﬀering a tailored solution formesh decimation in the pre-processing of 3D volumetricvideo encoding, which seamlessly bridges the diﬀerence
between consecutive frames.
The most innovative aspect is the application of 3D
mesh registration, which facilitates the tracking of meshmodels across successive frames, thereby ensuring the

5)

6)

7)
186

C. Ziker, B. Truman, H. Dodds : “Cross reality (XR): Challenges and opportunities acrossthe spectrum”, Innovative learning environments
in STEM higher education: Opportunities, challenges, and looking forward, pp.55-77 (2021)
J. Xiong, E.-L. Hsiang, Z. He, T. Zhan, S.-T.
Wu : “Augmented reality and virtual reality
displays: emerging technologies and future perspectives”, Light: Science & Applications, 10,1,
pp.216 (2021)
O. Schreer, I. Feldmann, S. Renault, M. Zepp,
M. Worchel, P. Eisert, P. Kauﬀ : “Capture and3D video processing of volumetric video”, 2019
IEEE International conference on image processing (ICIP), pp.4310-4314 (2019)
M. Xu, C. Li, S. Zhang, P. Le Callet : “State-ofthe-Art in 360° Video/Image Processing: Perception, Assessment and Compression”, IEEE Journal of Selected Topics in Signal Processing, 14,1,
pp.5-26 (2020)
M. Wien, J.M. Boyce, T. Stockhammer, W.H. Peng : “Standardization status of immersive video coding”, IEEE Journal on Emerging
and Selected Topics in Circuits and Systems, 9,1,
pp.5-17 (2019)
T. Sikora : “MPEG digital video-coding standards”, IEEE signal processing magazine, 14,5,
pp.82-100 (1997)
J.M. Boyce, R. Doré, A. Dziembowski, J.

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

フルロー、J・ユング、B・クロン、B・サ
ラヒー、V・K・M.Vadakital, L. Yu : "MP
EG没入型ビデオ符号化規格", IEEE, 109,9, pp.1521-1536 (2021) K. Mammou, J. Ki
m, A.M.Tourapis, D. Podborski, D. Flyn18) D. Aiger, N.J. Mitra, D. Cohen-Or : "ロバストなペアワイズサーフェスレジストレーションのための4点一致集合", ACM SIGGRAPH 2008 論文, pp.1-10 (2008)

n : "ビデオと細分化に基づくメッシュコーディング", 2022 第10回視覚情報処理ワークショップ(EUVIP), pp.1-6 (2022)

Y. "3D粗いレジストレーション手法に関する定性的レビュー", ACM Computing Su
rveys (CSUR), 47,3, pp.1-36 (2015) G.
K.L.タム、Z.-Q. チェン、Y.-K. ライ、F
.C.ラングバイン、Y.リュー、D.マーシャ
ル、R.R.Martin, X.-F. Sun, P.L. Rosin: "Registration of 3D Point Clouds a
nd Meshes: (2013)M.ロドリゲス、R.フィッシャー、Y.リュー: "はじめに: レンジ
画像のレジストレーションとフュージョンに関する特集", コンピュータビジョンと画像理解, 87, pp.1-7 (2002)
J. Salvi, C. Matabosch, D. Fofi, J. Forest :"精度評価を伴う最近のレンジ画像登録手法のレ
ビュー", 画像と視覚コンピューティング, 25,5,
pp.578-596 (2007)
R. Sandhu, S. Dambreville, A. Tannenbaum : "確率的ダイナミクスを持つ2Dおよび3D点集合のレジス
トレーションのための粒子フィルタリング", 2008
IEEE Conference on Computer Vision and Pattern【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

Paper » Tracked QEM Algorithm: Adding Temporal Consistency to Dynamic Mesh Simplification Based on Mesh Registration

8)

9)

10)

11)

12)

13)

14)

15)

16)

17)

Fleureau, J. Jung, B. Kroon, B. Salahieh, V.K.M.
Vadakital, L. Yu : “MPEG immersive video coding standard”, Proceedings of the IEEE, 109,9,
pp.1521-1536 (2021)
K. Mammou, J. Kim, A.M. Tourapis, D. Podborski, D. Flynn : “Video and Subdivision based
Mesh Coding”, 2022 10th European Workshop on
Visual Information Processing (EUVIP), pp.1-6(2022)
Y. Choi, J.-B. Jeong, S. Lee, E.-S. Ryu :“Overview of the Video-based Dynamic Mesh
Coding (V-DMC) Standard Work”, 2022 13th International Conference on Information and Communication Technology Convergence (ICTC),
pp.578-581 (2022)
M. Garland, P.S. Heckbert : “Surface simpliﬁcation using quadric error metrics”, Proceedings ofthe 24th annual conference on Computer graphics
and interactive techniques, pp.209-216 (1997)
A. Maglo, G. Lavoué, F. Dupont, C. Hudelot: “3d mesh compression: Survey, comparisons,and emerging trends”, ACM Computing Surveys(CSUR), 47,3, pp.1-41 (2015)
I. Viola, P. Cesar : “Chapter 15 - Volumetricvideo streaming: Current approaches and implementations”, Immersive Video Technologies,
Academic Press, pp.425-443 (2023)
Y. Diez, F. Roure, X. Lladó, J. Salvi : “A qualitative review on 3D coarse registration methods”,
ACM Computing Surveys (CSUR), 47,3, pp.1-36(2015)
G.K.L. Tam, Z.-Q. Cheng, Y.-K. Lai, F.C. Langbein, Y. Liu, D. Marshall, R.R. Martin, X.-F.
Sun, P.L. Rosin : “Registration of 3D Point
Clouds and Meshes: A Survey from Rigid to Nonrigid”, IEEE Transactions on Visualization andComputer Graphics, 19,7, pp.1199-1217 (2013)
M. Rodrigues, R. Fisher, Y. Liu : “Introduction: Special issue on registration and fusion ofrange images”, Computer Vision and Image Understanding, 87, pp.1-7 (2002)
J. Salvi, C. Matabosch, D. Foﬁ, J. Forest : “Areview of recent range image registration methods with accuracy evaluation”, Image and Visioncomputing, 25,5, pp.578-596 (2007)
R. Sandhu, S. Dambreville, A. Tannenbaum :“Particle ﬁltering for registration of 2D and 3D
point sets with stochastic dynamics”, 2008 IEEE
Conference on Computer Vision and Pattern

18)

19)

20)

21)

22)

23)

24)

25)

26)

27)

28)

29)

187

Recognition, pp.1-8 (2008)
D. Aiger, N.J. Mitra, D. Cohen-Or : “4-points
congruent sets for robust pairwise surface registration”, ACM SIGGRAPH 2008 papers, pp.1–10(2008)
A. Myronenko, X. Song : “Point set registration: Coherent point drift”, IEEE transactions on
pattern analysis and machine intelligence, 32,12,
pp.2262-2275 (2010)
B. Bellekens, V. Spruyt, R. Berkvens, M. Weyn :“A survey of rigid 3d point cloud registration algorithms”, AMBIENT 2014: the Fourth International Conference on Ambient Computing, Applications, Services and Technologies, August 24-28,
2014, Rome, Italy, pp.8-13 (2014)
D. Chetverikov, D. Svirko, D. Stepanov, P. Krsek: “The trimmed iterative closest point algorithm”, 2002 International Conference on Pattern
Recognition, 3, pp.545-548 (2002)
D. Chetverikov, D. Stepanov, P. Krsek : “Robust Euclidean alignment of 3D point sets: thetrimmed iterative closest point algorithm”, Imageand vision computing, 23,3, pp.299-309 (2005)
S. Bouaziz, A. Tagliasacchi, M. Pauly : “Sparse
iterative closest point”, Computer graphics forum, 32,5, pp.113-123 (2013)
J. Zhang, Y. Yao, B. Deng : “Fast and robust
iterative closest point”, IEEE Transactions on
Pattern Analysis and Machine Intelligence, 44,7,
pp.3450-3466 (2021)
S. Rusinkiewicz, M. Levoy : “Eﬃcient variantsof the ICP algorithm”, Proceedings third international conference on 3-D digital imaging andmodeling, pp.145-152 (2001)
P.J. Besl, N.D. McKay : “Method for registration of 3-D shapes”, Sensor fusion IV: control
paradigms and data structures, 1611, pp.586-606(1992)
J. Seraﬁn, G. Grisetti : “NICP: Dense normal
based point cloud registration”, 2015 IEEE/RSJ
International Conference on Intelligent Robots
and Systems (IROS), pp.742-749 (2015)
O. van Kaick, H. Zhang, G. Hamarneh, D.
Cohen-Or :“A Survey on Shape Correspondence”, Computer Graphics Forum, 30,6,
pp.1681-1707 (2011)
R.W. Sumner, J. Schmid, M. Pauly : “Embedded deformation for shape manipulation”, ACM

こちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

SIGGRAPH 2007 論文, pp.80-es (2007) H. ポトマン, Q.-X.Huang, Y.-L. Yang, S.-M. Hu : "Geometry and convergence a
nalysis of algorithms for registratio
n of 3D shapes", International Journa
l of Computer Vision, 67, pp.277296 (
2006) B. Amberg, S. Romdhani, T. Vetter : "Optimal step nonrigid ICP algor
ithms for surface registration", 2007
IEEE conference on computer vision and pattern recognition, pp.ion, pp.17
4-181 (2012) S. Monji-Azad, J. Hesser, N. Löw : "非剛体変換と学習ベースの3D点群登録手法のレビュー", ISPRS Journal of Photogrammetry and Remote Sensi
ng, 196, pp.58-72 (2023) H. Chui, A.
Rangarajan : "非剛体レジストレーションのための新しい点マッチングアルゴリ
ズム", コンピュータビジョンと画像理解, 89,2-3, pp.114141 (2003) N. Gelfand, N.J.ミトラ、L.J.ギバス、H.ポトマン:「ロバストなグローバル登録」、Sym-.

【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

ITE Trans. on MTA Vol. 12, No. 3 (2024)

30)

31)

32)

33)

34)

35)

36)

37)

38)

39)

40)

41)

SIGGRAPH 2007 Papers, pp.80–es (2007)
H. Pottmann, Q.-X. Huang, Y.-L. Yang, S.-M.
Hu : “Geometry and convergence analysis of algorithms for registration of 3D shapes”, International Journal of Computer Vision, 67, pp.277296 (2006)
B. Amberg, S. Romdhani, T. Vetter : “Optimal
step nonrigid ICP algorithms for surface registration”, 2007 IEEE conference on computer visionand pattern recognition, pp.1-8 (2007)
H. Hontani, T. Matsuno, Y. Sawada : “Robust
nonrigid ICP using outlier-sparsity regularization”, 2012 IEEE Conference on Computer Vision and Pattern Recognition, pp.174-181 (2012)
S. Monji-Azad, J. Hesser, N. Löw : “A review of
non-rigid transformations and learning-based 3D
point cloud registration methods”, ISPRS Journal of Photogrammetry and Remote Sensing, 196,
pp.58-72 (2023)
H. Chui, A. Rangarajan : “A new point matchingalgorithm for non-rigid registration”, Computer
Vision and Image Understanding, 89,2-3, pp.114141 (2003)
N. Gelfand, N.J. Mitra, L.J. Guibas, H.
Pottmann : “Robust global registration”, Symposium on geometry processing, 2,3, pp.5 (2005)
B. Jian, B.C. Vemuri : “A robust algorithm
for point set registration using mixture of Gaussians”, Tenth IEEE International Conference
on Computer Vision (ICCV’05) Volume 1, 2,
pp.1246-1251 (2005)
J. Ma, W. Qiu, J. Zhao, Y. Ma, A.L. Yuille, Z.
Tu : “Robust L2 E estimation of transformation
for non-rigid registration”, IEEE Transactions on
Signal Processing, 63,5, pp.1115-1129 (2015)
Y. Yao, B. Deng, W. Xu, J. Zhang : “Quasinewton solver for robust non-rigid registration”, Proceedings of the IEEE/CVF conference on computer vision and pattern recognition,
pp.7600-7609 (2020)
P.W. Holland, R.E. Welsch : “Robust regression using iteratively reweighted least-squares”,
Communications in Statistics-theory and Methods, 6,9, pp.813-827 (1977)
D.P. Luebke : “A developer’s survey of polygonal simpliﬁcation algorithms”, IEEE Computer
Graphics and Applications, 21,3, pp.24-35 (2001)
M.-E. Algorri, F. Schmitt : “Mesh Simpliﬁca-

42)

43)

44)

45)

46)

47)

48)

49)

50)

51)

52)

53)

54)

188

tion”, Computer Graphics Forum, 15,3, pp.77-86(1996)
J.O. Talton : “A short survey of mesh simpliﬁcation algorithms”, University of Illinois at UrbanaChampaign (2004)
W.J. Schroeder, J.A. Zarge, W.E. Lorensen :“Decimation of triangle meshes”, Proceedings ofthe 19th annual conference on Computer graphics
and interactive techniques, pp.65-70 (1992)
P. Lindstrom, D. Koller, W. Ribarsky, L.F.
Hodges, N. Faust, G.A. Turner : “Real-time, continuous level of detail rendering of height ﬁelds”,
Proceedings of the 23rd annual conference on
Computer graphics and interactive techniques,pp.109-118 (1996)
R. Ronfard, J. Rossignac : “Full-range approximation of triangulated polyhedra.”, Computer
graphics forum, 15,3, pp.67-76 (1996)
W.J. Schroeder : “A topology modifying progressive decimation algorithm”, Proceedings. Visualization’97 (Cat. No. 97CB36155), pp.205-212(1997)
S.J. Kim, W.K. Jeong, C.H. Kim : “LOD generation with discrete curvature error metric”, Proceedings of Korea Israel Bi-National Conference,
pp.97-104 (1999)
R. Klein, G. Liebich, W. Straßer : “Mesh reduction with error control”, Proceedings of Seventh
Annual IEEE Visualization’96, pp.311-318 (1996)
P.S. Heckbert, M. Garland : “Optimal triangulation and quadric-based surface simpliﬁcation”, Computational Geometry, 14,1-3, pp.49-65(1999)
S.-J. Kim, C.-H. Kim, D. Levin : “Surface simpliﬁcation using a discrete curvature norm”, Computers & Graphics, 26,5, pp.657-663 (2002)
M. Garland, Y. Zhou : “Quadric-based simpliﬁcation in any dimension”, ACM Transactions on
Graphics (TOG), 24,2, pp.209-239 (2005)
H. Hoppe, T. DeRose, T. Duchamp, J. McDonald, W. Stuetzle : “Mesh optimization”, Proceedings of the 20th Annual Conference on Computer
Graphics and Interactive Techniques, pp.19–26(1993)
H. Hoppe : “Progressive meshes”, Proceedings ofthe 23rd Annual Conference on Computer Graphics and Interactive Techniques, pp.99–108 (1996)
H. Hoppe : “View-dependent reﬁnement of progressive meshes”, Proceedings of the 24th annualこちらは英語原著論文の機械翻訳版です。次ページが原著論文で、翻訳版と交互に展開されます。
機械翻訳のため、誤字や誤訳、翻訳が未反映の部分が含まれている可能性があります。

劉 雲龍 B.E.を取得。2019年に南京郵電大学から学位を取得し、M.E.を取得した。は、2022年に早稲田大学からそれぞれ現在、早稲田大学大学院基礎科学研究科で博士号取得を目指している。主な研究
テーマはコンピュータサイエンスと通信工学。
ディープラーニング、コンピュータビジョン、マルチメディア技術に関する研究に従事。本論文は、3D
ビデオ処理に関連する試みである。
徐 建鋒 理学士号を取得。(2001年と2004年にそれぞれ
中国清華大学から博士号(優等)と修士号(優等)を取得
し、博士号を取得した。2007年、東京大学大学院工学系研究科博士課程修了。株式会社K DDIリサーチに勤務。2007年より現職、現在は先進視覚通信研究所のコア研究員。研究テーマは、動的メッシ ュ符号化技術と標準化、コンピュータグラフィックスとコンピュータビジョ
ン、およびディープラーニング技術。電子情報通信学会
およびITE会員。

河村 圭は、B.E.、M.Sc.、Ph.D.を取得した。2004
年、2005年、2013年に早稲田大学大学院情報通信学研究科で博士号を取得。2010年にKDDIに入社。JCTVC、JVET、MPEG-3DGHのHEVC、VVC、V-DMC標準の開発に携わる。現在、株式会社KDDIリサーチでビデオおよびダイナ
ミックメッシュコーディングシステムの研究開発に従事。研究テーマは、画像・映像処理、映像・動的メッ
シュ符号化、マルチメディア配信など。2020年からITU-T
研究グループ9の質問1の報告者。IEEE、電子情報通信学会、 ITE会員。

渡辺 裕(B.E., M.E.)1980年、1982年、1985年にそれぞれ北海道大学で工学博士号を取得。1985年に日本電信電話株式会社(NTT)に入社し、NTTヒューマンインターフェースラボで画像・映像符号化システムの研究開発に従事。2000年までN TTサイバースペース研究所に勤務。また、JTC 1u/SC 29の下でJPEG、MPEG
規格の開発に携わる。
現在、早稲田大学基礎科学工学部通信・コンピ
ュータ工学科教授。研究テーマは、物体認識、
ディープラーニング、画像処理、ビデオコーデ
ィング、マルチメディア配信など。IEEE、電子情報通信学会、ITE、情報処理学会、IIEEJ会員。

【機械翻訳コンテンツの著作権について】
当サイトに掲載されている原著論文の著作権は映像情報メディア学会に帰属します。原著論文および翻訳論文の無断使用は禁止します。
詳細は映像情報メディア学会著作権規定をご覧ください。

Paper » Tracked QEM Algorithm: Adding Temporal Consistency to Dynamic Mesh Simplification Based on Mesh Registration

55)

56)

57)

58)

59)

60)

61)

62)

63)

64)

65)

conference on Computer graphics and interactive
techniques, pp.189-198 (1997)
A. Khodakovsky, P. Schröder, W. Sweldens :“Progressive geometry compression”, Proceedings of the 27th annual conference on Computer
graphics and interactive techniques, pp.271-278(2000)
P. Alliez, M. Desbrun : “Progressive compression for lossless transmission of triangle meshes”,
Proceedings of the 28th annual conference on
Computer graphics and interactive techniques,pp.195-202 (2001)
C. DeCoro, N. Tatarchuk : “Real-time mesh simpliﬁcation using the GPU”, Proceedings of the2007 symposium on Interactive 3D graphics andgames, pp.161-166 (2007)
A. Papageorgiou, N. Platis : “Triangular meshsimpliﬁcation on the GPU”, The Visual Computer, 31, pp.235-244 (2015)
H. Lee, M.-H. Kyung : “Parallel mesh simpliﬁcation using embedded tree collapsing”, The VisualComputer, 32,6-8, pp.967-976 (2016)
Y. Liang, F. He, X. Zeng : “3D mesh simpliﬁcation with feature preservation based on whale optimization algorithm and diﬀerential evolution”,
Integrated Computer-Aided Engineering, 27,4,
pp.417-435 (2020)
R.A. Potamias, G. Bouritsas, S. Zafeiriou : “Revisiting point cloud simpliﬁcation: A learnablefeature preserving approach”, Computer Vision–
ECCV 2022: 17th European Conference, TelAviv, Israel, October 23–27, 2022, Proceedings,
Part II, pp.586-603 (2022)
R.A. Potamias, S. Ploumpis, S. Zafeiriou : “Neural mesh simpliﬁcation”, Proceedings of theIEEE/CVF Conference on Computer Vision and
Pattern Recognition, pp.18583-18592 (2022)
H. Hoppe : “New quadric metric for simplifying
meshes with appearance attributes”, Proceedings
Visualization’99 (Cat. No. 99CB37067), pp.59510 (1999)
T. Matsuyama, X. Wu, T. Takai, S. Nobuhara: “Real-time 3D shape reconstruction, dynamic
3D mesh deformation, and high ﬁdelity visualization for 3D video”, Computer Vision and Image
Understanding, 96,3, pp.393-434 (2004)
G. Pavlakos, J. Malik, A. Kanazawa : “Human mesh recovery from multiple shots”, Proceedings of the IEEE/CVF Conference on Com-

66)

67)

puter Vision and Pattern Recognition, pp.14851495 (2022)
Y. Liu, J. Xu, K. Kawamura, H. Watanabe :“Measure The Diﬀerence between Frames: Reconsidering The Evaluation Method in Dynamic
Mesh Simpliﬁcation”, 2023 IEEE 12th Global
Conference on Consumer Electronics (GCCE),
pp.372-375 (2023)
A. Guezlec : “Meshsweeper: dynamic pointto-polygonal mesh distance and applications”,
IEEE Transactions on visualization and computer graphics, 7,1, pp.47-61 (2001)

Yunlong Liu Yunlong Liu received the
B.E. degree from Nanjing University of Posts andTelecommunications in 2019, and got the M.E. fromWaseda University in 2022 respectively. Now heis pursuing his Ph.D. degree at Graduate schoolof Fundamental Science and Engineering, Waseda
University. His major is Computer Science andCommunications Engineering. He is mainly concerned with research in directions related to Deep
Learning, Computer Vision, and Multi-media Technology. This paper is an attempt related to 3Dvideo processing.
Jianfeng Xu

Jianfeng Xu received the B.S.
(with honor) and the M.S. degrees from Tsinghua
University, China, in 2001 and 2004 respectively,
and the Ph.D. degree from the University of Tokyo,
Japan, in 2007. He has worked at KDDI Research,
Inc. since 2007 and is now a Core Researcher inthe Advanced Visual Communication Laboratory.
His research interests include dynamic mesh coding
technologies and standardization, computer graphics and computer vision, as well as deep learningtechnologies. He is a member of IEICE and ITE.

Kei Kawamura Kei Kawamura received
his B.E., M.Sc., and Ph.D. degrees in Global
Information and Telecommunication Studies fromWaseda University, Japan, in 2004, 2005, and2013, respectively. He joined KDDI in 2010. He
has been involved with developing HEVC, VVC,
and V-DMC standards under JCT-VC, JVET, and
MPEG-3DGH. He is currently engaged in the research and development of a video and dynamic
mesh coding system at KDDI Research, Inc. His
research interests include image and video processing, video and dynamic mesh coding, and multimedia distribution. He is a rapporteur of Question 1 of
ITU-T Study Group 9 from 2020. He is a memberof IEEE, IEICE, and ITE.
Hiroshi Watanabe

received B.E., M.E.
and Ph.D. degrees in Engineering from Hokkaido
University in 1980, 1982, and 1985, respectively.
He joined Nippon Telegraph and Telephone Corporation (NTT) in 1985, and was engaged in researchand development of image and video coding systems
at NTT Human Interface Labs. and NTT CyberSpace Labs. until 2000. He has also been involved
with the development of JPEG, MPEG standards
under JTC 1/SC 29. He is currently a professor at
the Department of Communications and Computer
Engineering, School of Fundamental Science andEngineering, Waseda University. His research interests include object recognition, deep learning, image processing, video coding, and multimedia distribution. He is a member of IEEE, IEICE, ITE,
IPSJ, and IIEEJ.

189