nglaura/koreascience-summarization huggingface dataset:
본 논문은 물체 검출(Object Detection)과 물체영역분할(Object Segmentation)의 CNN 추론 결과를 MPEG-7 서술자 이진화를 통해 표현함으로써 원본과의 용량을 비교한다. 영상의 사용 목적에 따라 CNN 추론 결과를 압축하여 활용할 시 원본 영상 대비 용량을 측정하여 그 효율성을 판단하는 것이 목표이다. 물체 검출과 물체영역분할에 대한 추론 결과를 MPEG-7 서술자를 이용해 압축하였으며, 비교를 위해 원본 영상, CNN 추론 결과 파일, MPEG-7 서술자, MPEG-7 서술자 이진화 파일의 크기를 측정하였다. 실험 결과, MPEG-7 서술자를 이진화를 통한 표현 방식이 원본 영상 및 추론 결과 파일에 비해 효율적임을 알 수 있었다.


(게재일: 2021.06.23)
국내 이동통신은 4 세대(4G)에서 5 세대(5G)로 전환되는 과정에 있으며 행정안전부는 기존 긴급재난문자 서비스를 5G 망으로 고도화하기 위해 준비하고 있다. 재난문자 길이의 확장, 송출 지역 세분화, 외국어 문자 지원 등을 긴급재난문자 서비스에 포함하기 위해 국내외 표준화와 검증 시스템 구축이 준비되고 있다. 본 논문에서는 해외 사례 분석을 통해 국내 5G 망으로 고도화된 긴급재난문자를 서비스하기 위해 요구되는 검증 요구사항을 정의하고 있다. 이를 기반으로 긴급재난문자 서비스를 검증할 리빙랩이 구축될 예정이다.


(게재일: 2021.06.23)
360 도 영상은 기존 미디어와 다른 몰입감을 제공하지만 HMD 기반 시청은 멀미, 신체적 불편함 등을 유발할 수 있다. 또한, 시청 디바이스 보급 문제, 네트워크 대역의 문제, 단일 소스 다중 이용의 수요 등으로 일반 디스플레이 기반 서비스 수요도 존재한다. 본 논문에서는 360 도 영상의 일반 디스플레이 서비스를 위한 뷰포트 추출에 필요한 영상 내 객체의 동적 속성을 활용한 시각적 관심 지도 증강 기법과 이를 이용한 서비스 구조를 제시한다.


(게재일: 2021.06.23)
최근 영상 혹은 비디오를 이용한 신경망 기반 기술들이 활발히 응용되고 있으며, 신경망이 처리하는 임무도 다양하고 복잡해지고 있다. 이러한 신경망 임무의 다양성과 복잡성은 더욱 많은 비디오 데이터를 요구하기 때문에 비디오 데이터를 효과적으로 전송할 방법이 필요하다. 이에 따라 국제 표준화 단체인 MPEG 에서는 신경망 기계 소비에 적합한 비디오 부호화 표준 개발을 위해서 Video Coding for Machines 표준화를 진행하고 있다. 본 논문에서는 신경망의 특징 맵 부호화 효율을 개선하기 위해 특징 맵 채널 간의 유사도가 높도록 특징맵 채널을 재배열하여 압축하는 방법을 제안한다. 제안 방법으로 VCM 의 OpenImages 데이터셋의 5000 개 검증 영상 중 임의 선택된 360 개 영상에 대해 부호화 효율을 평가한 결과, 객체 검출 임무의 정확도가 유지되면서 모든 양자화 값에 대해 화소당 비트수가 감소했으며, BD-rate 측면에서 2.07%의 부호화 이득을 얻었다.


(게재일: 2021.06.23)
최근 코로나시대의 비대면적 사회환경에서 원격 회의 요구가 증가하고 있다. 기존의 비대면 환경에서의 회의나 강의 어플리케이션에서 회의 참가자의 참여도와 몰입도를 향상시키기 위해 본 논문에서는 VR 기술을 기반으로 한 원격 회의, 강의 어플리케이션을 제안하였다. 본 논문의 어플리케이션은 양방향통신방식으로 설계 및 구성되었으며, Unity 프로그램을 사용하여 어플리케이션을 제작하고 사용자는 Oculus2 기기를 통하여 VR 환경의 어플리케이션을 실행하였다.


(게재일: 2021.06.23)
실감 미디어에 대한 수요가 증가함에 따라 고품질의 실감 미디어에 대한 중요성이 증가하고 있다. 이러한 실감미디어를 제작하기 위해 사용되는 일반적인 기법 중 하나인 Multi View Stereo 는 깊이 영상 추정 및 해당 깊이 영상을 이용하여 3 차원에 point cloud 를 생성하는 fusion 과정을 거치게 된다. 본 논문에서는 다중 시점 영상의 깊이 영상을 정합하는 fusion 과정을 개선하기 위한 방법을 제안한다. 제안하는 방법에서는 깊이 영상, 색상정보를 이용하여 기준 시점의 depth map 을 이용한 fusion 과정을 거친다. 실험을 통하여 제안한 알고리즘을 이용한 결과가 기존보다 개선됨을 보인다.


(게재일: 2021.06.23)
본 연구는 사전에 VR(virtual reality) 콘텐츠 상황을 제어함으로써 파악된 사용자의 의도에 따라 가상 객체에 우선순위를 부여하고, VR 환경에서 사용자와 가상 객체 간에 집는 상호작용(interaction)의 개선 방안을 제안한다. VR 콘텐츠에서 가상 객체를 집는 행위는 필수적이면서 가장 많이 사용되는 상호작용이다. 이때 VR 환경에서 가상 객체가 서로 가까이 위치해있는 경우 집는 상호작용이 사용자의 의도와 다른 가상 객체에 적용되는 경우가 발생하며 콘텐츠를 진행하는데 방해요소로 작용한다. 이 현상을 방지하기 위해 본 논문에서는 사전에 제어한 상황에 사용되는 가상 객체에 더 큰 가중치를 부여하는 방법을 제안한다. 사용자 만족도 실험을 통해 거리만을 고려하는 기존 방식 대비 36.31%가 증가하였으며 상호작용이 더 정교하게 수행됨을 입증하였다.


(게재일: 2021.06.23)
최근 가상현실 및 증강현실 기술을 응용한 콘텐츠 개발이 활발하다. 증강현실 기술은 가상현실 기술과 다르게 현실세계와 컴퓨터 그래픽과의 융합을 토대로 개발된다. 때문에 증강현실은 현실감, 몰입감을 극대화 하는 방향으로 개발되고 있다. 그러나 현실과 컴퓨터 그래픽은 서로 다른 차원에 존재한다. 이를 해결하기 위해 마커검출 기법과 오차를 미리 계산해 출력 전에 반영해주는 방식이 제시되었지만 이는 사용자의 자유도 향상과 공간적인 제약을 최소화하기에 부담이 크다. 본 논문에서는 캘리브레이션을 통한 증강현실 구현결과로서 사용자의 관절 정보를 증강현실 내 캐릭터의 관절과 맵핑한다. 이는 사용자의 움직임을 캐릭터와 동기화함으로써 증강현실의 자유도와 몰입도를 향상시켰다. 제안된 증강현실 시스템은 사용자의 생활에 적용될 수 있는 범위가 넓어지고 사용자의 편의를 향상시킬 수 있는 가능성이 높였다.


(게재일: 2021.06.23)
최근 딥 러닝 기법의 하나인 합성곱 신경망(Convolutional Neural Network, CNN)은 영상 잡음(Noise) 제거 분야에서 전통적인 기법보다 좋은 성능을 나타내고 있지만 학습하는 과정에서 영상 내 디테일한 부분이 손실될 수 있다. 본 논문에서는 웨이블릿 변환(Wavelet Transform)을 기반으로 영상 내 디테일 정보도 같이 학습하여 영상 디테일을 향상하는 잡음 제거 합성곱 신경망 네트워크를 제안한다. 제안하는 네트워크는 디테일 향상 서브 네트워크(Detail Enhancement Subnetwork)와 영상 잡음 추출 서브 네트워크(Noise Extraction Subnetwork)를 이용하게 된다. 실험을 통해 제안하는 방법은 기존 알고리듬보다 디테일 손실 문제를 효과적으로 해결할 수 있었고 객관적 품질 평가인 PSNR(Peak Signal-to-Noise Ratio)와 주관적 품질 비교에서 모두 우수한 결과가 나온 것을 확인하였다.


(게재일: 2021.06.23)
본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network[1]를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하고 이를 통해 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes[2] 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze[3] 데이터 셋을 이용하였다. 실험을 통해 시선 추정 오차는 0.0396 MSE(Mean Square Error)의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame Per Second)를 나타내었다.


(게재일: 2021.06.23)
프레임 단위 LiDAR (Light Detection And Ranging) 기반의 포인트 클라우드는 프레임 간 상관 관계가 높기 때문에 프레임 사이의 예측 기법을 사용하여 더 높은 압축 효율을 얻을 수 있으며, 이를 위해 MPEG의 G-PCC는 Inter-EM (Inter-Exploratory Model)의 표준화를 진행하고 있다. 특히, Inter-EM은 LiDAR 기반 포인트 클라우드의 이러한 특성을 효율적으로 압축하기 위해 전역 및 지역 움직임을 모두 고려하여 압축하는 구조로 설계되었다. 이 중 전역 움직임은 LiDAR 센서가 장착된 차량의 움직임으로 인해 발생되므로, 포인트 클라우드 내 모든 물체들이 동일한 움직임을 나타낼 것으로 예상된다. 하지만, LiDAR 기반 포인트 클라우드는 포인트 클라우드 내 점들의 특성에 따라서 전역 움직임이 나타나는 양상이 다르다. 본 논문은 이러한 LiDAR 기반 포인트 클라우드의 특성을 설명하고, LiDAR 기반 포인트 클라우드 압축 시 전역 움직임 압축을 위한 포인트 클라우드 분할 방안에 대해 제안한다. 본 논문에서 제안하는 포인트 클라우드 분할 방안을 활용한 전역 움직임 압축 시 기존 Inter-EM 대비 더 효율적인 압축이 가능하다.


(게재일: 2021.06.23)
최근 3차원 영상이 다양한 분야에서 활용되고 있으며, 이에 따라 3차원 영상에 대한 압축과 전송 방안에 대한 연구가 활발히 진행되고 있다. 국제 표준화 기구인 ISO/IEC 산하 Moving Picture Expert Group(MPEG)에서는 기존의 2차원 비디오 코덱을 이용하여 고밀도 포인트 클라우드 압축하는 방안인 V-PCC와 3DoF+ 영상을 압축하기 위한 방안인 MPEG Immersive Video(MIV)를 표준화 중에 있다. V-PCC와 MIV는 압축 방법의 유사성으로 인해 동일한 Volumetric Visual Video-based Coding(V3C) 형식으로 저장된다. 압축된 V3C 데이터를 효과적으로 저장하여 이용하기 위해서는 ISO based Media File Format(ISOBMFF) 캡슐화 과정이 필수적이다. 본 논문에서는 MPEG의 Carriage of V3C data 표준에 따라 V3C 데이터를 ISOBMFF로 캡슐화 실험을 진행하였으며, 실험에 대한 검증을 위하여 생성된 ISOBMFF 데이터를 V3C 데이터로 복원한 뒤, 디코딩 하여 확인하였다.


(게재일: 2021.06.23)
인공 지능, 사물 인터넷, 클라우드 컴퓨팅, 빅데이터, 모바일을 중심으로 시작된 4차 산업혁명은 최근 메타버스(Metaverse)시대로 자연스럽게 확장되어 가고 있다. 메타버스 시대의 핵심 기술인 VR(Virtual Reality)/AR(Augmented Reality)/MR(Mixed Reality)과 이를 디스플레이 하기 위한 HMD(Head Mounted Display)나 글래스(glass) 장치들은 사용자에게 고품질 영상뿐만 아니라 3차원 공간에 대한 6DoF(Degrees of Freedom)급의 자유도를 제공해야 한다. 이에 발맞춰 MPEG에서는 최근 실사 및 CG(Computer Graphics)로 제작된 다시점 텍스쳐 및 깊이 영상에 대한 효과적인 압축 방법을 찾기 위한 MIV(MPEG Immersive Video) 표준화를 진행중이다. 본 논문은 최신 2차원 압축 표준인 VVC(Verstitle Video Coding)를 기반으로 MPEG MIV 1.0 표준 프레임워크를 검증해본다. 특히 높은 압축율에 비해 복잡도가 높은 VVC 표준의 특성을 고려하여 HHI에서 개발한 최적화 코덱인 VVenC를 이용하여 압축 효율과 복잡도 관점에서 MIV 표준 활용을 위한 최적의 솔루션을 찾고자 한다.


(게재일: 2021.06.23)
최근 기계 임무수행에 사용되는 데이터양이 증가함에 따라 기계를 위한 효율적인 영상 압축방식의 필요성이 높아졌다. 기존의 비디오 코덱은 HVS (Human Visual System) 특성을 고려한 기술이기 때문에 부호화 과정에서 기계 임무수행에 필요하지 않은 정보를 효과적으로 제거할 수 없다. 반면 심층신경망 기반 압축네트워크의 경우, 원본 영상으로부터 기계 임무수행에 필수적인 데이터만을 추출하여 부호화 하도록 학습할 수 있는 장점이 있다. 본 논문에서는 압축 심층신경망과 기계 임무수행 네트워크로 구성되는 VCM (Video Coding for Machine) 프레임워크를 제안하고 학습에 의한 압축효율 향상을 검증한다. 이를 위해 압축 심층신경망을 객체탐지 임무수행 네트워크와 함께 학습시킨 결과, VVC (Versatile Video Coding) 대비 평균 61.16%의 BD-rate 감소가 확인되었다. 뿐만 아니라, 학습된 압축 심층신경망은 객체분할 임무수행에서도 VVC 대비 평균 58.43%의 BD-rate 감소를 보여 다중 기계 임무의 효율적 수행이 가능함을 확인할 수 있었다.


(게재일: 2021.06.23)
본 논문에서는 대용량의 3D 데이터 시퀀스의 압축을 진행한다. 3D 데이터 시퀀스의 각 프레임에서 Pose Estimation을 통해 3D Skeleton을 추출한 뒤, 포인트 클라우드를 skeleton에 묶는 리깅 과정을 거치고, 다음 프레임과 같은 자세로 deformation을 진행한다. 다음 프레임과 같은 자세로 변형된 포인트 클라우드와 실제 다음 프레임의 포인트 클라우드를 비교하여, 두 데이터에 모두 있는 점, 실제 다음 프레임에만 있는 점, deformation한 데이터에만 있는 점으로 분류한다. 두 데이터에 모두 있는 점을 제외하고 나머지 두 분류의 점들을 저장함으로써 3D 시퀀스 데이터를 압축할 수 있다.


(게재일: 2021.06.23)
최근 딥러닝 기술에 발전으로 스마트 시티, 자율주행 자동차, 감시, 사물인터넷 등 다양한 분야에서 활용이 되고 있으며, 이에 따라 기계를 위한 영상 압축에 대한 필요성이 대두되고 있다. 본 논문에서는 열 적외선 영상에서 기계 소비를 위한 객체 기반 압축 기법을 제안한다. 신경망의 객체 탐지 결과와 객체 크기에 따라 이미지를 객체 부분과 배경 부분으로 나누어 서로 다른 압축률로 인/디코딩 한 후, 나눠진 이미지들 다시 하나의 이미지로 합치는 기법을 사용하여 압축하였으며, 이는 압축효율은 높이면서 객체 탐지 성능을 높게 유지한다. 실험 결과, 제안하는 방법이 Pareto mAP에서 BD-rate가 -28.92%로 FLIR anchor 결과와 비교했을 때 압축효율이 뛰어나다는 것을 확인할 수 있다.


(게재일: 2021.06.23)
본 논문에서는 VVC(Versatile Video Coding)의 색차 채널을 위한 화면 내 예측 모드 중 하나인 CCLM (Cross-Component Linear Model) 모드의 부호화 성능을 향상시킬 수 있는 방법을 제안하였다. 기존의 CCLM 모드는 예측과정에서 대응 휘도 영역의 화소로만 색차 블록의 예측자를 생성하기 때문에 현재 색차 블록과 그 주변의 참조 화소와의 연관성을 고려하지 않는 문제점이 있다. 본 논문에서는 참조 화소를 사용하는 예측 모드를 유도하여 예측자를 생성한 후 기존 CCLM 을 통해 생성된 예측자와 가중 결합하는 방법을 제안함으로써 문제점을 극복하고 부호화 성능의 향상을 가져오고자 한다. 실험 결과 제안 방법은 기존 VVC 방법 대비 BDBR 측면에서 Y(0.10%), Cb(-0.22%), Cr(-0.22%)의 결과를 얻을 수 있었다.


(게재일: 2021.06.23)
Fisheye 카메라로 촬영된 영상은 일반 영상보다 넓은 시야각을 갖는 장점으로 여러 분야에서 활용되고 있다. 그러나 fisheye 카메라로 촬영된 영상은 어안렌즈의 곡률로 인하여 영상의 중앙 부분은 팽창되고 외곽 부분은 축소되는 방사 왜곡이 발생하기 때문에 영상을 활용함에 있어서 어려움이 있다. 이러한 방사 왜곡을 보정하기 위하여 기존 영상처리 분야에서는 렌즈의 곡률을 수학적으로 계산하여 보정하기도 하지만 이는 각각의 렌즈마다 왜곡 파라미터를 추정해야 하기 때문에, 개별적인 GT (Ground Truth) 영상이 필요하다는 제한 사항이 있다. 이에 본 논문에서는 렌즈의 종류마다 GT 영상을 필요로 하는 기존 기술의 제한 사항을 극복하기 위하여, fisheye 영상만을 입력으로 하여 왜곡계수를 계산하는 딥러닝 네트워크를 제안하고자 한다. 또한, 단일 왜곡계수를 왜곡모델로 활용함으로써 layer 수를 크게 줄일 수 있는 경량화 네트워크를 제안한다.


(게재일: 2021.06.23)
2019 발생한 COVID-19로 인하여 전 세계 사람들의 여가 활동이 제한되면서 건강관리를 위해 홈 트레이닝에 많은 관심을 기울이고 있다. 뿐만 아니라 최근 컴퓨팅 기술의 발전에 따라 사람의 행동을 눈으로 직접 판단했던 작업을 컴퓨터가 키포인트 탐지를 통해 인간의 행동을 이해하려는 많은 연구가 진행되고 있다. 이에 따라 본 논문은 Azure Kinect를 이용하여 촬영한 RGB 이미지와 Depth 이미지를 이용하여 3D 키포인트를 추정한다. RGB 이미지는 2D 키포인트 탐지기를 이용하여 2차원 공간에서의 좌표를 탐지한다. 앞서 탐지한 2D 좌표를 Depth 이미지에 투영하여 추출한 3D 키포인트의 깊이 값을 이용하여 3D 키포인트 탐지에 대한 연구 개발하였다.


(게재일: 2021.06.23)
딥러닝 기술과 하드웨어의 발전으로 다양한 분야에서 인공신경망과 관련한 연구가 활발히 진행되고 있다. 비디오 코덱 부분에서도 딥러닝 기술을 적용하는 부호화 기술이 많이 연구되고 있다. 본 논문은 최근 완료된 VVC 에 채택된 신경망 기반의 기술인 MIP(Matrix Weighted Intra Prediction)를 확장하여 보다 깊은 계층의 모델로 학습된 새로운 화면내 예측 모델을 제안한다. 기존 VVC 의 MIP 의 성능과 비교하기 위하여 기존 MIP 모델과 제안하는 다중완전연결계층(Fully Connected Layer) 화면내 예측 모델을 HEVC(High Efficiency Video Coding)에 적용하여 그 성능을 비교하였다. 실험결과 제안기법은 VVC MIP 대비 0.08 BD-rate 성능 향상을 보였다.


(게재일: 2021.06.23)
본 논문에서는 기존 AHDRNet에 channel attention 기법을 적용했을 때 성능에 어떠한 변화가 있는지를 평가하였다. 기존 모델의 병합 망에 존재하는 DRDB(Dilated Residual Dense Block) 사이, 그리고 DRDB 내의 확장된 합성곱 레이어 (dilated convolutional layer) 뒤에 또다른 합성곱 레이어를 추가하는 방식으로 channel attention 기법을 적용하였다. 데이터셋은 Kalantari의 데이터셋을 사용하였으며, PSNR(Peak Signal-to-Noise Ratio)로 비교해본 결과 기존의 AHDRNet의 PSNR은 42.1656이며, 제안된 모델의 PSNR은 42.8135로 더 높아진 것을 확인하였다.


(게재일: 2021.06.23)
최근 정보통신의 발달과 함께 인터넷에 접속하는 사용자 수와 그에 따른 비디오 데이터의 전송량이 늘어나는 추세이다. 이렇게 늘어나는 많은 비디오 데이터를 관리하고 분석하기 위해서 최근에는 딥 러닝 기법을 많이 활용하게 된다. 일반적으로 비디오 데이터에 딥 러닝 모델을 학습할 때 컴퓨터 자원의 한계로 인해 전체 비디오 프레임에서 균등한 간격 또는 무작위로 프레임을 선택하는 방법을 많이 사용한다. 하지만 학습에 사용되는 비디오 데이터는 항상 시간 축에 따라 같은 문맥을 담고 있는 Trimmed 비디오라고 가정할 수가 없다. 만약 같지 않은 문맥을 지닌 Untrimmed 비디오에서 균등한 간격 또는 무작위로 프레임을 선택해서 사용하게 된다면 비디오의 범주와 관련이 없는 프레임이 샘플링 될 가능성이 있기 때문에 모델의 학습 및 최적화에 전혀 도움이 되지 않는다. 이를 해결하기 위해 우리는 각 비디오 프레임에서 심층 특징을 추출하여 평균값을 계산하고 이와 각 추출된 심층특징들과 코사인 유사도를 계산해서 얻은 유사도 점수를 바탕으로 Untrimmed 비디오에서 의미 있는 비디오 프레임을 추출하는 기법을 제안한다. 그리고 Untrimmed 비디오로 구성된 데이터셋으로 유명한 ActivityNet 데이터셋에 대해서 대표적인 2가지 프레임 샘플링 방식(균등한 간격, 무작위)과 비교하여 우리가 제안하는 기법이 Untrimmed 비디오에서 효과적으로 비디오의 범주에 해당하는 의미 있는 프레임 추출이 가능함을 보일 것이다. 우리가 실험에 사용한 코드는 https://github.com/titania7777/VideoFrameSampler에서 확인할 수 있다.


(게재일: 2021.06.23)
증강현실이나 자율 주행, 드론 등의 기술에서 현재 위치와 시점을 파악하기 위해서는 실시간 카메라 자세 추정이 필요하다. 이를 위해 가장 일반적인 방식인 연속적인 단안 영상으로부터 카메라 자세를 추정하는 방식은 두 영상의 정적 객체 간에 견고한 특징점 매칭이 이루어져야한다. 하지만 일반적인 영상들은 다양한 이동 객체가 존재하는 동적 환경이므로 정적 객체만의 매칭을 보장하기 어렵다는 문제가 있다. 본 논문은 이 같은 동적 환경 문제를 해결하기 위해, 신경망 기반의 객체 분할 기법으로 영상 속 객체를 추출하고, 객체별 특징점 매칭 및 자세 추정 결과로 정적 객체를 특정해 매칭하는 방법을 제안한다. 또한, 제안하는 정적 객체 특정 방식에 적합한 신경망 기반 특징점 추출 방법을 사용하면 동적 환경에 보다 강인한 카메라 자세 추정이 가능함을 실험을 통해 확인한다.


(게재일: 2021.06.23)
현재 세계 모바일 App 시장에서는 메신저 서비스가 꾸준히 인기를 이어가고 있으며 국내 모바일 메신저 시장 또한 월간이용자수가 꾸준히 유지되고 있다. 이에 따라 많은 App들이 메신저 기능을 제공하기 위해 자체 채팅 서비스를 도입하거나 외부 메신저 App을 연동하는 방법을 사용하고 있다. 하지만 중·소 IT 기업의 경우 자체 개발 인력 및 인프라를 마련하는데 한계가 있으며 외부 메신저 App 연동 시 이탈 역효과의 단점이 발생한다. 이에 본 논문은 중·소 IT 기업에 활용성을 높일 수 있는 STOMP 프로토콜 활용 자체 메신저 App 서비스를 개발하려 한다. 본 논문을 통해 App 자체에서 메신저 기능을 손쉽게 도입해 이용자 이탈율 최소화를 기대한다.


(게재일: 2021.06.23)
인물의 행동 및 이동을 인식하는 것은 다양한 분야에서 활용될 수 있다. 사람의 행동을 파악하여 니즈를 예상하고 맞춤형 콘텐츠를 제공하거나 행동을 예측하여 범죄나 폭력을 예방하는 등 여러 방면으로 활용 가능하다. 그러나 이동과 현재 위치 정보만으로 인물의 행동을 예측하기에는 한계가 있다. 본 논문에서는 실시간으로 사람의 이동과 행동을 인식하기 위해 Kinect v2가 제공하는 관절 정보와 YOLOv3를 이용하여 실시간으로 사람의 행동을 인식하는 시스템을 제작하였다.


(게재일: 2021.06.23)
MPEG(Moving Pictures Experts Group)에서는 딥러닝을 포함한 머신 비전과 관련하여 Video for machines 란 이름의 새로운 부호화 표준에 대한 논의를 진행하고 있다. VCM 에서는 기존의 비디오 부호화와 달리 머신을 기준으로 한 비디오 부호화를 목표로 한다. 본 논문에서는 적대적 공격 모델을 이용하여 VCM 부호화에 대해서 분석을 하고자 한다. 적대적 공격 모델 관점에서 비디오 부호화의 특성에 대해서 살펴보고, 이를 고려한 부호화 개발 방향에 대해 살펴본다.


(게재일: 2021.06.23)
영상에 새로운 광원을 추가하거나 기존의 광원을 변경하여 영상 내 오브젝트들에 적용된 조명을 변경하는 것을 영상 기반 재조명이라 한다. 하지만, 영상에는 재조명을 위해 필요한 광원과 오브젝트들의 3차원 기하 정보가 부재하다는 문제가 있다. 이를 해결하기 위해, 본 연구에서는 영상으로부터 재조명에 필요한 요소들을 추정하는 접근법을 취한다. 오브젝트 표면의 노말과 알베도는 조명의 주 요소이지만 광원에는 독립적이므로 새로운 광원에 대한 재조명을 가능케 한다. 따라서 본 연구는 영상으로부터 노말맵과 알베도맵을 추정한 뒤, 이를 이용하여 영상 기반 렌더링하는 영상 재조명 방법을 제안한다. 조건부 적대적 생성망을 다양한 조명 환경에서 렌더링된 3차원 오브젝트 영상들과 그에 대응하는 노말맵, 알베도맵을 이용해 학습함으로써, 임의의 영상에 대한 노말맵과 알베도맵 추정기를 생성한다. 이를 통해 추정된 노말맵과 알베도맵은 3차원 공간상에서 새로운 광원에 대해 렌더링됨으로써 재조명 영상을 생성한다. 마지막으로, 영상 기반으로 재조명된 영상과 ground truth와의 비교 실험을 통해 본 연구에서 제안한 방법이 유효함을 확인한다.


(게재일: 2021.06.23)
본 논문에서는 차세대 비디오 부호화 기술인 VVC (Versatile Video Coding)의 색차 성분 화면 내 예측 기술인 DM (Derived Mode) 가 분할 구조가 이중 트리일 때 색차 블록에 대응하는 휘도 블록을 선택하는 기존 방식의 효율성을 분석하기 위해 색차 블록에 대응하는 휘도 영역 내 휘도 블록의 개수를 측정하였다. 실험 결과, 하나의 색차 블록에 대응하는 휘도 영역 내에 평균적으로 4.408 개의 휘도 블록이 존재함을 확인하였다. 따라서 DM 을 통한 부호화 시 대응하는 휘도 영역 내 복수개의 휘도 블록을 고려하여, 유도되는 최적의 예측 모드를 잘 선정하는 방법에 대한 연구가 필요하다.


(게재일: 2021.06.23)
본 논문은 RGB 영상 데이터셋의 일부만을 지도학습하여(Sparsely-supervised learning) Annotation 되지 않은 영상에 대해 손-객체의 3D 포즈를 복원하기 위한 방법을 제안한다. 기존의 연구에서는 손-객체의 포즈에 해당하는 6DoF 만을 학습 데이터로 활용한다. 이와 달리, 본 논문에서는 정확도 향상을 위해 복원된 결과를 동일한 입력 영상 내에서 비교 가능하도록 3D 모델로 복원한 결과를 입력 영상의 마스크로 만들어 학습에 반영하였다. 구체적으로 추정된 포즈로 만들어낸 마스크를 입력 영상에 적용한 결과와 Ground-truth 포즈를 적용한 영상을 학습 시에 손실 함수에 반영하였다. 비교 실험을 통해 제안된 방법이 해당 방법을 적용하지 않은 경우 보다 3D 매쉬 오차가 적었음을 확인할 수 있었다.


(게재일: 2021.06.23)
본 논문에서는 시각-관성 측위시스템(Visual-Inertial Odometry, VIO)에서 광학 문자 인식(Optical Character Recognition, OCR)을 활용해 문자의 영역을 찾아내고, 그 위치를 기억해 측위시스템에서 다시 인식되었을 때 비교하기 위해 위치와 특징점을 저장하고자 한다. 먼저, 실시간으로 움직이는 카메라의 영상에서 문자를 찾아내고, 카메라의 상대적인 위치를 이용하여 문자가 인식된 위치와 특징점을 저장하는 방법을 제안한다. 또한 저장된 문자가 다시 탐색되었을 때, 문자가 재인식되었는 지 판별하기 위한 방법을 제안한다. 인공적인 마커나 미리 학습된 객체를 사용하지 않고 상황에 따른 문자를 사용하는 이 방법은 문자가 존재하는 범용적인 공간에서 사용이 가능하다.


(게재일: 2021.06.23)
최근 메타버스, 디지털트윈 등 산업계의 요구가 높아지고, 아울러 스마트홈, 스마트시티, 스마트팩토리와 같은 사물인터넷을 근간으로 하는 상용화 기술의 발전이 가속화되고 있다. 현실 세계의 센서와 구동기의 연결을 통해 사물들을 통한 현실세계 인식 및 제어에 초점을 맞추어 왔던 기존 사물인터넷 기술에서 이제는 사물 간 자율협업을 통한 문제 해결에 대한 요구가 커지고 있다. 본 논문은 미디어사물인터넷 국제표준인 MPEG-IoMT의 아키텍처 및 유스케이스를 통해 미디어사물의 자율협업에 대한 기본적인 개념을 전달하려 한다.


(게재일: 2021.06.23)
본 논문에서는 움직임 정보와 시공간 주의 정보를 심층신경망을 이용하여 함께 활용한 행동 인식 방법을 제안한다. RGB 영상을 입력으로 사용하는 기존 방법과 달리 제안하는 방법은 움직임 정보를 입력으로 사용하여 시간적 특징 및 시공간 주의 정보를 추출하고, RGB 영상에서 추출한 공간적 특징에 시공간 주의 정보를 고려하게 하여 행동 인식 정확도를 향상시킨다. 실험 결과를 통해 행동 분류 정확도 및 연산 효율성이 기존 신경망보다 우수함을 보인다.


(게재일: 2021.06.23)
최근 지상파 UHD 방송에서는 자막을 비디오 패킷에 삽입하여 전달하는 기존 방식이 아닌 별도의 전송로로 전달하는 폐쇄형 자막(closed caption) 방식을 적용하고 있다. 또한 자막에는 문자 뿐만 아니라 이미지까지 포함하여 청각장애인의 프로그램 이해도를 높이는데 활용할 수 있다. 따라서 본 논문에서는 청각장애 시청자가 방송 콘텐츠 내용의 이해도를 향상시키기 위하여 지상파 UHD 방송에서 기존의 문자 자막과 움직이는 이미지 자막(=감정표현 자막)을 송출하여 동시에 표현할 수 있는 송출시스템을 제안한다.


(게재일: 2021.06.23)
본 논문에서는 Wave-U-Net 기반의 오디오 부호화 성능 향상 기법을 제안한다. 기존의 인공지능 기반 오디오 부호화 기술은 오디오의 주파수 정보를 복원하는 방식이기 때문에 완전한 복원을 위해서 주파수의 위상 정보를 별도로 부호화하여 전송해야 한다는 문제점이 있다. 따라서 본 논문에서는 오디오 부호화의 성능 향상을 위해 음원의 주파수 분석을 필요로 하지 않은 end-to-end 모델인 Wave-U-Net을 사용할 것을 제안한다. Wave-U-Net을 사용한 음원이 사용 전의 음원보다 객관적, 주관적 평가 지표에서 우수한 성능을 보이는 것을 확인하였다.


(게재일: 2021.06.23)
Versatile Video Coding(VVC)에서 동영상 압축 효율을 증가시키기 위한 다양한 화면 간 예측(inter prediction) 기법 중에 적응적 움직임 벡터 해상도(Adaptive motion vector resolution, 이하 AMVR) 기술이 채택되었다. 다만 AMVR을 위해서는 다양한 움직임 벡터 해상도를 테스트해야 하는 부호화 복잡도를 야기하였다. AMVR의 부호화 복잡도를 줄이기 위하여, 본 논문에서는 가벼운 신경망 모델 기반의 AMVR 조기 판별 기법을 제안한다. 이에 따라 불필요한 상황을 미리 조기에 인지하여 대응한다면 나머지 AMVR 과정을 생략할 수 있기에 부호화 복잡도의 향상을 볼 수 있다.


(게재일: 2021.06.23)
물리 시뮬레이션 기반의 캐릭터 동작 제어 문제를 강화학습을 이용하여 해결해 나가는 연구들이 계속해서 진행되고 있다. 이에 따라 이 문제를 강화학습을 이용하여 풀 때, 영향을 미치는 요소에 대한 연구도 계속해서 진행되고 있다. 우리는 지금까지 이뤄지지 않았던 상태 표현 방식에 따른 강화학습에 미치는 영향을 분석하였다. 첫째로, root attached frame, root aligned frame, projected aligned frame 3 가지 좌표계를 정의하였고, 이에 대해 표현된 상태를 이용하여 강화학습에 미치는 영향을 분석하였다. 둘째로, 동역학적 상태를 나타내는 캐릭터 관절의 위치, 각도에 따라 학습에 어떠한 영향을 미치는지 분석하였다.


(게재일: 2021.06.23)
재난문자는 이동통신망을 통해 제공되며 인터넷망을 통해 포털에서도 제공되고 있다. 현재 국내에서는 다양한 경보 전달 채널들을 CAP 메시지를 기반으로 통합하여 운용하기 위한 연구가 진행되고 있다. 따라서 이를 대비하여 CAP 메시지와 인터넷 포털 경보 서비스 규격을 연동할 필요성이 있다. 이 연구에서는 메시지의 정보, 메시지 내용, 수신 지역 정보 등에 대한 CAP 메시지와 인터넷 포털 경보 서비스의 연동규격을 제시하였다.


(게재일: 2021.06.23)
이 연구에서는 국내 재난문자와 미국 WEA의 법령과 표준의 관계를 비교하였다. 국내 재난문자 재난 및 안전관리 기본법을 상위법으로 두는 법령이 있으나 기술적 내용은 대부분 민간 표준단체(TTA)의 표준으로만 제정되어 있다. 따라서 이동통신사와 단말기 제조사는 의무적으로 준수해야 하는 법적 근거가 없다. 한편, 미국은 WEA 연방 규칙에서 기술적 내용을 포함하고 있어서 이동통신사와 단말기 제조사는 의무적으로 해당 내용을 준수해야 한다. 이에, 국내는 이동통신사와 단말기 기종별로 재난문자 서비스의 차이가 발생하고 있지만 미국에서는 이러한 차이를 발견하기 어렵다.


(게재일: 2021.06.23)
영상 잡음 제거는 잡음으로 저하된 영상으로부터 잡음 없는 영상을 복원하는 기술이다. 최근 영상 처리에 딥러닝을 사용한 학습 기반 방법 중 저수준 컴퓨터 비전 분야에 고수준 영상 정보를 활용하는 접근이 있었다. 본 논문에서는 고수준 영상 정보인 영상 분할 지도를 활용하여 영상 속 가산 백색 잡음 제거 연구를 진행하였다. 잔차 연결을 활용한 구조의 인공신경망 모델에 잡음 영상, 잡음 수준 지도, 영상 분할 지도를 입력으로 넣어 고수준 영상 정보를 활용할 수 있게 하였다. 본 논문에서 제안한 인공신경망을 Outdoor Scene Dataset과 CBSD68 Dataset에 대해 확인해본 결과, PSNR과 인지적인 측면에서 DnCNN과 FFDNet보다 성능이 향상되는 것을 확인하였다.


(게재일: 2021.06.23)
얼굴 검증 기술은 출입통제 시스템이나 모바일 기기에서의 열람 또는 금융 서비스 등 보안이 요구되는 다양한 분야에서 널리활용되고 있다. 최근 얼굴 검증 분야에서 높은 성능 향상을 보인 대부분의 검증 모델은 깊은 네트워크를 사용하므로 상대적으로 매우 큰 컴퓨팅 파워를 요구한다. 따라서 해당 모델들을 실환경에 적용하기 위해서는 모델 경량화 기술에 대한 고려가 반드시 필요하다. 얼굴 검증 연구에서 경량화 기술의 중요성에도 불구하고 해당 연구는 이제까지 잘 다뤄지지 않았다. 본 논문은 주요 얼굴 검증 모델에 대해서 지식 증류 기술을 수행하고, 이에 따른 실험 결과를 비교 분석하여 제시함으로써 경량화 기술 적용에 대한 방향성을 제시한다.


(게재일: 2021.06.23)
본 논문에서는 수중에서 선박 하부에 붙은 오손생물(fouling organism)을 탐지하고 격자지도(grid map)로 나타내는 시스템을 제안한다. 제안하는 시스템은 소나(sound navigation and ranging: SONAR) 센서와 오손생물사이의 시간 데이터를 수집한 후, 라즈베리 파이 4(raspberry pi 4)에서 수집된 데이터를 이용해 격자지도에 맵핑(mapping)함으로써, 선저하부의 상태를 파악하는데 도움을 줄 수 있다. 본 논문에서는 제안된 지도 시스템을 이용하여 선박 하부에 붙은 오손생물의 분포를 확인할 수 있다.


(게재일: 2021.06.23)
포인트 클라우드는 3 차원 물체를 표현하기 위한 점들의 집합으로, 동적인 3 차원 데이터를 정밀하게 획득할 수 있기에 이의 효율적인 압축의 필요성이 대두되고 있다. 기존 3D DCT(3D Discrete Cosine Transform)를 이용한 동적 객체의 포인트 클라우드 압축 방식은 Inter 프레임 압축을 고려하지 않아 압축시의 데이터 압축률에 한계가 있다. 따라서 본 논문은 이러한 문제점을 개선하기 위해 3D DCT 를 이용한 움직임 예측을 통하여 포인트 클라우드 영상의 I 프레임 및 P 프레임을 압축하는 방식을 제안한다.


(게재일: 2021.06.23)
포인트 클라우드 콘텐츠는 실제 환경 및 물체를 3 차원 위치정보를 갖는 점들과 그에 대응하는 색상 등을 획득하여 기록한 실감 콘텐츠이다. 위치와 색상 정보로만 이뤄진 3 차원 점으로 이뤄진 포인트 클라우드 콘텐츠는 확대하여 렌더링 할 경우 점과 점 사이의 간격이 벌어지면서 발생하는 구멍에 의해 콘텐츠 품질이 저하될 수 있다. 이러한 문제를 해결하기 위해 본 논문에서는 포인트 클라우드 확대 시 점들 간 간격이 벌어져 생기는 구멍에 대해 깊이정보를 활용한 역변환 기반 보간 방법을 통해 포인트 클라우드 콘텐츠 품질을 개선하는 방법을 제안한다. 벌어진 간격들 사이에서 빈 공간을 찾을 때 그 사이로 뒷면의 점들이 그려지게 되어 보간 방법을 적용하는데 방해요소로 작용한다. 이를 해결하기 위해 구멍이 발생하지 않은 시점에서 렌더링 된 영상을 사용하여 포인트 클라우드의 뒷면에 해당되는 점들을 제거한다. 다음으로 깊이 맵(depth map)을 추출한 후 추출된 깊이 값을 사용하여 뎁스 에지(depth edge)를 구하고 에지를 사용하여 깊이 불연속 부분에 대해 처리한다. 마지막으로 뎁스 값을 활용하여 이전에 찾은 구멍들의 역변환을 하여 원본의 데이터에서 픽셀을 추출한다. 제안하는 방법으로 콘텐츠를 렌더링 한 결과, 기존의 크기를 늘려 빈 영역을 채우는 방법에 비해 렌더링 품질이 평균 PSNR 측면에서 2.9 dB 향상된 결과를 보였다.


(게재일: 2021.06.23)
본 논문에서는 과다 노출된 영상을 영상 간 변환(Image-to-Image Translation)을 위해 설계된 적대적 생성 신경망(Generative Adversarial Network)을 활용하여 복원하는 연구를 수행한다. 과다 노출 복원을 위한 기존의 연구에서 과다 노출 영역 판별, 밝기 회복, 색상 보정 과정을 거치는데, 영상 내 과다 노출 영역을 판별하는 과정에서 임의로 결정하는 파라미터에 의해 복원된 영상 결과가 달라지는 한계점을 극복하기 위해 종단간(End-to-End) 신경망을 학습시켜 과다 노출 영역을 별도의 파라미터 선택과 분할된 과정 없이 한 번에 복원하는 방법을 제안한다. 영상 간 변환 신경망 학습에 필요한 과다 노출 여부로 도메인이 분할된 데이터셋은 게임 소프트웨어를 활용하여 만들어 사용하였다. 본 연구에서는 신경망이 생성한 영상이 실제로 과다 노출 영역을 탐지하여 복원하는 것을 확인하였다. 그리고 과다 노출 영역을 탐지하여 복원하는 과정을 학습 단계별로 확인함으로써 신경망이 실제로 과다 노출 복원 과정을 학습함을 보였다.


(게재일: 2021.06.23)
본 논문은 Detectron2 [1]에서 지원하는 객체 검출 임무 수행 네트워크의 과정 중에서 추출한 피쳐 맵을 신경망 기반으로 압축하는 방법을 제안한다. 이를 위해, 신경 망 기반 영상 압축을 지원하는 공개 소프트웨어인 CompressAI [2] 모델 중 하나인 bmshj2018-hyperprior 의 압축 네트워크를 활용하여 임무 수행 네트워크의 과정 중 스탬 레이어(stem layer)에서 추출된 피쳐 맵을 압축하도록 학습시켰다. 또한, 압축 네트워크의 입력 피쳐 맵의 너비와 높이 크기가 64 의 배수가 되도록 객체 검출 네트워크의 입력 영상 보간 값을 조정하는 방법도 제안한다. 제안하는 신경망 기반 피쳐 맵 압축 방법은 피쳐 맵을 최근 표준이 완료된 차세대 압축 표준 방법인 VVC(Versatile Video Coding, [3])로 압축한 결과에 비해 큰 성능 향상을 보이고, VCM 앵커와 유사한 성능을 보인다.


(게재일: 2021.06.23)
지상파 방송에서 재난방송 기술이 진화되고 있다. 하지만 재난방송 정책은 진화된 기술을 제도화하지 못하고 있다. 본 연구는 기술이 재난방송 정책 변화를 줄 수 있는 다섯 가지 요소에서 정책과 기술이 어떤 간극을 보이는지 살펴보았다. 결론적으로 현재 '재난방송 및 민방위경보방송의 실시에 관한 기준'은 신규 기술에 대한 규정을 담기 부족하다. 따라서 재난경보 방송을 구체화하고 재난경보 메시지와 재난방송 수신환경과 수신기에 대한 기술적 규격을 제도화하기 위한 가칭 '재난방송 기술기준'을 시급히 마련하여 할 필요성을 제기하고 있다.


(게재일: 2021.06.23)
MPEG-IoMT 표준은 미디어 사물과 관련된 데이터 포맷 및 인터페이스와 관련된 국제 표준 프로젝트로서 여러 플랫폼에서도 다양한 미디어 사물을 등록, 연결 및 통신을 할 수 있게 제공한다. 하지만 현재로서 다수의 미디어 사물 간 연결 수립은 사용자가 수동으로 수행해야 하며, 연결이 되었다 하더라도 미디어 사물 간 데이터 통신의 진행 상태를 확인할 수단이 없다. 따라서 본 논문에서는 MPEG-IoMT 표준 내 미디어 사물 관리자(Media Thing Manager)를 제안한다. 미디어 사물 관리자는 미디어 사물 간 자동 연결을 위해 미션 데이터를 생성 및 관리하며, API 를 통해 미디어 사물 간 통신 수행 여부를 확인할 수 있다.


(게재일: 2021.06.23)
최근 언택트 시대에 프리랜서 시장이 활성화되면서 재능거래 플랫폼이 빠르게 성장하고 있다. 이러한 재능거래 플랫폼은 판매 금액의 일정 부분을 중개 수수료로 책정하여 수익을 올리는데, 서버-클라이언트 모델 기반의 서비스를 제공하기 때문에 서버 운영비용이 발생하여 수수료가 높다는 단점이 있다. 본 논문은 분산저장파일시스템(IPFS)을 활용한 이더리움 플랫폼 기반 분산앱(dApp) 시스템에 대한 것으로, 거래 정보 같은 가벼운 데이터는 블록에 올리고 블록체인에 올릴 수 없는 대용량 데이터는 IPFS에 분산 저장 후 파일 주솟값인 CID 값을 블록체인에 올려 서버 및 데이터베이스 운영비용을 절감하는 방법을 제안한다.


(게재일: 2021.06.23)
전세계적으로 우울증은 정신 건강 질환으로써 문제가 되고 있으며, 이를 해결하기 위해 일상생활에서의 우울증 탐지에 대한 연구가 진행되고 있다. 따라서 본 논문에서는 일상생활에 밀접하게 연관되어 있는 AI 스피커를 사용한 어텐션 메커니즘(Attention Mechanism) 기반 멀티모달 우울증 감지 시스템을 제안한다. 제안된 방법은 AI 스피커로부터 수집할 수 있는 음성 및 텍스트 데이터를 수집하고 CNN(Convolutional Neural Network)과 BiLSTM(Bidirectional Long Short-Term Memory Network)를 통해 각 데이터에서의 학습을 진행한다. 학습과정에서 Self-Attention 을 적용하여 특징 벡터에 추가적인 가중치를 부여하는 어텐션 메커니즘을 사용한다. 최종적으로 음성 및 텍스트 데이터에서 어텐션 가중치가 추가된 특징들을 합하여 SoftMax 를 통해 우울증 점수를 예측한다.


(게재일: 2021.06.23)
본 논문에서는 자막방송 제공을 위해 방송콘텐츠를 이해하는 방법으로 잔차 합성곱 순환신경망 기반 음향 사건 분류 기법을 제안한다. 제안된 기법은 잔차 합성곱 신경망과 순환 신경망을 연결한 구조를 갖는다. 신경망의 입력 특징으로는 멜-필터벵크 특징을 활용하고, 잔차 합성곱 신경망은 하나의 스템 블록과 5개의 잔차 합성곱 신경망으로 구성된다. 잔차 합성곱 신경망은 잔차 학습으로 구성된 합성곱 신경망과 기존의 합성곱 신경망 대비 특징맵의 표현 능력 향상을 위해 합성곱 블록 주의 모듈로 구성한다. 추출된 특징맵은 순환 신경망에 연결되고, 최종적으로 음향 사건 종류와 시간정보를 추출하는 완전연결층으로 연결되는 구조를 활용한다. 제안된 모델 훈련을 위해 라벨링되지 않는 데이터 활용이 가능한 평균 교사 모델을 기반으로 훈련하였다. 제안된 모델의 성능평가를 위해 DCASE 2020 챌린지 Task 4 데이터 셋을 활용하였으며, 성능 평가 결과 46.8%의 이벤트 단위의 F1-score를 얻을 수 있었다.


(게재일: 2021.06.23)
MPEG 비디오 그룹은 제한된 3D 공간 내에서 움직임 시차(motion parallax)를 제공하면서 원하는 시점(view)을 렌더링(rendering)하기 위한 표준으로 TMIV(Test Model for Immersive Video)라는 테스트 모델과 함께 효율적인 몰입형 비디오의 부호화를 위한 MIV(MPEG Immersive Video) 표준을 개발하고 있다. 몰입감 있는 시각적 경험을 제공하기 위해서는 많은 수의 시점 비디오가 필요하기 때문에 방대한 양의 비디오를 고효율로 압축하는 것이 불가피하다. TMIV 는 여러 개의 입력 시점 비디오를 소수의 아틀라스(atlas) 비디오로 변환하여 부호화되는 화소수를 줄이게 된다. 아틀라스는 선택된 소수의 기본 시점(basic view) 비디오와 기본 시점으로부터 합성할 수 없는 나머지 추가 시점(additional view) 비디오의 영역들을 패치(patch)로 만들어 패킹(packing)한 비디오이다. 본 논문에서는 아틀라스 비디오의 보다 효율적인 부호화를 위해서 패치 내에 생기는 작은 홀(hole)들을 채우는 기법을 제안한다. 제안기법은 기존 TMIV8.0 에 비해 1.2%의 BD-rate 이 향상된 성능을 보인다.


(게재일: 2021.06.23)
기존 영상 콘텐츠에 새로운 물체를 삽입하는 등의 영상 재구성 기술은 새로운 게임, 가상현실, 증강현실 콘텐츠를 생성하거나 인공신경망 학습을 위한 데이터 증대를 위해 사용될 수 있다. 하지만, 기존 기술은 컴퓨터 그래픽스, 사람에 의한 수동적인 영상 편집에 의존하고 있어 금전적/시간적 비용이 높다. 이에 본 연구에서는 인공지능 신경망을 활용하여 낮은 비용으로 영상을 재구성하는 기술을 소개하고자 한다. 제안하는 방법은 기존 콘텐츠와 삽입하고자 하는 객체를 포함하는 영상이 주어졌을 때, 객체 세그먼테이션 네트워크를 활용하여 입력 영상에서 객체를 분리하고, 스타일 변환 네트워크를 활용하여 입력 영상을 스타일 변환한 후, 사용자 입력과 두 네트워크의 결과를 활용하여 기존 콘텐츠에 새로운 객체를 삽입하는 것이다. 실험에서는 기존 콘텐츠는 온라인 영상을 활용하였으며 삽입 객체를 포함한 영상은 ImageNet 영상 분류 데이터 세트를 활용하였다. 실험을 통해 제안한 방법을 활용하면 기존 콘텐츠와 잘 어우러지게끔 객체를 삽입할 수 있음을 보인다.


(게재일: 2021.06.23)
미디어 기술은 사용자가 더욱 몰입감을 느낄 수 있는 방향으로 개발되어 왔다. 이러한 흐름에 따라 기존의 2D 이미지에 비해 깊이감을 느낄 수 있는 증강 현실, 가상 현실 등 3D 공간 데이터를 활용하는 미디어가 주목을 받고 있다. 포인트 클라우드는 수많은 3차원 좌표를 가진 여러 개의 점들로 구성된 데이터 형식이므로 각각의 점들에 대한 좌표 및 색상 정보를 사용하여 3D 미디어를 표현한다. 고정된 크기의 해상도를 갖는 2D 이미지와 다르게 포인트 클라우드는 포인트의 개수에 따라 용량이 유동적이며, 이를 기존의 비디오 코덱을 사용하여 압축하기 위해 국제 표준기구인 MPEG(Moving Picture Experts Group)에서는 Video-based Point Cloud Compression (V-PCC)을 제정하였다. V-PCC는 3D 포인트 클라우드 데이터를 직교 평면 벡터를 이용하여 2D 패치로 분해하고 이러한 패치를 2D 이미지에 배치한 다음 기존의 2D 비디오 코덱을 사용하여 압축한다. 본 논문에서는 앞서 설명한 2D 패치 이미지에 super resolution network를 적용함으로써 3D 포인트 클라우드의 성능 향상하는 방안을 제안한다.


(게재일: 2021.06.23)
가상 현실(VR: Virtual Reality) 기술은 대표적인 몰입형 미디어 기술로써, 컴퓨터 등을 통해 인공적으로 만들어낸 실제와 유사한 특정 환경, 상황 혹은 그 기술 자체를 의미한다. VR 기술은 비교적 간단한 장비를 착용한 것만으로 가상 세계에 구현된 모든 공간을 체험할 수 있기 때문에 사용자가 신체적 불편하더라도 손쉽게 유명 관광 명소를 여행할 수 있다. 또한, 실제 작전지역을 가상 세계에 반영함으로써, 가상 세계에서 안전한 군사 훈련이 가능하다. 이와 같은 활용을 가능하게 하기 위해서는 가상 세계의 배경 정보가 실제 세계의 모습과 흡사한 실사 그래픽으로 구성되어야 한다. 그러나 실사 그래픽을 제작하는 것은 제작 난이도가 높고 제작비용이 비싸다는 제한 사항으로 인하여 실사 그래픽을 바탕으로 한 VR 콘텐츠의 수는 부족하다. 이에 본 논문에서는 일반 카메라를 통해서 촬영한 단일 영상 또는 다시점 영상을 통해서 Point Cloud 데이터를 생성하고, 이를 가상 세계의 배경 정보로 활용하기 위한 방법을 제안하고자 한다.


(게재일: 2021.06.23)
본 논문에서는 2D 이미지를 입력으로 받는 3D 모델러 결과를 이용한 피부 반사 및 투과 요소를 조절한 데이터 셋 생성 방법을 제안한다. 고화질 얼굴 이미지로 된 Flickr-Faces-HQ 데이터셋을 이용해 3D 모델러의 결과인 3 차원 얼굴 모델과 텍스처를 추출해 이를 이용해 피부 반사 및 투과 요소를 조절한 2D 영상 생성 방법을 제시한다. 따라서 피부 반사 요소를 조절하기 위해 여러 조명과 카메라로 이루어진 라이트 스테이지 (light stage)와 같은 환경 없이 비용을 절약할 수 있다. 동시에 피부 투과 요소 측정 장비에 대한 한계를 극복하고 원하는 조건을 설정해 이미지를 생성할 수 있는 방법과 데이터셋을 제안한다.


(게재일: 2021.06.23)
최근 기후 변화와 사회적 위험 요인이 결합된 복합 재난의 발생이 급격하게 증가하고 있다. 이러한 재난에 신속하게 대응하기 위하여 통신망을 이용한 긴급재난문자 시스템에 대한 관심이 증가하고 있다. 기존 LTE 기반의 긴급재난문자 서비스는 한정된 자원으로 인해 시스템의 한계가 있으며, 단순한 정보 전달의 기능만 제공하는 문제점이 있다. 5G 이동 통신 서비스가 상용화 되면서 다양한 서비스 제공이 가능하기 때문에 긴급재난문자 서비스를 고도화하기 위한 연구가 수행되고 있다. 본 논문에서는 고도화된 5G 기반 긴급재난문자 서비스의 성능을 검증하기 위한 리빙랩을 설계한다.


(게재일: 2021.06.23)