nglaura/koreascience-summarization huggingface dataset:
시청자의 시점 위치를 선택하여 360VR 콘텐츠를 경험하는 다중시점 또는 자유시점 360VR 콘텐츠의 전송은 매우 높은 대역폭을 소비하게 된다. 특히 다중 사용자가 존재하는 셀룰러 환경에서는 특정 사용자에게 한정된 대역폭만을 할당할 수 있으므로 불가피하게 전송 품질 악화 또는 전송 지연을 겪게 된다. 다중시점(multi-viewpoint) 360VR 콘텐츠의 경우 시청자가 시점의 위치를 변경하면 해당 위치의 콘텐츠를 전송하므로, 한정된 대역폭이 주어지는 통신환경에서 시점을 이동할 때 마다 큰 전송 지연을 겪게되어 사용자 경험이 매우 떨어지는 것을 예상할 수 있다. 본 논문에서는 다시점 360 비디오에서 시점 변경을 시도할 때 전송지연을 줄이기 위하여 주변 위치의 영상을 적절히 Pre-Loading 하는 전송방식을 고려하고, 실질적인 5G 네트워크 환경에서 시점 변환에 따른 지연시간 성능을 분석하였다. 특정 수준 이하로 지연시간을 낮추기 위해서는 사용자 이동패턴에 대한 적절한 예측 기법이 요구되며, 정확도에 따른 지연시간 감소를 실험을 통하여 확인하였다.


(게재일: 2021.06.23)
기존의 이미지 분리 및 합성 과정은 전문 프로그램의 도움을 받아 이미지로부터 사물이나 환경을 분리하거나 합성하여 이루어져 왔으며 생산되는 이미지의 양에서 일반 사용자가 생성하는 이미지의 비중이 높음에도 상대적으로 적은 수의 인원만이 기존 이미지를 분리하고 합성할 수 있었다. 본 논문에서는 다량의 기존 이미지 내 요소를 손쉽게 분리, 합성하여 새로운 컨텐츠를 제작할 수 있도록 하는 메타데이터 구조와 이를 활용하여 이미지 합성에 대한 사용자 편의성을 높이는 플랫폼을 제안한다. 이는 object segmentation 을 기반으로 이미지의 각 요소를 분리하고 계층화 하여 이루어지며 이미지 합성에 대한 접근성을 높이고 분리된 이미지의 속성을 메타데이터로 함께 표기하여 다량의 기존 이미지에서 필요로 하는 이미지 요소를 빠르게 찾을 수 있도록 한다. 또한 분리된 이미지 요소의 속성을 구체화하기 위해 사용할 수 있는 방법들에 대해 논의한다. 결과적으로 위 제안은 기존 이미지 요소를 분리, 합성하기 위해 필요한 장벽을 낮추는 역할을 수행하여 더 많은 사용자들이 이미지 합성에 참여할 수 있게 할 것으로 기대된다.


(게재일: 2021.06.23)
최근 팬데믹으로 인해 다양한 산업에서 온라인화가 빠르게 진행되고 있다. 이러한 흐름에 따라 생체 신호를 이용한 로그인 시스템이나 자동 출결관리 시스템의 개발 또한 활발하게 연구되고 있다. 이에 본 논문에서는 생체 정보 중 얼굴을 이용하여 산업에서 도입 가능한 수준까지 얼굴인식 시스템의 성능을 향상 시키고자 한다. 우리는 성능향상을 위해 먼저 얼굴인식 시스템에서 성능 저하원인인 영상 속 얼굴 위치 및 각도 변화를 해결하고자 정면 얼굴 Capture 방법을 제안하였다. 두 번째로는 FRR 오류가 발생하면 추가적으로 정면얼굴을 추출하여 개인 인증을 다시 시도방법을 제안하였다. 검증을 위해 얼굴인식 분야에서 가장 많이 사용되고 있는 유사도 기반 프레임워크를 구현하여 제안한 성능향상 방법을 적용, 실험 하였으며 420명의 Database를 구축하고 2주 동안 99개의 비디오 데이터를 수집하여 실제 산업에서 도입 가능한 환경과 유사하게 구축해 우리의 제안 방법을 테스트 및 검증하였다.


(게재일: 2021.06.23)
최근 가상현실 및 증강 현실에 대한 관심도가 높아지면서, 깊이 추정, 객체 인식, 영상 분할 등의 다양한 컴퓨터 비전 알고리즘을 360° 영상에 적용하는 연구가 활발히 진행되고 있다. 이 중, 다수의 RGB 카메라를 활용하여 3 차원 정보를 추출하는 깊이 추정 기술은 보다 나은 몰입감을 제공하기 위한 핵심 기술이다. 그러나 깊이 추정 알고리즘의 객관적 성능 평가를 위한 정제된 360° 영상 데이터셋은 극히 부족하며, 이로 인하여 관련 분야 연구에 한계가 있다. 따라서 본 논문에서는 객관적인 알고리즘 성능 평가가 가능하며, 정제된 360° 동영상 데이터셋을 제안하고, 추후 다양한 360° 영상 응용 알고리즘 개발에 활용하고자 한다.


(게재일: 2021.06.23)
본 논문에서는 단안비디오 입력으로부터 각 SAI(sub-aperture image)간의 넓은 기준선을 갖는 라이트필드 합성기법을 제안한다. 기존의 라이트필드 영상은 취득의 어려움에 의해 규모가 작고 특정 물체위주로 구성되어 있어 컴퓨터 비전 및 그래픽스 분야의 최신 딥러닝 기법들을 라이트필드 분야에 적용하기 어렵다는 문제를 갖고 있다. 이러한 문제점들을 해결하기 위해 사실적 렌더링 기반의 가상환경상에서 실제환경과 유사함을 갖는 데이터를 취득하였다. 생성한 데이터셋을 이용하여 기존의 새로운 시점을 생성하는 기법 중 하나인 다중 평면 영상(Multi Plane Image) 기반 합성기법을 통해 라이트필드 영상을 합성한다. 제안하는 네트워크는 단안비디오의 연속된 두개의 프레임으로부터 MPI 추정하는 네트워크와 입력영상의 깊이 정보를 추정하는 네트워크로 구성되어 있다.


(게재일: 2021.06.23)
디지털 홀로그램(digital hologram, DH)은 2차원 데이터에 3차원의 정보를 포함하는 차세대 영상 콘텐츠이다. 따라서 이 콘텐츠의 유통을 위해서는 그 지적재산권이 반드시 보호되어야 한다. 본 논문에서는 이를 위한 딥러닝 기반 DH의 워터마킹 방법을 제안한다. 이 방법은 워터마크의 비가시성, 공격에 대한 강인성, 워터마크 추출 시 호스트 정보를 사용하지 않는 blind 워터마킹 방법이다. 이 네트워크는 고주파 성분이 강한 DH의 특성을 감안하여 호스트 데이터를 축소하지 않고 워터마크 데이터를 확장하여 워터마크를 삽입한다. 또한 홀로그램의 복원성능을 위한 학습을 제안한다. 제안한 방법을 다양한 종류와 강도의 공격에 대해 실험을 수행하여 그 성능을 보인다.


(게재일: 2021.06.23)
본 연구는 딥러닝 기반의 복원 모델을 사용하여, 비디오 압축을 통해 변질된 위상 홀로그램의 화질을 복원하는 방법을 제안한다. 압축 효율을 위해 위상 홀로그램의 해상도를 감소시킨 후 압축한다. 원래의 해상도로 되돌린 홀로그램을 딥러닝 모델을 사용하여 복원한다. 복원된 위상 홀로그램은 원본 홀로그램을 압축한 것보다 동일한 BPP에서 더 높은 PSNR을 보인다.


(게재일: 2021.06.23)
본 논문에서는 머신 러닝 (machine learning)을 이용하여 x, y, z 세 축의 가속도계 측정 값을 이용하여 5 가지 유산소 운동을 분류하는 알고리즘을 제시한다. 제안하는 알고리즘으로는 운동 데이터 각 샘플 마다 운동을 분류한 개별 판단, 판단된 데이터 샘플을 그룹 지어 판단하는 다수결 판단, 각 데이터 샘플의 분류하여 확률을 결합하는 확률 누적 판단이 있으며 이를 적용하여 5 가지 유산소 운동을 분류하고 성능을 비교한다.


(게재일: 2021.06.23)
본 논문에서는 VVC(Versatile Video Coding) 부호화 시간 감소를 위해 ISP(Intra Sub-Partition) 모드의 복잡도를 감소시키는 방법을 제안한다. 이 방법은 ISP 모드 적용을 위한 RDO(Rate-Distortion Optimization) 탐색을 수행할 때 현재 블록의 모양에 따라 특정 ISP 모드 방향을 사전에 제한하여 RDO 과정을 생략함으로써 부호화 시간을 단축한다. 실험 결과, 기존 VVC 방법 대비 BDBR(Bjøntegaard Delta Bit Rate) 측면에서 AI(All Intra) 구성하에 Y 채널에서 0.01%, Cb, Cr 채널에서 각각 -0.04%, -0.08% 변화로 2%의 부호화 시간 감소의 결과를 얻을 수 있었다.


(게재일: 2021.06.23)
본 논문에서는 저화질의 구작 콘텐츠를 고품질로 변환하기 위한 클라우드 기반의 미디어 변환 시스템에 대한 구조 및 설계 방안에 대하여 제안한다. 우선 저화질의 콘텐츠를 고품질로 변환하기 위한 핵심요소기술에 대하여 정의하고, 이러한 요소기술이 적용된 클라우드 기반 시스템의 구조설계를 제안한다. 제안한 구조에 기반하여 각각의 요소기술이 효율적으로 결합된 통합 시스템을 제안하고 이를 통해 상용화 수준의 솔루션을 얻는 것을 목표로 한다.


(게재일: 2021.06.23)
지상파 UHD 방송은 2017년 세계 최초로 본방송이 시작되었고 2018년 평창 올림픽과 러시아 월드컵을 지상파 UHD 방송으로 중계하면서 성장해 왔다. 그런데 최근 급변하는 미디어 기술과 코로나 19 팬데믹 이후 미디어 시장이 요동치며 미디어 이용 플랫폼과 콘텐츠 그리고 미디어 이용 기기별 사용 시간에도 많은 변화가 생기고 있다. 이에 따라 지난 2017년 본 방송 이후 지상파 UHD 방송에 대한 시청자들의 이용 실태 및 인식 변화에 대한 조사의 필요성이 대두하게 됐다. UHD KOREA와 KBS 공영미디어 연구소는 UHD 방송에 대한 인지도와 시청의향, TV 크기의 변화, TV와 인터넷 연결 여부 등 미디어 환경변화에 따른 시청자의 미디어 이용 형태를 공동으로 조사했다. 그리고 지상파 UHD 방송의 추가 서비스의 선호도와 선호 콘텐츠, OTT 이용 여부 등에 대하여도 분석했다. 지상파 UHD 방송은 고화질, 다채널, 모바일, 재난방송, 양방향 서비스 등 ATSC 3.0 기술을 기반으로 다양한 최신 서비스를 제공하는 것이 가능하다. 이러한 조사 결과는 향후 지상파 UHD 방송 및 미디어 정책의 수립과 추진의 기초 자료로 활용될 것이다.


(게재일: 2021.06.23)
딥러닝을 활용한 영상 분석 기술은 GPU 하드웨어의 발전으로 인하여 소프트웨어 기반 처리 기술이 급격히 발전하였고 기존 패턴 분석 기술 대비 높은 정확도를 보여주고 있다. PC나 특정 하드웨어에서 동작하는 소프트웨어 기반 영상분석기술은 적용분야의 한계가 발생하였다. 신경망 기술을 하드웨어로 구현한 NPU(Network processing unit)의 개발로 고가의 플랫폼이 아닌 임베디드 플랫폼에서의 딥러닝 구현이 가능해졌다. 반면에 하드웨어에서 활용 가능한 네트워크가 제한적임으로 인하여 구현 가능한 딥러닝 모델의 크기, 메모리 등의 한계가 있으며 시시각각 변하는 딥러닝 기술에 기반한 최신모델 또는 고성능 모델을 구동하기에는 한계가 발생하였다. 이를 해결하기 위하여 본 연구에서는 Distillation 기법을 적용한 임베디드 시스템을 개발하고 이에 기반한 딥러닝 모델의 구현 및 상황에 따른 가변적 딥러닝 모델의 적용이 가능한 시스템을 구현하였다.


(게재일: 2021.06.23)
인간 자세 추정 연구는 최근 크게 주목 받고 있는 연구 분야이다. 본 연구는 또한, 자기 지도 학습이라고 명명된 딥러닝 기법이 부상하면서 여러 문제가 해결되고 있다. 본 논문에서는, 이러한 문제를 해결하는 딥러닝 기반 인간 자세 추정 방법들을 유형별로 분류해본다. 그리고 각 분류별 설명과 함께 대표적인 방법들을 소개한다. 마지막으로, 결론에서는 본 연구가 앞으로 나아갈 방향에 대한 논의를 제시한다.


(게재일: 2021.06.23)
모션 전이 기법은 주어진 모션 시퀀스를 타겟 대상의 움직임에 적용하는 기법이다. 사실적인 모션 전이를 위해서는 소스와 타겟 휴먼의 포즈, 형태 및 카메라 정보를 기반으로 한 모션 정보가 필요하다. 본 논문은 최근 3 차원 인체 모델링에서 우수한 성능을 보인 SMPL 을 이용하여 정교한 모션 정보를 추출하고 이를 통한 모션 전이를 수행 할 수 있는 기법을 보인다. 소스와 타겟의 SMPL 매개 변수를 사용하여 모션 정보를 나타내고 이를 통해 encoder 로부터 추출된 특징 맵을 변형하여 모션 전이를 수행한다. 제안하는 기법의 정성, 정량적 분석을 보이고 휴먼 모션 전이 기법에 대한 향후 연구 방향을 제시한다.


(게재일: 2021.06.23)
최근 코로나 19로 인해 비대면 활동이 늘어나고 있다. 비대면 회의, 비대면 강의, 비대면 과제 등이 이에 해당한다. 그에 따라 가상공간을 활용한 활동 또한 많은 관심을 받고 있다. 가상공간에서 인물들 사이 원활한 소통 및 현실감을 위해서는 실사적인 인물묘사가 필요하다. 따라서 실제 인물의 헤어스타일과 유사한 헤어스타일을 자연스럽게 증강시켜주는 것이 매우 중요하다. 본 논문에서는 실사적인 아바타 생성을 위한 헤어스타일의 분류 및 탐색방법을 제안한다. 이를 위해 본 논문에서는 우선 PCA(Principal Component Analysis) 와 K-means clustering 을 통해 헤어스타일에 대한 군집화를 진행한다. 그리고 Shape Indexed features를 이용하여 군집화 된 결과로부터 제일 유사한 헤어스타일 탐색방법을 제안하고 그 효용을 입증하였다.


(게재일: 2021.06.23)
본문에서는 TMIV 에서 비디오 코덱으로 사용되고 있는 HEVC 를 MV(Multiview)-HEVC 로 대체한 실험결과를 소개하고 부호화 효율을 향상시키기 위한 아틀라스 생성 구조에 대해 제안하고자 한다. 이를 위해 본 논문에서는 푸루닝(pruning)된 패치를 패킹한 아틀라스 영상으로 구성된 MIV 앵커(anchor)에 MV-HEVC 를 적용하는 구조, 소스 시점영상으로부터 선택된 기본 시점영상으로만 패킹한 아틀라스 영상으로 구성된 MIV view 앵커에 적용하는 구조를 실험한다. 이와 더불어 부호화 효율을 향상시키기 위해 선택된 기본시점 영상을 패킹함에 있어서 2 개의 아틀라스영상에 걸쳐 가장 인접한 시점을 배치하는 아틀라스 영상 구조를 제안한다. 실험결과, 기존의 MIV 앵커에 MV-HEVC 를 적용하면 성능 개선이 거의 없으며, MIV view 앵커와 제안한 MIV view 앵커의 아틀라스영상 구조에 MV-HEVC 를 적용하면 객관적인 성능이 최대로 얻을 수 있음을 알 수 있었다.


(게재일: 2021.06.23)
본 논문에서는 컴퓨터 그래픽에서 주로 적용되어 왔던 푸아송 디스크 샘플링(Poisson Disk Sampling)을 3차원 영상 모델링에 적용하는 것을 제안한다. 이 샘플링 기법은 3차원 영상 센서의 핵심 기술로 사용되는 라이다 센서를 활용해 수집한 PointCloud가 특정 위치로 뭉쳐지는 클러스터 현상이 발생하지 않고 균일하게 분포하게 할 뿐 아니라 영상의 노이즈도 제거한다. Intel의 라이다 센서 L515와 Apple의 태블릿 라이다 센서를 이용해 추출한 PointCloud를 Poisson Disk Sampling 과정을 거쳐 Mesh를 생성하고 이를 SLAM 기법으로 추출한 경우와 비교한다. PointCloud의 수를 줄였을 때 더 좋은 Mesh를 생성할 수 있다.


(게재일: 2021.06.23)
영상 스티칭은 다수의 영상을 넓은 시야각을 갖는 하나의 영상으로 합성하여 사용자들에게 몰입감과 현장감을 제공하는 기술이다. 그러나 영상에 시차(Parallax)가 존재하는 경우 스티칭된 영상에서 왜곡이 발생할 수 있는데 이는 사용자의 몰입을 방해할 수 있다. 따라서 스티칭 영상의 다양한 활용을 위해서는 시차로 인한 왜곡을 최소화하여 자연스러운 스티칭 영상을 만드는 것이 중요하다. 기존 호모그래피 추정 방법으로 발생할 수 있는 고스트 현상을 최소화하기 위해서 seam 기반 스티칭 방법이 사용되었지만, 단순히 작은 특징값을 따라 생성된 seam은 사물 영역 정보가 반영되지 않아 seam이 특징이 있는 부분을 지나가면서 시차 왜곡이 발생할 수 있다. 이에 본 논문에서는 딥러닝 기반의 MegaDepth를 활용한 depth 예측 정보를 에너지 함수 기반의 seam 생성 행렬의 가중치로 사용하여 seam이 사물을 피해 생성되면서 시차가 작은 영역으로 유도되도록 하는 seam optimization 기법을 제안한다.


(게재일: 2021.06.23)
본 논문에서는 IM-OFDM-SS(index modulated orthogonal frequency division multiplexing with spread spectrum)와 IM-OFDM-QOS(IM-OFDM with quasi-orthogonal sequence) 시스템을 위한 2 단계 검출 (2-stage detection) 방법에 대해 연구하였다. IM-OFDM-SS/QOS 시스템은 전송할 수열의 인덱스(index)와 변조심볼(modulation symbol)을 이용하여 정보를 전달하며, 수신기(receiver)에서는 인덱스와 변조 심볼을 결합하여 동시에 검출하는 최대 우도(maximum-likelihood) 검출 방법을 사용할 수 있다. 그리고, 인덱스를 먼저 검출하고, 검출한 인덱스에 대한 변조 심볼을 이어서 검출하는 2 단계 방법을 적용할 수 있다. 따라서, 본 논문에서는 IM-OFDM-QOS 시스템에 2 단계 검출 방법을 적용하여 성능을 비교한다. 또한, 두 개 이상의 수열을 동시에 전송하는 경우 2 단계 검출 방법의 한계를 논의한다.


(게재일: 2021.06.23)
최근, 딥러닝 및 인공신경망 기술의 발전으로 비디오 부호화 분야에서도 인공지능을 이용한 요소 기술에 대한 연구가 활발이 진행되고 있다. 본 논문에서는 주변 참조샘플로부터 문맥정보를 이용하여 현재블록을 예측하는 CNN 기반의 화면내 예측 모델을 구현하고, 비디오 부호화의 블록 분할 구조를 반영한 학습 기법에 따른 부호화 성능을 분석한다. 실험결과 HM(HEVC Test Model)에 구현한 문맥적응적 신경망 기반 예측 모델에서 트리 분할 구조를 반영한 학습이 HM16.19 대비 0.35% BD-rate 부호화 성능 향상을 보였다.


(게재일: 2021.06.23)
LiDAR 장비 및 SfM 과 MVS 방법을 이용하여 생성된 point cloud 와 mesh 에는 항상 노이즈가 포함되어 있다. 이러한 노이즈를 제거하기 위해선 노이즈와 edge 를 효과적으로 구분해낼 수 있어야 한다. 노이즈를 제거하기 위해 mesh 로부터 edge 를 먼저 구분해낸 후 edge 에 해당하는 영역과 평면에 해당하는 영역에 서로 다른 필터를 사용하는 많은 연구들이 있지만 강한 노이즈가 포함된 mesh 에서는 edge를 잘 구분해내지 못하는 문제가 존재한다. 이러한 방법들은 mesh 로부터 edge 를 구분해내는 알고리즘의 성능이 노이즈를 제거하는 전체 알고리즘의 성능에 큰 영향을 주기 때문에 강한 노이즈에서도 edge 를 잘 구분해낼 수 있는 알고리즘이 필요하다. 본 논문에서는 PCA 와 graph-cut 을 이용하여 강한 노이즈가 포함된 mesh 에서 edge 영역을 추출하는 알고리즘을 제안한다.


(게재일: 2021.06.23)
포인트 클라우드는 특정 개체 혹은 장면을 다수의 3 차원 포인터를 사용하여 표현하는 데이터의 표현 방식 중 하나로 3D 데이터를 정밀하게 수집하고 표현할 수 있는 방법이다. 하지만 방대한 양의 데이터를 필요로 하기 때문에 효율적인 압축이 필수적이다. 이에 따라 국제 표준화 단체인 Moving Picture Experts Group 에서는 포인트 클라우드 데이터의 효율적인 압축 방법 중 하나로 Video based Point Cloud Compression(V-PCC)에 대한 표준을 제정하였다. V-PCC 는 포인트 클라우드 정보를 Occupancy, Geometry, Texture 와 같은 다수의 2D 영상으로 변환하고 각 2D 영상을 전통적인 2D 비디오 코덱을 활용하여 압축하는 방법이다. 본 논문에서는 V-PCC 에서 변환하는 Occupancy 의 정보를 활용하여 효율적으로 Texture 영상을 압축할 수 있은 방법을 소개한다. 또한 제안방법이 V-PCC 에서 약 1%의 부호화 효율을 얻을 수 있음을 보인다.


(게재일: 2021.06.23)
최근 지상파 UHD 방송에서는 자막을 비디오 패킷에 삽입하여 전달하는 기존 방식이 아닌 별도의 전송로로 전달하는 폐쇄형 자막(closed caption) 방식을 적용하고 있다. 또한 자막에는 문자 뿐만 아니라 이미지까지 포함하여 청각장애인의 프로그램 이해도를 높이는데 활용할 수 있다. 따라서 본 논문에서는 청각장애 시청자가 방송 콘텐츠 내용의 이해도를 향상시키기 위하여 지상파 UHD 방송에서 기존의 문자 자막과 움직이는 이미지 자막(=감정표현 자막)을 수신하여 동시에 표현할 수 있는 수신시스템을 제안한다.


(게재일: 2021.06.23)
단일 이미지 초해상도는 딥러닝의 발전과 함께 놀라운 성능 향상이 이루어 졌다. 이러한 딥러닝 모델은 매우 많은 파라미터를 갖고 있어 많은 연산량과 메모리를 필요로 한다. 하지만 사용할 수 있는 리소스는 한정되어 있기 때문에 네트워크를 경량화 시키려는 연구도 지속되어 왔다. 본 논문에서는 Stochastic Weight Averaging (SWA) 알고리즘을 이용하여 상대적으로 적은 양의 메모리와 연산을 추가해 이미지 초해상도 모델의 성능을 높이고 안정적인 학습을 달성하였다. SWA 알고리즘을 적용한 모델은 그렇지 않은 모델에 비해 테스트셋에서 최대 0.13dB 의 성능 향상을 보였다.


(게재일: 2021.06.23)
최근 영상의 활용도의 증가에 따라, 비정형 영상 데이터에 대한 양이 기하급수적으로 증가하였다. 디지털 영상을 획득할 시에 처리/압축/저장/전송/재생산 등의 과정을 거치면서 왜곡을 수반하게 되며 영상의 품질을 저하시키는 요인이 된다. 영상의 품질은 활용 결과에도 큰 영향을 미치기 때문에 품질이 저하된 영상은 분류를 하는 것이 중요하다. 하지만 사람이 수신된 모든 영상에 대해서 직접 분류를 하는 것은 많은 시간과 비용이 소요된다는 문제점이 존재한다. 따라서 본 논문에서는 사람이 인지하는 주관적인 영상 품질 평가와 유사하게 품질에 대한 평가를 위한 왜곡영상의 특징정보를 검출 및 분석하는 방안에 대해서 제안한다. 본 방법은 사람이 영상을 인지할 때 가장 많이 사용되는 요소인 색상에 대한 선명도, 블러와 노이즈에 대한 특징정보를 이용한다. 검출된 특징정보를 공간 도메인으로 변환함으로써 왜곡 영상별 특성을 분석하였다. 실험을 위해서 IQA 데이터베이스인 LIVE를 이용하였으며, 원본영상 및 5가지 유형의 왜곡영상으로 구성되어 있다. 실험결과 품질이 좋은 영상과 왜곡영상에 대한 특성을 검출할 수 있었다.


(게재일: 2021.06.23)
본 논문에서는 지식 증류 (knowledge distillation) 기법을 적용한 얼굴 초해상화 모델을 제안한다. 제안하는 기법은 최근 얼굴 복원 분야에서 좋은 성능을 보여준 얼굴 영역의 딕셔너리 (dictionary) 정보를 사용한 모델을 선생 모델로 선정하여 적대적 (adversarial) 지식 증류 기법을 통해 효율적인 학생 모델을 구축하였다. 본 논문은 테스트시 얼굴의 사전 정보가 초래하는 추가적인 비용이 필요 없는 얼굴 초해상화 방법을 제시하고, 제안하는 기법과 다양한 기존 초해상화 기법과의 정량적, 정성적 비교를 통해 우수성을 보인다.


(게재일: 2021.06.23)
본 논문에서는 강화학습을 이용하여 비활성 영역 패딩하여 동영상 압축 효율을 향상시키는 기법을 제안한다. 비활성 영역이란 360 영상 혹은 3DOF+ 영상의 예시와 같이 영상 내에서 정보가 존재하지 않는 영역을 의미한다. 하지만 이러한 비활성 영역은 일반적으로 영상의 압축 성능을 제한한다. 기존에는 이를 해결하기 위해 활성 영역과 비활성 영역의 경계부분을 필터링하여 압축 성능을 향상시켰다. 하지만 이러한 방법들은 영상의 특성을 적절하게 반영하지 못하게 된다. 제안하는 기법에서는 영상의 특성과 압축 과정을 고려한 강화학습을 통해서 패딩을 진행하였다. 실험 결과 제안한 기법이 기존 기법에 비해 좋은 성능을 보임을 확인할 수 있다.

In this paper, we propose a new method for inactive region padding using reinforcement learning. Inactive region is an area that has no information, such as 360 or 3DOF+ vidoes. However, these inactive regions degrade the compression performance in general. To improve the compression performance, simple filtering is applied between active and inactive regions. But it does not fully consider the characteristics of the images. In the proposed method, inactive regions are padded through reinforcement learning that can consider the characteristics of images and the compression process. Experimental results show that the performance is better than the conventional padding method.

(게재일: 2021.06.23)
증강현실은 현실 공간에 가상의 객체를 합성한 영상을 생성하는 기술이다. 증강현실 기술에 대한 지속적인 수요 증가와 기술 발전이 이루어져 왔으며, 앞으로 사용자에게 현실을 기반으로 생성된 이질감이 느껴지지 않는 정교한 영상을 제공할 수 있으리라 기대할 수 있다. 본 논문에서는 증강현실 기술로 생성된 합성 영상이 정교한 영상임을 판단할 수 있는 객관적인 기준을 마련하기 위해 기존의 머신 러닝 기반의 이미지 분류 모델들로 합성 이미지 예측에 대한 실험을 진행하고 그 결과를 비교한다.


(게재일: 2021.06.23)
최근 자동화의 필요성이 증가함에 따라 얼굴 표정 인식 분야(face expression recognition)가 인공지능과 이미지 처리 분야에서 활발히 연구되고 있다. 본 논문에서는 기존 인공신경망에서 요구되었던 고성능 GPU 환경과 높은 연산량을 극복하고자 모델 경량화(Light weighted Model) 기법을 적용하여 드론 및 모바일 기기에서 적용될 수 있는 얼굴 표정 인식 신경망을 제안한다. 제안하는 방법은 미세한 얼굴의 표정 인식을 위한 방법으로, 입력 이미지의 receptive field 를 늘려 특징 맵의 표현력을 높이는 방법을 제안한다. 또한 효과적인 신경망의 경량화를 위하여, 파라미터의 연산량을 줄일 때 발생하는 문제점을 극복하기 위한 방법을 제시한다. 따라서 제안하는 네트워크를 적용하면 많은 연산량과 느린 연산속도로 인해 제한되었던 네트워크 환경을 극복할 수 있을 뿐만 아니라, UAV(Unmanned Aerial Vehicle, 무인항공기) 및 모바일 기기에서 신경망을 이용한 실시간 얼굴 표정 인식을 할 수 있다.


(게재일: 2021.06.23)
오디오 대역 확장 기술은 저 해상도의 오디오 신호를 고 해상도의 오디오 신호로 복원 또는 생성해 내는 기술이다. 이와 관련하여 오디오 코덱에서는 고 대역 오디오 신호의 저 비트 부호화를 위해 사람이 청각이 둔감하게 인지하는 고 대역의 오디오 신호에 대해 실제 신호에 대한 양자화를 수행하지 않고, 코딩 되어 전송된 저 대역 신호와 고 대역의 파라미터를 이용하여 신호를 합성하는 스펙트럼 대역 복제 기술이 널리 사용된다. 본 연구에서는 선형 예측 기반의 주파수 대역 복제 방법을 통해 추가 정보를 활용한 오디오 대역 확장을 수행하고 신경망 기반의 오디오 신호 개선을 통해 복제된 신호의 개선 가능성을 검토하였다. 실험 평가는 MPEG 에서 코덱 평가용으로 사용되는 테스트 시퀀스를 사용하였으며, 실험 결과 제안하는 방법을 적용하여 기존 오디오 대역 확장 기술 대비 성능이 향상됨을 확인하였다.


(게재일: 2021.06.23)
지상파 방송에서는 청각장애인을 위해 폐쇄자막(closed caption) 서비스가 제공되고 있지만, 이를 저장하여 VOD 서비스 등에 제공하고자 할 때는 영상과의 비동기화(desynchronization) 문제로 인해 활용할 수 없는 문제가 있다. 본 논문에서는 이를 해결하기 위해 자동 음성인식(automatic speech recognition)과, 자막 동기화 문제에 맞게 변경된 동적계획법(modified dynamic programming)을 이용하는 방법을 제안한다. 문자열 정렬에서 삽입과 삭제 등 간격(gap)의 발생을 제어하는 제약조건과 그에 따른 점수 구조를 적용함으로써 문자열 정렬 성능을 개선한다. 또한 정렬된 폐쇄자막과 음성인식 문자열로부터 시간 동기정보를 복원하고 동기화된 자막을 생성하는 방법을 제안한다. 실제 TV 프로그램과 자막에 적용하여 기존 방법에 비해 성능의 향상이 있음을 확인하였다.


(게재일: 2021.06.23)
본 논문에서는 딥러닝 얼굴 인식을 이용하여 실시간 360 공간 Classroom 과 실시간을 기반으로 한 가상 360 공간 Classroom 을 제안한다. MTCNN 을 이용한 얼굴 검출 및 Inception Resnet V1 모델을 이용한 딥러닝 기법을 통해 얼굴인식을 진행하고 HSV 색공간 기반의 화자 판별, 아바타 Rendering, 출석 체크 등을 진행한다. 이후 시각화를 위해 제작한 Web UI/UX 를 통해 사용자에게 현실과 가상 공간을 넘나드는 Twin Classroom 을 제공한다. 따라서 사용자는 새로운 화상 교육 플랫폼에서 보다 개선되고 생동감 있는 Classroom 에서 교육을 받을 수 있다.


(게재일: 2021.06.23)
근래에 메타버스가 크게 주목을 받으면서 VR 영상의 퀄리티가 중요해졌다. VR 실사 영상의 경우 HMD 로 시청할 때 모노 및 스테레오 환경으로 입체감을 느끼게 한다. 하지만 스테레오스코픽 비디오의 경우 제작자가 스테레오스코픽으로 촬영하지 않으면 제공하기 어렵다는 단점이 있다. 본 논문에서는 이를 해결하기 위해 RVS 를 Client 단에서 활용하여 제공하는 방식을 고려, 모든 장치에서 스테레오스코픽을 시청할 수 있는 웹 플랫폼을 aframe 프레임워크를 사용하여 제작하고, PC HMD 등 HMD 에서 웹 플랫폼 접근 시 생기는 제한을 해결하는 방법도 같이 서술한다.


(게재일: 2021.06.23)
블루투스 비콘을 이용한 실내 측위 시스템에서 수신 RSSI 신호는 다중경로 페이딩, 주변 신호의 간섭 등의 영향으로 인하여 불규칙한 잡음이 섞이게 된다. 본 논문에서는 실제 실내 환경에서의 측정을 통해 RSSI 신호의 통계적 특성을 분석한다. 또한, RSSI 신호의 잡음을 완화시켜서 효과적으로 실내 측위를 수행할 수 있는 방안에 대해서도 모색해 본다.


(게재일: 2021.06.23)
본 논문에서는 시간축 정보량을 감축하여 오디오 부호화 효율을 개선하기 위한 기술을 제안한다. 시간축 정보량 감축 방법은 종전의 오디오 코덱에서도 활용되었던 대표적인 기술로 TNS(temporal noise shaping) 기술이 있다. 그러나 TNS 기술은 오디오 신호의 천이구간에서 선별적으로 유효하게 동작하며 그 효율성도 간헐적으로 나타나는데 이는 MDCT(modified discrete cosine transform)에서 예측 과정을 수행하는 구조적인 문제를 갖고 있기 때문이다. 본 논문에서는 종전의 TNS 기술의 취약점을 보완한 ITES(intensive temporal envelope shaping) 기술을 제안하였다. 제안 기술은 TNS 보다 유효한 오디오 시간영역 정보량을 예측하고 감축하였으며, 개선된 음질을 나타냄을 주관적 평가를 수행하여 검증하였다.


(게재일: 2021.06.23)
고도의 기술 및 시설이 집약된 복합플랜트 설치 지하대공간 건설을 위해서는 지반 조건 및 다양한 하중 조건에 따른 안정성 검토가 필요하다. 본 논문에서는 유한요소해석을 활용하여 복합플랜트의 고집적 배치를 위한 지하대공간 설계에 활용할 수 있는 해석조건(설계조건)을 검토하였다. 지하대공간 상부하중 및 수평토압을 고려한 지하연속벽체 해석, 복합플랜트 하중 조건에 따른 기초 지반의 변위 및 응력변화 검토, 복합플랜트 지하 설치 시 공사기간 단축 및 공간 레이아웃 활용성을 높이며 플랜트 구조물의 안정성을 확보하기 위한 파이프랙 모듈 구조해석을 수행하였다. 다양한 해석결과를 바탕으로 상세설계 및 시공단계에서 고려해야 할 요소들을 검토하였다. 해석 결과를 통해 지하공간 연속벽체 원형배치가 사각배치 경우보다 수평 변위가 적게 나타남을 확인하였고, 복합플랜트 외부 프레임 하중지지 구조해석 결과 설계 안정성에 관한 시사점을 도출하였다.

For the construction of a large underground space with a complex plant installed, it is necessary to analyze the stability considering the ground conditions and various load conditions. In this paper, finite element analysis was performed to analyze the support load that can be used in the design of a large underground space for high-density arrangement of complex plant. An analysis of underground continuous wall (D-wall) was performed considering the load and horizontal earth pressure in the large underground space. In addition, foundation ground analysis was carried out according to the load condition of the complex plant. In order to shorten the construction period, increase the space layout utilization, and secure the stability of the plant structure when installing the complex plant underground, the pipe rack module structure analysis was conducted. This study proposes a design and construction method for the optimal arrangement of underground complex plants using the analysis results.

(게재일: 2021.03.31)