칩스앤미디어 분기보고서 (2023.09)
6. 주요계약 및 연구개발활동

가. 연구개발 개요 당사는 반도체 IP 중 비디오 IP 제품을 주력 사업으로 추진하고 있습니다. 따라서 연구활동은 비디오 기술에 대한 선행 연구나 비디오 표준을 구현하기 위한 아키텍쳐 및 알고리즘 구현이 주를 이루고 있으며, 개발 활동은 연구 활동의 결과물을 바탕으로 시장에서 요구하는 비디오 IP를 개발하여 제품화하는 활동이 주를 이루고 있습니다. 나. 연구개발 담당조직 당사의 연구개발 조직은 총 8개 팀으로 구성되어 있으며, 각 부서는 비디오 코덱과 CV(Computer Vision), NPU(Neural Processing Unit)의 개발 및 기술지원을 담당하고 있습니다. 당사의 제품은 하드웨어를 기반으로 하므로 개발인력 중 하드웨어 개발 인력이 타사에 비해 높은 비중을 차지하고 있습니다.

구분	인원(명)

전문학사	학사	석사	박사	합계

반도체IP	1	23	34	2	60

* 2023년 9월 30일 현재 기준 다. 연구개발 비용

당사의 연구개발비용은 경상연구개발비의 과목으로 하여 판관비로 처리하고 있으며, 연구개발인력의 인건비가 경상연구개발비의 대부분을 차지하고 있습니다.

(단위: 천원)

과 목	2023년 3분기(제21기)	2022년(제20기)	2021년(제19기)

인건비	6,492,585	6,861,172	6,440,429

재료비	-	-	-

지급수수료(S/W)	459,212	505,483	406,838

기타경비	137,384	49,169	110,543

연구개발비용 계	7,089,181	7,415,824	6,957,810

(정부보조금)	(269,623)	(212,639)	(318,944)

회계처리	판매비와관리비	6,819,558	7,203,185	6,638,866

제 조 경 비	-	-	-

개발비(무형자산)	-	-	-

연구개발비 / 매출액 비율[연구개발비용계÷당기매출액×100]	33.71%	29.90%	33.23%

주) 최근 3사업연도 중 자산으로 처리된 개발비는 없음.주) 연결재무제표 기준임.

라. 연구개발 실적

연구과제	연구개발 결과 및 기대효과	상품화 여부

AVS+ 디코더 IP 개발	중국의 위성파/공중파 HD 방송 서비스의 표준 코덱으로 채택된 AVS+를 지원하는 통합 비디오 디코더 IP 개발
AVS+는 중국 정부 주도하에 개발된 차세대 동영상 압축 코덱의 표준임.
○ Advanced entropy coding (AEC)○ Frame-level weighted quantization (AWQ)
○ Enhanced field coding (B-Direct, P-Skip)
H.264/AVC high profile과 동급의 화질 제공
기존의 CODA9 제품군의 기존 하드웨어를 최대한 재사용하여 원가를 절감하도록 AVS+를 지원함으로써 중국향 3DTV/HDTV 시장의 급격한 성장에 대응할 수 있을 것으로 기대	상품화

UHD HEVC 디코더 IP 개발	H.264/AVC의 50%의 bitrate로 동일한 화질을 보여 주는 차세대 동영상 압축 코덱의 UHD 디코더 IP 개발
UHD 동영상 재생을 위한 DTV 뿐만 아니라 이동통신채널/인터넷 등 bandwidth가 중요한 응용에서 UHD이하급의 해상도 재생을 위해서도 사용될 가능성이 큼
싱글 코어의 성능은 4K 30fps이며, 여러 개의 코어로 확장하면 4K 60fps, 8K 30fps/60fps 등의 성능을 달성할 수 있음
○ HEVC 표준에 100% 호환
○ UHD 동영상을 지원하는 시스템에서 가장 중요한 요소 중 하나인 외부메 모리 bandwidth의 절감을 위하여 frame memory compression 기술 적용
○ Bitrate이나 외부메모리 접근데이타량의 순간적으로 급격한 변화에 대해서도 안정적인 성능을 보장하기 위한 하드웨어 구조 적용
○ 내부 메모리의 사용량을 줄이기 위해 원래 CTU 사이즈 보다 작은 크기의 가상 CTU 사이즈로 pipeline 처리하도록 하드웨어 구조 적용	상품화

UHD HEVC 인코더 IP 개발	H.264/AVC의 50%의 bitrate에서 동일한 화질을 보여 주는 차세대 동영상 압축 표준인 HEVC UHD 인코더 IP 개발
UHD 영상의 녹화를 위한 개인용 device, 감시 솔루션, 화상회의 솔루션 및 셋톱박스 등에서의 채택이 증가되고 있음.
○ HEVC Main10 profile과 호환
○ UHD 동영상을 지원하는 시스템에서 가장 중요한 요소 중 하나인 외부메모리 bandwidth의 절감을 위한 다양한 기술 적용
·Frame memory compression 기술
·Bandwidth 절감에 특화된 계층적 움직임 추정 기술
·Bandwidth 절감 위한 데이터 처리 단위, 순서 고려
○ Objective quality 뿐만 아니라 HVS(Human Visual System)을 고려한 subjective quality 의 향상을 위한 압축 및 비트율 제어 알고리즘 적용
○ 화질과 성능(주파수, 전력, area 등)을 고려한 다양한 녹화 옵션 제공
○ 4K30뿐만 아니라 더 높은 frame rate 및 해상도 지원을 위한 확장성을 고려한 아키텍처 기반의 설계
○ 내부 메모리 사용량을 최소화 하기 위한 메모리 공유 아키텍처 적용	상품화

UHD HEVC 코덱 IP 개발	HEVC 인코더 전용, 디코더 전용으로 개발된 두 개의 독립적인 IP를 통합한 IP로써, 인/디코더가 기능블럭들을 최대한 공유하도록 하여 비용 및 전력을 절감하는 것을 목표로 개발됨
○ 인/디코더 IP를 각각 사용하여 코덱을 구현한 경우에 비해 약 20%의 원가 절감 효과가 있음.	상품화

UHD HEVC VP9 통합 디코더 IP 개발	UHD 영상을 위한 고효율 압축코덱 표준인 HEVC와 Google이 개발한 VP9 코덱을 동시에 지원하는 통합 디코더 IP임.
현재 개발, 시판되고 있는 제품들 대부분이 HEVC 또는 VP9 중 하나의 포맷만 지원하거나, 8-bit 영상만 지원하는 것에 비해 이 제품은 두 포맷 모두 10-bit 영상의 압축 포맷을, area 최적화(비용 및 전력 절감)된 싱글 IP로 처리함.
○ HEVC Main10 profile 과 호환되는 UHD 영상 압축 포맷 재생 지원: 최대 4K 60fps 까지 지원하는 초고성능 IP
○ VP Profile 2와 호환되는 UHD 영상 압축 포맷 재생 지원
○ Area 및 전력 절감을 위해 VP9와 HEVC가 공통으로 사용할 수 있도록 기능블럭을 설계
○ 응용/비용에 최적화된 솔루션을 제공하기 위한 다양한 variants 제공
·VP9 디코더 only (VP9 디코더만 필요한 경우, HEVC에서만 사용하는 회로 제거하여 비용 절감)	상품화

Ultra small size HEVC 코덱 IP 개발	IoT, Wearable, Drone 등을 위한 소형화 SoC 및 Camera, surveillance Camera에 적용되는 보급형 SoC 등에 용이하도록 IP size 및 전력을 최대한 절감하는 것을 목표로 개발됨.
○ 기존 HEVC 코덱 IP 대비 size를 50% 축소	상품화

2세대 UHD HEVC 디코더 IP 개발	H.264/AVC의 50%의 bitrate로 동일한 화질을 보여 주는 차세대 동영상 압축 코덱의 UHD 디코더 IP 개발
UHD 동영상 재생을 위한 DTV 뿐만 아니라 이동통신채널/인터넷 등 bandwidth가 중요한 응용에서 UHD이하급의 해상도 재생을 위해서도 사용될 가능성이 큼
싱글 코어의 성능은 4K 60fps이며, 여러 개의 코어로 확장하면 4K 120fps, 8K 30fps/60fps 등의 성능을 달성할 수 있음
○ HEVC 표준에 100% 호환 HEVC 표준에 100% 호환
○ UHD 동영상을 지원하는 시스템에서 가장 중요한 요소 중 하나인 외부메모리 bandwidth의 절감을 위하여 frame memory compression 기술 적용
○ Bitrate이나 외부메모리 접근데이타량의 순간적으로 급격한 변화에 대해서도 안정적인 성능을 보장하기 위한 하드웨어 구조 적용
○ 내부 메모리의 사용량을 줄이기 위해 원래 CTU 사이즈 보다 작은 크기의 가상 CTU 사이즈로 pipeline 처리하도록 하드웨어 구조 적용	상품화

Lossy Compression IP	영상 data를 원본과 동등한 화질을 유지하면서 data을 특정 비율로 압축, 감소시키는 기술
○ 고정 (Lossy: ex. 50%, 66%, 75%) 또는 변동(Lossless: ex. 50%~70%) 비율로 data 압축
○ ISP, DDT, T-con chip에 적용 가능○ Memory 감소로 Chip Size 감소 효과
○ Data량 감소로 data 전송량 및 소비전력 감소 효과	상품화

UHD HEVC AVS2통합 디코더 IP 개발	중국의 위성파/공중파 UHD 방송 서비스의 표준 코덱으로 채택된 AVS2를 지원하는 통합 비디오 디코더 IP 개발
○ AVS2는 중국 정부 주도하에 개발된 차세대 동영상 압축 코덱의 표준임.
HEVC와과 동급의 화질 제공
○ 기존의 WAVE5 제품군의 기존 하드웨어를 최대한 재사용하여 원가를 절감하도록 AVS2를 지원함으로써 중국향 UHD TV시장의 급격한 성장에 대응할 수 있을 것으로 기대	상품화

2세대 UHD HEVC 인코더 IP 개발	264/AVC의 50%의 bitrate에서 동일한 화질을 보여 주는 차세대 동영상 압축 표준인 HEVC UHD 인코더 IP 개발
UHD 영상의 녹화를 위한 개인용 device, 감시 솔루션, 화상회의 솔루션 및 셋톱박스 등에서의 채택이 증가되고 있음.
○ HEVC Main10 profile과 호환
○ UHD 동영상을 지원하는 시스템에서 가장 중요한 요소 중 하나인 외부메모리 bandwidth의 절감을 위한 다양한 기술 적용
·Frame memory compression 기술
·Bandwidth 절감에 특화된 계층적 움직임 추정 기술
·Bandwidth 절감 위한 데이터 처리 단위, 순서 고려
○ Objective quality 뿐만 아니라 HVS(Human Visual System)을 고려한 subjective quality 의 향상을 위한 압축 및 비트율 제어 알고리즘 적용
○ 화질과 성능(주파수, 전력, area 등)을 고려한 다양한 녹화 옵션 제공
○ 싱글 코어 성능: 4K 60fps
○ 듀얼 코어 성능: 4K 120fps / 8K 30fps	상품화

HEVC, H.264 통합 IP 개발	264/AVC의 50%의 bitrate에서 동일한 화질을 보여 주는 차세대 동영상 압축 표준인 HEVC와 다양한 분야에 사용되어 왔던 H.264의 UHD 통합 IP 개발
UHD 영상의 녹화를 위한 개인용 device, 감시 솔루션, 화상회의 솔루션 및 셋톱박스 등에서의 채택이 증가되고 있으며 기존 H.264를 지원하여 호환성을 확보를 위해 별도의 IP를 추가할 필요없음
○ HEVC Main10 profile및 H.264 High Profile 호환
○ UHD 동영상을 지원하는 시스템에서 가장 중요한 요소 중 하나인 외부메모리 bandwidth의 절감을 위한 다양한 기술 적용
·Frame memory compression 기술
·Bandwidth 절감에 특화된 계층적 움직임 추정 기술
·Bandwidth 절감 위한 데이터 처리 단위, 순서 고려
○ Objective quality 뿐만 아니라 HVS(Human Visual System)을 고려한 subjective quality 의 향상을 위한 압축 및 비트율 제어 알고리즘 적용
○ 화질과 성능(주파수, 전력, area 등)을 고려한 다양한 녹화 옵션 제공
○ 싱글 코어의 성능은 4K 60fps이며, 여러 개의 코어로 확장하면 4K 120fps, 8K 30fps/60fps 등의 성능을 달성할 수 있음	상품화

UHD HEVC AV1 통합 디코더 IP 개발	구글의 VP9을 이어 고화질의 영상의 실시간 스트리밍 서비스를 위해 개발된 AV1를 지원하는 통합 비디오 디코더 IP 개발
○ AV1는 구글 및 다양한 IT기업이 결성한 AOM(Alliance for Open Media)에서 개발하였으며 로열티를 받지 않는 코덱 표준임. HEVC보다 우월한 화질 제공
○ 기존의 WAVE5 제품군의 기존 하드웨어를 최대한 재사용하여 원가를 절감하도록 AV1를 지원함으로써 유튜브, 넷플릭스 등 네트워크 기반의 고화질 영상 스트리밍 서비스 시장의 급격한 성장에 대응할 수 있을 것으로 기대	상품화

4K UHD AV1 통합 코덱 개발	AV1, HEVC 및 AVC의 인코딩과 디코딩을 지원하는 통합 하드웨어 코덱 IP를 개발
○ 단일 코어 기준으로 SoC의 임베디드된 하드웨어 코덱에서 4K 60fps의 실시간 인코딩 및 디코딩 성능을 지원하는 비디오 코덱 IP
○ 통합 인코더는 SoC의 임베디드된 하드웨어 인코더에서 메모리 대역폭(Memory Bandwidth)을 최소화할 수 있도록 최적화된 인코딩 도구를 선택하여 설계
○ 통합 디코더는 비디오 표준 간 하드웨어 모듈을 공유하도록 설계하여 SoC의 임베디드된 하드웨어 디코더 면적을 최소화함. 단일 클럭 및 참조 픽쳐 압축 기술 등을 적용하여 동작 클럭 및 메모리 대역폭을 줄임
·AV1 Main Profile 지원
·H.265/HEVC Main/Main 10 Profile 지원
·H.264/AVC Constrained Baseline/Baseline/Main/High/High10 Profile ·Down-scaler, Color Space Conversion (CSC), Rotation/Mirroring○ 글로벌 컨텐츠 제작사들과 스트리밍 서비스 업체들은 AV1 코덱을 이용한 고화질 영상 스트리밍 서비스를 시작함으로써 디지털 TV, 셋톱박스, 미디어 스트리밍 장치(Streaming Device), 모바일에서 로열티 프리(Royalty-free) 정책을 취하는 AV1 표준의 수요가 증가할 것으로 기대	상품화

Object Detection IP 개발	차량용 반도체나 CCTV 등에 사용되는 object detection module 개발
최근에 deep learning 기술을 사용하여 object detection 성능을 획기적으로 높인 기술이 개발되었으나 계산량이 많아 SW로 구현하면 성능이 떨어지고, CPU/GPU 등의 전력을 많이 소모함. 이 기능을 수행하는 module을 HW RTL로 구현하여 큰 이미지 사이즈를 적은 전력으로 처리할 수 있도록 함
○ 차량, 보행자, 자전거 타는 사람 등 6가지 object detection
○ 4K resolution, 30 frame/sec
○ 6가지 객체 외, 사용자가 지정한 객체 검출 및 목표 성능에 적합한 IP가 생성되도록 하는DK(Design Kit) 추가 개발 중	상품화

Super-Resolution IP 개발	기존 딥러닝 기반의 Super-resolution Up-scaler IP에 대한 고도화 연구 개발 및 상품화○ 저화질의 영상을 딥 러닝 기술로 최대 8K 60fp까지 업 스케일링함. Interpolation Filter, Bi-cubic 등 선형 보간 방식 업 스케일러(Up-scaler) 대비 주관적 화질을 높이면서, 고화질의 영상으로 (High-resolution)영상을 복원 ·8K 60fps, 4K 60fps 실시간 업 스케일링 지원
·고객사의 응용에 따른 복수의 퀄리티 모드 지원
·저전력 딥러닝 알고리즘 설계
·최소화된 하드웨어 업 스케일러 면적 설계○ 4K/8K 영상을 디코딩 하는 것 대비 본 제품을 이용한 Up-scaling 처리 시, 화질 감소를 최소화하면서 시스템 대역폭(System Bandwidth) 및 네트워크 대역폭(Network Bandwidth)의 사용량을 줄여 저전력 기반의 모바일(Mobile), 모빌리티 디바이스(Mobility Device) 및 스트리밍 장치(Streaming Device)에서 다양하게 활용될 것으로 기대	상품화

YUV422, YUV444 인코딩 및 디코딩을 지원하는 AV1, HEVC, AVC 통합 하드웨어 코덱 IP	○ 기존 YUV420을 지원하는 통합 하드웨어 IP에서 추가적으로 YUV422, YUV444형식의 영상을 처리할 수 있는 AV1, HEVC 및 AVC의 통합 하드웨어 코덱 IP를 개발○ YUV422, YUV444의 더 많은 영상 데이터를 처리함에도 불구하고 기존 단일 코어 성능과 동일한 4K 60fps의 실시간 인코딩 및 디코딩이 가능한 IP를 개발- AV1 profressional profile 추가 지원- HEVC 422, 444 profile 추가 지원- AVC 422, 444 profile 추가 지원○ 기존 단일 코어 성능과 같이 서로 이형의 표준에 대해서 하드웨어내 가능한 많은 로직을 공유하여 하드웨어 증가분을 최소화○ 데이터 지연에 의한 성능 감소를 최소화하기 위한 추가 설계를 적용하여 약40%가량의 대기 시간 허용 오차에 대한 성능을 향상 (700cycles -> 1000cycles)○ AI, automotive 산업에서 요구하는 고화질, 색상표현력의 범위를 늘릴 수 있는 profile지원을 할 수 있는 통합 하드웨어 코덱 IP를 지원함으로 인해 일반적인 영상서비스를 진행하는 소비자외에 색정보에 더욱 민감한 소비자에 대한 지원이 가능한 통합 하드웨어 코덱 IP확보	상품화

Video/Image 특화 NPU	○ Video/Image처리에 적합한 CNN(Convolution Neural Networks)기반의 Neural Processor Unit 개발하여 Video/Image처리시 사용되는 일반적인 NPU를 대체할 수 있는 어플리케이션 기반의 NPU 개발
○ 프로그램이 가능한 코어 아키텍처로 C 고유의 명령어 체계를 지원하여 사용자가 원하는 프로그램의 작성 가능
○ Super resolution, Noise reduction 등의 어플리케이션을 지원하며, 다른 어플리케이션으로 확장이 가능
○ Super resolution의 경우 x1/4~x8의 처리를 할 수 있어 기존 super resolution IP를 대체가능
○ 16bit 부동소수점 연산을 통해 비디오 연산시 발생하는 연산에 의한 양자화 오류를 최소화	상품화