NC 반기보고서 (2023.06)
4. 연구개발실적

☞ 본문 위치로 이동

연구과제	개발 내용	연구결과 및 기대효과

Shift-Left Testing	리플레이 테스트 자동화	사용자 입력 정보를 녹화하고, 이를 기반으로 리플레이를할 수 있는 구조를 만들어 회귀테스트를 자동으로 수행할 수 있는 도구 개발한다.

기획서 검증	테이블 형태로 작성된 기획서에 대해서 게임 데이터와 연동하여 실시간 오류를 검증할 수 있는 도구, 이를 통해 기획단계에서 오류를 빠르게 검출하여 테스트 비용을 낮추는 방식 도입한다.

CI/CD 프로세스	정규화된 프로세스 구축	정규화 된 배포 프로세스를 구축하고, 이를 통해 가장 빠르고, 안정적인 배포 할 수 있는 개발 환경 구축한다.

4족 보행 애니메이션	절차적 경로 모션 생성	내비게이션 포인트를 연속적으로 부드럽게 이동하는 경로 애니메이션을 하나의 기초 애니메이션으로부터 절차적으로 생성하는 기술로서 4족 동물 애니메이션 생산 비용과 MMO 게임의 리소스 예산을 절감할 수 있다.

모션 매칭 시스템	게임 엔진 용 모션 매칭 시스템	기존 애니메이션 시스템과 혼용하여 사용할 수 있고 모션 DB를 효율적으로 검색할 수 있는 모션 매칭 시스템을 자체 개발함으로써, 비구조적인 모션 캡쳐 데이터를 사용하여 기존에는 표현이 힘들었던 풍부한 애니메이션을 구현할 수 있다.

풀바디 IK시스템
(IK: Inverse Kinematics)	IK 솔버	풀바디 IK에 필요한 여러 바디 파츠와 관절 제약을 동시에 계산할 수 있는 IK 솔버를 개발하여 게임 캐릭터에 실시간으로 IK를 적용할 수 있다.

2족/4족 보행 포즈 솔루션	다양한 경사로에서 2족/4족 캐릭터의 보행 포즈를 균형 잡히고 부드러운 연속 모션으로 생성해주어 게임 내 여러 지형 환경에서 자연스러운 캐릭터 애니메이션을 표현할 수 있다.

인게임 컷씬 연출	컷씬 에디터	사용자 친화적인 인터페이스의 컷신 에디터를 개발하여, 게임플레이 화면과 컷씬 간의 끊김없는 전환과 동적 분기 및 다국어 자막 통합 관리 등을 지원한다.

실시간 GI 개선
*GI : Global Illumination)	실시간 GI 성능 개선	직접광의 그림자 다운샘플링 적용과 루멘 스크린 프로브의 Final Gather 효율화를 통해 적은 품질 감소로 저사양 사용자 제품에서 구동 가능한 동적 GI 기능을 제공한다.

게임 엔진 개발 협업	게임 엔진의 이너소스화	회사 내 다양한 개발 부서의 게임 엔진 개발 내역을 공용화하여 공유할 수 있는 코드 저장소 및 이슈 추적 플랫폼과 작업 절차를 구축한다. 이로써 엔진 개발자 커뮤니티를 형성하고 파편화된 사내 엔진 기능의 중복 개발 방지 및 코드 재사용성을 높여 게임 개발이 효율화될 수 있도록 한다.

모바일 GI	모바일 GI	모바일 기기에서 구동 가능한 가벼운 동적 간접광 계산을 위한 대체 기술을 연구 개발한다.

캐릭터 애니메이션 리타게팅	게임 엔진 용 리타게팅 자동화 시스템	1차 솔빙된 대량의 퍼포먼스 캡쳐 로우 데이터를 사전 정의된 게임 캐릭터 프로필에 따라 리타게팅 해주는 자동화 시스템을 개발하여 아티스트의 애니메이션 전/후처리 작업을 경감한다. DCC 툴 없이 게임 엔진 파이프라인만으로 작동하고 좌표계와 본 체인 매핑 등의 자동화를 포함한다.

캐릭터 생성 시스템	캐릭터 생성 시스템 및 편집 도구	다양한 체형의 종족과 의복의 게임 캐릭터 생성과 변형 및 병합을 지원하는 하부 시스템과 인터페이스를 개발하여 게임 디자이너 및 게임 사용자의 인게임 캐릭터 제작을 지원한다.

게임 최적화 UI tool chain 개발	UI engine 개발	게임 엔진 및 서비스 플랫폼 환경과 무관하게 고품질 UI를 제작하고 다양한 게임에 재활용할 수 있다.

UI Authoring tool 개발	제공한 도구들은 기존 UI개발 워크플로의 문제를 효과적으로 개선한다. 또한 UX가 검증된 UI 템플릿을 활용해 기초 작업을 생략할 수 있다. 이를 통해 디자이너 주도의 효율적인 UI제작이 가능하다.

언리얼 엔진 환경의 컬러 및 LUT 세팅	사실적인 라이팅을 위한 환경의 컬러 및 LUT 셋팅 구현(color management/LUT)	모니터나 출력 장치에 구애받지 않는 일관된 환경에서의 디지털 액터의 룩과 라이팅을 유지.

헤어 시뮬레이션	자연스러운 헤어의 움직임 구현 (엔진)	Xgen 및 후디니를 활용하여 리얼 타임으로 적용하기 힘든 디자인의 헤어도 자연스럽게 시뮬레이션 할 수 있도록 한다.

링클맵 구동	DCC툴과 Unreal Engine 동일한 로직 개발 및 쉐이더 보완	엔진과 DCC툴의 로직을 동일화시켜, 애니메이터가 주름을 파악하고 작업하기에 최적의 환경 조성

메타휴먼 리그 내부 적용	내부 작업물에 메타휴먼 리그 적용	메타휴먼 리그를 활용한 자연스러운 페이셜 작업, 더 나아가 메타휴먼 효용성 입증 및 활용될 수 있는 가이드와 근거 마련

광학식 Finger 서비스	광학식 장비를 활용한 손가락 모션캡처 데이터 제공	기존 광학식 모션캡처 시스템에서 Body와 Finger를 동시에 촬영하고 그 데이터를 제공함으로써 애니메이션 작업을 보다 효율화하고 사실적인 움직임을 구현할 수 있음

스마트글러브 서비스	스마트글러브를 통해 손가락 모션캡처 데이터 제공	광학식 Finger 방식보다 개선된 스마트 글러브 모션캡처를 통해 애니메이터의 손가락 키 작업 작업을 보다 효율화, 사실적인 움직임을 손 쉽게 구현할 수 있음

모션캡쳐 실시간 언리얼 프리뷰 환경 지원	바디, 페이셜, 핑거 등 풀퍼포먼스 모션캡쳐 시 언리얼 실시간 프리뷰 환경 구성	풀퍼포먼스 모션캡쳐 촬영 시 게임 환경이 구성되어 있는 언리얼에 실시간으로 구현하여 촬영하면서 바디, 페이셜, 핑거 등이 적용된 캐릭터를 직관적으로 확인이 가능할 수 있게 하고, 실시간 디지털 휴먼 개발에 필요한 환경을 제공

언리얼 버츄얼프로덕션 환경 구축	모션캡쳐 촬영 시 실시간 언리얼 버츄얼 프로덕션 지원 환경 구성	버츄얼카메라(광학식/자이로식) + 캐릭터 실시간 + 배경을 합쳐 실제 시네마 연출과 같은 버츄얼프로덕션 구성하여 개발실 최종 결과물을 예측함으로써 개발 프로세스의 효율을 높임

효율적인 언리얼 실시간 프리뷰 환경 구축	페이셜 실시간 프리뷰 환경 개선 작업	프로뷰 용도로 활용이 어려운 개발실의 캐릭터를 메타휴먼의 Mesh to MetaHuman을 활용해 쉽게 퀄리티 높은 페이셜 프리뷰 제공 촬영과 동시에 결과물을 예측할 수 있는 환경을 제공하여 개발 프로세스의 효율을 높임

바이브 트래커를 이용한 자이로 장비 개선	Xsens 자이로 모션캡쳐 수트 장비에 Vive 장비를 결합하여 모션캡쳐 데이터 퀄리티 개선	Rotation 데이터를 사용하여 촬영되는 자이로 모션캡쳐 시스템에 Translate 값을 보정해 줄 수 있는 VIVE 장비를 같이 착용하고 촬영함으로써 보다 정확한 위치값을 가진 데이터를 얻을 수 있음

DynamyXYZ와 Faceware 간 호환성 연구	DynamiXYZ를 사용하는 개발실을 위해 Faceware촬영 데이터와 호환성 검증	두 페이셜 캡쳐 장비간 촬영 데이터 교차적용으로 트래킹 및 리타겟 품질 비교 후 호환 가능 확인. DynamiXYZ 서비스 종료에 따라 이를 지속적으로 사용하는 개발실에 Faceware 촬영 데이터로도 서비스 가능.

캐릭터 스캔 데이터의 효율적인 활용 방법 연구	다수의 스캔을 혼합하여 극사실적인 캐릭터 생성	다수의 캐릭터 스캔 데이터를 혼합하여 사실적이고 개성 있는 디지털 캐릭터를 생성. 다양하게 활용할 수 있는 기술 기반을 마련 및 효율적인 축적 리소스 사용

데이터 고도화를 위한 Light Cage
도입	Light Cage를 이용한 극사실적인 질감 스캔	Light Cage스캔 기술 연구를 통해 추출한 극사실적인 질감 데이터를 캐릭터에 적용해 사용자의 경험과 몰입감을 극대화. 다양하게 활용할 수 있는 기술 기반을 마련

메타휴먼 리그에 스캔 데이터 연동	메타휴먼 리그와 스캔을 연동하여 스캔 활용성 확장	언리얼 엔진의 메타휴먼 리그를 스캔 결과물과 연동하여 개발 환경에서의 스캔 데이터 작업 편의성 및 효율성을 높임. 다양하게 활용할 수 있는 기술 기반을 마련

배경 스캔 데이터의 효율적인 활용 방법 연구	모듈화 기법을 통해 스캔 데이터를 효율적으로 활용	극사실적인 배경 스캔 데이터를 모듈화 하여 데이터 작업 편의성 및 효율성을 높임. 다양하게 활용할 수 있는 기술 기반을 마련

나나이트 도입 대응 기반 연구	언리얼 엔진 나나이트 활용한 스캔 프로세스 확장	언리얼 엔진 나나이트에 적합한 스캔 프로세스를 구축하여 나나이트 활용성을 높임. 다양하게 활용할 수 있는 기술 기반을 마련

광대역 스캔 기술 고도화	광대역 스캔 기법을 이용해 극사실적인 레벨을 구축	광대역 스캔 기법을 활용해 실제 구역을 빠르게 스캔하여 사실적이고 정확한 레벨을 구현. 다양하게 활용할 수 있는 기술 기반을 마련

차세대 스캔방식 연구	NeRF(Neural Radience Fields) 추적 연구 및 활용범위 확장	AI를 활용한 스캔 방식인 NeRF 를 추적 연구하여 게임 및 영상 제작에 활용될 수 있는 환경을 구축

스캔 기반 절차적 콘텐츠 생성	스캔 데이터를 Unreal5 PCG(Procedural Content Generation) 시스템에 적합하게 가공하여 극사실적인 레벨을 빠르게 생성	스캔 촬영된 고품질 3D데이터를 빠르게 콘텐츠화 하여 개발 효율을 높임

guide 방식 hair 시스템	guide 방식의 interactive groom으로 효율적인 헤어 제작	기존 보다 가벼운 데이터로 시뮬레이션 및 베이크 가능한 guide 방식의 Interactive groom을 도입하여 데이터 양에 따른 엔진의 렌더링 에러 및 헤어 제어의 문제를 해결하고 효율적인 헤어 제작 가능
엔진용 오나트릭스, 블렌더의 Hair 기능 작업적용 진행중

헤어 시뮬레이션	엔진에서 헤어의 디테일한 움직임 구현	엔진에서 디테일하고 실제와 같은 헤어를 구현하기 위해, 기존 XGen 및 guide 방식의 헤어를 시뮬레이션하고 베이킹하여 영상에 적용할 수 있는 기술 구현

FACS (Facial Action Cording System) rig skinning	Unreal Engine에서 캐릭터의 디테일한 페이셜을 구현	기존 blend shape 방식은 버텍스의 노멀을 엔진에서 제대로 표현하지 못해 눈꺼풀 및 얼굴 주름의 디테일한 표현 시에 쉐이딩이 제대로 되지 않아 얼룩이 생기는 문제가 발생하였고, 이를 해결하기 위하여 skinning 방식으로 변환
추가적으로 기존 메쉬를 메타휴먼 토폴로지로 변경하고, 메타휴먼 애니메이터 페이셜 테스트예정

Bifrost를 활용한 실시간 FACS target	기존 대비 효율적인 FACS 타겟의 구성	FACS 기존 구성 방식 보다 파일 관리 및 분리 작업 시간을 획기적으로 단축하고, 작업과 동시에 페이셜 데이터의 수정 작업이나 분리작업이 가능. 이로 인해 타겟 수정 부담을 줄이고, 퀄리티를 높이는데 용이

메타휴먼 페이셜 애님 트랙 추출	메타휴먼 혹은 메타휴먼 릭을 사용할 때 페이셜 키를 추출	기존 메타휴먼의 페이셜 데이터는 컨트롤 리그에 키 데이터를 적용해야만 페이셜이 확인 가능하여, 페이셜을 수정하거나 길이 수정을 할 때 타이밍 및 데이터 입력 오류 등의 이슈가 있었고, 이를 페이셜 부분만 애님 시퀀서로 교체하여, 페이셜 수정이 용이하도록 구성

페이셜 애니메이션	광학식 마커 데이터 테스트 및 활용	광학식 마커 방식 테스트로 기존 마커 방식에서 문제가 되었던 데이터의 왜곡이나 흔들림 등을 해결하고 선행 테스트로 문제점 파악

body 관절 디테일 향상 기법	디지털 캐릭터의 디테일한 관절 구현	디지털 캐릭터 관절이 움직일 때 접혀지는 부분의 근육 표현이나, 잘못된 형태로 접히는 것을 방지하기 위해 추가 디폼 컨트롤러 및 타겟 등의 보정으로 관절 부분 디테일을 높일 수 있는 기술 구현, ZiVA 활용 테스트, ML_Deformer 활용예정

디지털 휴먼의 근육 시뮬레이션	디지털 휴먼의 디테일 높은 근육 표현	사실적인 근육 움직임을 리깅에 구현하여 캐릭터의 움직임에 맞는 근육 표현, ML_Deformer 활용예정

의복 물리 시뮬레이션 (Bake)	캐릭터의 의복을 디테일하고 볼륨감 있게 표현	마블러스의 재봉선에 맞게 제작된 의복들에 실제 애니메이션을 적용하여, 더욱 디테일하고 자연스러운 의복의 움직임을 표현
ML_Cloth 활용 예정

군중 시뮬레이션	디지털 캐릭터의 군중 표현	다양한 캐릭터의 군중 시뮬레이션 구현으로 대규모 전쟁 및 많은 수의 캐릭터 움직임을 효과적으로 표현

VFX VDB 활용	VDB plug-in Unreal Engine 5 적용	open VDB를 nano VDB로 바꿔서 데이터를 줄임으로써, 렌더링 부하를 줄이거나 VDB를 3d Volume Texture로 쉽게 변경함으로 VFX 퀄리티 향상 기여, Embergen , 후디니 활용

USD의 언리얼 환경 적용	툴 간에 데이터 호환이 가능하게 하는 USD의 엔진 적용	서로 다른 툴 간에 데이터의 호환이 가능한 USD를 테스트 함으로써, 언리얼 엔진에서 마야, 맥스, 후디니 간 데이터 호환 여부 확인. 차후 다른 툴에서 영상 렌더링까지 가능하도록 계획
엔진 업데이트로 추가 테스트 예정

Toon shading	언리얼 엔진에서 툰 느낌의 영상 구현	언리얼 엔진에서 카툰 느낌의 영상을 제작하기 위해 각 캐릭터별 쉐이더, 포스트 쉐이더, 배경분할 등을 통한 각 단위의 컬러변형, 마스킹 등을 통하여 셀 쉐이딩 구현

custom import tool	Unreal Engine에서 애니메이션을 빠르게 임포트 할 수 있는 툴 구현	기존 FBX 방식 대비 애니메이션에 사용되는 정보만 추출하여 빠르게 export import 가능한 플러그인 구축, Json 방식활용, 추가기능 구현중

custom render pass	합성 혹은 컬러그레이딩을 위한 채널 분리 시스템	엔진에서 후반 혹은 합성 작업 시, 배경, 캐릭터, 포그 등의 데이터들을 따로 분리하여 영상 출력함으로써, 합성 혹은 컬러그레이딩에 효과적으로 분리된 레이어들을 활용

Alembic cache streaming	Alembic 캐쉬를 스트리밍하여 처리 속도를 높임	언리얼 엔진에서 alembic 파일을 기존의 alembic Import가 아닌 스트리밍 방식으로 변환하여, 데이터 임포트 시간, 전체적인 데이터의 부하 그리고 비디오 메모리 오버를 통한 크래쉬를 줄이기 위한 기술 ( 5.1 테스트완료 )

Unreal 5.2 PCG	디테일한 레벨의 빠르고 효율적인 구성	언리얼 5.2 에 추가된 Procedural Content Generation 기능을 사용하여 시네마에 사용되는 거대하고 디테일한 환경을 빠르게 구성할 수 있도록 기반기술 습득

효율적인 페이셜 애니메이션	메타휴먼 애니메이터의 활용	메타휴먼 애니메이터를 활용하여 기존 스캔기반의 페이셜 애니메이션보다 빠르고 정확한 페이셜을 제작

리얼타임 패스트레이싱	패스트레이싱을 활용한 렌더링 퀄리티 향상	렌더링에 사용되던 패스 트레이싱 기술이 리얼타임에서 사용할 수 있게 됨으로써 엔진에서 렌더링 퀄리티의 이미지를 빠르게 뽑아낼 수 있는 기반기술 테스트

Substrate	5.2 엔진에 추가된 새로운 재질 쉐이더	더 높은 퀄리티의 BRDF 를 지원하는 쉐이더로 다양한 재질을 더 높은 퀄리티로 표현할 수 있어 시네마 작업에 도입하기 위하여 활용예정
( 현재 Path-tracer 에서는 적용되지 않는상태 )

Facial시스템 (인게임 및 디지털휴먼)	Facial Rig 자동화 구현	캐릭터의 표정을 만들어내는 Facial Rig을 범용성을 기준으로 자동화 제작하여, 캐릭터 제작 및 페이셜 애니메이션 표현에 있어서 효율 향상을 제공한다.

게임 플레이에서 캐릭터의 표정을 상황에 맞게 출력하는 기술 구현	인게임 캐릭터의 반복된 표정 애니메이션 출력 설정을 간소화할 수 있는 제작 기술을 구현하여, AI 립싱크 애니메이션에 응용할 수 있는 기반을 마련한다.

3D메쉬 Tension View 기능	메타휴먼 토폴로지에 맞춘 페이셜 시스템	메타휴먼 캐릭터의 토폴로지와 싱크를 맞추어 다양한 캐릭터 데이터의 활용성을 확장한다.

3D메쉬 Tension View 기능	매쉬의 변화를 실시간 버텍스 컬러로 전환하여 보여주는 기능 구현	메쉬의 움직임에 따라 변화하는 상태를 버텍스 컬러로 전환하고, 이를 응용하면 캐릭터나 의상의 주름 표현을 보다 자연스럽게 연출할 수 있다.

3D메쉬 Fitting 기능	3D메쉬의 변형된 외형에 기 제작된 3D 아이템의 형태를 맞춰주는 기능 구현	기존에 제작된 의상 등 변형이 필요한 다량의 3D매쉬를 나중에 제작된 캐릭터의 다양한 형태에 맞춰 조정하여, 수정에 따른 제작 비용을 절감케 해주는 기능을 구현한다.

Groom Hair	거리별 헤어 표현 방법 리서치	품질 높은 헤어 표현 수단인 Groom을 활용하기 위해 최적화 기술을 적극적으로 사용하기 위한 제작 방법을 연구한다.

Water System	언리얼 엔진과 플러그인 활용 리서치	언리얼 엔진에서의 Water와 Fluid플러그인을 활용하여 사실적인 물표현을 다양하고 쉽게 사용할 수 있는 방법을 연구한다.

업무 효율화 플랫폼	프로젝트 관리도구	NC 사용성에 기반한 프로젝트 관리 Tool 구축/서비스를 통한 전사 프로젝트 관리 프로세스 개선 및 효율 증대

아트 소통 및 외주 프로덕션 관리도구	아트 결과물 관리, 효율적 아트 협업 위한 전문 도구를 제공하여 아트 제작 효율성 향상

통합업무관리 플랫폼	HQ/지사/3rd Party 간 직접 소통 가능하며, 조직 업무관리부터 게임개발 프로세스까지 아우르는 통합 업무관리 서비스 구축을 통해 NC 협업 효율 제고

글로벌 L10N 플랫폼	L10N text 리소스 관리 및 송수신 효율화 도구	Text 로컬라이제이션에 소요되는 송수신 업무의 자동화/리소스 관리도구 개발 및 업무 표준화를 통하여 NC text 로컬라이제이션 협업 효율 증대 및 에러 감축

L10N voice 음성녹음 통합업무관리도구	Voice 녹음 업무/ Voice 리소스 로컬라이제이션 업무의 통합관리 플랫폼 구축 및 업무 표준화를 통하여 데이터 축적 및 NC 글로벌 음성 로컬라이제이션 협업 환경 고도화

연구과제	개발 내용	연구결과 및 기대효과

영상AI기술	사진 기반 게임 캐릭터 생성 기술	인물 사진으로부터 게임 캐릭터를 자동으로 생성하는 기술로 사진과 닮은 게임 캐릭터를 쉽게 생성할 수 있는 기능을 제공 가능.

2D 디지털휴먼 자동 생성 기술	딥페이크에서 파생되는 여러 얼굴 영상 합성 기술들을 활용하여 2D 영상 형태의 디지털휴먼을 자동으로 생성해내고 디지털휴먼을 이용한 콘텐츠들을 쉽게 생성하게 하기 위한 다양한 기술 개발.

일반 카메라 기반 모션 캡처 기술	고가의 모션 캡처 장비나 수트 없이도 일반 카메라를 통해서도 모션 캡처를 가능하게 하여 게임 애니메이션 제작 및 영상 제작의 시간과 비용을 크게 단축하게 할 수 있음.

인물 행동 기반 영상 이해 기술	영상에서 사람의 행동을 이해하는 기술을 통해 디지털휴먼이 영상 내에서 사용자의 특정 동작을 인지하여 더 풍부한 대화를 이끌어 낼 수 있게 함. 또한 축적된 대량의 영상 데이터를 보다 쉽게 검색하거나, 영상의 메타 데이터를 자동으로 Tagging하게 할 수 있는 시스템 개발할 수 있음.

야구 하이라이트 영상 생성 기술	야구 중계 영상에서 특정 이벤트에 해당하는 영상 구간을 찾아내서 야구 중계에 필수적인 하이라이트 영상을 자동으로 만들어내는 기술 개발

드론 영상을 위한 실시간 영상 인식 기술	드론 카메라를 통해 입력되는 영상 정보에서 인물/물체/장소 정보 등을 실시간으로 인식하는 기술을 개발함. 딥러닝 기반 인식 모델의 경량화 및 최적화 기술과 열악한 실제 환경에서의 영상 인식 기술을 개발함.

뉴럴렌더링 기반 3D 아바타 생성 기술	3D 스캔 및 모델링, 리깅 과정 없이, 몇 대의 카메라로 촬영된 영상에서 사실적인 3차원 휴먼 아바타를 제작하는 기술 개발. NeRF 기반 뉴럴렌더링 기술 연구를 통해 디지털 휴먼 및 3D 모델 제작의 시간과 비용을 크게 단축하게 할 수 있음.

인터랙티브 디지털휴먼을 위한 영상 인지 기술	디지털휴먼이 영상 내에서 사용자의 표정과 제스처를 인식하여 감정 상태를 파악하여 자연스럽고 적절한 대화를 하거나, 주변의 물건 및 상황을 인지하여 능동적이고 풍부한 대화할 수 있게 함. 거대 언어모델 기반으로 멀티모달 인지로의 확장 연구 진행

이미지 자동 생성AI 기술 및 서비스 개발	이미지 생성형 AI 기술을 통하여 사내 IP에 기반한 게임 분야에 적합한 2D 일러스트레이션 및 각종 아트 리소스 생성 도구를 개발함.
또한, 게임 이외 산업 분야에서도 특화된 기능을 개발하여 폭넓은 분야에 활용 가능한 서비스로 확장하고자 함

음성AI기술	다국어 음성 인식 기술	한국어 포함 해외 서비스에 필요한 다국어를 인식하는 기술 개발 진행 (영어, 중국어, 일어 등 주요 언어 포함)

다국어 음성 합성 기술	특정 사람의 목소리를 담아 인위적으로 사람의 대화 소리를 합성하는 AI 기술 개발 진행
한국어 이외에 영어, 중국어 등 해외 서비스에 필요한 다국어를 자동으로 생성하는 기술 개발 진행

감정인식 기술	주로 음성 정보를 사용하여 발화자의 현재 감정을 인식하는 AI 기술 개발 진행

감정표현 음성 합성 기술 개발 및 고도화	슬픔, 행복, 분노 등 다양한 감정의 표현 및 강약까지 조절가능한 소리를 합성하는 AI 기술 개발 진행
연기(영화, 드라마), 뉴스, 정보전달, 독서 등 다양한 콘텐츠의 여러 상황에서 어울리는 음성을 생성할 수 있음

음성 변환 (Voice Conversion) 기술	입력한 음성을 특정인물이나 가상인물의 목소리로 변환하거나, 길이, 높낮이, 음색에 변화를 주어 다양한 콘텐츠에서 상황에 어울리는 효과를 제공할 수 있는 기술로, 목소리의 익명화에도 응용 가능한 기술 개발

대화형 Agent를 위한 음성 응용 기술
(Low-Latency, 중단 가능한 대화형 Agent)	디지털휴먼이 실제 사람처럼 원활하고 중단 가능한 대화를 진행하기 위해 여러 음성 응용 기술을 개발함. 호출어 인식 기술, 화자 식별 기술, 화자 음성 분리 기술 등 세부 기술 등을 포함하고 있음

Music 합성/생성 관련 기술	노래를 부르는 목소리를 합성하는 AI 기술 개발함. 정해진 악보대로 노래를 부르거나 현재 노래에 대한 화음을 넣어서 사람과 같이 노래를 불러주는 등 엔터테인먼트 콘텐츠에 다양하게 활용 가능한 응용 기술 개발을 포함함

보이스 채팅을 위한 De-Reverberation 기술	게임 플레이 중 혹은 카페 등 잡음이 존재하는 모든 환경에서 쾌적하고 조용한 보이스 채팅 상황을 제공하기 위해 스트리밍 환경에서의 에코 및 다른 사람의 목소리 제거 (De-Reverberation, Denoiser) 기술을 개발

음성 자동 검수 기술	텍스트 대사와 녹음된 음성의 일치 여부를 검사하는 AI기반 발화검증 (Utterance Verification) 기능을 개발. 사내 사용 중인 작업 도구에 내장되어 서비스 중, 발음의 정확성 평가 등에도 응용이 가능함 (한국어, 영어, 중국어 등 다국어 지원)

AI 모델 경량화 기술	머신 러닝으로 생성된 AI의 모델을 서버환경 이외의 환경에서도 동작 가능하도록, 성능을 유지하며 모델의 크기를 줄여 PC 혹은 휴대폰/게임기와 같은 휴대기기에서도 독립적으로 동작가능한 기술을 개발

Enrollable Keyword Spotting 연구	쉽게 정의할 수 있도록 한번의 발화로 사용자 호출어를 정의, 학습, 배포하는 연구 및 시스템 연구

Virtual Speaker Generation 연구	특정인의 짧은 음성을 분석한 후 Text로부터 특정인의 음색으로 합성이 가능한 음성합성 시스템 개발
다양한 음색을 갖는 가상 인물의 목소리를 생성할 수 있는 음성합성 시스템 개발

Universal Audio Model 연구	인식과 생성에서 다양한 역할을 수행할 수 있는 Speech/Music/Sound/Event/Singing 등을 모두 포함한 Audio용 거대모델의 개발

장애인을 위한 음성 합성 기술	장애인이 겪는 의사소통의 불편함을 해소하고, 의사소통 장애에 대한 인식을 개선하기 위해 다양한 감정과 목소리를 표현할 수 있는 음성 합성 기술과 애플리케이션을 NC 문화재단과 함께 개발함

그래픽스AI기술	4D 기반 고품질 얼굴 애니메이션 캡처 기술	고품질 카메라로 촬영한 사람의 얼굴 영상을 이용하여 동일한 외모와 움직임의 캐릭터를 생성하는 차세대 얼굴 캡쳐 시스템 개발.
기존 사진 기반 3D 얼굴 스캔 기술 대비 얼굴 움직임도 동일하게 재현할 수 있기 때문에 더욱 자연스러운 캐릭터를 만들 수 있음. 디지털 더블 수준의 캐릭터 제작이 가능하며 디지털 휴먼 제작에 활용 가능.

HMC 기반 얼굴 애니메이션 캡처 기술	편의성이 높은 Head-Mount-Camera로 얼굴 연기를 캡쳐 하는 기술. 경쟁사 기술 대비 세밀한 움직임을 캡쳐 할 수 있어 보다 고품질의 캐릭터 얼굴 애니메이션을 간편하게 제작할 수 있음

얼굴 애니메이션 자동 생성 기술	음성을 발화에 적합한 얼굴 애니메이션을 AI가 자동으로 생성하는 기술. 모션 캡처나 아티스트 수작업이 필요 없고, 품질이 뛰어나서 대량의 시네마틱 영상, 다이얼로그 씬 제작에 필수적으로 요구되는 기술.

모션 캡처 데이터 자동 후보정 기술 개발	모션 캡처 과정에서 발생하는 마커 데이터의 오류를 AI에 의해서 자동으로 검출하고 수정하는 기술을 개발

신경망 기반 캐릭터 애니메이션 시스템	디지털휴먼과 게임에 모두 사용할 수 있는 딥러닝 기반 캐릭터 애니메이션 생성 기술 개발. AI 지식이 많지 않은 아트 작업자들이 쉽게 다룰 수 있도록 Controllable하게 구현하고 이를 통해 기존 게임 등에서 선보이기 차별화된 Scene을 구현할 수 있는 기술을 개발

캐릭터 애니메이션 사운드 효과음 자동 배치 기술	캐릭터 애니메이션 시퀀스에 효과음을 AI로 자동 배치하는 기술 개발. 사운드 디자이너들의 단순 반복 작업을 줄이고, 사운드 에셋 생성이나 편집 등 창의적 활동에 더 많은 시간을 쏟을 수 있도록 도움을 줄 수 있음

제스처 애니메이션 자동 생성 기술	대화형 디지털 휴먼에 활용하기 위하여, 대화 내용과 상황에 적합한 제스처를 생성하고, 사람의 무의식적인 동작 생성을 생성하는 기술. 제스처를 통해 정보 전달력을 높이고, 일상 행동으로 사실성과 친밀감을 높일 수 있는 등 대화를 효율적으로 수행할 수 있음.

지능Agent 기술	AI 기반 PvP 게임 콘텐츠 실험 및 개발	MMORPG PvP 콘텐츠에서 동작하는 AI들을 개발하여 새로운 형태의 게임 콘텐츠를 실험하고 제작함

AI 기반 PvE 게임 콘텐츠 실험 및 개발	MMORPG PvE 콘텐츠에서 동작하는 AI들을 개발하여 새로운 형태의 게임 콘텐츠를 실험하고 제작함

생성AI 기반 게임 콘텐츠 실험 및 개발	다양한 생성AI 등을 활용하여 새로운 재미를 줄 수 있으며 쉽게 개발이 가능한 새로운 타입의 게임 콘텐츠를 실험하고 제작함

초거대 언어모델 개발
(NC GPT)	거대 모델 개발 기술	초거대 언어 모델을 생성하기 위한 효과적인 학습 방법, 병렬처리, Few-shot Learning, 강화학습 기반 학습 기술 등
디지털 휴먼의 대화 기술, 질의응답, Text 생성, 요약 등 대부분의 자연어처리 성능 향상을 위한 기반 기술로 활용

거대 모델 학습 데이터 구축 기술	ChatGPT와 같은 거대 모델을 학습하기 위한 데이터 구축 및 가공, 학습 기술
대규모 프롬프트(인스트럭션) 생성 및 학습 기술, 강화학습을 위한 휴먼 피드백 기술

거대 모델 서비스 기술	학습된 거대 모델을 활용하기 쉬운 형태로 경량화 하기 위한 기술
도메인 특화 기술, 경량화 서비스 기술, 고속처리, 저자원 환경 적용을 위한 기술

생성AI 서비스 개발	VARCO Studio 개발	AI를 쉽게 사용할 수 있는 모델과 창작 환경을 제공하는 통합 작업 스튜디오 및 플랫폼을 개발
AI를 활용하여 누구나 쉽게 창작할 수 있는 범용적인 작업 도구를 최종적인 목표로 함

VARCO Art 서비스 개발	이미지 생성AI를 활용하여 실무에서 바로 활용가능한 2D 이미지를 자동 생성하는 AI 도구 개발.
여러 편의 기능과 특정 산업 분야에 특화된 기능들을 탑재하여 기존 도구들보다 휠씬 실무에 효율적인 도구를 목표로 함

VARCO Text 서비스 개발	한국어 거대언어모델을 기반으로 업무에 필요한 구조화된 텍스트 및 일반 문서를 생성하는 AI 도구 개발.
기획 문서 등에 필요한 주요한 설정을 AI를 통해 손쉽게 창작하고 관리할 수 있는 도구를 최종적인 목표로 함

디지털 휴먼- 대화기술
(Chatbot)	페르소나 기반 AI 대화 기술	대화 컨텍스트에 적절한 페르소나 선택 기술, 페르소나 기반 대화 일관성 유지 기술, 페르소나 추출, 저장, 확장 프로세스 구축 기술 개발을 통해 다양한 가상 캐릭터 대화 엔진을 개발

지식 기반 AI 대화 기술	대화 컨텍스트에 적합한 지식 선택 기술 연구, 지식 기반 발화 생성 기술 연구를 통해 지능형 대화 엔진 개발

감성 챗봇 대화 기술	대화 주제 탐지 및 자연스러운 주제 전환 기술 연구, 주도적인 대화를 위한 먼저 말 걸기 기술 연구, 감정 상태에 따른 발화 강도 조절 기술 연구를 통해 자연스러운 AI 대화 엔진을 개발하고, 디지털 휴먼 등에 활용

지식 그래프 생성 및 관리 기술	대용량 지식그래프 온톨로지 스키마 설계, 지식 그래프 추론, 데이터 자동 증강 및 관리 기술을 통해 지식 기반 대화, 데이터 검색, 인과 관계 분석 등에 활용

음성 발음 디렉션 기술	대화 엔진에서 생성한 문장을 음성으로 합성하기 전에 외래어, 숫자, 고유 명사 등에 대해 다양한 발음 표현을 자동 생성하기 위한 기술

생성AI 플랫폼 개발	디지털휴먼, Text, 이미지 생성 플랫폼	유저들이 다양한 생성 AI 모델을 하나의 도구에서 쉽고 편하게 사용하기 위한 플랫폼 서비스 개발

기계번역 기술	딥러닝 기반 실시간 채팅 번역 기술	한국어, 영어, 일본어, 중국어 및 스페인어, 러시아어 등 15개국어에 대한 상호 AI 번역 기술로서, 대용량의 채팅 트래픽이 발생하는 MMORPG 채팅을 실시간으로 번역하는 기술. 다국어 게임 이용자 간의 언어 장벽 없이 채팅을 통해 협력하고 경쟁하여 게임 진행을 가능하게 함.

딥러닝 기반 게시판/문서 번역 기술	게시판이나 문서 등 긴 문서에 대해 문서 구조를 유지하면서 번역하게 하는 기술을 연구. 게임 유저간 게시판 공유 및 사내 글로벌 업무 지원

Multi-Lingual Neural Machine Translation 기술	각 언어쌍 별 번역 엔진이 아닌, 다국어 통합 번역 모델로서, 번역을 위한 GPU 자원 및 운영의 효율화를 위한 기술

AI번역 도메인 Adaptation 기술	게임 분야, 엔터테인먼트 분야 등 특수 도메인의 용어, 표현 등을 자동 인식하고 도메인 내에서 정해 놓은 용어로의 번역을 보장하는 기술. 구글 등 범용적 번역 엔진에서 하기 어려운 도메인 커스터마이징 기술

다국어 구어체, 은어 번역 기술	인터넷 신조어, 채팅용 은어 및 구어체, 약어 등을 자동 수집하고, 번역 시 이를 표준화된 상대방의 언어로 번역하여 온라인 게임 유저간 국내/국외 사용자 구분 없이 편하게 소통하기 위한 기술

자연어 이해기술	다국어 언어 처리 기술	한국어, 영어 뿐만 아니라 여러 다른 언어에 대한 이해기술을 연구/개발하여 다국어 게시판, 채팅, 뉴스 등의 분석 및 기계번역에 활용

개체 간 관계 분석 기술	비정형 텍스트에서 개체와 개체의 관계를 분석하고, 추출된 결과를 지식화 하는 기술. 금융 도메인 및 디지털 휴먼의 지식 증강에 활용

문장 분석 기술	문장을 기계가 이해할 수 있도록 개체명 인식, 구문분석, 감정 인식 기술, 스팸필터링, 시간 분석 등 문장 내에서 주요 요소를 파악하고 정규화하는 기술

AI 문서 분석 기술	문서를 기계가 이해할 수 있도록 문서의 구조(단락, 테이블, 계층구조 등)를 분석하여 표준화된 형태로 변환하고, 생략되어 있는 정보를 복원하는 기술

의미 이해 기술	발화의 의도, 주요 서술어와 대상을 분석하여 실제 행위, 실제 객체와 연결하는 그라운딩(Grounding) 기술

콘텐츠 자동 생성기술	AI문장 요약 기술	긴 정보를 가진 텍스트에서 주요 내용만을 가진 문장으로 축약하거나, 문맥 정보를 생략하여 최소한의 길이로 효과적인 정보 전달이 되도록 하는 기술

AI 문서 요약 기술	문서에서 핵심 내용을 기계가 파악하여 3~4 문장으로 짧게 요약문을 작성하는 기술

데이터 기반 문서 자동 생성 기술	기계에 저장된 다양한 정형 데이터(테이블 데이터)를 자연스러운 문장으로 AI가 레포팅 하는 기술, 연합뉴스 AI 날씨 기사, H3 야구 레포트 생성 등에서 활용됨

자동 문체 변환 기술	문어체에서 자연스러운 구어체로 변환하거나, 완성형 문장형에서 개조식 문장으로 변형하는 등 어플리케이션에 따라 동일한 내용의 문장 스타일을 변환하는 기술

게임 스토리/캐릭터/퀘스트 생성 기술	거대 언어 모델 기반으로 게임에 필요한 스토리, 캐릭터, 퀘스트를 쉽게 생성하기 위한 기술

대화형 검색 기술	주요 이벤트 탐지 및 트래킹 기술	실시간 발생하는 국내/외 뉴스에서 주요 이벤트를 탐지하고, 이벤트 간 연관 관계를 분석하여 시간에 따라 변화하는 흐름을 트래팅 하는 기술. AI 뉴스 브리핑에서 활용 (연합뉴스에서 활용되고 있음)

주요 뉴스 브리핑 기술	주요 이벤트에 해당하는 뉴스 중 어플리케이션에 적합한 뉴스를 선정하고 이를 요약하여 다양한 형태로 브리핑 하는 기술

큐레이션 기술	특정 주제, 키워드에 해당하는 뉴스를 개인 맞춤형으로 큐레이션하는 기술 (연합 뉴스 등에서 활용)

대화형 검색 기술	키워드 검색이 아닌 문장(질문, 요청 등)의 형태로 대화하듯이 검색하여 답변하는 기술. 디지털 휴먼 및 지능형 챗봇에서 활용됨

다국어 검색 기술	자국어가 아닌 뉴스나 문서를 자국어로 검색하는 기술.

언어 데이터 R	대용량 데이터 실시간 수집/관리 기술	국내외 다양한 문서를 실시간으로 Crawling 하여 병렬적으로 자연어 분석 및 색인 하는 기술. 검색과 대화에서 활용

언어 데이터 연구	언어학적 분류체계를 설계하고 이를 바탕으로 다양한 도메인과 기술에 적합한 고품질의 데이터를 생성하는 기술, AI가 생성한 언어의 품질을 평가하고 학습 데이터 및 AI 시스템에 피드백하는 기술

대화 데이터 연구	AI 대화 엔진의 학습을 위해 인공 대화 데이터를 구축하는 기술. 외부 지식, 대화 전략, 감성 등을 적절히 혼합하여 AI가 이상적인 대화를 학습할 수 있도록 데이터를 구축하는 기술

AI 윤리 기술	스팸 필터링 기술	한국어, 영어, 번체 등13개 언어에 대해 게임 채팅 시 끊임없이 발생하는 다양한 패턴의 광고를 식별하여 차단하는 기술. 리지니W, 아이온, 리니지2M, Blade 2, 퍼플 등에 적용됨.

개인정보 비식별화 기술	스팸 필터링 등 AI 엔진에 공개 채팅 등이 입력될 때 개인 정보가 포함되지 않도록 문장 내 개인 정보를 식별하고 가명화, 삭제 등의 처리를 하는 기술

국가간 비하 표현 방지 기술	AI 번역 엔진에서 소스 언어에서 타겟 언어로 번역할 때, 국가 간의 분쟁 요소를 식별하고 번역 시 중립적인 표현이 되도록 제어하는 기술

비윤리/혐오 발화 인식 기술	디지털 휴먼 등 대화 엔진을 개발할 때, 혹은 채팅 번역 등에서 비윤리적인 표현이나 혐오 표현을 인식하고 적절히 대응하는 기술

윤리적 대화 제어 기술	AI와 사람이 대화할 때 AI가 비윤리적 표현(욕설, 혐오, 편견, 비하 등)의 발화를 학습하지 못하게 하거나 생성할 수 없도록 제어하는 기술