아티스트컴퍼니 반기보고서 (2021.06)
4. 연구개발활동(상세)

☞ 본문 위치로 이동1. 연구개발 담당 조직

본부	팀	역할

기술지원본부	기술총괄, 신규 서비스 기획(CPO), ID Pairing 개선

기술연구소	알고리즘 리서치 및 기획

TEX센터	TG팀	광고센터 개발/운영, 광고 전달/추천 엔진 개발 운영

BDP팀	빅데이터 플랫폼 기획/개발/운영

DPA팀	상품추천 시스템 기획 및 개발

SE팀	서버/네트워크 관리, DevOps

전력기획본부	PM팀	상품/서비스 기획, 크리에이티브(광고소재) 개선, 품질보증

2. 연구개발비용

(단위: 천원)

구 분	2018연도	2019년도	2020년도	2021년도2분기

(제 9기)	(제10기)	(제11기)	(제12기)

자산처리	위탁용역비	101,761	-	-	-

기타 경비	14,977	-	-	-

소 계	116,737	-	-	-

비용처리	연구개발비용 - 인건비	273,500	561,121	800,958	529,284

판관비	-	-	-	-

소계	273,500	561,121	800,958	529,284

합 계	390,237	561,121	800,958	529,284

(매출액 대비 비율)	1.20%	1.60%	2.76%	3.62%

3. 연구개발실적 와이더플래닛은 다음과 같은 핵심 기술들을 개발하고 고도화 함으로써 글로벌 Top Player 수준의 기술경쟁력을 확보하고 서비스 적용과 운영으로 지속적인 품질 관리와 기술 개선을 하고 있습니다. 1) 자연어 처리 및 사용자 문맥 인식 기술

구분	내용

자연어처리 및 사용자 문맥인식 기술
개요	당사는 독자적으로 개발한 자연어처리 기술과 문서분류, 주제어 추출과 어휘체계 구축기술을 이용하여 사용자의 문맥을 인식하고, 이를 기반으로 사용자의 관심사, 인구통계정보, 유사 사용자 그래프 구축, 잠재 핵심 타겟팅 오디언스 추정 등 사용자 프로파일링 기반 기술을 개발하여 HOUSEHOLD IP 기반 크로스 디바이스 타겟팅, 성과예측 알고리즘, 상품추천 알고리즘 등의 핵심기술 개발에 활용하고 있습니다.
상세하게 각 페이지의 주제 분류와 핵심 키워드 추출의 주요 기술은
○ 웹 크롤러를 이용하여 대규모 사이트의 웹 페이지 콘텐츠를 실시간으로 수집하고,
○ 자연어처리 기술을 이용하여 각 웹 페이지의 내용과 URL의 형태소와 키워드를 분석하여 SVM(Support Vector Machine) 알고리즘을 이용하여 주제 카테고리별 문서 분류 모델을 학습하고, 문서 분류 모델을 이용하여 중심 주제 카테고리를 인식하며,
○ Word2Vec과 Doc2Vec 딥 러닝 기술을 이용하여 주요 키워드들의 문맥적 의미를 학습하여 해당 주제 키워드와 유사 키워드들을 추출하는 것으로 구성됩니다.
해당 기술은 실시간으로 사용자가 출현한 지면을 40여개의 토픽으로 분류하여, 사용자의 문맥에 따라 관심 키워드와 주제를 매칭하여 광고를 게재하는 문맥 타겟팅 서비스를 제공하고 있습니다.
○ 토픽 분류 대상 주요 도메인 수: 450개
○ 실시간 크롤링 토픽 분류 지면수: 평균 29만여개
○ 전체 크롤링 지면수: 4억 2천여만 개

관련제품 출시현황	2014. 9 Contextual Targeting v1.0 상용화
2015. 9 키워드 기반 User Targeting v2.0 상용화
2017. 7 주제 분류 기반 Contextual Targeting v2.0 상용화
2019. 8 사용자 관심사 키워드 분석 기반 User Targeting v3.1 상용화

2) 사용자 프로파일링 기술

사용자 프로파일링 기술	당사는 독자적으로 개발한 자연어처리 기술과 문서분류, 주제어 추출과 어휘체계 구축기술을 이용하여 사용자의 문맥을 인식하고, 이를 기반으로 사용자의 관심사, 인구통계정보, 유사 사용자 그래프 구축, 잠재 핵심 타겟팅 오디언스 추정 등 사용자 프로파일링 기반 기술을 개발하고 이를 HOUSEHOLD IP 인식 기반 크로스 디바이스 타겟팅 기술을 개발하여 서비스에 적용하고 있습니다.
(1) 인구통계/관심사 예측
당사는 3rd Party를 통해 확보한 DMP 데이터와 광고 요청/전달 로그에서 확보한 사용자들의 인터넷 사이트 방문 또는 모바일 앱 사용 기록, 광고 노출 이후의 광고에 대한 사용자들의 피드백 데이터, 광고주 사이트에서의 사용자들의 행동이력 로그와 검색어 등 온-오프라인 행태 데이터를 통합하여 인구통계(연령, 소득수준, 성별 등) 정보와 관심사를 예측하는 인공지능/머신러닝 기반 인구통계 및 관심분야 추론 엔진을 개발, 확보하였습니다.
○ 4300만의 고유 사용자에 대해 최근 3주 동안 활동성이 있었던 1억 8천만개 이상 User ID의 행동이력 이벤트(40억개 이상, 60TB이상)를 수집, 분석하여 250여개의 관심사에 대한 확률을 예측합니다.
(2) 유사 사용자 그래프 구축과 Lookalike 모델링
당사는 자체 개발한 MINHASH-LSH기법을 이용하여 초고속으로1억 8천만 이상의 User ID로부터 유사 사용자 그래프를 주기적으로 구축하고, 자체 개발한 고유한 통계기반 머신 러닝 알고리즘을 적용하여 캠페인 KPI별(Install, revisit, purchase) 핵심 잠재 고객을 예측하고 타겟팅 그룹을 구성하여 신규사용자 유입 캠페인 서비스를 제공하고 있습니다.
(3) Lead Targeting Audience Tagging
고객 사이트 미방문자 중 잠재적 충성 고객이 될 가능성이 높은 사용자군, 또는 핵심고객과 유사 특성을 지닌 사용자군을 자동 인식하고 타겟팅 함으로써 광고주가 새로운 충성 고객을 효율적으로 확보 가능케 하고자 고객 사이트의 충성 고객과 유사 특성을 보이는 사용자를 예측하여 태깅하는 당사만의 독창적인 전략 기술을 개발하여 이를 신규 사용자 유입과 앱 인스톨 캠페인 등에 적용하고 있습니다
(4) HOUSEHOLD IP 인식과 크로스 디바이스 타겟팅
다양한 디바이스와 채널의 온라인 매체 지면에 출현한 사용자들의 행동 이력을 총체적으로 통합 수집하고 분석하여 동일 사용자를 식별하고, 통합 환경과 디바이스/채널에 따른 사용자 이용 행태에 따라 사용자 문맥을 반영한 크로스 디바이스 타겟팅(Cross Device Targeting)을 최적화하고 있습니다.
○ 웹과 APP, 광고주 서비스 이용환경에 따른 사용자 코드 분류 체계와 아이디 페어링 구조를 갖추고 관리 운영하며,
○ 머신 러닝 기법을 적용하여 IP 위치 정보 기반의 HOUSE-HOLD IP를 식별하고, 가구별로 디바이스를 그룹화함은 물론
○ 암호화된 개인정보 非식별 서비스 사용자 아이디와 페어링 된 웹/앱 사용자 아이디들과 해당 사용자 이용 행태적 특성을 종합하여 머신러닝 기반으로 크로스 디바이스 間 동일 사용자를 자동으로 식별하고 이를 크로스 디바이스 타겟팅에 적용합니다.

관련제품 출시현황	2013. UT(User Targeting) v1.0 서비스 런칭
2014. UT(User Targeting) v2.0 서비스 런칭
2015. 크로스 디바이스 사용자 타겟팅 서비스 런칭
2016. 12 UT3.0 서비스 런칭
2017. 12 LT(Lead Targeting) 서비스 런칭
2019. 01 DMP Lookalike 서비스 런칭
2019. 08 사용자 관심사 키워드 분석과 행동이력 기반 UT3.1 서비스 런칭

3) 성과 예측 기술

성과 예측 모델	사용자 맞춤형 타겟팅, 실시간 프로그래매틱 바잉의 핵심 기술은 사용자가 이용하는 매체의 지면에 어떤 광고를 노출하면 클릭과 전환 등 목적하는 광고 성과를 이룰지를 자동 예측하고 평가하여 노출 비용 대비 광고 효율이 최적이 되도록 노출을 제어하고 성과를 관리하는 것입니다.
당사는 사용자의 컨텍스트에서 광고를 노출하면 사용자가 광고를 클릭할 확률을 추정하는 클릭예측 모델과 클릭 후 전환(구매, 앱 설치, 상담 연결, 회원가입 등)으로 이어질지에 대한 전환예측 모델, 그리고 주어진 광고 예산으로 전환을 최대로 만들어 광고를 통한 광고주 매출 또는 사용자 유입 목표를 달성하기 위해 전환최적화 프레임워크를 핵심 기술로 보유하고 있습니다. 특히 전환최적화 프레임워크는 전환예측 모델을 연동하여 사용자별 전환 가능성을 정확히 예측하고, 책정 CPC와 광고 클릭 유발 효율(CTR) 등에 따른 노출 효율(비딩 승률: Bidding 대비 Winning Ratio)을 고려하여 제한된 매체 비용률 범위에서 목표 비딩 승률에 근접할 수 있도록 매체별로 동적으로 CPC를 책정하고 제어함으로써 광고주의 KPI 목표를 최대화하고 있습니다.
(1) 클릭 예측 모델
당사의 클릭 예측 모델은 수십년의 개발 노하우와 방대한 데이터를 바탕으로 제작된 빠른 대용량 학습용 분산 병렬 최적화 기계학습 알고리즘으로 안정적이고 최적화된 성능을 내는 피쳐 엔지니어링을 거쳐 개발하였습니다. 그 결과 클릭예측 모델은 클릭이 발생할 노출과 발생하지 않을 노출을 보다 정확하게 구분하며, 클릭이 발생할 확률을 보다 정확하게 추정합니다.
○ 1TB 학습 데이터
○ 10억건 이상 학습자질로부터 9백만 모델 자질 학습
○ 학습시간: 1시간 미만
○ 3시간 단위 클릭 예측 모델 재학습 갱신
○ AuROC 0.9 이상
(2) 전환 예측 모델
당사의 전환 예측 모델은 당사 전환예측 모델은 사용자의 전환 예측 정확도를 높이기 위해 2단계 모델로 구성하였으며, 2단계 전환 확률 예측 모델로 구성함으로써 광고목적(구매 전환 수, 가입 전환수, 휴면사용자 부활 등)에 따라 각 단계별 모델을 학습하고 결합구조를 다양화하여 목적別 전환성능을 효과적으로 향상시키며 관리할 수 있습니다.
즉, 광고 목적(구매 전환 수, 가입 전환 수, 휴면 사용자 부활 등)에 따라 광고주 사이트에서의 사용자 행동 특성을 모델링하고, 그 결과를 실제 매체 지면에 출현한 사용자의 광고 반응 모델 내에 결합하여 전환 가능성이 높은 사용자 중 광고에 대한 클릭 반응을 하나의 모델로 통합하고 있습니다. 이는 각 단일 모델을 학습하는 것 대비 우수한 성능을 보장하고, 또한 각 모델 단위에서 목적에 맞는 성능 튜닝을 독립적으로 진행할 수 있는 특장점이 있습니다. (광고주 사이트 내 전환 예측 모델만 적용하는 것 대비 2단계 통합 전환 모델을 사용함으로써 Average Precision* 31.4%, AuROC* 13.27% 개선 효과를 얻었습니다.)
당사의 전환 예측 모델은 예측 대상 사용자 전체에 대해서 전환 가능성을 추정하는 일간 프로세스 (1일 1회 수행) 외에, 당일 방문자들에 대해서도 전환 확률을 부분적으로 업데이트하는 프로세스 (2시간 주기로 일간 8회 수행)를 갖추어 실시간으로 광고주 사이트 내 사용자들의 가장 최근 활동 이력을 반영하여 전환 예측력을 높이고 있습니다. 뿐만 아니라 디바이스(Mobile App/Mobile Web/PC)別로 사용자별 전환 확률을 별도로 예측할 수 있어 디바이스별 특성을 고려한 광고 송출이 가능합니다.
○ 90일간의 사용자 행태 데이터를 이용하여 예측 정확도 향상
○ 일간 30GB 학습 데이터(2,000,000 이상 모델 자질 사용)
○ 2시간 단위 100,000 이상의 추가 모델 속성
○ 학습 시간: 20분 내외
○ AuROC 0.9 이상
(3) 배드 클릭(Bad Click) 예측 기술
광고 노출 후 사용자의 클릭 중 실제 광고주 사이트에 지정된 시간내에 도달하지 못할 것 같은 클릭을 예측하여 노출을 제약함으로써 광고 효율을 높이고자 하는 기술로 광고주의 광고비를 효과적으로 사용하고 그 투명성을 보장합니다
○ 1TB 학습 데이터 사용
○ AuROC 0.87 이상

관련제품 출시현황	Targeting Gates의 핵심 기반 기술로 모든 서비스에 적용함.
2012. RT(Re-Targeting) v1.0 출시
2016. 7 전환확률 기반 타겟팅 옵션 및 전환확률 구간 단위 차등 CPC 서비스 제공
2017. 9 Dynamic CPC 타겟팅 서비스 옵션 제공
2017. 9 WP-JAPAN에서 CPA(Cost Per Action) 서비스 제공
2018. 11 Win Ratio Controller 기능 완성과 함께 전환 최적화 프레임워크 완성, 서비스 제공

4) 최적화 기술

최적화기술	당사는 플랫폼에서 운영되는 캠페인들의 성과와 예산을 최적화하고, 효율적으로 매체를 플래닝하며 활용하기 위해
광고를 집행 캠페인의 목표 KPI(클릭 목표, 전환 목표, ROAS목표등)를 만족시키며 지능적으로 노출을 제어하는 캠페인 KPI 최적화(클릭 최적화, 전환최적화, 클릭-전환최적화) 노출 제어 기술,
매체의 유형(CPM, CPC, RS 等)에 따라 매체의 사용률과 비용율이 제시되었을 때 이를 준수하며 매체 노출을 최적화하는 매체 노출 최적화 기술,
AdExchange를 통한 RTB 상황에서 캠페인의 목표 KPI와 광고비 대비 매체 비용률을 고려하여 비딩을 최적화하는 예측적 비딩 최적화 기술을
유기적으로 결합하여 최적화하는 인공지능/머신러닝 기반의 지능적 적응 제어 알고리즘을 이용한 플래닝 기술을 보유하고 있으며 이를 기반으로 사업을 추진하고 있습니다.
(1) 캠페인 최적화 기술
캠페인 최적화 기술은 예산 분배 플래닝과 노출 제어 최적화 기술로 해당 시간까지 소모한 예산을 기반으로, 주어진 사용자와 캠페인 컨텍스트에서 고성능, 고효율의 사용자들 만을 선택적으로 노출할 수 있도록 지능적, 적응적으로 파라미터를 제어하며 노출을 제어하는 기술로 인공지능/머신러닝 기반의 적응적(Adaptive) 학습型 광고비 소진 플래닝 기법으로 다양한 광고주의 예산 대비 성과 목표 요구와 DSP의 수익 요구를 동시에 효과적으로 만족시키기 위한 당사만의 고유한 플랫폼적 장치입니다.
캠페인 최적화는 캠페인 단위에서 특정 시점에 캠페인에 적합한 광고 요청이 들어왔을 때, 해당 시점의 캠페인 예산 노출제어 계수(DELTA)를 기준으로 예측 가능한 수치를 이용하여 노출 비딩에의 참여 여부를 결정하는 캠페인 레벨에서의 노출 제어 알고리즘을 사용함으로써 광고주의 캠페인 KPI를 만족시키면서 예산 소모 속도에 따라 광고비를 효과적으로 사용합니다.
특히 전환 성과가 중요한 경우, 광고주 마켓팅 KPI, 가용 광고 예산을 고려하여 수익율을 보장하며 최대의 성과를 창출하기 위해 요청 단위 성과 예측(클릭, 전환, ROAS등), 매체 단위에서의 비딩 대비 승률 이력을 기반으로 승률 목표를 달성하기 위해 동적으로 비딩 가격을 산정하고 전략적으로 적응 학습을 하며 광고를 송출함으로써 광고 성과를 최대화합니다.
(2) 노출 제어 최적화 기술
매체와 DSP間 이해관계를 충족시키며 최대의 성과를 창출하기 위해 특별히 고안된 알고리즘으로, 매체에서 요구하는 최소의 사용율을 만족시킴은 물론 당사의 수익율을 맞추기 위해 매체 비용률을 일정 수준으로 유지하면서 노출 당 매출을 최대로 하고자 하는 방향으로 지능적 적응 학습해 가는 당사만의 차별적 알고리즘입니다.
당사는 플랫폼 운영자가FILL-RATE (매체 사용률)이나 COST-RATIO (매출 대비 매체 비용률) 목표치를 제시했을 때 매체별 트래픽 양 대비 성과 이력을 기반으로 기대 성과 대비 매출/수익을 고려하여 최소한의 노출 조건(min-eCPM)을 동적으로 산출하고 적용하여 노출을 제어하는 당사만의 고유하고 독창적인 알고리즘을 개발하여 적용함으로써 매출 대비 수익을 최대화하고 있습니다.
(3) RTB 비딩 최적화 기술
RTB(Real-Time Bidding) Ad Exchange 매체와 DSP간 이해 관계를 충족시키며 최대의 성과를 창출하기 위해 특별히 고안된 알고리즘으로 노출 당 매출을 최대로 하고자 하는 방향으로 지능적으로 적응 학습해 가는 당사만의 차별적 알고리즘입니다.
RTB Exchange를 통한 광고 요청에 대해서는 각 개별 노출이 시장에서 얼마의 가치가 있는지를 평가하고 그 평가 가치에 따라 비딩 전략을 세워야 하는데, 노출에 대한 광고주 별 가치는 광고 지면에 출현한 사용자가 광고의 목표를 얼마나 만족시킬 것인가에 대한 예측에 기반하고, 예측된 가치에 따라 예상 비딩 가격을 산출하고 예상된 비딩가로 비딩에 참여 여부를 결정함으로써 적정 비용의 노출로 매출을 최대화합니다.

관련제품 출시현황	Targeting Gates 핵심기반 기술로 전체 캠페인에 적용

5) 매체 효율 제어

매체 효율 제어	타겟팅게이츠는 직접 제휴 매체 뿐만 아니라 여러 애드네트워크, 또는 ADX로부터 매체를 제공받고 광고를 연동합니다. 이러한 모든 매체를 사람이 일일이 관리하기에 한계가 있기에 당사는 머신 러닝 기반의 부정 매체와 부정 사용자 탐지, 매체의 성과와 효율을 고려한 매체 품질 지수 측정 기능 등을 갖춘 통합적 매체 품질 관리 시스템을 독자적으로 개발, 이를 활용하여 매체를 효과적으로 관리하고 있습니다.
(1) 딥 러닝 기반의 부정 매체 및 부정 사용자 탐지 기술
부정 매체와 부정 사용자 탐지 모델은 기계와 사람이 하는 행동에는 차이가 있다는 가정에서 출발하여, 일부 저급한 매체들에 나타나서 부정 클릭을 발생시키는 사용자의 행동 특성을 딥 러닝 기반으로 학습하고, 학습 모델을 이용해 전체 사용자들을 대상으로 사용자별 부정 클릭/전환 확률을 예측하고, 일정 임계 값 이상의 확률을 갖는 사용자를 어뷰징 사용자로 판정합니다.
또한 어뷰징 판정 사용자들을 다시 매체別 통계 분석하여 어뷰징 사용자 비중이 일정 비율 이상으로 높은 매체들을 탐지하여 매일 오전 9시에 대시 보드로 제공합니다. 이를 통해 매체 관리자가 효율적으로 매체를 관리할 수 있도록 합니다.
더 나아가 어뷰징 사용자와 어뷰징 매체 예측 결과의 주기적 모니터링과 이상 감지 후 Alerting 시스템 운영으로, 매체 및 광고 운영 담당자가 신속히 대응하여 부정 사용자와 부정 매체를 차단 관리함으로써 광고주와 이해 관계자들의 손익을 보호합니다.
(2) 매체 품질 지수 자동 측정 및 관리
적합 사용자와 트래픽 규모, 매체에서의 성과 등을 속성 정보로 하여 매체품질 지수를 5등급으로 분류하여 머신 러닝 기반의 알고리즘으로 자동으로 측정하고저품질매체를 지속적으로 관리하는 시스템 개발하여 매체 품질의 효율을 제어하고 있습니다.(머신 러닝 기반의 매체 품질 지수 성능: average precision 93.8%)
5점: 매체 볼륨 및 지표가 우수한 매체
4점: 매체 볼륨은 다소 적지만, 지표가 좋은 매체
3점: 매체 볼륨은 있지만, 성과가 미미한 매체
2점: (모니터링 필요 매체): 배드 클릭 및 바운스 클릭이 높은 매체이나 ROAS와 CVR성과가 발생하여 모니터링이 필요한 매체 / 플로팅, 캐치백 영역 최대 점수
1점: (승인 불가 매체): 배드클릭/ 바운스클릭 비율이 높은 매체 / ROAS,CTR 수치가 낮은 매체 / 매체 퀄리티가 낮아 승인 불가 매체
*플로팅/캐치백 영역 : ROAS, CVR 성과가 높은 매체라도 광고 혼잡도와 허수클릭이 유발하는 영역이므로 최대 점수 2점까지 제한

관련제품 출시현황	2018. 10 Abuse Domain-User Detection Model 상용화

6) DPA(Dynamic Product Ads)

DPA	사용자의 광고에 대한 반응을 높이고 광고 성과를 극대화하는 효과적인 방법은 사용자의 관심과 의도에 맞는 적합한 추천 상품을 선별하고, 해당 추천 상품에 한 정보를 사용자가 처한 context에 최적화된 크리에이티브로 노출하는 것입니다.
(1) 사용자 행동 특성과 광고주 추천 효율을 고려한 실시간 상품 추천 기술
당사는 광고주별 상품과 사용자 구매 특성을 고려하여 다양한 추천 알고리즘을 적용한 추천 결과를 생성하고 광고주별 추천 알고리즘의 성과를 랭킹 기반으로 학습(Learning to Rank)하여 광고주별 추천 알고리즘별 가중치를 학습하고 최적의 상품을 실시간으로 추천함으로써 사용자의 상품 클릭과 구매 가능성을 제고합니다. 특히 광고주별 특성을 고려한 통합 랭킹 기술을 통해 CTR을 기존 대비 10%이상 향상시켰습니다.
○ 추천 알고리즘 유형: 최근 본 상품, 인기상품, 급상승상품, Item-based CF, 개인성향 기반 추천 등 총 16개 컴포넌트(경쟁사들은 2개)
○ 라이브 상품 규모: 1억 4천만여개
○ 광고주 수: 5000 여개
○ 일 4회 Feed Crawling 4시간 단위 증분
○ 추천 대상 사용자 규모: 43,000,000
(2) 다이나믹 크리에이티브 최적화 기술
사용자 맞춤 추천 결과로 최대의 광고 성과를 만들어 내려면 사용자 반응성이 좋은 크리에이티브 디자인에 간결하고 핵심적인 상품정보를 실어서 노출하는 것이 중요합니다.
당사는 사용자 맞춤형 상품 추천과 더불어 글로벌 기업도 보유하고 있지 않는 고유하고 독창적인 크리에이티브 메시지 자동 요약 생성과 사용자 반응 기반 적응적 최적화 기술로 사용자에게 최적의 광고 메시지를 전달함으로써 광고 성과를 최적화하고 있습니다.
구체적으로 다이나믹 크리에이티브 최적화 기술
○ 사용 가능한 모든 크리에이티브 템플릿을 대상으로 톰슨 샘플링 기법을 이용해 클릭할 확률 분포를 구해 가장 좋은 클릭 성과가 예측되는 크리에이티브 템플릿을 선택하고,
○ 선택된 크리에이티브 템플릿을 채울 최적의 추천 상품을 선택하고,
○ 상품 타이틀 자동 요약 기술을 이용하여 크리에이티브 템플릿에 들어갈 상품 정보 요약하여 노출 크리에이티브를 최적화합니다.

관련제품 출시현황	2016. 12 실시간 급상승 상품 추천 서비스 VOGUE 출시
2017. 2 2단계 통합 추천 시스템 v2.0 서비스 제공
2018. 8 추천 API 서비스 제공
2019. 4 크리에이티브 메시지 자동 요약 생성 서비스 출시

(다) 개량 기술와이더플래닛은 서비스 개발과 운영 관련하여 아래와 같은 개량 기술들을 통해서 개발 생산성과 운영 생산성을 높였습니다.

구분	내용

광고 병렬 처리 기술	- 여러 개의 광고 요청을 동시에 처리하기 위해서 다중 스레드를 이용하여 단일 스레드 대비 5배이상 광고 처리 속도를 높였습니다.
- 와이더플래닛은 국내 최대 규모의 DSP이기에 정해진 시간내에 매우 많은 수의 광고 요청을 처리하는 것이 필요하기에 동시에 다수개의 광고요청을 처리하는 병렬 처리 기술이 필요하다.
- 병렬처리를 하는 방법은 여러가지가 존재하는데, 가장 간단한 방법은 각 프로세스가 하나의 광고요청을 처리하는 것이다. 이런 경우, 프로세스의 개수만큼 동시의 광고요청을 처리할 수 있게 된다. 여러 개의 프로세스를 이용하는 병렬처리 방식은 서로 작업 내용이 다른 작업들을 처리하기 위해 현대 운영체제에서 지원하는 방식이기에 같은 작업 내용을 병렬로 처리하기에는 오버헤드가 있다. 이러한 오버헤드를 줄여서 고안된 것이 하나의 프로세스안에 다수의 스레드로 작업을 하는 것이다. 이는 마치 병렬 프로세스가 햄버거 가게에서 여러 종업원이 햄버거를 하나씩 만드는 것이라면, 병렬 스레드 방식은 각 종업원이 같은 종류의 햄버거를 여러 개 동시에 만드는 방식으로 이해할 수 있다.
이렇게 같은 작업들을 묶어서 복수의 스레드로 병렬처리를 하면 더 많은 작업을 할 수 있게 되는 것이다.

데이터 조인(JOIN)없이 집계분석	- 하나의 광고는 짧게는 광고 요청, 노출, 클릭, 전환으로 구분되는 일련의4가지 이벤트로 구성되거나, 길게는 광고 요청/비딩, 낙찰, 배너요청, 노출, 클릭, 전환으로 구분되는 일련의 6가지 이벤트로 구성이 된다.
- 각종 데이터 분석을 위해서는 각 광고 요청으로 시작된 연관된 이벤트를 연결하여 하나의 시퀀스로 만들어 분석을 하는 것이 필요한데, 이러한 경우, JOIN이라고하는 비용이 높은 데이터 처리 과정을 거쳐야한다.
- 즉 개별적으로 발생하는 광고요청, 노출, 클릭 등의 이벤트를 하나의 광고요청을 기준으로 연결하여야 개별 광고에 대한 각종 분석을 할 수 있기 때문이다.
- 당사는 이러한 고비용의 JOIN을 없애기 위해서 광고 요청시에 유일 키 값을 발급하고 이를 이후 이벤트에서 로깅하는 방식을 개발하여, JOIN 작업 대신에 광고 요청 시 발급된 유일키를 기준으로 집계(aggregate)하는 것으로 대처하여 더 많은 양의 시퀀스를 더 짧은 시간에 처리하게 되었다.
- 또한 통계/집계 정보에 사용되는 차원 데이터를 광고 요청 시에 임시저장 장소에 저장을 하였다가 이후 이벤트 발생 시 해당 시초 광고 요청에서의 차원 정보를 로그에 추가로 기록하여 JOIN 없이 빠르게 실시간으로 통계와 집계분석을 할 수 있게 하였습니다.
- 이를 통해 JOIN 대비 70배 이상 빠르게 집계하였습니다.

대량의 사용자 데이터를 저장하는 빠른 참조의 데이터베이스	- 자사는 수십억 개의 사용자 ID별로 데이터를 수집하고 이를 활용하여 광고를 집행하는데, 광고 요청시에 해당 사용자의 정보를 빠르게 추출하여야 한다.
- 이를 위해 실시간으로 참조해야 하는 정보와 그렇지 않은 정보를 나누어서 실시간으로 참조해야 하는 정보는 참조가 빠른 SSD 저장장치에 저장하도록 데이터베이스를 구성하였습니다. SSD는 보조 기억 장치로 많이 사용되는 HDD보다 저장 용량 당 비용이 약 10~15배 정도 높기에 많이 사용하는 경우, 서비스의 운영 비용이 증가한다. 그렇기에 빠른 참조가 필요한 부분과 그렇지 않은 부분을 나누어 저장하는 것이 속도와 비용의 가성비를 맞출 수 있는 것이다.
- 평균 10ms가 걸리던 데이터 참조 시간을 평균 0.2ms이하로 빠르게 하였습니다.

대용량 광고 처리 기술	- 대용량의 광고 트래픽을 처리하기 위해서 가장 컴퓨팅 시간이 많이 걸리는 부분을 C++프로그래밍 언어로 구현하고 intel CPU의 AVX 명령어 셋을 활용하여 속도를 50% 이상 제고하였다.
- Intel사의 산업용 CPU에는 SIMD(Single Instruction, Multiple Data)라는 기술을 활용한 병렬처리 기능들이 탑재되어 있는데, 이를 활용하면 특정 계산의 경우, 한번에 4개의 데이터를 동시에 계산할 수 있어, 속도를 4배까지 빠르게 할 수 있다. 이 기능을 사용하기 위해서는 AVX라 명칭 된 특별한 명령어셋을 사용하여야 한다. 그러나 이를 활용하기 위해서는 어플리케이션이 같은 연산을 반복하는 구조여야만하고, 특별하게 소프트웨어를 제작해야 하기에 많은 기업들이 이를 잘 활용하지 못하고 있다. 자사는 일련의 핵심 캠페인 연산을 정규화하여 AVX를 사용할 수 있도록 개발하여서 연산 속도를 개선하였다.

데이터 수집과 집계 시스템 분리	- 빅데이터를 포괄적으로 분석하기 위해서는 다양한 차원으로 데이터를 집계하는 것이 필요한데, 이를 데이터를 수집하는 시스템과 집계하는 시스템을 분리하지 않으면 동시에 참조해야 하는 데이터가 늘어나기에 고가의 서버가 필요하고 이에 따라 비용이 증가할 수 밖에 없다.
- 그래서, 자사는 데이터베이스 시스템을 2단계로 분리하여, 1단계에는 데이터 수집만을 하는 데이터베이스, 2단계는 1시간 단위의 집계를 생성하고 저장하여 비용을 2배 이상 절약하였다.

버킷 테스트 시스템	- 새로운 기술을 개발을 하면, 이를 론칭하기 전에 테스트의 과정이 필요하다.
- 간단한 테스트는 내부 QA팀이 진행할 수도 있겠으나, 다양한 사용자에게 보여지는 광고의 성과를 테스트하기에는 적합하지 않다.
- 이럴 경우, 소수의 사용자 트래픽에 신규 기술을 적용한 서비스를 사용하게 하는 버킷 테스트 시스템이 유용하다.
- 자사는 사용자를 랜덤하게 골라서 테스트 서비스를 제공하거나 광고요청을 랜덤하게 골라서 테스트 서비스를 제공할 수 있는 2가지 방식의 버킷 테스트를 지원하고 있으며, 버킷 테스트 결과를 실시간으로 분석할 수 있는 시스템을 갖추고 있습니다.
- 버킷 테스트 시스템이 없다면 매번 전체 시스템에 테스트 서비스를 하여야 하기에 시간적으로나 경제적으로 큰 비용일 수밖에 없다.
- 그러기에 버킷 테스트 시스템은 여러가지 경제적인 효과가 있다.

민감 광고 필터링	- 몇몇 매체의 경우, 여러 종류의 광고 컨텐츠를 민감 광고로 분류하여 노출을 불허하고 있다. (예를 들어, 속옷, 수영복 광고 또는 대출, 건강보조식품 광고 등.. )
- 보통의 경우, 해당 광고주의 업종을 관리자로 부터 입력을 받아서 필터링을 하게 되는데, 쇼핑몰 광고의 경우, 쇼핑몰 내부의 상품이 무엇이냐에 따라 필터링을 해야 하는 문제가 있다.
- 자사는 민감한 상품들을 상품 카테고리와 상품명을 분석하여 필터링하는 기술을 개발하여 해당 상품들을 광고에서 제외하고 있다.

(라) 운영기술1) 데이터 적채/처리 시스템

와이더플래닛은 서비스에서 발생하는 여러 데이터를 아래와 같은 운영 기술들을 통해서 적재/처리 생산성을 높였습니다.

구분	내용

실시간 스트리밍 데이터 적재	- 웹API 서버에 수집되는 웹 로그(사용자 행태 정보 및 광고 처리 정보) 등을 실시간으로 Hadoop 시스템(3.5PByte)에 적재를 하고 있습니다.
- 대량의 데이터를 적재함에 있어서 중요한 처리(ETL)를 동시에 하기에 추가로 ETL 작업을 할 필요없이 바로 분석에 사용할 수 있도록 하고 있습니다.
- 적재 지연 시간을 3배이상 빠르게 하였습니다.

데이터 압축 기법	- 빅데이터 시스템에서 비용을 가장 많이 차지하는 것은 저장장치입니다.
- 그래서 데이터 압축을 통해서 저장 공간을 적게 사용하는 것이 경제적인데, 데이터를 압축하게 되면, 데이터 분석 시에 매번 압축을 푸는 작업을 해야 해서 성능이 느려지게 됩니다..
- 그렇기에 압축률과 처리속도의 trade-off를 잘 고려하여 압축기법을 선택해야 하는데, 와이더플래닛은 모든 데이터 타입에 여러 압축기법을 실험하여 속도와 압축율의 황금비율을 찾아서 적용하였습니다.
- 저장 데이터를 약 ¼ 크기로 압축하였습니다.

데이터 유실 방지 기법	- 빅데이터 시스템에서 데이터 유실은 어떻게 보면 큰 문제가 아니겠지만, 중요한 데이터가 1개라도 유실되면 이는 단기적으로 여러 곳에 영향을 미칠 수 밖에 없는 것이 광고 플랫폼의 특성입니다.
- 그러므로 데이터 유실을 최소화하여야 하는데, 이를 위해 자사는 데이터 수집/적재에 있어서 단계를 나누고 단계별로 데이터를 저장하여 만약의 경우, 데이터가 전송도중에 유실되면 재전송으로 복구될 수 있도록 하여서 데이터 누락 없는 시스템을 구축하였습니다.

캐슁을 통한 속도 향상	- Hadoop의 각 데이터 노드에 캐쉬를 두어, 자주 사용하는 최신의 데이터를 빠르게 읽고 분석할 수 있도록 하였습니다.
- 특히 데이터분석가들이 같은 데이터에 여러 개의 분석을 동시에 실행하는 경우가 많은데, 이러한 경우 속도가 3배 이상 빨라집니다.

2) 다수개의 데이터 분석 시스템

와이더플래닛은 오픈소스 또는 상업용 소프트웨어툴 들을 사용하여 아래와 같은 데이터들을 분석하여 다양한 비지니스 운영에 필요한 서비스와 가치를 만들어 내고 있습니다.

- 분석 대상 데이터 : 자사의 원시 데이터 소스, 광고 서비스 운영 데이터베이스, 사용자 또는 제휴사가 접속한 API 웹로그

구분	내용

실시간 데이터 분석 시스템
(서비스 운영 데이터)	- 광고 노출/클릭/전환 등에서 발생하는 매출/비용과 관련된 web log data를 실시간 모니터링을 할 수 있도록, 약 2억원을 투자하여 실시간 로그 (매일 50억건) 인덱스(Elasticsearch)를 구성하고 30여개의 dashboard를 제작하여 실시간으로 변화하는 운영 상황을 모니터링하고 있습니다.
- 또한 실시간으로 해당 데이터를 검색하고 변화 원인 등을 분석합니다. 또한 해당 데이터는 각 서비스의 이상 유무 및 시스템 서버 이상 탐지 등에도 사용 되고 있습니다.
- 데이터 분석 초,중,고급 사용자를 위한 툴입니다.

데이터 시각화 툴	- 자사 내부에 존재하는 모든 data source를 쉽게 접근하여 데이터를 추출하고 시각적으로 분석하기 위해, 상용 소프트웨어 툴인 (tableau)를 이용하여 1000여개의 분석차트를 구축하여 데이터를 시각적으로 분석할 수 있게 하였습니다.
- Tableau는 세계적으로 유명한 데이터 분석,시각화 툴인데, 이를 사용하기 위해서는 교육과 훈련이 필요합니다. 자사는 데이터 분석팀에 정기적인 교육과 훈련을 실시하여 가장 많이 사용하는 분석에 품질과 속도를 높이고, 복잡한 분석에 선진화된 기술을 사용하고 있습니다.
- 데이터 분석 초,중,고급 사용자를 위한 툴입니다.

Command Line Interface 툴	- 자사 내부에 존재하는 모든 data source를 접근하여 복잡한 데이터 분석도 할 수 있는 오픈 소스 기반의 HUE (command line 기반의 툴)을 셋업 하여 운영하고 있습니다. 고효율을 추구하는 대부분의 빅데이터 기업은 데이터의 속성에 따라서 데이터 저장 장치나 이를 관리하는 데이터베이스 시스템을 다양하게 사용할 수밖에 없습니다. 그렇다 보니, 서로 다른 데이터베이스를 이종으로 결합하여 분석해야 하는 경우에 한계가 있을 수 밖에 없습니다. 이러한 문제를 해결하려면 고가의 데이터 분석 시스템을 구축하고 운영을 하여야 합니다. 이를 해결하는 다른 방식으로 자사는 필수 데이터를 각 데이터베이스 시스템에 중복 저장하고 이를 쉽게 각 데이터베이스에서 활용할 수 있도록 하여, 이종 결합의 필요성을 줄였고, HUE를 통해서 쉽게 한 곳에서 데이터를 처리할 수 있도록 하였습니다.
- 데이터 분석 고급 사용자를 위한 툴입니다.