stanford-oval/wikipedia huggingface dataset:
현대사
현대사 > 전체 역사 > 이변과 기적

박정희 대통령의 노력과 경부고속도로를 개통함으로써 대한민국이 1960년대를 계기로 발전해나가면서 한양대학교, 중앙대학교, 건국대학교, 연세대학교, 고려대학교, 경희대학교를 지방에 따로 설립하였다. 1993년 3월 대한민국의 대전으로 팔려나간 진돗개가 7개월 만에 진도로 돌아와 주인을 만났다는 돌아온 백구에 대한 사례가 있어 지금까지도 진도에 동상이 남아있다. 같은 해 1994년 FIFA 월드컵 아시아 지역 예선에서도 도하의 기적을 만들어낸 큰 기적이 일어났다. 2002년에는 유승준이 미국의 시민권을 취득해 국적을 포기하는 구실로 곧 군대 회피를 했다는 대한민국 법무부의 판정에 의해 지금까지도 대한민국에 못 오고 있다. 2005년에는 비록 오토다케 히로타다보다 못하지만 자폐아라고 불리던 한 젊은이에 대한 말아톤이라는 이야기도 나오고 3년 뒤 이소연이라는 한국의 우주 비행사가 최초로 로켓을 타고 우주로 갔다. 2012년에는 싸이가 강남스타일과 젠틀맨이라는 노래로 전 세계 사람들에게 최고의 인기를 끌었고 2013년 1월 30일에 KARI 나로호가 3번째 시도 끝에 성공했다.
1976년에 일본에 팔다리 없이 태어난 오토다케 히로타다가 좌절과 포기하지 않고 오체 불만족이라는 글을 쓰면서 많은 사람들에게 인기를 받고 있어 교사로 일을 하고 있다.
피겨 스케이팅에선 가장 대표적인 김연아와 아사다 마오가 세계 최고로 인기를 받았으며 뒤이어 리듬체조의 손연재도 세계 선수권에 참가하여 크게 인기를 끌고 있다.
현대사 > 1945~1991년

현대 세계의 역사를 볼 경우, '1945년 이후 (1945년 ~ 현재)의 세계'와 '1991년 이후 (1991년 ~ 현재)의 세계'로 나뉘는데, 세계적으로 볼 경우에는 "1945년 이후의 세계"가 많이 언급된다.
1945년 이후의 세계에서 볼 수있는 특징은 미국과 대외 관계가 중요 해지고 있다는 점이다.
그리고 1945년부터 현재까지 미국은 압도적인 군사력을 세계에 전개하고 있으며, 세계 각국이 미국과 어떻게 관련되는가, 미국이 세계와 어떻게 관련되는가, 외교뿐만 아니라 내정에도 영향을 있다. 즉, 미국의 좋은 면을 본받아야 하는지, 미국의 나쁜 면을 본받아야 하는지가 "국가의 형태"에 영향을 주는 시대이다.
현대사 > 1991~2001년

'1991년 이후의 세계'에서 볼 수있는 특징은 :
냉전 시대에 나타난 전체주의 체제, 공산주의와 군사정권에서 탈피한 세계.
미국 정부 및 소비에트 연방 정부가 배후에서 영향력을 행사하는 '속국 체제'를 탈피한 세계.
이 2가지로 집약된다.
1989년 동유럽 민주화 혁명이 일어나고, 1989년 12월 3일 몰타 회담에서 냉전은 끝났다. 그리고 동유럽 민주화 혁명의 영향으로 1991년 12월 26일 소비에트 연방이 붕괴하면서 냉전은 완전히 끝났다.
동유럽 민주화 혁명에 의해 성립된 '냉전 후'의 체제는 일당 지배이며 정치가를 선택할 수 없었던 과두 공화제가 아닌 3개 이상의 정당이 존재하고, 시민이 주권을 갖고, 군주가 존재하지 않는 민주 공화제였다.
그리고 남미에서는 동유럽 민주화 혁명과 소비에트 연방 붕괴의 여파로, 미국 정부의 지원을 받은 군사정권이 속속 하야했다. 동남아시아에서도 마르코스와 수하르토 등 개발 독재를 내세웠던 정권이 대중의 봉기에 의해 잇달아 쓰러졌다.
이와 같이, '1991년 이후의 세계'에 특징적인 현상 중 하나는 민주 국가의 성립이 잇따랐다는 것이다. 프랜시스 후쿠야마는 이러한 민주 국가의 성립을 '역사의 종언'이라고 표현하며, 전쟁과  압정이 다반한 상태를 탈출한 세계를 '탈 역사 세계'라고 불렀다.
그 결과, 2011년 기준으로 현대사의 체제는 냉전이 시작된 이후인 "1945년 체제", 냉전이 끝나고 탈냉전이 시작되는 "1991년 체제", 테러와의 전쟁이 시작된 "2001년 체제"의 3개로 나뉘어 있다.
현대사 > 2001년~현재 > 테러와의 전쟁

이 부분의 본문은 테러와의 전쟁 및 항구적 자유 작전입니다.
현대사 > 2001년~현재 > 대침체

이 부분의 본문은 대침체입니다.
현대사 > 2001년~현재 > 아랍의 봄

이 부분의 본문은 아랍의 봄, 이집트 혁명, 리비아 혁명, 튀니지 혁명 및 시리아 내전입니다.
현대사 > 2001년~현재 > 후쿠시마 원전 사고

이 부분의 본문은 후쿠시마 제1 원자력 발전소 사고입니다.
같이 보기

고대
고대 후기
중세
근세
근대
세계의 역사
역사의 종언
일본의 항복 (1945년 이후의 세계)
동유럽 혁명 (1991년 이후의 세계)
베트남 전쟁 (1966년)
걸프 전쟁에서 격추된 스커드 미사일 (1991년)
유럽 중앙 은행
리틀 보이 (히로시마 원폭)
나가사키에 투하된 원자폭탄의 버섯 구름 (1945년 8월 9일)
베를린 장벽에 오른 동서 베를린 시민 (1989년 11월 10일)
박준혁 (1975년)

| 박준혁  |
| --- | --- |
본명: 박형재
출생: 1975년 11월 9일(1975-11-09)(49세) 
직업: 배우
활동 기간: 1994년 ~ 현재
소속사: 다홍 엔터테인먼트
학력: 중앙대학교 연극학과 학사
부모: 송도순(모)
배우자: 채자연
자녀: 박채연(딸), 박강민(아들)
웹사이트: 다홍엔터테인먼트 박준혁 박준혁의 미니홈피 - 싸이월드
박준혁(본명: 박형재, 1975년 11월 9일 ~ )은 대한민국의 배우이다.
학력

중앙대학교 연극학 학사.
경력

1995년 : SBS 5기 공채 탤런트
연기 활동 > 드라마

| 연도 | 방송사 | 제목 | 배역 |
| --- | --- | --- | --- |
| 2001 | SBS | 여인천하 | 김희 |
| 2001 | KBS2 | 꽃밭에서 | 정은재 |
| 2002 | KBS | 드라마시티 - 천국 보다 기쁜 |  |
| 2003 | MBC | 옥탑방 고양이 |  |
| 2004 | KBS2 | 낭랑 18세 | 서종찬 |
| 2004 | MBC | 왕꽃 선녀님 | 박형우 |
| 2005 | KBS2 | 성장드라마 반올림 2기 | 여석두 |
| 2005 | KBS2 | 열여덟 스물아홉 | 정시우 |
| 2005 | KBS1 | 고향역 | 송준호 |
| 2006 | SBS | 맨발의 사랑 | 박주완 |
| 2006 | 평화방송 | 성 김대건 | 성 김대건 안드레아 신부 |
| 2006 | SBS | 연개소문 | 당 고종 |
| 2006 | MBC | MBC 베스트극장 - 수수꽃다리 | 정성준 |
| 2008 | 드라맥스 | 상하이 브라더스 | 박창원 |
| 2008 | KBS2 | 전설의 고향 - 아가야 청산가자 | 한진사 |
| 2009 | KNN | 그녀의 스타일 | 황재원 |
| 2009 | KBS2 | 전설의 고향 - 씨받이 | 호승 |
| 2009 | KBS2 | 아가씨를 부탁해 | 이태진 |
| 2010 | MBC | 황금물고기 |  |
| 2011 | KBS2 | 강력반 | 강성철 |
| 2011 | JTBC | 빠담빠담… 그와 그녀의 심장박동소리 |  |
| 2012 | 채널A | 해피앤드 101가지 부부이야기 - 내 어머니, 당신 어머니 | 영호 |
| 2012 | 채널A | 해피앤드 101가지 부부이야기 - 못 말리는 이혼전쟁 | 기철 |
| 2012 | SBS | 대풍수 | 정몽주 |
| 2013 | MBC | 잘났어, 정말! | 배기철 |
| 2014 | KBS2 | KBS 드라마 스페셜 - 들었다 놨다 | 최우현 |
| 2014 | MBC | 폭풍의 여자 | 장무영 |
| 2014 | TVB | 사랑의 순간 | 이반 |
| 2017 | KBS1 | 한국사기 | 신라 태종무열왕 김춘추 |
| 2017 | KBS2 | 이름 없는 여자 | 올리버 장 |
| 2018 | SBS | 나도 엄마야 | 신현준 |
| 2019 | TV조선 | 조선생존기 | 박수량 |
연기 활동 > 영화

1998년 《얼룩진 산하》
2003년 《거울 속으로》
2007년 《우리 생애 최고의 순간》
2008년 《GP506》
2013년 《불》
연기 활동 > 연극

2007년 《호호》
2012년 《러브》 ... 밀트 역
2012년 《모리와 함께한 화요일》 ... 밋치 역
2012년 《돌아서서 떠나라》 ... 공상두 역
연기 활동 > 뮤지컬

2014년 《사랑해도 될까요?》 ... 태연 역
연기 활동 > 방송

2012년 SBS 《자기야 - 백년손님》 153회
2013년 채널A 《웰컴 투 시월드》 26회
2013년 채널A 《부부극장 콩깍지》
2017년 MBC 《기분 좋은 날》 2575회
경기버스 (기업)

이 문서는 경기도 남양주시에 있는 버스회사에 관한 것입니다. 경기도를 주관으로 담당하는 시내버스에 대해서는 경기도의 시내버스 문서를 참고하십시오.
| --- | --- |
형태: 주식회사
창립: 1968년 8월 27일
시장 정보: 비상장
산업 분야: 운수업
본사 소재지: 대한민국 경기도 남양주시 진접읍 경복대로 497
핵심 인물: 허상준 (대표이사)
매출액: 21,120,381,040원 (2020)
영업이익: -529,191,258원 (2020)
순이익: 158,853,894원 (2020)
자산총액: 15,048,987,259원 (2020.12)
주요 주주: 주식회사 경기고속: 50.00% 주식회사 대원고속: 39.72% 주식회사 대원운수: 10.00% 허일호: 0.28%
종업원 수: 100명 (2020.12)
모기업: KD운송그룹
자본금: 290,000,000원 (2020.12)
웹사이트: KD운송그룹
경기버스(京畿―)는 KD운송그룹 계열의 경기도 남양주시의 시내버스 자회사이다.
역사

1968년 8월 27일: 대진운수(大進運輸)로 설립되었다.
1998년: 도시형버스 7-5번 광릉내 ~ 청량리역 구간 신설했다.
2004년 하반기: 선진그룹 버스사업부문에 인수 및 사명이 대진운수(大進運輸)에서 선진상운(先進商運)으로 변경되었다.
2005년: 방계회사인 유성운수 (현.경기운수) 직행좌석버스인 1001번 노선을 인수하였다. 따라서 기점이 소학1리로 연장되었다.
2005년: 자사의 직행좌석버스 1001번을 당시 방계회사인 선진시내에 양도하였다.
2006년 8월: 환경부로부터 천연가스버스 우수보급업체로 선정되었다.
2007년: 선진상운의 7-5번을 방계회사인 유성운수 (현.경기운수)에 매각과 동시에 유성운수 (현.경기운수)의 23번을 인수했다. 그리고 7번(광릉내 ~ 일동)을 선진시내에 양도하였다.
2008년 11월 15일: 도시형버스 23번이 스펀지 2.0에서 '시어머니 버스'로 나온 적이 있다.
2009년 12월 1일: 선진그룹 버스사업부문은 선진상운을 방계회사인 유성운수 (현.경기운수)와 함께 KD운송그룹에 매각 및 사명이 선진상운에서 경기버스로 변경되었다.
2009년 12월 1일: 선진시내의 도시형버스 11번 (구 직행좌석버스 1001번)을 선진시내에서 인수하였다.
2010년 4월 1일: 도시형버스 11번에서 직행좌석버스 11번으로 형간전환하였다.
2010년 5월 24일: 직행좌석버스 6006번 광릉내 ~ 잠실역 구간을 신설하였다.
2010년 9월 1일: 직행좌석버스 6006번에서 간선급행버스 8012번으로 노선이 변경하였다.
2010년: 자사의 도시형버스 8번과 도시형버스 7-3번을 통폐합해 도시형버스 73번으로 변경하였다.
2012년: 광릉내차고지 계약기간 만료로 일부노선을 내촌차고지로 나머지노선을 진벌리차고지로 이전하였다.
2014년 1월 1일: 도시형버스 7-4번이 배양리 구간이 단축되어 사릉역에서 회차하며, 기존 배양리 구간은 대원운수 91번이 대체운행하게 되었다.
2014년 9월 1일: 직행좌석버스 7008번에서 도시형버스 74번으로 전환 및 내촌 ~ 진벌리 간 단축 및 청량리역 ~ 석계역 간 단축하였다.
2014년 12월 22일 ~ 12월 26일: 간선급행버스 8012번 노선에 2층 버스(Enviro 500)를 시범 운행하였다.
2015년 11월 2일: 도시형버스 7-7번이 진접읍사무소 앞을 경유하도록 노선이 변경되었다.
2015년 11월 2일: 도시형버스 74번이 진접읍사무소 앞으로 들어갔다가 나오도록 변경되었다. '진접읍사무소입구 - 반도유보라아파트'였던 기존 노선이 '진접읍사무소입구 - 진접읍사무소 - 금곡리입구 - 반도유보라아파트'로 변경된 것이다. 상하행 양방향 적용된다.
2015년 11월 2일: 도시형버스 3-1번이 진접읍사무소 앞을 경유하도록 노선이 변경되었다. 이 결과로 '금곡리입구.신동아아파트' 정류소를 경유하지 않게 되었다.
2015년 10월 11일: 도시형버스 73번은 별내지구를 경유하고 도시형버스 74번과 덕송터널을 경유한다.
2015년 12월 19일: 직행좌석버스 7007번과 간선급행버스 8012번이 내촌차고지에서 광릉내차고지로 단축되었다.
2016년 10월 24일: 도시형버스 23번이 하남 스타필드로 종점을 연장하였다.
2017년 1월 7일: 간선급행버스 8012번이 잠실광역환승센터로 기점변경
2020년 2월 9일: 땡큐90번이 신설하였다.
2023년 4월 1일 : 도시형버스 3-1번이 땡큐31번, 땡큐32번으로 전환하였다.
2023년 6월 30일: 도시형버스 73번 폐선 되었고 땡큐32번이 땡큐31번으로 통합하였다.
2023년 7월 1일: 도시형버스 115번 신설하였다.
2023년 7월 22일: 도시형 72번 신설하였다.
2024년 1월 1일 : 707번버스가 경기도형 준공영제인 시내버스 공공관리제를 시행
2024년 11월 1일 : 23번 버스 하남시 구간 단축 및 천호역 회차
현황

2021년 1월 기준이다.
| 운행업체 | 보유 노선수> 노선 합계 | 보유 노선수> 광역급행 | 보유 노선수> 직행좌석 | 보유 노선수> 일반좌석 | 보유 노선수> 시내일반 | 등록 대수> 대수 합계 | 등록 대수> 광역급행 | 등록 대수> 직행좌석 | 등록 대수> 일반좌석 | 등록 대수> 시내일반 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 경기버스 (KD) | 14 | - | 3 | - | 11 | 114 | - | 33 | - | 81 |
운행 노선 > 진벌리 본사 운행 노선

● 707번: 진벌리차고지 ↔ 광릉내 ↔ 서희스타힐스 ↔ 장현 ↔ 내각리 ↔ 퇴계원 ↔ 별내역 ↔ 갈매역 ↔ 중랑경찰서후문 ↔ 상봉역 (상봉시외버스터미널) ↔ 중랑역 ↔ 홍릉사거리 ↔ 청량리역환승센터 (7번 통폐합 노선, 2024년 1월 1일부터 경기도형 준공영제 실시)
● 72번: 진벌리차고지 ↔ 경복대학 ↔ 진접역 ↔ 양지아파트 ↔ 휴먼시아16단지 ↔ 반도유보라아파트 ↔ 금곡리입구 ↔ 진접농협 ↔ 봉현마을 (2023년 7월 22일부터 신설노선)
● 땡큐31번: 진벌마을 ↔ 75사단입구 ↔ 광릉내 ↔ 서희스타힐스 ↔ 진접읍 행정복지센터 ↔ 반도유보라 ↔ 진접역 ↔ 휴먼시아16단지 ↔ 오남역 (구 3-1번-> 땡큐32번)
운행 노선 > 사능 본사 운행 노선

● 7-4번: 경복대학 ↔ 금곡2리 ↔ 진접택지지구 ↔ 장현 ↔ 연평리 ↔ 신월리 ↔ 용정리 ↔ 사릉역
● 115번: 사능차고지 ↔ 진건읍사무소 ↔ 사릉역 ↔ 진관사거리 ↔ 빛과소금교회앞 ↔ 관사, 일신건영, 새마을금고 ↔ 주을래마을 ↔ 한국스포츠정책과학원 ↔ 화랑대역 2번출구 ↔ 석계역 (구 태릉교통 1156번, 2023년 7월 1일 노선 신설)
운행 노선 > 내촌 본사 운행 노선

● 23번: 내촌차고지 ↔ 광릉내 ↔ 장현 ↔ 오남역 ↔ 독정리 ↔ 용정리 ↔ 사릉 ↔ 금곡역 ↔ 양정동 ↔ 도농역 ↔ 구리역 (롯데백화점 구리점) ↔ 교문사거리 ↔ 구리시청 ↔ 워커힐아파트 ↔ 천호역 (구 1-3번, 이 노선 유성운수 (현.경기운수)에서 이관 받은 노선이다, 전기버스 운행중)
● 88번: 내촌차고지 ↔ 광릉내 ↔ 장현 ↔ 내각리 ↔ 퇴계원 ↔ 인창주공1단지 ↔ 돌다리 ↔ 교문사거리 ↔ 금란교회 ↔ 망우역 ↔ 상봉역 (상봉시외버스터미널) ↔ 중랑역 ↔ 삼육서울병원 ↔ 청량리역 ↔ 경동시장 (구 선진상운 7-8번)
● 11번: 소학1리 ↔ 베어스타운 ↔ 내촌 ↔ 광릉내 ↔ 서희스타힐스 ↔ 장현 ↔ 내각리 ↔ 퇴계원 ↔ 퇴계원 나들목 ↔ 수도권제1순환고속도로 (구리요금소) ↔ 토평 나들목 ↔ 광나루역 ↔ 강변역 (동서울종합버스터미널) (구 1001번) (시내버스 11번 형간전환 후 이 노선은 유성운수(현.경기운수), 선진시내버스에서 이관 받은 노선이다.)
운행 노선 > 광릉내 본사 운행 노선

● 7-7번: 광릉테크노밸리입구 ↔ 광릉내 ↔ 서희스타힐스 ↔ 진접읍사무소 ↔ 진접고등학교 ↔ 진접역
● 7-8번: 광릉테크노밸리입구 ↔ 팔야리 ↔ 광릉내 ↔ 접동마을 (2022년 5윌 30일부로 팔야리 일대의 민원으로 노선다시 환원)
● 7-9번: 진접오남읍 행정복지센터 ↔ 진접농협 ↔ 오남리 ↔ 팔현리 ↔ 도인박사 ↔ 팔현2리
● 71번: 금곡산업단지 ↔ 진접역 ↔ 신영지웰아파트 ↔ 진접하우스토리 ↔ 진접농협 ↔ 장현대교 ↔ 진접고, 화봉초교, 신안인스빌아파트 ↔ 휴먼시아16단지 ↔ 신영지웰아파트 ↔ 진접역 ↔ 금곡산업단지
● 77번 : 산림교육원 ↔ 수락원 ↔ 진접농협 ↔  반도유보라 ↔ 진접역 ↔ 금곡리 ↔ 남양주천문대 (2024년 9월 12일 개통)
● 땡큐90번: 광릉내차고지 ↔ 장현 ↔ 내각리 ↔ 퇴계원역 ↔ 사노리나들목 ↔ 다산 지구 ↔ 다산1동주민센터 ↔ 도농역 ↔ 가운고등학교 (2020년 2월 19일 신설노선)
● 7007번: 광릉내차고지 ↔ 서희스타힐스 ↔ 장현 ↔ 내각리 ↔ 임송 ↔ 수도권제1순환고속도로 (구리요금소) ↔ 토평 나들목 ↔ 강변북로 ↔ 잠실대교 ↔ 잠실역 ↔ 잠실새내역 ↔ 종합운동장역 ↔ 삼성역 ↔ 선릉역 ↔ 역삼역 ↔ 강남역 ↔ 신논현역
● 8012번: 광릉내차고지 ↔ 경복대학 ↔ 삼부르네상스A, 닥내미 ↔ 진접역 ↔ 연평대교, 이마트 ↔ 퇴계원 나들목 ↔ 수도권제1순환고속도로 (구리요금소) ↔ 토평 나들목 ↔ 강변북로 ↔ 잠실대교 ↔ 잠실광역환승센터 (간선급행버스, 구 6006번, 2층버스 운행중)
보유 차량 > 자일대우버스

자일대우 BS090 뉴 로얄미디
자일대우 BS106 뉴 로얄시티
자일대우 BS110 뉴 로얄논스텝
자일대우 FXⅡ116 크루징 애로우
자일대우 FX116 하모니
보유 차량 > 현대자동차

현대 e-카운티
현대 카운티 뉴 브리즈
현대 그린시티
현대 일렉시티
현대 뉴 프리미엄 유니버스 프라임
보유 차량 > CHTC 킨윈

CHTC 에픽타운
CHTC 에픽시티
보유 차량 > 우진산전

우진산전 아폴로 1100
보유 차량 > 볼보버스

볼보 B8RLE
갤러리

남양주시내버스 23번
남양주시내버스 88번
남양주시내버스 7007번
본점 및 지점 현황

본점: 경기도 남양주시 진접읍 경복대로 497
광릉내영업소: 경기도 남양주시 진접읍 광릉내로 102
내촌영업소: 경기도 포천시 내촌면 음고개길 9-26
같이 보기

KD운송그룹
경기여객
경기운수(구.유성운수)
대원운수
경기여객
웹 메시징

웹 메시징(Web Messaging) 또는 문서 간 메시징은 WHATWG HTML5 초안 사양에 도입된 API로, 문서가 웹 브라우저에서 렌더링되는 동안 다양한 출처 또는 소스 도메인에 걸쳐 서로 통신할 수 있도록 해준다. HTML5 이전에는 웹 브라우저에서 보안 공격으로부터 보호하기 위해 사이트 간 스크립팅을 허용하지 않았다. 이 관행은 적대적이지 않은 페이지 간의 통신도 금지하여 모든 종류의 문서 상호 작용을 어렵게 만들었다. 문서 간 메시징을 사용하면 기본적인 수준의 보안을 제공하면서 스크립트가 이러한 경계를 넘어 상호 작용할 수 있다.
같이 보기

사이트 간 스크립팅
사이트 간 요청 위조
동일-출처 정책
교차 출처 리소스 공유
JSONP
수출액순 나라 목록
같이 보기

수입액순 나라 목록
참고 자료

월드 팩트북 보관됨 2005-12-12 - 웨이백 머신
딥 러닝

심층 학습(深層學習) 또는 딥 러닝(영어: deep structured learning, deep learning 또는 hierarchical learning)은 여러 '비선형 변환기법'의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계 학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다.
어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예를 들어 이미지의 경우는 픽셀정보를 열벡터로 표현하는 등)로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)가 진행되고 있으며, 이러한 노력의 결과로 deep neural networks, convolutional deep neural networks, deep belief networks와 같은 다양한 딥 러닝 기법들이 컴퓨터 비전, 음성인식, 자연어 처리, 음성/신호처리 등 최첨단 분야에 적용되고 있다.
2012년 스탠포드대학의 앤드류 응과 구글이 함께한 딥 러닝 프로젝트에서는 16,000개의 컴퓨터 프로세서와 10억 개 이상의 neural networks 그리고 DNN(deep neural networks)을 이용하여 유튜브에 업로드 되어 있는 천만 개 넘는 비디오 중 고양이 인식에 성공하였다. 이 소프트웨어 프레임워크를 논문에서는 DistBelief로 언급하고 있다. 이뿐만 아니라 마이크로소프트, 페이스북 등도 연구팀을 인수하거나 자체 개발팀을 운영하면서 인상적인 업적들을 만들어 내고 있다.
딥 러닝의 역사

MIT가 2013년을 빛낼 10대 혁신기술 중 하나로 선정 하고 가트너(Gartner, Inc.)가 2014 세계 IT 시장 10대 주요 예측에 포함시키는 등 최근들어 딥 러닝에 대한 관심이 높아지고 있지만 사실 딥 러닝 구조는 인공신경망(ANN, artificial neural networks)에 기반하여 설계된 개념으로 역사를 따지자면 최소 1980년 Kunihiko Fukushima에 의해 소개된 Neocognitron까지 거슬러 올라가야 한다. 맥컬럭-월터 피츠는 1943년에 ANN의 가능성을 처음으로 주장했다. 1957년에 미국의 신경 생물학자인 프랑크 로젠블랫은 이 개념을 실증하는데 성공했고 퍼셉트론이라 불렀다. 그러나 당시 성능이 너무 후져서 묻혔다가, 힌튼이 역전파 알고리즘을 이용하여 1995년에 다시 ANN이 부활하게 되었다.
1989년에 얀 르쿤과 그의 동료들은 오류역전파 알고리즘(backpropagation algorithm)에 기반하여 우편물에 손으로 쓰여진 우편번호를 인식하는 deep neural networks를 소개 했다. 알고리즘이 성공적으로 동작했음에도 불구하고, 신경망 학습에 소요되는 시간(10 개의 숫자를 인식하기 위해 학습하는 시간)이 거의 3일이 걸렸고 이것은 다른 분야에 일반적으로 적용되기에는 비현실적인 것으로 여겨졌다.
많은 요소들이 느린 속도에 원인을 제공했는데, 그 중 하나는 1991년 Jürgen Schmidhuber의 제자였던 Sepp Hochreiter에 의해 분석된 vanishing gradient problem(지역최솟값에 머무르게 되는 원인)이었다. 또한 불연속 시뮬레이션에서 초기 상태를 어떻게 선택하느냐에 따라 수렴이 안되고 진동 또는 발산하는 문제, 트레이닝셋에 너무 가깝게 맞추어 학습되는 과적합 (Overfitting) 문제, 원론적으로 생물학적 신경망과는 다르다는 이슈들이 끊임 없이 제기되면서 인공신경망은 관심에서 멀어졌고 90년대와 2000년대에는 서포트 벡터 머신 같은 기법들이 각광받게 된다.
본격적으로 딥 러닝이란 용어를 사용한 것은 2000년대 딥 러닝의 중흥기를 이끌어간다고 평가할 수 있는 제프리 힌튼과 Ruslan Salakhutdinov에 의해서이며, 기존 신경망의 과적합 문제를 해결하기 위해 이들은 unsupervised RBM(restricted Boltzmann machine)을 통해 학습시킬 앞먹임 신경망(Feedforward Neural Network)의 각 층을 효과적으로 사전훈련(pre-trainning)하여 과적합을 방지할 수 있는 수준의 initialize point를 잡았고, 이를 다시 supervised backpropagation를 사용하는 형태로 학습을 진행한다.
또한 2013년에는 신호처리학회인 ICASSP에서 RBM을 대체하여 과적합을 방지할 수 있는 Drop-out이라는 개념이 소개되면서 사전훈련보다 훨씬 더 간단하고 강력한 형태로 과적합을 방지할 수 있게 되었다.
왜 다시 딥 러닝인가?

딥 러닝이 부활하게 된 이유는 크게 세 가지로 꼽힌다.
첫 번째는 앞서 딥 러닝의 역사에서 언급한 바 있는 기존 인공신경망 모델의 단점이 극복되었다는 점이다. 그러나 과적합 문제만 해결되었다고 해서 느린 학습시간이 줄어드는 것은 아니다.
두 번째 이유로, 여기에는 하드웨어의 발전이라는 또다른 요인이 존재 한다. 특히 강력한 GPU는 딥 러닝에서 복잡한 행렬 연산에 소요되는 시간을 크게 단축시켰다.
마지막으로 언급하지만 가장 중요한 세 번째 이유로 빅 데이터를 들 수 있다. 대량으로 쏟아져 나오는 데이터들, 그리고 그것들을 수집하기 위한 노력 특히 SNS 사용자들에 의해 생산되는 다량의 자료와 태그정보들 모두가 종합되고 분석 되어 학습에 이용될 수 있다.
- 인공신경망의 학습에 사용되는 트레이닝벡터는 이름이 붙어 있는(labeled) 데이터여야 하는데(supervised learning의 경우) 대량의 트레이닝셋 모두에 label을 달아주는 일은 불가능한 일이다. 이런 이유로 초기 학습에 사용되는 일부 데이터에 대해서만 지도학습(supervised learning)을 수행하고 나머지 트레이닝셋에 대해서는 비지도학습(unsupervised learning)을 진행하며, 학습된 결과는 기존 학습의 결과와 앞서 분석된 메타태그 정보들을 종합하여 인식기가 완성 된다.
딥 러닝의 부활 이후 다양한 분야, 특히 자동 음성 인식(ASR, automatic speech recognition)과 컴퓨터비전 분야에서 최고수준의 성능을 보여주고 있으며 이들은 보통 딥 러닝의 새로운 응용들의 지속적인 성능 향상을 위해 만들어진 TIMIT(Texas Instruments와 MIT가 제작한 음성 Database), MNIST(이미지 클러스터링을 위한 hand-written 숫자 이미지 데이터베이스로 National Institute of Standards and Technology가 제작) 등의 데이터베이스를 사용했다. 최근에는 Convolution Neural Networks 기반의 딥 러닝 알고리즘이 뛰어난 성능을 발휘하고 있으며, 컴퓨터비전과 음성인식등의 분야에서 특히 탁월한 성능을 보이고 있다.
알고리즘

다양한 종류의 심층 신경망 구조가 존재하지만, 대부분의 경우 대표적인 몇 가지 구조들에서 파생된 것이다. 그렇지만 여러 종류의 구조들의 성능을 동시에 비교하는 것이 항상 가능한 것은 아닌데, 그 이유는 특정 구조들의 경우 주어진 데이터 집합에 적합하도록 구현되지 않은 경우도 있기 때문이다.
알고리즘 > 심층 신경망(Deep Neural Network, DNN)

심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다.
심층 신경망은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다.
예를 들어, 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있다.
이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다.
심층 신경망의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛(unit, node)들 만으로도 복잡한 데이터를 모델링할 수 있게 해준다.
이전의 심층 신경망들은 보통 앞먹임 신경망으로 설계되어 왔지만, 최근의 연구들은 심층 학습 구조들을 순환 신경망(Recurrent Neural Network, RNN)에 성공적으로 적용했다. 일례로 언어 모델링(language modeling) 분야에 심층 신경망 구조를 적용한 사례 등이 있다
합성곱 신경망(Convolutional Neural Network, CNN)의 경우에는 컴퓨터 비전(computer vision) 분야에서 잘 적용되었을 뿐만 아니라, 각각의 성공적인 적용 사례에 대한 문서화 또한 잘 되어 있다.
더욱 최근에는 합성곱 신경망이 자동음성인식(Automatic Speech Recognition, ASR)을 위한 음향 모델링(acoustic modeling) 분야에 적용되었으며, 기존의 모델들보다 더욱 성공적으로 적용되었다는 평가를 받고 있다.
심층 신경망은 표준 오류역전파 알고리즘으로 학습될 수 있다.
이때, 가중치(weight)들은 아래의 등식을 이용한 확률적 경사 하강법(stochastic gradient descent)을 통하여 갱신될 수 있다.
여기서,  \eta 는 학습률(learning rate)을 의미하며,  C는 비용함수(cost function)를 의미한다.
비용함수의 선택은 학습의 형태(지도 학습, 자율 학습 (기계 학습), 강화 학습 등)와 활성화함수(activation function)같은 요인들에 의해서 결정된다.
예를 들면, 다종 분류 문제(multiclass classification problem)에 지도 학습을 수행할 때, 일반적으로 활성화함수와 비용함수는 각각 softmax 함수와 교차 엔트로피 함수(cross entropy function)로 결정된다.
softmax 함수는  p_{j}={\frac {\exp(x_{j})}{\sum _{k}\exp(x_{k})}} 로 정의된다, 이때,  p_{j}는 클래스 확률(class probability)을 나타내며,  x_{j} 와  x_{k}는 각각 유닛  j 로의 전체 입력(total input)과 유닛  k 로의 전체 입력을 나타낸다.
교차 엔트로피는  C=-\sum _{j}d_{j}\log(p_{j}) 로 정의된다, 이때,  d_{j}는 출력 유닛  j 에 대한 목표 확률(target probability)을 나타내며,  p_{j}는 해당 활성화함수를 적용한 이후의  j 에 대한 확률 출력(probability output)이다.
알고리즘 > 심층 신경망의 문제점

기존의 인공신경망과 같이, 심층 신경망 또한 나이브(naive)한 방식으로 학습될 경우 많은 문제들이 발생할 수 있다. 그 중 과적합과 높은 시간 복잡도가 흔히 발생하는 문제들이다.
심층 신경망이 과적합에 취약한 이유는 추가된 계층들이 학습 데이터의 rare dependency의 모형화가 가능하도록 해주기 때문이다. 과적합을 극복하기 위해서 weight decay ( \ell _{2}–regularization) 또는 sparsity ( \ell _{1}–regularization) 와 같은 정칙화(regularization) 방법들이 사용될 수 있다. 그리고 최근에 들어서는 심층 신경망에 적용되고 있는 정칙화 방법 중 하나로 dropout 정칙화가 등장했다. dropout 정칙화에서는 학습 도중 은닉 계층들의 몇몇 유닛들이 임의로 생략된다. 이러한 방법은 학습 데이터(training data)에서 발생할 수 있는 rare dependency를 해결하는데 도움을 준다.
오차역전파법과 경사 하강법은 구현의 용이함과 국지적 최적화(local optima)에 잘 도달한다는 특성으로 인해 다른 방법들에 비해 선호되어온 방법들이다. 그러나 이 방법들은 심층 신경망을 학습 시킬 때 시간 복잡도가 매우 높다. 심층 신경망을 학습시킬 때에는 크기(계층의 수 와 계층 당 유닛 수), 학습률, 초기 가중치 등 많은 매개변수(parameter)들이 고려되어야 한다. 하지만 최적의 매개변수들을 찾기 위해 매개변수 공간 전부를 확인하는 것은 계산에 필요한 시간과 자원의 제약으로 인해 불가능하다. 시간 복잡도를 해결하기 위해, 미니 배치(mini batch, 여러 학습 예제들의 경사를 동시에 계산), 드롭 아웃(drop out)과 같은 다양한 '묘책’들이 등장하였다. 또한, 행렬 및 벡터 계산에 특화된 GPU는 많은 처리량을 바탕으로 두드러지는 학습 속도 향상을 보여주었다.
알고리즘 > 합성곱 신경망(Convolutional Neural Network, CNN)

합성곱 신경망  문서를 참고하십시오.
합성곱 신경망(Convolutional Neural Network, CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다. 최근 딥 러닝에서는 합성곱 심층 신뢰 신경망 (Convolutional Deep Belief Network, CDBN) 가 개발되었는데, 기존 CNN과 구조적으로 매우 비슷해서, 그림의 2차원 구조를 잘 이용할 수 있으며 그와 동시에 심층 신뢰 신경망 (Deep Belief Network, DBN)에서의 선훈련에 의한 장점도 취할 수 있다. CDBN은 다양한 영상과 신호 처리 기법에 사용될 수 있는 일반적인 구조를 제공하며 CIFAR와 같은 표준 이미지 데이터에 대한 여러 벤치마크 결과에 사용되고 있다.
알고리즘 > 순환 신경망(Recurrent Neural Network, RNN)

순환 인공 신경망  문서를 참고하십시오.
순환 신경망은 인공신경망을 구성하는 유닛 사이의 연결이 Directed cycle을 구성하는 신경망을 말한다. 순환 신경망은 앞먹임 신경망과 달리, 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타낸다. 순환 신경망을 구성할 수 있는 구조에는 여러 가지 방식이 사용되고 있다. 완전 순환망(Fully Recurrent Network), Hopfield Network, Elman Network, Echo state network(ESN), Long short term memory network(LSTM), Bi-directional RNN, Continuous-time RNN(CTRNN), Hierarchical RNN, Second Order RNN 등이 대표적인 예이다. 순환 신경망을 훈련(Training)시키기 위해 대표적으로 경사 하강법, Hessian Free Optimization, Global Optimization Methods 방식이 쓰이고 있다.
하지만 순환 신경망은 많은 수의 뉴런 유닛이나 많은 수의 입력 유닛이 있는 경우에 훈련이 쉽지 않은 스케일링 이슈를 가지고있다.
알고리즘 > 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM)

볼츠만 머신에서, 층간 연결을 없앤 형태의 모델이다. 층간 연결을 없애면, 머신은 가시 유닛(Visible Unit)과 은닉 유닛(Hidden Unit)으로 이루어진 무방향 이분 그래프 형태의 모양이 된다. 결론적으로 모델의 층간 연결을 없앰으로써, 얻는 이점으로 뉴럴 네트워크는 깊어질 수 있었다. 가장 큰 이점은 가시 유닛이 관찰되고 고정(Clamped)되었을 때 은닉 유닛을 추론(Inference) 하는 MCMC 과정이 단 한 번에 끝난다는 것이다. RBM은 확률모델의 계산이 불가능하기 때문에, 학습시 근사법인 MCMC 나 또는 제프리 힌튼 교수가 발견한 CD(Contrastive Divergence)를 사용하는데, RBM의 모델의 간단함에서 오는 추론에 대한 이점은 샘플링 근간의 학습법이 실용적인 문제에 적용되는데 기여했다. 자세한 학습 방법은 아래에 설명되어 있다.
RBM은 DBN의 기본 뼈대가 된다, RBM을 쌓아올리면서(Stacking), Greedy하게 학습함으로써, DBN을 완성한다. DBN을 아는 사람은 기본적으로 RBM은 무방향이기에, RBM이 방향성 있는 모델인 DBN이 되는지 의아할 것이다. 이는 제프리 힌튼의 제자인 Teh, Y. W의 우연 발견적인 연구 성과인데, 원래 힌튼 교수는 Graphical Model 이 방향성을 가질 때 생기는 Explaining Away 효과 때문에 학습이 매우 어려워 연구를 무방향성 모델로 선회했다가, RBM을 쌓으면, 다층 RBM이 되는 것이 아니라, DBN과 비슷해진다는 사실을 발견하게 된다. 이 발견은 DBN학습을 단순히 여러 개의 RBM 학습으로 환원시킴으로써(앞서서 얘기했듯이 RBM은 학습이 어렵지 않다) 어려운 DBN 학습의 복잡도를 층의 개수에 비례하는 복잡도로 낮추었다. 이는 선행학습(Pre-training) 과 미세조정(fine-tuning)의 새로운 학습 패러다임으로 발전하게 된다.
RBM 훈련 과정에서의 가중치 갱신은, 다음의 식을 기반으로 경사 하강법을 통해 이루어진다.  \Delta w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial \log(p(v))}{\partial w_{ij}}}
여기서  p(v)는 다음의 식으로 주어지는 가시 벡터의 확률을 나타내고,  p(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}  Z는 정규화(normalization)를 위해 사용되는 분배함수(partition function)이며,  E(v,h)는 신경망의 상태(state)에 부여되는 에너지 함수이다. 에너지가 낮을수록 해당 신경망이 더 적합한 상태임을 의미한다. 기울기  {\frac {\partial \log(p(v))}{\partial w_{ij}}}는 좀 더 간단하게  \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{model}} 로 표현이 되는데 이 때  \langle \cdots \rangle _{p}는 분포  p에 관한 평균을 의미한다.  \langle v_{i}h_{j}\rangle _{\text{model}}을 샘플링 하려면 alternating Gibbs sampling을 매우 많이 반복해야 하기 때문에 CD에서는 alternating Gibbs sampling을  n 회만 반복한다.(실험을 통해  n=1 일 경우에도 충분한 성능이 나온다고 알려져 있다).  n회 반복 후 샘플링 된 데이터가  \langle v_{i}h_{j}\rangle _{\text{model}}를 대신한다. CD 수행 과정은 다음과 같다:
가시 유닛들을 훈련 벡터로 초기화 한다.
다음의 가시 유닛들이 주어지면 은닉 유닛들을 모두 동시에 갱신한다:  p(h_{j}=1\mid {\textbf {V}})=\sigma (b_{j}+\sum _{i}v_{i}w_{ij}).  \sigma 는 시그모이드 함수(sigmoid function)를 의미하며,  b_{j}는  h_{j}의 편향이다.
다음의 은닉 유닛들이 주어지면 가시 유닛들을 모두 동시에 갱신한다:  p(v_{i}=1\mid {\textbf {H}})=\sigma (a_{i}+\sum _{j}h_{j}w_{ij}).  a_{i}는  v_{i}의 편향이다. 이 부분을 "복원(reconstruction)"이라고 부른다.
복원된 가시 유닛들이 주어지면 2에서 쓰인 식을 이용하여 은닉 유닛들을 모두 동시에 다시 갱신한다.
다음과 같이 가중치를 갱신한다:  \Delta w_{ij}\propto \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{reconstruction}}.
알고리즘 > 심층 신뢰 신경망 (Deep Belief Network, DBN)

심층 신뢰 신경망(Deep Belief Network, DBN)이란 기계학습에서 사용되는 그래프 생성 모형(generative graphical model)으로, 딥 러닝에서는 잠재변수(latent variable)의 다중계층으로 이루어진 심층 신경망을 의미한다. 계층 간에는 연결이 있지만 계층 내의 유닛 간에는 연결이 없다는 특징이 있다.
DBN은 생성 모형이라는 특성상 선행학습에 사용될 수 있고, 선행학습을 통해 초기 가중치를 학습한 후 역전파 혹은 다른 판별 알고리즘을 통해 가중치의 미조정을 할 수 있다. 이러한 특성은 훈련용 데이터가 적을 때 굉장히 유용한데, 이는 훈련용 데이터가 적을수록 가중치의 초기값이 결과적인 모델에 끼치는 영향이 세지기 때문이다. 선행학습된 가중치 초기값은 임의로 설정된 가중치 초기값에 비해 최적의 가중치에 가깝게 되고 이는 미조정 단계의 성능과 속도향상을 가능케 한다.
DBN은 비지도 방식으로 계층마다 학습을 진행하는데 이때 각각의 계층은 보통 RBM의 형태를 띄고 있다. RBM들을 쌓아 올리면서 DBN을 훈련시키는 방법에 대한 설명은 아래에 제공 되어 있다. RBM은 에너지 기반의 생성 모형으로 가시 유닛과 은닉 유닛으로 이루어진 무방향 이분 그래프 형태이다. 가시 유닛들과 은닉 유닛들 사이에만 연결이 존재한다.
RBM이 훈련되고 나면 다른 RBM이 그 위에 쌓아 올려짐으로써 다중 계층 모형을 형성한다. RBM이 쌓아 올려질 때마다, 이미 훈련된 RBM의 최상위 계층이 새로 쌓이는 RBM의 입력으로 쓰인다. 이 입력을 이용하여 새 RBM이 훈련되고, 원하는 만큼의 계층이 쌓일 때까지 해당 과정이 반복된다.
실험결과에 따르면, CD의 최대가능도 근사가 굉장히 투박함에도 불구하고, 심층 신경망 구조를 학습하기에는 충분히 효과적인 방식이라고 한다.
알고리즘 > 심층 Q-네트워크(Deep Q-Networks)

2015년 2월, 강화 학습을 위한 가장 최신 딥 러닝 모델이 네이처에 소개되었다.
응용 > 자동 음성 인식

아래 표는 TIMIT 데이터에 대한 자동 음성 인식 결과를 보여준다. 이 데이터셋은 딥 러닝의 초창기 평가를 위한 일반적인 데이터로서, 미국의 8가지 방언을 사용하는 총 630명의 사람이 읽은 10가지 문장으로 이루어져 있다. 데이터의 크기가 작기 때문에 다양한 설정을 효과적으로 적용할 수 있다. 더 중요한 점은 TIMIT에서 음소 순서 인식(phone-sequence recognition)을 고려한다는 점이다. 따라서, 단어 순서 인식(word-sequence recognition)과는 달리 아주 약한 "언어모델"을 허용하고 음성 인식에서의 음향 모델 측면을 더 쉽게 분석할 수 있다. 2009 ~ 2010년 무렵, 크고 작은 범위의 음성인식에 대한 딥 러닝 기술 활용을 위해서 많은 투자가 있었는데, Li Deng과 그의 동료들은 TIMIT에서의 GMM 과 DNN 모델을 비교하는 실험을 수행하였다. 결국 그들은 음성인식에서의 딥 러닝 활용에 있어서 가장 앞서나가게 되었다. 이 분석은 먼저 식별적 DNN과 발생적 모델 사이의 성능 비교(1.5% 이하의 오차율)로 수행되었다. 아래 표에 나타난 오차율은 앞에서 말한 초창기 실험을 포함하여 과거 20 여 년 간 수행된 실험들의 음소 오차율(Phone error rate)을 요약한 것이다.
| 방식 | PER (%) |
| --- | --- |
Randomly Initialized RNN: 26.1
Bayesian Triphone GMM-HMM: 25.6
Hidden Trajectory (Generative) Model: 24.8
Monophone Randomly Initialized DNN: 23.4
Monophone DBN-DNN: 22.4
Triphone GMM-HMM with BMMI Training: 21.7
Monophone DBN-DNN on fbank: 20.7
Convolutional DNN: 20.0
Convolutional DNN w. Heterogeneous Pooling: 18.7
Ensemble DNN/CNN/RNN: 18.2
Bidirectional LSTM: 17.9
TIMIT로부터 대량 어휘 음성인식(large vocabulary speech recognition)으로의 딥 러닝의 확장은 2010년 산업계 연구자들에 의해 성공적으로 수행되었다. 자동 음성 인식 분야의 2014년 10월까지의 최신 동향은 마이크로소프트 리서치의 책 에 잘 정리되어있다. 또한 자동 음성인식과 관련된 배경 지식과 다양한 기계학습 패러다임의 영향을 잘 정리한 글을 참고할 수 있다.
대용량 자동 음성인식은 최근 딥 러닝의 역사에서 산업계와 학계를 모두 아우르는 처음이자 가장 성공적인 케이스라고 할 수 있다. 2010년부터 2014년까지, 신호처리와 음성인식에 대한 주요 학술회의인 IEEE-ICASSP 와 Interspeech는 음성인식을 위한 딥 러닝 분야의 합격 논문 개수에 있어서 거의 기하급수적인 성장을 보여주었다. 더 중요한 것은, 현재 모든 주요 상업 음성인식 시스템(MS 코타나, 스카이프 번역기, 구글 나우, 애플 시리 등등)이 딥 러닝 기법에 기반하고있다는 점이다. 뉘앙스 커뮤니케이션즈의 CTO의 최근 인터뷰도 참고할만하다.
응용 > 영상 인식

일반적으로 이미지 분류를 위한 평가 데이터로서 MNIST 데이터베이스 데이터가 이용된다. MNIST는 손으로 쓴 숫자들로 구성되어 있으며, 60000개의 학습 예제들과 10000개의 테스트 예제들을 포함한다. TIMIT와 유사하게, 적은 용량의 MNIST 데이터는 복수의 테스트 환경설정이 가능하게 해준다. MNIST 데이터에 대한 종합적인 결과들을 [123]에서 확인할 수 있다. 현재까지 MNIST 데이터에 대한 가장 우수한 결과는 Ciresan 등이 작성한에서 달성되었으며, 오차율 0.23%를 기록했다.
제프리 힌튼과 그의 제자들은 2012년 가을에 대규모 ImageNet 대회에서 당시 최신 기계 학습 방법들의 성능을 훌쩍 뛰어넘는 결과를 보여주며 우승하였다. 이로 인해 컴퓨터 비전의 주요 분야인 영상 인식 및 사물 인식 분야에서의 딥 러닝의 중요성이 대두되었다. 그 당시, 대규모에 딥 러닝이 상당히 잘 작동한다는 것을 알고 있었던 그들은, 20년 전에 고안된 심층 합성곱 신경망 구조를 대규모 작업에 맞도록 대규모로 사용하였다. 2013년부터 2014년에 이르기까지, 딥 러닝을 이용한 ImageNet 과제 결과의 오차율은 대규모 음성인식 분야와 추세를 같이하며 빠르게 줄어나갔다.
자동 음성인식 분야의 자동 음성 번역 및 이해 분야로의 확장과 마찬가지로, 이미지 분류 분야는 자동 영상 captioning이라는 더욱 도전적인 분야로 확장되었다. 자동 영상 캡셔닝은 딥 러닝을 핵심 기반 기술로 사용하는 분야이다.
적용 사례로는 360°카메라 화면을 이해할 수 있도록 딥 러닝을 통해 학습된 자동차 탑재용 컴퓨터 등이 있다.
응용 > 자연어 처리

2000년대 초부터 인공신경망은 언어 모형을 구현하기 위해 사용되어 왔다. 이 분야에서의 핵심 기법은 negative sampling과 단어 표현(word expression)이다. word2vec과 같은 단어 표현은 데이터집합으로 주어진 단어들 사이의 관계를 학습하는 인공신경망을 이용하여 단어를 벡터 공간 상에 나타내는 것이라고 할 수 있다. 단어표현을 재귀 신경망(recursive neural network)의 입력 계층으로 이용하면 해당 신경망이 compositional vector grammar를 통해 문장과 구(phrase)를 분석하도록 학습시킬 수 있다. 이 compositional vector grammar는 재귀 신경망으로 구현된 PCFG 라고 할 수 있다. 단어표현을 기반으로 구성된 Recursive autoencoder는 문장 간의 유사도 판단과 의역 탐지를 하도록 훈련이 가능하다. 이러한 심층 인공신경망 구조들은 자동으로 감정 분석(sentiment analysis), 정보 검색(information retrieval)을 비롯한 다양한 자연언어처리 관련 연구에서 최첨단 기술로서 쓰이고 있다.