hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
데이터 마이닝 프라이버시와 윤리
데이터는 익명화되어 개인이 쉽게 식별되지 않도록 수정될 수도 있다. 하지만 "익명화"된 데이터셋도 충분한 정보가 포함되어 있다면 개인을 식별할 수 있는 경우가 있다. 예를 들어, AOL에서 실수로 공개한 검색 기록을 바탕으로 기자들이 여러 개인을 찾아낸 일이 있었다.
개인 식별 정보가 우발적으로 드러나 제공자가 공정 정보 관행을 위반하는 경우, 이는 재정적, 정서적, 신체적 피해로 이어질 수 있다. 예를 들어, 2011년 Walgreens 고객들이 회사가 처방 정보를 데이터 마이닝 회사에 판매하고, 이 데이터가 제약회사에 제공된 것에 대해 소송을 제기한 사례가 있다.
유럽은 비교적 강력한 프라이버시 법률을 갖추고 있으며, 소비자 권리를 더욱 강화하려는 노력이 진행 중이다. 그러나 1998~2000년에 개발된 미국-유럽 세이프 하버 원칙으로 인해, 현재는 유럽 사용자가 미국 기업에 의해 프라이버시 침해를 당할 위험이 있다. 에드워드 스노든의 글로벌 감시 폭로 이후, 이 협정을 폐기하려는 논의가 증가했으며, 미국과의 합의 시도는 실패했다.
데이터 마이닝 프라이버시와 윤리
특히 영국에서는 기업들이 데이터 마이닝을 이용해 특정 고객 집단에 불공정하게 높은 가격을 부과한 사례가 있었다. 이런 집단은 디지털 시장에서 착취당하는 방법을 잘 모르는 사회경제적 약자일 때가 많다.
미국에서는 의회가 HIPAA와 같은 규제 법률을 제정해 프라이버시 문제를 다루고 있다. HIPAA는 개인이 제공하는 정보와 그 사용 목적에 대해 "정보에 입각한 동의"를 요구한다. Biotech Business Week 기사에 따르면, "실제로 HIPAA는 연구 분야의 기존 규정보다 더 큰 보호를 제공하지 않는다"고 미국 학술보건센터(AAHC)는 말한다. 더 중요한 것은, 이 규정이 보호를 위해 추구하는 '정보에 입각한 동의'가 평균적인 개인에게는 사실상 이해 불가능한 수준이라는 점이다. 이는 데이터 집계 및 마이닝에서 데이터 익명화의 필요성을 강조한다.
미국의 정보 프라이버시 관련 법률(HIPAA, FERPA)은 각 분야에만 적용된다. 미국 내 대부분 기업의 데이터 마이닝은 별도의 법적 규제를 받지 않는다.
데이터 마이닝 저작권법
유럽 저작권 데이터베이스 지침에 따르면, 저작권이 있는 작품(예: 웹 마이닝)을 저작권자의 허가 없이 마이닝하는 것은 불법이다. 데이터베이스가 순수 데이터인 경우 저작권이 없을 수 있으나, 데이터베이스 권리가 존재할 수 있으므로 데이터 마이닝은 지적 재산권 소유자의 권리에 종속된다. 하그리브스 보고서의 권고에 따라, 영국 정부는 2014년 저작권법을 개정해 콘텐츠 마이닝을 제한과 예외로 허용했다. 영국은 2009년 일본에 이어 세계에서 두 번째로 데이터 마이닝 예외를 도입했다. 그러나 정보사회 지침(2001)의 제한으로, 영국 예외는 비상업적 목적에만 적용된다. 영국 저작권법은 계약 조항으로 이 규정을 무효화할 수 없도록 한다. 2020년부터 스위스도 연구 목적에 한해 데이터 마이닝을 허용하도록 규정하고 있다.
데이터 마이닝 저작권법
유럽연합 집행위원회는 2013년 "Licences for Europe"이라는 이름으로 텍스트 및 데이터 마이닝에 대한 이해관계자 논의를 주도했다. 이 논의에서 라이선스 중심의 해결책에 반발해 대학, 연구자, 도서관, 시민단체, 오픈 액세스 출판사 등이 2013년 5월 대화에서 이탈했다.
미국 저작권법, 특히 공정 이용 조항은 미국과 이스라엘, 대만, 대한민국 등 공정 이용 국가에서 콘텐츠 마이닝의 합법성을 인정한다. 콘텐츠 마이닝은 원본 저작물을 대체하지 않고 변형적이기 때문에 공정 이용으로 간주된다. 예를 들어, 구글 북 검색판결에서, 담당 판사는 저작권이 있는 책의 디지털화 프로젝트가 변형적 용도(텍스트 및 데이터 마이닝 등)를 보였으므로 합법임을 인정했다.
데이터 마이닝 소프트웨어
다음 애플리케이션들은 무료/오픈소스 라이선스로 제공된다. 소스 코드에 대한 공개 접근도 가능하다.
다음 애플리케이션들은 상용 라이선스로 제공된다.
IRC
인터넷 릴레이 챗(Internet Relay Chat, 약칭: IRC)은 실시간 채팅 프로토콜이다. 채널이라 불리는 토론 포럼에서 그룹 대화를 하기 위해 설계되었으나 개인 메시지를 통한 1:1 소통, 그리고 파일 공유를 포함한 채팅 및 대화 전송도 가능하다.
그리고 IRC는 전통적인 채팅 프로토콜로, 이를 지원하는 수많은 서버 네트워크와 클라이언트가 존재한다.
IRC 역사
IRC는 "WiZ"란 별명을 사용하던 Jarkko Oikarinen가 핀란드의 한 BBS에서 쓰이던 채팅 프로그램을 대체하기 위해, 1988년 8월에 제작했다. Oikarinen은 Bitnet에서 쓰이던 Bitnet Relay Chat에서 힌트를 얻어 IRC를 만들었다.
IRC는 정보통제로 베일에 가려있던 철의 장막 뒤에서 차츰 붕괴되어가던 소련의 모습을 외부에 알려주는 매개체로 기능하면서 이름을 날렸고, 이후 걸프전 때에도 비슷한 방식으로 쿠웨이트에서의 실상을 외부에 알렸다.
IRC 네트워크
IRC 기술적인 정보
IRC는 TCP 기반의 공개 네트워크 프로토콜으로, TCP뿐만이 아니라 TLS을 지원하기도 한다. IRC 서버는 IRC 네트워크 확장을 목적으로 다른 IRC 서버들로 접속이 가능하다. 사용자들은 클라이언트를 서버에 연결함으로써 IRC 네트워크에 접근한다.
IRC 프로토콜은 RFC를 통해 공개되어 있다. IRC에 관한 최초의 RFC는 RFC 1459이며, 이후 2000년에 이를 개정해 RFC 2810, RFC 2811, RFC 2812, RFC 2813의 네 개로 정리하였다.
IRC 프로토콜은 초기에는 평문 프로토콜로 정의되었으며, 이후 확장되었다. IRC 접속 포트는 IANA에서 194/TCP를 할당해 두었지만, 많은 운영 체제에서 이 포트를 사용하려면 특별 권한이 필요하기 때문에, 대부분의 서버에서는 6667/TCP 포트를 사용한다.
IRC 기술적인 정보
IRC 프로토콜은 문자는 8 bit라고만 규정하고 있을 뿐, 이용하는 텍스트에 대한 문자 인코딩은 규정하고 있지 않다. IRC가 생겨났을 당시에는 한 인코딩만 지원하는 텍스트 터미널만 줄창 쓰였고, IRC 프로토콜 설계자들은 IRC 사용자간 대화가 호환 가능한 인코딩 하에서 이루어질 것이라고 단순히 생각했었다. IRC 프로토콜의 이러한 성격은, 사용자들이 서로 다른 클라이언트와 (혹은) 다른 플랫폼 상에서, 영어를 제외한 다른 언어를 써서 서로 대화하고자 할 때 문제가 되기도 한다.
현존하는 모든 클라이언트-서버 IRC 프로토콜들은 IRC2server의 irc2.8 버전에서 구현된 프로토콜에서 나왔다. 이 프로토콜은 RFC 1459 문서에 규정되어 있다. RFC 1459가 발표된 이래로, irc2.10 버전 구현의 새 기능들 때문에, RFC 2810, RFC 2811, RFC 2812 등등의 여러 개정판 프로토콜이 발표되었다. 그러나 이 개정판 프로토콜들은 많은 구현에서 채택되지는 않고 있다.
IRC 기술적인 정보
IRC 프로토콜에 대한 많은 규격 문서들이 발표되었지만, 공식 규격 문서는 존재하지는 않는다. 위에서 말한 RFC들을 참조 삼아 엄격하게 구현한 클라이언트는 현재 거의 하나도 없다고 해도 과언이 아니다.
IRC 서버들의 표준적인 구조는 일종의 트리(비순환 그래프)를 이룬다. 메시지들은 트리 내에서 전달에 필요한 가지(branch)들만을 따라 전달된다. 반면에 네트워크 스테이트(network state)는 모든 서버에게 전송된다. 일반적으로 매우 높은 수준의 비명시적 신뢰 관계가 서버들 사이에 존재한다. 이 아키텍처는 몇 가지 문제점을 가지고 있다; 잘못 동작하는 서버나 악의적으로 놓인 서버가 IRC 네트워크에 치명적인 손실을 가져다 줄 수도 있다. 의도적인 것에 의한 결과이든 하부 네트워크의 상황에 따른 결과이든 구조의 어떠한 변경은, 넷-스플리트(net-split)이나 넷-조인(net-join)을 요구할 수도 있다. 이로 인해 수많은 네트워크 트래픽과 가짜의 나감/들어옴(quit/join) 메시지가 유발되어 잠시 통신 연결이 손실될 수도 있다. 또한 구조의 어떠한 변경은 대규모의 네트워크에 서버를 하나 추가한다는 셈이 되는데, 이것은 많은 네트워크에 백그라운드 밴드위스 부하를 가져다 주고, 서버에 많은 메모리 부하를 야기한다.
IRC URI 스킴
IRC에는 세 개의 인식 가능한 통합 자원 식별자(URI) 스킴이 있다.: irc, irc6, ircs. 지원할 경우, 다음을 포함한 다양한 형태의 하이퍼링크를 허용한다.
여기에서 항목들은 (필요하면) 지정된 호스트에 연결하여 특정 채널에 참여하기 위해 대괄호로 감싸고 있다.([,]는 선택 사항) (클라이언트 자체적으로 내부에서 사용하거나 웹 브라우저와 같은 다른 응용 프로그램으로부터 사용할 수 있다) irc는 기본 URI이며, irc6는 IPv6를 이용하여 연결을 맺으며, ircs는 보안 연결을 규정한다.
IRC 기타
마이크로소프트에서 IRC 프로토콜을 변형하여 1998년 IRCX라는 것을 내놓았다. 당시 IRC 네트워크가 직면했던 문제점들의 일부만을 해결하였다. 사람들은 당시 이것에 대해 "시기상조"라고 했다.
에니그마 기계
에니그마(독일어: Enigma)는 회전자로 작동하는 암호 기계의 한 종류로, 그 이름은 고대 그리스어로 '수수께끼'를 뜻하는 아이니그마(고대 그리스어: αἴνιγμα)라는 말에서 따온 것이다. 암호의 작성과 해독이 가능하며 보안성에 따라 여러 모델이 있다.
1918년 독일인 아르투르 슈르비우스에 의해 처음 고안되어 상업적 목적으로 사용되었다. 특히 제2차 세계 대전 중 나치 독일이 군기밀을 암호화하는 데 사용하였다.
오랫동안 난공불락으로 여겨졌으나 전쟁 시작도 전에, 폴란드의 암호국, 비우로 시프루프 (Bioro Szyfrów)에서 해독의 기초를 마련하였다. 이들은 이후 영국과 프랑스의 암호학자들과 정보를 공유했고, 영국 블레츨리 파크의 암호학자들에 의해 해독되어 전쟁 중 연합군의 전략에 상당한 도움을 주었다.
에니그마는 1945년 독일 패전과 함께 사용이 중지됐지만, 형태가 변형되어 1970년대까지 주로 상업적 보안통신용으로 사용되었다. 에니그마를 원형으로 한 군용 보안통신기 역시 1960년대까지 사용되었다.
에니그마 기계 구성 및 작동원리
다른 회전자 기계(Rotor Machine)와 같이, 에니그마는 기계적 하부체계와 전기적 하부체계로 이루어져 있다.
기계적 하부체계에는 알파벳 26자로 구성된 키보드가 있다. 키보드의 키는 하나 이상의 명령으로 수행된다.
전기적 하부체계의 구성요소는 자판(Tastatur), 회전자(Rotor), 플러그판(Steckbrett),
전구판(Lampenfeld),  입력축, 램프, 스크램블러, 반사판, 배전반 이 있다.
에니그마의 암호문 제작의 원리는 무한히 긴 열쇠값(암호화할 문장을 암호화하는 규칙을 나타내는 단어)을
이용하는 다중 치환 암호를 전기공학적으로 구현해내는 데에 있다.
자판을 이용하여 암호화할 문장을 입력하면 스크램블러가 돌아가면서 암호화된 문장으로 만들어 램프로 표시한다.
에니그마는 시시각각으로 변화하는 전기회로를 구성하여 작동한다. 사용자가 키를 누르면 전류가 회로를 따라 흘러 특정한 알파벳을 지칭하는 전구들 중 하나를 켠다. 예를 들어 ANX~로 시작하는 단어를 암호화할 때 사용자는 A에 해당하는 키를 누르고 Z 전구에 불이 들어왔다고 하자. 이 경우 이 암호문의 첫 글자는 Z가 된다. (미완성)
에니그마 기계 구성 및 작동원리
제1차 세계대전에서 사용되던 코드북이 영국측에 넘어가는 바람에 독일의 외무부장관 짐머만(Arthur Zimmermann)이 미국의 참전을 막기 위해 1917년 1월에 멕시코에 보낸 코드북암호문(미국과 전쟁을 하도록 촉구함)이 해독되어 결국 미국이 연합국 측에 합류하여 독일이 전쟁에서 패하게 된다.
암호기의 밀반출은 곧바로 모든 암호화된 문구의 노출을 의미한다. 그리고 꼭 밀반출이 아니더라도 꾸준한 감청을 통해 데이터베이스를 쌓아 분석하면 어떤 글자가 어떤 글자로 연결되는지는 쉽게 알 수 있다.
그리하여 매번 사용 시마다 규칙은 다르고 또한 그 규칙의 경우의 수가 될 수 있으면 많은 그런 암호기가 필요하게 된다. 이를 위해 에니그마의 두뇌라고 할 수 있는 회전자(Rotor)가 만들어진다.
에니그마 기계 구성 및 작동원리
그림에는 3개의 회전자(rotor)가 들어가 있는데 각각의 회전자는 26개의 원소를 가진 순열이라 보면 된다. 그림에는 간단히 8개의 알파벳으로만 표시되어 있는데 'A'가 3개의 회전자를 통해 'D'로 바뀌는 과정을 보여주고 있다. 이렇게 한 글자의 암호를 마치면 첫 번째 회전자는 조금씩 회전을 하는데 당연히 26번을 한바퀴로 하고 있다. 첫 번째 회전자가 한바퀴를 돌면 시계의 원리처럼 두 번째 회전자가 한 칸 움직이고 똑 같은 방법으로 세 번째 회전자도 움직이게 된다. 여기서 가능한 회전자의 조합 수를 생각해보면 26x26x26=17,576이다.
회전자를 살펴보면 이들은 고정되어 있는 것이 아니라 서로 자리를 바꿀 수가 있고 (가능한 위치의 조합은 6가지이다.) 또한 그 위에 써 있는 알파벳이 회전하는 링 위에 표시되어 있어 이를 임의로 변경(Ringstellung) 시킬 수 있는데 이는 회전자의 조합 수를 더욱 복잡하게 하고 있다.
에니그마 기계 구성 및 작동원리
닉음과의같복잡성은전자의 위치 선정으로 6가지의 경우의 수, 그리고 회전자의 처음 위치를 어디로 할지의 26x26x26의 가짓수, 거기에다가 회전 자들의 임의 변경(Ringstellung)을 통한 경우의수 26x26x26. 즉 총 6x26x26x26x26x26x26 = 1,853,494,656 의 가능한 에니그마의 상태가 존재하는 것이다.
반사체는 에니그마 속에서 가장 독특한 부속품이다. 모든 회전자 내부의 배선 위에서 각각의 글자들은 다른 글자와 서로 연결될 수 있다. 예로 A는 K와 연결되어 있는 F에 연결이 가능하였다. 반사체 내부에, 연결은 서로 짝으로 이루어져 있었다. 만약 A가 F에 연결되어 있다면, 이것은 F역시 A와 연결되어 있음을 의미하는 것이고, 결과적으로 역으로 암호화 된다는 것을 의미한다. 에니그마의 이점은 이것으로 분명해 진다. 암호의 조립과 해독이 동일한 에니그마 셋팅과 배선으로 가능하다는 것이다. 그러나 어떠한 글자를 암호화시켜도 그 자신으로 나올 수가 없다는 특징이 암호해독을 가능케 하는 열쇠가 되었다.
에니그마 기계 구성 및 작동원리
2차 세계대전 기간동안, B와 C type 두 가지 형식의 반사체가 사용되었다. 전쟁 막바지에 가서는 특별한 형식의 D type 반사체가 도입되었다. D type 반사체는 12개의 전선과 24개의 플러그로 조정이 가능한 반사체로, 13번째 전선은 고정되어있었다.
4개의 회전자 형식의 독일해군 에니그마는 특별한 형태의 얇은 회전자를 사용하였는데, 이것들 역시 B와 C반사체로 불렸지만, 독일 육군과 공군의 3회전자 방식의 에니그마의 반사체와 다른 배선구조를 가지고 있었다. 만약 독일해군 에니그마의 반사체들이 4번째 회전자를 A포지션과 A링셋팅으로 사용하게 되면 이를 반사체들은 3회전자 방식의 에니그마와 서로 호환이 되었으며, 다른 형식의 에니그마 사이의 상호 통신이 가능할 수 있었다.
M4 에니그마는 Schreibmax라는, 26글자를 얇은 종이 리본에 인쇄할 수 있는 장치를 사용하였다. 이는 램프를 읽고 번역할 2차 장치의 필요성을 제거해 주었다.
이는 에니그마 장치의 상단에 부착되었고, 램프판에 연결되어 있었다. 또한 장치 설치를 위해 램프 덮개와 전구를 제거해야 했는데, 이는 사용상의 편리성과 보안성을 강화시켰다. 장거리 램프 패널 Fernlesgerat는 에니그마에 Scribemax로 인해 덮개와 전구가 없는 경우에도 해석된 평서문을 간편히 읽을 수 있도록 하였다.
1944년에 Luftwaffe는 40개의 position을 가지고 있는, Uhr이라는 플러그보드 스위치를 도입하였는데, 이들은 기존의 플러그들을 대신하여 역할을 수행하였다.
에니그마 기계 역사
1926년 독일 군대는 암호를 쉽게 해독하기 어렵고 암호화뿐만 아니라 복호화도 가능한 전자 기계식 암호화 장치를 도입하였다. 8년 전 전기 기사 아르투르 세르비우스(1878~1929)는 메시지를 부호화하기 위해 표준 사이즈 가로 세로 30cm, 높이 15cm, 무게 30kg의 기계에 문자판과 세 개의 원판을 결합하여 최초의 에니그마 모델을 개발하였다.
에니그마 기계 역사
에니그마는 1931년 폴란드의 암호국, 비우로 쉬프루프(Biuro Szyfrów)에서 처음 해독 되었다. 그러나 1939년 2차 세계 대전이 발발하자 24시간 마다 암호체계를 바꾸는 독일군의 방침으로 인해 무산되었다. 이를 해독하기 위해 앨런 튜링(Alan Turing)을 비롯한 영국의 암호학자들은 블레츨리 파크(Bletchley Park)에 위치한 영국정보암호학교 GC&CS(UK Government Code and Cypher School)에서 1939년에 The Bombe(한국어:봄브 기계)를 제작해 해독하는 데에 성공한다. 이는 전쟁 중 연합군의 전략에 상당한 도움을 주고 전쟁 종결을 앞당기는 데에 기여하였다.
이 암호기의 개량종인 Hegelin(헤겔린)은 한국전쟁(1950년 6월 25일~ 1953년 7월 27일)에도 사용되었다.
1918년 2월 23일, 독일 엔지니어 아르투르 세르비우스는 로터(rotor)를 이용한 암호 장치로 특허를 냈고, 리처드 E. 리터와 함께 Scherbius & Ritter 회사를 설립했다. 그들은 독일 해군과 외국 회사에 그들의 기계를 선보였지만 둘다 관심을 보이지 않았다.
에니그마 기계 역사
세르비우스와 리처드는 1923년 7월 9일에 특허권을 독일의 'Chiffriermaschinen Aktien-Gesellschaft (암호 기계 주식회사)'에 양도함으로써 이사가 되었다.Chiffriermaschinen AG는 '에니그마 모델 A'라는 회전자 기계를 홍보하기 시작했다. 이 기계는 타자기의 기능도 갖고 있어 무거웠고 크기도 컸다. 그 크기는 65×45×35 cm이고 무게는 약 50kg이었다.
1924년에 비슷한 구조를 가진 '에니그마 모델 B가 소개되었다. 에니그마라는 이름을 가지고 있었지만, 모델 A와 B는 이후에 등장하게 되는 기기들과는 많은 차이가 있었다. 외형적인 면에서뿐만 아니라 반사체를 가지고 있지도 않기 때문에 암호 표기적인 면에서도 차이가 많이 났다.
반사체는 세르비우스의 동료인 윌리 콘이 그 구조를 제안한 에니그마 C에서 처음 나타났다(1926).
모델 C는 그 이전의 장치들보다 더 작았고 휴대하기 편리했다. 타자기 대신 전구를 추가했기 때문에 '점등관 에니그마'라고 불리게 되어 모델 A, B와는 차이를 두었다.
에니그마 C가 개발되고 얼마 안되어서 에니그마 D(1927)가 개발되었다. 에니그마 D는 스웨덴, 네덜란드, 영국, 일본, 이탈리아, 스페인, 미국, 폴란드 등에서 널리 사용되었다.
에니그마 기계 대중문화
Hugh Whitemore의 'Breaking the Code'는 제2차 세계대전에서 Enigma암호를 해독하기 위해 주력한 중심 인물인 Alan Turing의 삶과 죽음을 다룬 연극이다. Derek Jacobi는 이 극에서 주연으로 출연하였으며, 1996년 TV작품들에도 Turing역을 맡았었다. 비록 드라마인 이유로 예술 면허가 필요함에도 불구하고 기본적으로 사실에 근접한 서사 구조를 갖추고 있다.
Robert Harris의 1995년 작(作) Enigma는 세계 2차대전에 Bletchley Park의 암호학자들이 Hut 8에서 (해군 에니그마)를 해독하는 과정을 담고 있다. 소설 이야기에 다소 큰 변화가 있는 이 책은 2001년에 Michael Apted 감독과 Kate Winslet와 Dougray Scott가 주연하는 영화로 만들어졌다. 이 영화는 에니그마의 암호를 밝혀내고, 영국군이 어떻게 그것을 했는지 밝혀냈는지를 알아낸 Poland의 Biuro Szyfrów의 역할을 반영하지 않아 많은 역사적 부정확성을 가지고 있어 비난을 받았다. 이 영화는(소설과 마찬가지로) 폴란드인을 에니그마 암호해독의 비밀을 누설하려고 하는 악역으로 표현했다.
에니그마 기계 대중문화
2000년에 개봉한 Jonathan Mostow감독의 영화 「U571」은 바로 이 에니그마의 열쇠 목록을 구하기 위해 영국 해병이 침몰하는 독일 잠수함에 뛰어드는 이야기로, 실화에 바탕을 둔 영화다. 독일 잠수함의 수병들이 암호 관련 자료를 모두 파기할 새도 없이 급히 탈출한 후에 영국 해병 셋이 뛰어들었는데, 실제로 그 중 둘은 잠수함과 함께 침몰하고 하나가 간신히 그 문서를 들고 살아 나왔다고 한다. 영국에서는 독일의 암호를 해독할 수 있게 된 후에도 결정적인 때에 써먹기 위해 이 사실을 감추고 독일을 안심하게 했다. 초기에 해독된 암호 중에는 독일이 영국의 어느 소도시를 공습할 계획이 있었는데, 처칠의 명으로 시민들을 대피시키지 않고 그냥 공습하게 내버려 두었다고 한다.
To Say Nothing of the Dog 은 시간을 여행하는 역사학자들에 관한 공상과학 소설로서, 연합군들이 에니그마를 얻어내는 것의 중요성을 강조한다. 2011년 6월 20일 방영된 TV 쇼 Sanctuary "Into the Black" 편에서 에니그마 암호를 푸는 데 성공한 공로는 Nikola Tesla에게 돌려진다.
이미테이션 게임
에니그마 기계 해독
1932년 폴란드 암호 전문가 마리안 레예프스키(Marian Rejewski)는 독일의 에니그마 암호기로 만든 암호를 푸는 데 성공했다. 폴란드는 제2차 세계대전이 일어나기 5주 전인 1939년 6월 25일에 영국과 프랑스 군사정보 담당처에 암호제작기 에니그마와 암호독해 관련 기술을 전달해 주었다. 영국은 독일군의 암호문을 해독하기 위해 블레츨리 파크(Bletchley Park)에서 콜러서스(Colossus)라는 기계를 개발했다.
영국은 암호를 해독하기 위해 앨런 튜링(Alan Turing), 토미 플라워스(Tommy Flowers) 등의 기술자들을 통해 콜러서스(Colossus)라는 기계를 개발하였다. 이런 과학자들은 암호의 규칙을 찾아내고 암호의 유형을 확인하기 위해 콜로서스라는 세계 최초의 컴퓨터를 만든 것이다.
에니그마 기계 해독
콜러서스는 2400개의 진공관을 가진 전자식 암호해독용 컴퓨터다. 이를 위해 현대식 컴퓨터의 원리를 도입해야 했다. 콜러서스는 여러 가지 새로운 컴퓨팅 개념을 실현하고 있었다. 1초에 25000자를 번역할 수 있다. 전쟁 후에 이 기계는 군사기밀을 이유로 폐기되었으나 일원으로 2007년에 다시 만들어졌다.
에니그마 메시지를 해독하기 위해서는 다음과 같은 절차를 따라야 한다.
에니그마 기계 관련 도서
《코드북》 ISBN 978-89-8401-066-6
비밀의 언어 - THE CODE BOOK 암호의 역사와 과학(2015) | 사이먼 싱
튜링이 들려주는 암호 이야기(2010) | 오채환
암호의 해석 - 머리를 쓰는 즐거움(2009) | 루돌프 키펜한
너무 많이 알았던 사람 - 앨런 튜링과 컴퓨터의 발명(2008) | 데이비드 리비트
튜링이 들려주는 암호 이야기(2008) | 박철민
튜링이 들려주는 암호 이야기(2005) | 오채환
암호 이야기 - 역사 속에 숨겨진 코드(2006) | 박영수
암호의 세계 - 비밀문자 에니그마 IC카드(2002) | 루돌프 키펜한
전방 추론
전방 추론(前方推論, forward reasoning, forward chaining)은 후방 추론과 달리 자료 위주의 추론 방법이다. 가능한 결론의 종류가 많은 경우에 적합하다.
전방 추론은 전문가 시스템, 비즈니스 및 생산 규칙 시스템에 널리 사용되는 구현 전략이다. 전방 추론의 반대는 후방 추론이다.
전방 추론은 사용 가능한 데이터로 시작하고 추론 규칙을 사용하여 목표에 도달할 때까지 더 많은 데이터(예: 최종 사용자로부터)를 추출한다. 전방 추론을 사용하는 추론 엔진은 선행 항목(If 절)이 참인 것으로 알려진 규칙을 찾을 때까지 추론 규칙을 검색한다. 이러한 규칙이 발견되면 엔진은 결과(Then 절)를 결론짓거나 추론하여 데이터에 새로운 정보를 추가할 수 있다.
추론 엔진은 목표에 도달할 때까지 이 프로세스를 반복한다.
후방 추론
후방 추론(後方推論, backward reasoning, backward chaining)은 전방 추론과 반대로 목표로부터 시작해서 이를 충족시키는 전제를 찾아나가는 추론 방식이다. 가능한 목표의 수가 적은 경우에 우수한 추론 방법이다.
게임 이론에서 연구자들은 이를 (더 단순한) 하위 게임에 적용하여 역진 귀납(backward induction)이라는 과정을 통해 게임에 대한 해결책을 찾는다. 체스에서는 역행 분석(Retrograde Analysis)이라고 하며, 컴퓨터 체스용 체스 엔드게임을 위한 테이블 기반을 생성하는 데 사용된다.
후방 추론은 SLD 분석을 통해 논리 프로그래밍에서 구현된다. 두 규칙 모두 모더스 포넨스 추론 규칙을 기반으로 한다. 이는 추론 규칙과 논리적 함의를 통해 가장 일반적으로 사용되는 두 가지 추론 방법 중 하나이다. 다른 하나는 전방 추론이다. 후방 추론 시스템은 일반적으로 깊이 우선 탐색 전략(예: 프롤로그 (프로그래밍 언어))을 사용한다.
아르센 뤼팽
아르센 뤼팽(프랑스어: Arsène Lupin, 문화어: 아르쎈 루뺑)은 20세기 초에 소설가 모리스 르블랑이 발표한 추리소설이자 모험소설인 《괴도신사 아르센 뤼팽》 시리즈에 등장하는 주인공의 이름이다. 흔히 "괴도 신사"로 묘사된다.
또한 공식적으로 발표된 아르센 뤼팽의 마지막 작품은 '아르센 뤼팽의 수십억 달러(프랑스어: Les Milliards d'Arsène Lupin)'인데, 제9장 '금고'(IX. Les coffres-forts) 부분이 누락된 채로 절판된 작품이었다. 그것을 2003년 대한민국의 시인이자 번역가 성귀수가 프랑스 현지 연구가의 도움을 받아 살려내 까치글방 출판사를 통해 세계 최초로 완간해냈다. 그리고 진짜 마지막 작품(르블랑 미공개)인 '아르센 뤼팽의 마지막 사랑'은 1996년 자크 드루아르 교수가 르블랑 고택에서 발견해내 2012년 르블랑 사망 70주기를 맞아 르블랑 유족이 발간을 결정, 프랑스와 대한민국에서 동시에 출간되었다. 2018년 7월 12일 번역가 성귀수가 출판사 북이십일의 출판 브랜드 아르테를 통해서 결정판 전집을 세계 최초로 출간했다.
이 전집은 프랑스 뤼팽협회에서 인정하는 세계 최초의 아르센 뤼팽 결정판 전집이다.
아르센 뤼팽 개요
1905년부터 1939년까지 25년 이상에 걸쳐서 집필된 프랑스의 인기 소설로, 모리스 르블랑의 대표작이다. 전기의 작품에서는 신출귀몰한 괴도신사 아르센 뤼팽 이야기가 주요내용이지만, 중반은 돈 루이스 페레나의 애국 모험, 후기는 탐정 짐 바르네트 등 탐정 모험, 라울이라는 이름을 쓰는 연애 모험이 주가되는 등, 변용이 풍부하고 전기의 작품과 후기의 작품에서는 각각 정취가 다르다.
후기에는 당시 시대상(제1차 세계대전)이 얽히면서 뤼팽이 범죄자에서 애국자로, 그리고 조국 프랑스의 미래를 열어가는 선각자로 탈바꿈하게 된다.
아르센 뤼팽 인물상
신사이면서 강도, 사기꾼, 모험가이다. 변장의 달인으로 자유자재로 가명을 사용하며 신분을 숨긴다.
귀족이나 자본가의 저택 등을 덮쳐 보석이나 미술품, 값비싼 가구 등을 훔쳐 간다.
반면 선량한 사람을 돕는 의적(義賊)의 성격도 가지고 있어서 괴롭힘을 당하는 부인이나 아이에게는 믿음직한 보호자가 된다.
아르센 뤼팽 관련 말
홈즈의 팬을 '셜록키언', '홈지언' 등이라 일컫듯, 뤼팽의 팬은 '뤼패니앵'이라 불린다.
아르센 뤼팽 기타
모리스 르블랑의 '아르센 뤼팽 대 헐록 숌즈'는 처음에는 '아르센 뤼팽 대 셜록 홈즈(Arsène Lupin contre Sherlock Holmes)'라는 제목을 달고 나왔다가 셜록 홈즈의 창시자인 코난 도일 경에게서 항의 편지를 받았고, 모리스 르블랑은 이에 대한 대처로 셜록 홈즈라는 이름을 철자 바꾸기로 '헐록 쇼메즈(Herlock Sholmès)'라는 이름으로 바꾸어 재출판하였고, 영국으로 수출되었을 때에는 '홈록 시어즈(Holmlock Shears)'라는 괴상망측한 이름으로 바뀌었다는 웃지 못할 이야기가 있다.
성귀수 역작 완간본(까치글방)에서는 르블랑의 취지를 살려 홈즈라고 붙였지만, 다른 판본에서는 쇼메즈 명의로 나온 경우도 있다.
참고로, 2016년 출시된 비디오 게임 페르소나 5의 주인공 이름은 아르센이며 그가 자주 머무는 카페 이름은 르블랑이다.
파일 전송 프로토콜
파일 전송 프로토콜(File Transfer Protocol, FTP)은 TCP/IP 프로토콜을 가지고 서버와 클라이언트 사이의 파일 전송을 하기 위한 표준 통신 프로토콜(standard communication protocol)이다. 파일 전송 프로토콜은 TCP/IP 프로토콜 테이블의 응용 계층에 속하며, 역사는 오래 되었지만 지금도 인터넷에서 자주 사용된다.
최초의 FTP 클라이언트 애플리케이션들은 운영 체제가 그래픽 사용자 인터페이스를 갖추기 이전에 개발된 명령 줄 프로그램이었으며, 대부분의 윈도우, 유닉스, 리눅스 운영 체제에 현재도 기본 포함되어 있다. 그 뒤로 수많은 FTP 클라이언트 및 오토메이션 유틸리티들이 데스크톱, 서버, 모바일 장치, 하드웨어용으로 개발되고 있으며, FTP는 웹 페이지 편집기와 같은 생산성 응용 프로그램들에 통합되고 있다.
파일 전송 프로토콜 FTP 서버의 역사
원래의 FTP에 대한 사양은 Abhay Bhushan이 작성하였으며, 1971년 4월 16일 RFC 114로 게시되었다. 1980년까지 FTP는 TCP/IP의 전신인 NCP 위에 실행되었다. 이 프로토콜은 나중에 TCP/IP 버전인 RFC 765 (1980년 6월), 그리고 현재의 사양인 RFC 959 (1985년 10월)으로 대체되었다. 제안된 일부 표준들은 RFC 959를 개정하였는데, 이를테면 RFC 1579 (1994년 2월)는 방화벽 친화 FTP (수동 모드)를 활성화하며, RFC 2228 (1997년 6월)은 보안 확장을 제안하며, RFC 2428 (1998년 9월)은 IPv6 지원을 추가하고 새로운 종류의 수동 모드를 정의한다.
파일 전송 프로토콜 프로토콜 개요
HTTP와는 달리 연결의 종류는 2가지가 있다:
데이터 전송용 연결: 실제의 파일 전송은 필요할 때 새로운 연결이 만들어진다.
능동 모드(액티브 모드): 서버가 자신의 데이터 포트인 20번 포트에서부터 클라이언트가 지정한 지점으로의 데이터 연결을 만든다. 클라이언트가 지정하는 포트는 주로 1023 보다 큰 번호가 매겨진 포트이다. 클라이언트가 방화벽, NAT(IP 마스킹) 등을 사용하는 환경일 때에 잘 동작하지 않을 수 있는데, 이때 수동 모드를 이용하면 된다.
수동 모드(패시브 모드): 클라이언트가 서버가 지정한 서버 포트로 연결할 수 있게 한다. 이 때에는 보통 양쪽 포트 모두 1023 보다 큰 포트를 사용한다.
어느 모드에서도 2개의 연결을 만드는 점은 다르지 않다. 하지만 FTP 포트를 변경하게 되고 방화벽이 있는 경우, 방화벽 Inspection 모드 설정에 따라 FTP 통신은 정상적이지만, get 명령이나 ls 명령 등 FTP-DATA포트를 이용한 통신은 정상적으로 이루어지지 않을 수 있다.
파일 전송 프로토콜 보안
FTP는 보안 프로토콜로 계획되지 않았기 때문에 수많은 보안 취약점이 존재한다. 1999년 5월에, RFC 2577 저자들은 다음의 문제에 대한 취약점을 나열하였다:
파일 전송 프로토콜은 서버의 파일을 바꾸거나 지울 수 있기 때문에 전송하기 앞서 사용자 이름과 암호를 묻는 인증 과정이 필요하다. 보통 FTP에서는 암호가 암호화되지 않아 위험하기 때문에 원 타임(한 번만 묻는) 암호를 이용한 인증을 이용하며, 아니면 보안을 더욱 철저하게 하려면 아예 SFTP, SCP 등 다른 방법을 사용하여 파일을 전송한다.
파일 전송 프로토콜 파생
FTPS는 FTP 표준의 확장으로, 클라이언트가 FTP 세션이 암호화되도록 요청할 수 있게한다.
SSH 파일 전송 프로토콜(SFTP)은 파일을 전송하고 사용자를 위한 비슷한 명령을 갖추고 있으나, 시큐어 셸 프로토콜(SSH)을 사용하여 파일을 전송한다.
심플 파일 전송 프로토콜(Simple File Transfer Protocol, SFTP)은 RFC 913에 의해 정의되어 있다.
음성 인식
음성 인식(speech recognition)은 컴퓨터 과학과 전산언어학의 방법론과 기술을 개발하는 학제간 하위 분야로, 음성 언어를 컴퓨터가 인식하고 텍스트로 번역할 수 있도록 한다. 자동 음성 인식(automatic speech recognition, ASR), 컴퓨터 음성 인식(computer speech recognition) 또는 음성-텍스트(speech-to-text, STT)라고도 한다. 컴퓨터 과학, 언어학, 컴퓨터 공학 분야의 지식과 연구를 통합한다. 반대 과정은 음성 합성이다.
일부 음성 인식 시스템은 "훈련"(또는 "등록")이 필요하며, 개별 화자가 시스템에 텍스트나 특정 어휘를 읽어준다. 시스템은 해당 화자의 특정 목소리를 분석하고 이를 사용하여 해당 화자의 음성 인식을 미세 조정하여 정확도를 높인다. 훈련을 사용하지 않는 시스템은 "화자 독립" 시스템이라고 한다. 훈련을 사용하는 시스템은 "화자 종속"이라고 한다.
음성 인식
음성 인식 애플리케이션에는 음성 다이얼링(예: "집으로 전화"), 통화 라우팅(예: "수신자 부담 전화 걸겠습니다"), 가정 자동화 기기 제어, 검색 키워드(예: 특정 단어가 말해진 팟캐스트 찾기), 간단한 데이터 입력(예: 신용카드 번호 입력), 구조화된 문서 작성(예: 방사선 보고서), 화자 특성 결정, 음성-텍스트 처리(예: 워드 프로세서 또는 이메일), 항공기 (일반적으로 직접 음성 입력이라고 불림)의 음성 사용자 인터페이스가 포함된다. 자동 발음 평가는 구어 학습과 같은 교육에 사용된다.
음성 인식 또는 화자 인식는 화자가 무엇을 말하는지가 아니라 화자를 식별하는 것을 의미한다. 화자를 인식하면 특정 화자의 목소리로 훈련된 시스템의 음성 번역 작업이 단순화되거나, 보안 프로세스의 일부로 화자의 신원을 인증하거나 확인할 수 있다.
기술적인 관점에서 음성 인식은 몇 가지 주요 혁신의 물결과 함께 오랜 역사를 가지고 있다. 가장 최근에는 이 분야가 딥 러닝과 빅 데이터의 발전으로 혜택을 받았다. 이러한 발전은 이 분야에서 발표된 학술 논문의 급증뿐만 아니라, 더 중요하게는 전 세계 산업계에서 다양한 딥 러닝 방법을 사용하여 음성 인식 시스템을 설계하고 배포하는 데 채택된 것으로 입증된다.
음성 인식 역사
성장의 핵심 영역은 어휘 크기, 화자 독립성, 처리 속도였다.
라지 레디는 1960년대 후반 스탠퍼드 대학교의 대학원생으로서 연속 음성 인식을 처음으로 수행했다. 이전 시스템은 사용자가 각 단어 뒤에 잠시 멈춰야 했다. Reddy의 시스템은 체스를 두기 위한 음성 명령을 발행했다.
이 무렵 소련 연구원들은 동적 시간 워핑 (DTW) 알고리즘을 발명하고 이를 사용하여 200개 단어 어휘에서 작동할 수 있는 인식기를 만들었다. DTW는 음성을 짧은 프레임, 예를 들어 10ms 세그먼트로 나누고 각 프레임을 단일 단위로 처리하여 음성을 처리했다. DTW는 이후의 알고리즘에 의해 대체되었지만 이 기술은 계속 사용되었다. 화자 독립성 달성은 이 시기에도 여전히 해결되지 않은 문제였다.
음성 인식 역사
1971 – DARPA는 음성 이해 연구에 5년간 자금을 지원하여 최소 1,000개 단어 어휘를 목표로 하는 음성 인식 연구를 진행했다. 그들은 음성 이해가 음성 인식 발전에 핵심이 될 것이라고 생각했지만, 나중에 이것은 사실이 아닌 것으로 밝혀졌다. BBN, IBM, 카네기 멜런 대학교, 스탠퍼드 연구소 모두 이 프로그램에 참여했다. 이것은 존 피어스의 서한 이후 음성 인식 연구를 부활시켰다.
1960년대 후반 레너드 바움은 국방 분석 연구소에서 마르코프 연쇄의 수학을 개발했다. 10년 후, 카네기 멜런 대학교에서 라지 레디의 제자인 제임스 베이커와 자넷 M. 베이커는 음성 인식을 위해 은닉 마르코프 모형 (HMM)을 사용하기 시작했다. 제임스 베이커는 학부 교육 중 국방 분석 연구소에서 여름 아르바이트를 통해 HMM에 대해 배웠다. HMM의 사용으로 연구원들은 음향, 언어, 구문과 같은 다양한 지식 출처를 통일된 확률 모델로 결합할 수 있게 되었다.
음성 인식 역사
1980년대 중반까지 IBM의 프레더릭 옐리넥 팀은 20,000개 단어 어휘를 처리할 수 있는 탕고라(Tangora)라는 음성 활성화 타자기를 만들었다. Jelinek의 통계적 접근 방식은 인간 두뇌가 음성을 처리하고 이해하는 방식을 모방하는 데는 덜 강조하고, 대신 HMM과 같은 통계 모델링 기술을 사용하는 데 중점을 두었다. (Jelinek의 그룹은 HMM을 음성에 적용하는 것을 독립적으로 발견했다.) 이는 HMM이 인간 언어의 많은 공통적인 특징을 설명하기에는 너무 단순하기 때문에 언어학자들에게는 논란의 여지가 있었다. 그러나 HMM은 음성 모델링에 매우 유용한 방법으로 판명되었고, 1980년대에는 동적 시간 워핑을 대체하여 지배적인 음성 인식 알고리즘이 되었다.
1980년대에는 N-그램 언어 모델도 도입되었다.
이 분야의 발전은 컴퓨터 기능의 급속한 증가에 기인한다. 1976년 DARPA 프로그램이 끝났을 때 연구원들이 사용할 수 있는 최고의 컴퓨터는 4MB 램의 PDP-10이었다. 음성 30초를 해독하는 데 최대 100분이 걸릴 수 있었다.
두 가지 실용적인 제품은 다음과 같다.
음성 인식 역사
이 시점에는 일반적인 상업용 음성 인식 시스템의 어휘가 평균 인간 어휘보다 더 많았다. 라지 레디의 전 학생인 쉐둥 황은 카네기 멜런 대학교에서 Sphinx-II 시스템을 개발했다. Sphinx-II 시스템은 화자 독립적인 대규모 어휘 연속 음성 인식을 수행한 최초의 시스템이었으며, 1992년 DARPA 평가에서 최고의 성능을 보였다. 대규모 어휘를 갖춘 연속 음성을 처리하는 것은 음성 인식 역사에서 중요한 이정표였다. Huang은 1993년에 Microsoft의 음성 인식 그룹을 설립했다. 라지 레디의 학생 Kai-Fu Lee는 애플에 입사하여 1992년에 캐스퍼(Casper)로 알려진 애플 컴퓨터의 음성 인터페이스 프로토타입 개발을 도왔다.
음성 인식 역사
벨기에 기반 음성 인식 회사인 Lernout & Hauspie는 1997년에 Kurzweil Applied Intelligence, 2000년에 Dragon Systems를 포함한 여러 회사를 인수했다. L&H 음성 기술은 윈도우 XP 운영 체제에 사용되었다. L&H는 2001년 회계 스캔들로 인해 회사가 종료될 때까지 업계 선두 주자였다. L&H의 음성 기술은 ScanSoft에 의해 인수되었고, 2005년에 Nuance가 되었다. Apple은 원래 Nuance로부터 소프트웨어를 라이선스하여 Siri 디지털 비서에게 음성 인식 기능을 제공했다.
음성 인식 역사
2000년대에 DARPA는 두 가지 음성 인식 프로그램인 2002년의 효과적이고 경제적이며 재사용 가능한 음성-텍스트 변환(EARS)과 글로벌 자율 언어 활용(GALE)에 자금을 지원했다. EARS 프로그램에는 IBM, BBN과 LIMSI 및 Univ. of Pittsburgh가 주도하는 팀, 케임브리지 대학교, ICSI, SRI 및 워싱턴 대학교로 구성된 팀 등 4개 팀이 참여했다. EARS는 500명 이상의 화자로부터 260시간의 녹음된 대화를 포함하는 스위치보드 전화 말뭉치 수집에 자금을 지원했다. GALE 프로그램은 아랍어 및 표준 만다린 방송 뉴스 음성에 중점을 두었다. Google의 첫 번째 음성 인식 노력은 Nuance에서 일부 연구원을 고용한 후 2007년에 시작되었다. 첫 번째 제품은 전화 기반 디렉토리 서비스인 GOOG-411이었다. GOOG-411의 녹음 자료는 Google이 인식 시스템을 개선하는 데 도움이 되는 귀중한 데이터를 제공했다. 구글 음성 검색은 이제 30개 이상의 언어를 지원한다.
음성 인식 역사
미국에서는 미국 국가안보국이 최소 2006년부터 키워드 탐지 유형의 음성 인식을 사용하고 있다. 이 기술을 통해 분석가는 대량의 녹음된 대화를 검색하고 키워드 언급을 분리할 수 있다. 녹음 자료는 색인화되어 분석가가 데이터베이스에서 관심 있는 대화를 찾기 위한 쿼리를 실행할 수 있다. 일부 정부 연구 프로그램은 DARPA의 EARS 프로그램 및 IARPA의 바벨 프로그램과 같이 음성 인식의 정보 애플리케이션에 중점을 두었다.
2000년대 초반에는 음성 인식이 은닉 마르코프 모형과 전방향 인공 신경망을 결합한 전통적인 접근 방식이 여전히 지배적이었다.
그러나 오늘날 음성 인식의 많은 측면은 Sepp Hochreiter와 Jürgen Schmidhuber가 1997년에 발표한 순환 신경망의 일종인 장단기 메모리 (LSTM)라는 딥 러닝 방법으로 대체되었다. LSTM RNN은 기울기 소실 문제를 피하고 수천 개의 이산 시간 단계 전에 발생한 이벤트에 대한 기억이 필요한 "매우 깊은 학습" 작업을 학습할 수 있으며, 이는 음성 인식에 중요하다.
음성 인식 역사
2007년경, Connectionist Temporal Classification(CTC)으로 훈련된 LSTM이 특정 애플리케이션에서 전통적인 음성 인식을 능가하기 시작했다. 2015년, Google의 음성 인식은 CTC로 훈련된 LSTM을 통해 49%의 극적인 성능 향상을 경험했으며, 이는 현재 모든 스마트폰 사용자에게 Google Voice를 통해 제공되고 있다. 순수히 "어텐션"을 기반으로 하는 신경망 유형인 트랜스포머는 컴퓨터 비전 및 언어 모델링에 널리 채택되어 음성 인식과 같은 새로운 영역에 이러한 모델을 적용하는 데 대한 관심을 불러일으켰다. 일부 최신 논문에서는 트랜스포머 모델을 사용한 음성 인식에서 뛰어난 성능 수준을 보고했지만, 이러한 모델은 높은 성능 수준에 도달하기 위해 일반적으로 대규모 훈련 데이터셋이 필요하다.
음성 인식 역사
음향 모델링을 위한 깊은 전방향(비순환) 신경망 사용은 2009년 후반에 Geoffrey Hinton과 토론토 대학교의 그의 학생들, 그리고 Microsoft Research의 Li Deng과 동료들에 의해 도입되었으며, 초기에는 Microsoft와 Toronto 대학 간의 공동 작업으로 시작되어 이후 IBM과 Google을 포함하도록 확장되었다(따라서 2012년 검토 논문의 "4개 연구 그룹의 공유된 관점"이라는 부제가 붙었다). Microsoft 연구 책임자는 이 혁신을 "1979년 이후 정확도의 가장 극적인 변화"라고 불렀다. 지난 몇십 년간의 꾸준한 점진적 개선과 달리, 딥 러닝의 적용은 단어 오류율을 30% 감소시켰다. 이 혁신은 이 분야 전반에 걸쳐 빠르게 채택되었다. 연구원들은 언어 모델링에도 딥 러닝 기술을 사용하기 시작했다.
음성 인식의 오랜 역사에서 인공 신경망의 얕은 형태와 깊은 형태(예: 순환 신경망)는 1980년대, 1990년대 및 2000년대 초반까지 수년 동안 탐구되었다.
그러나 이러한 방법은 판별적으로 훈련된 생성적 음성 모델을 기반으로 하는 비균일 내부 수동 제작 가우시안 혼합 모델/은닉 마르코프 모형(GMM-HMM) 기술을 결코 이기지 못했다. 1990년대에는 기울기 소실 및 신경 예측 모델의 약한 시간 상관 구조를 포함하여 여러 가지 주요 난이도가 방법론적으로 분석되었다. 이러한 난이도는 모두 초기에는 대규모 훈련 데이터와 대규모 컴퓨팅 파워의 부족에 추가되었다. 이러한 장벽을 이해한 대부분의 음성 인식 연구원들은 따라서 신경망에서 벗어나 생성적 모델링 접근 방식을 추구하다가 2009-2010년경부터 시작된 딥 러닝의 최근 부흥으로 이 모든 어려움을 극복했다. Hintonet al. 및 Deng et al.는 서로 간의 협력과 이후 4개 그룹(토론토 대학교, Microsoft, Google 및 IBM)의 동료들과의 협력이 음성 인식에 대한 깊은 전방향 신경망 애플리케이션의 르네상스를 어떻게 촉발했는지에 대한 최근 역사의 일부를 검토했다.
2010년대 초반까지 음성 인식은 음성 인식이라고도 불리며, 화자 인식과 명확하게 구분되었고, 화자 독립성은 중요한 돌파구로 여겨졌다. 그때까지 시스템은 "훈련" 기간이 필요했다. 1987년 인형 광고에는 "드디어 당신을 이해하는 인형"이라는 태그라인이 붙었지만, "아이들이 자신의 목소리에 반응하도록 훈련할 수 있는 인형"으로 묘사되었다.
2017년, 마이크로소프트 연구원들은 널리 벤치마킹되는 스위치보드 작업에서 대화형 전화 음성을 전사하는 역사적인 인간 수준의 이정표에 도달했다. 음성 인식 정확도를 최적화하기 위해 여러 딥 러닝 모델이 사용되었다. 음성 인식 단어 오류율은 동일한 작업에 대해 IBM 왓슨 음성 팀이 자금을 지원한 전문 인간 전사자 4명이 함께 작업한 것과 동일하게 낮은 것으로 보고되었다.
음성 인식 모델, 방법 및 알고리즘
음향 모델링과 언어 모델링은 현대 통계 기반 음성 인식 알고리즘의 중요한 부분이다. 은닉 마르코프 모형(HMM)은 많은 시스템에서 널리 사용된다. 언어 모델링은 문서 분류 또는 통계적 기계 번역과 같은 다른 자연어 처리 애플리케이션에서도 사용된다.
현대 범용 음성 인식 시스템은 은닉 마르코프 모형을 기반으로 한다. 이들은 기호 또는 양의 시퀀스를 출력하는 통계 모델이다. HMM은 음성 신호가 조각별 정상 신호 또는 단시간 정상 신호로 볼 수 있기 때문에 음성 인식에서 사용된다. 짧은 시간 스케일(예: 10밀리초)에서 음성은 정상 과정으로 근사할 수 있다. 음성은 많은 확률적 목적에 대해 마르코프 모형으로 생각할 수 있다.
음성 인식 모델, 방법 및 알고리즘
HMM이 인기 있는 또 다른 이유는 자동으로 훈련할 수 있고 사용하기 쉽고 계산적으로 실현 가능하다는 것이다. 음성 인식에서 은닉 마르코프 모형은 n차원 실수 벡터(n은 10과 같은 작은 정수)의 시퀀스를 출력하며, 매 10밀리초마다 하나씩 출력한다. 벡터는 켑스트럼 계수로 구성되며, 이는 음성의 짧은 시간 창에 대한 푸리에 변환을 수행하고 코사인 변환을 사용하여 스펙트럼을 분리한 다음 처음(가장 중요한) 계수를 취하여 얻는다. 은닉 마르코프 모형은 각 상태에 대각 공분산 가우시안의 혼합인 통계 분포를 가지는 경향이 있으며, 이는 각 관측 벡터에 대한 가능성을 제공한다. 각 단어 또는 (더 일반적인 음성 인식 시스템의 경우) 각 음소는 다른 출력 분포를 갖는다. 단어 또는 음소 시퀀스에 대한 은닉 마르코프 모형은 별도의 단어 및 음소에 대해 개별적으로 훈련된 은닉 마르코프 모형을 연결하여 만들어진다.
음성 인식 모델, 방법 및 알고리즘
위에 설명된 것은 가장 일반적인 HMM 기반 음성 인식 접근 방식의 핵심 요소이다. 현대 음성 인식 시스템은 위에 설명된 기본 접근 방식에 비해 결과를 개선하기 위해 여러 표준 기술을 조합하여 사용한다. 일반적인 대규모 어휘 시스템은 문맥 의존성이 있는 음소 (다른 왼쪽 및 오른쪽 문맥을 가진 음소가 다른 HMM 상태로 실현되도록 함)가 필요할 것이다. 다른 화자와 녹음 조건에 대해 정규화하기 위해 켑스트럼 정규화를 사용할 것이다. 추가적인 화자 정규화를 위해 남성-여성 정규화를 위한 성도 길이 정규화(VTLN) 및 더 일반적인 화자 적응을 위한 최대 가능도 선형 회귀(MLLR)를 사용할 수 있다. 특징은 음성 역학을 포착하기 위해 소위 델타 계수 및 델타-델타 계수를 가질 것이며, 추가적으로 이분산 선형 판별 분석(HLDA)을 사용할 수 있다. 또는 델타 및 델타-델타 계수를 생략하고 스플라이싱 및 LDA 기반 투영을 사용한 다음 이분산 선형 판별 분석 또는 글로벌 세미 타이드 공분산 변환(최대 가능도 선형 변환, MLLT로도 알려짐)을 사용할 수 있다. 많은 시스템은 HMM 매개변수 추정에 대한 순수 통계적 접근 방식을 포기하고 대신 훈련 데이터의 일부 분류 관련 측정을 최적화하는 소위 판별 훈련 기술을 사용한다. 예를 들어 최대 상호정보 (MMI), 최소 분류 오류 (MCE), 최소 음소 오류 (MPE)가 있다.
음성 인식 모델, 방법 및 알고리즘
음성 디코딩(시스템에 새로운 발화가 제시되었을 때 가장 가능성 있는 소스 문장을 계산하는 것을 의미)은 최상의 경로를 찾기 위해 아마도 비터비 알고리즘을 사용할 것이며, 여기서 음향 및 언어 모델 정보를 모두 포함하는 조합 은닉 마르코프 모형을 동적으로 생성하는 것과 미리 정적으로 결합하는 것 (유한 상태 변환기, 또는 FST, 접근 방식) 중에서 선택할 수 있다.
음성 인식 모델, 방법 및 알고리즘
디코딩의 가능한 개선은 최상의 후보만을 유지하는 대신 좋은 후보 집합을 유지하고, 더 나은 점수 함수(재점수 매기기)를 사용하여 이러한 좋은 후보를 평가하여 이 개선된 점수에 따라 최상의 후보를 선택할 수 있도록 하는 것이다. 후보 집합은 목록(N-최상 목록 접근 방식) 또는 모델의 하위 집합(격자)으로 유지될 수 있다. 재점수 매기기는 일반적으로 베이즈 위험 (또는 그 근사치)를 최소화하여 수행된다. 최대 확률을 가진 소스 문장을 취하는 대신, 가능한 모든 전사에 대해 주어진 손실 함수 의 기대값을 최소화하는 문장을 취하려고 한다(즉, 추정된 확률로 가중된 다른 가능한 문장과의 평균 거리를 최소화하는 문장을 취함). 손실 함수는 일반적으로 레벤슈타인 거리이지만 특정 작업에 따라 다른 거리가 될 수 있다. 가능한 전사 집합은 물론 처리 가능성을 유지하기 위해 가지치기된다. 특정 가정을 검증하는 편집 거리를 나타내는 유한 상태 변환기로 표현된 가중 유한 상태 변환기로 표현된 격자를 재점수 매기기 위한 효율적인 알고리즘이 고안되었다.