hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
요아힘 파이퍼 전쟁범죄
요아힘 파이퍼는 크게 2건의 전쟁 범죄 사건에 관련된 혐의를 받았다. 보베 학살과 말메디 학살 2건이다.
보베 학살이라 불리는 전쟁 범죄 행위를 저질렀다는 혐의를 받았지만 재판에는 기소되지 않았다. 1968년 독일 법무성은 파이퍼에게 기소할 만한 혐의가 전혀 없다고 밝혔고, 1968년 12월 3일 사건은 공식적으로 종결되었다.
주목할 만한 또다른 사실을 언급하면, 이탈리아에서 종군하던 당시 파이퍼는 이탈리아 정부가 신병을 구속한 일단의 유태인을 발견했다. 그들의 신병을 확보한 파이퍼는 그 후 그들을 자유의 몸이 되게 해주었다. 그 중 하나였던 한 랍비는 나중에 벌어진 전쟁 범죄 재판에서 파이퍼의 결백에 대해 증언했다.
제2차 세계대전 종전 후, 파이퍼는 아르덴 공세에서 라 글레즈로 이동하던 중 파이퍼의 지휘하에 약 300명의 미군 포로를 총살한 것과 스타벨롯에서 여성과 어린이를 포함한 131명의 벨기에인을 살해한 혐의로 다른 무장SS 병사들과 함께 말메디 학살 재판에 기소되었다.
요아힘 파이퍼 전쟁범죄
재판 중 파이퍼와 부하들은 가족을 러시아인에게 넘기겠다는 협박을 받으며 구타당하는 고문을 당했다. 이 때문에 파이퍼는 부하들을 방면한다면 모든 죄를 자백하겠다고 밝혔지만 원고 측은 이를 거부했다. 미국 제30 보병사단의 119연대 소속 대대장 해롤드 D. 맥코운 소령은 재판에서 파이퍼에 유리한 증언을 했지만, 재판분위기를 바꿀수는 없었다.
재판에서 파이퍼가 포로를 처형하라는 명령을 적어도 두번 내렸다는 것은 여러 증언에 의해 확인되었다. 벨기에 민간인을 사살한 혐의에 대해서는 파이퍼는 그들이 파르티잔이었다고 답했다.
파이퍼와 그의 부하들에게는 유죄가 선고되었고, 교수형이 언도되었다. 파이퍼는 직접 감독자로서 책임을 묻게 된 것이다. 후에 파이퍼는 부하들을 총살형에 처해달라고 요청했지만, 이 요구 또한 거절 당하고 말았다. 무장SS는 국방군과 달리 군인으로서 대우를 받지 못했던 것이다. 다수의 자백이 교수형에 처하겠다는 협박과 피의자들에 대한 가혹한 대우 등 부당한 강요를 통해 이루졌다는 사실이 문제시되면서 말메디 학살 사건 관련 피고자 다수에게 선고된 형이 감형되었다. 대부분의 감옥 생활을 독방에서 보낸 파이퍼는 11년 6개월의 형기를 마치고 1956년 12월 13일 감형으로 풀려났다.
요아힘 파이퍼 석방 후 파이퍼
석방 후, HIAG의 주선으로 포르셰에 취직하여, 해외 판촉 직원으로 일하려고 했으나, 전범으로서 외국의 기피인물이었기 때문에 곧 퇴직하였다. 1960년대부터는 연합국이 아니라 서독에서도 과거청산작업의 일환으로 그동안 도피해왔던 전범들을 기소하기 시작했으며, 이러한 분위기에서 파이퍼는 서독에서도 살기 어려웠다. 특히 보베 학살 사건에 대해 추척해 온 이탈리아인이 파이퍼를 고발하여 파이퍼는 다시 심판대에 섰다. 여기에 이탈리아에서 유대인을 체포하여 수용소로 넘겼다는 혐의도 있었다. 그러나 이것들은 증거불충분으로 기소되지는 않았다. 또한 전범인 베르너 베스트의 재판에 파이퍼는 다시 한번 법정에 섰으나, 기억에 없다는 증언을 반복하여 법적처벌을 모면하였다. 이후 잡지의 자유기고가등을 하다가 자신의 소유인 프랑스 별장이 있는 프랑스 오트 소느 트라브에 가족들과 함께 정착했다. 여기서 그는 라이너 부쉬만(Rainer Buschmann)이라는 가명으로 영국의 군사서적을 독일어로 번역하는 일을 하였다.
요아힘 파이퍼 석방 후 파이퍼
이곳에서 그는 프랑스 공산당 소속의 저항운동가에게 신원이 노출되었다. 이것은 프랑스 공산당에 보고되었고, 프랑스 공산당의 기관지 뤼마니테(L'Humanité)는 이 사실을 보도하였다. 1976년 7월 14일 파이퍼를 죽일 거라는 문구가 파이퍼의 집 담벼락에 쓰여졌다. 암으로 투병 중인 아내를 먼저 피신시킨 파이퍼는 1976년 7월 13일 밤, 자택에 투척된 화염병으로 인해 사망하고 말았다. 그의 시신은 심하게 훼손되어 있었는데, 부검 결과 방화가 이루어지기 전에 다수의 공격으로 인해 신체가 크게 훼손되었다는 점이 밝혀졌다. 실행범들은 기소되지 않았지만, 프랑스 저항운동가나 공산주의자들의 범행으로 추정되고 있다.
범용 부호
데이터 압축에서 범용 부호(Universal code)는 양의 정수를 구분자 없이 서로 구별되는 이진 부호로 대응시키는 접두 부호이며, 그 중 정수의 실제 확률 분포와 상관 없이 분포가 단조적이면 (즉 모든 정수 에 대해 이 성립) 부호 길이의 기댓값이 최적 부호 길이의 기댓값보다 최대 상수배보다 작은 것을 가리킨다. 특히 두 기댓값의 비율의 한계가 부호의 정보 엔트로피의 함수로 주어지며, 엔트로피가 무한대로 접근하면 함수값이 1이 될 때 그 부호를 점근적으로 최적이라고 한다.
일반적으로 대부분의 범용 부호는 정수가 클수록 더 긴 부호를 대응시킨다. 이러한 부호는 가능한 메시지의 종류가 정해져 있을 때 효과적으로 이용할 수 있는데, 메시지를 확률이 큰 것부터 배열해서 번호를 붙인 뒤 원하는 메시지의 번호를 전송하는 방법을 쓸 수 있다. 범용 부호는 일반적으로 확률 분포가 잘 알려져 있을 때는 쓰이지 않으며, 아직 실용적으로 쓰이는 확률 분포에 대해 최적으로 알려져 있는 범용 부호는 없다.
범용 부호
양의 정수가 아닌 정수 전체를 대응시키는 부호는 부호화 전에 정수 (0, 1, -1, 2, -2, 3, -3, …)를 양의 정수 (1, 2, 3, 4, 5, 6, 7, …)로 대응시켜서 범용 부호로부터 만들어 낼 수 있다.
범용 부호 종류
다음은 잘 알려진 범용 부호의 목록이다. 별표(*)로 표시한 것은 점근적으로 최적인 부호이다.
다음은 범용 부호는 아니지만 모든 정수를 대응시키는 부호들의 목록이다.
이 부호들이 범용 부호가 아님은 가우스-쿠즈민 분포나 제타 분포(s=2)에 따르는 정수를 부호화하면 길이 기댓값이 무한대가 된다는 것으로 알 수 있다. 예를 들어서 일진 부호를 제타 분포에 적용하면 길이의 기댓값은 다음과 같다.
반면 범용 부호인 엘리어스 감마 부호를 여기에 적용하면 길이의 기댓값은 약 3.51비트로, 엔트로피(약 3.43비트)에 근접한다.
사잔 올 스타즈
사잔 올 스타즈(일본어: サザンオールスターズ, Southern All Stars)는 1970년대 중반에 결성된 일본의 밴드다. 서던 올 스타스(서던 올 스타즈) 또는 사잔 올 스타즈라는 표기로도 잘 알려졌다.
쿠와타 케이스케와 하라 유코, 세키구치 카즈유키, 마츠다 히로시, 노자와 히데유키로 구성돼 있다. 또, 오모리 타카시가 기타 연주자로 2001년까지 활동했었다.
사잔은 빅터 엔터테인먼트와 계약하며 1978년에 싱글 〈캇테니 신드바드〉로 데뷔했다, 그 후, 40년간 4천7백만 장 이상의 싱글과 음반 판매량을 기록하며 일본에서 음반을 가장 많이 판 음악가들 가운데 하나가 되었다. 그들은 2009년까지 43장의 오리콘 톱 10 싱글과 16장의 오리콘 1위 음반을 발표했다.
사잔 올 스타즈
1998년에 발표한 사잔의 베스트 음반 《우미노 Yeah!!》는 350만 장 이상이 팔리며 일본에서 가장 많이 팔린 더블 음반이 되었다. 또, 2000년에 발표한 사잔의 가장 대표적인 노래 〈Tsunami〉는 약 293만 장이 팔리며 제42회 일본 레코드 대상에서 대상을 받기도 했다.
사잔은 HMV 재팬에서 2003년에 발표한 일본의 100대 음악가에서 1위를 차지했으며, 또한 오리콘 탑 100에 그들의 노래 44곡이 동시에 차트에 등장하기도 했다.
밴드는 2009년부터 구성원들의 솔로 활동이나 다른 작업을 위해 활동 휴지 상태에 들어갔다. 2013년 35주년이 되는 해에 복귀하여, 2018년 40주년을 맞이하였고, 현재도 활동중이다.
사잔 올 스타즈 멤버
오모리 다카시(大森隆志, 기타, 2001년 8월 7일 탈퇴하였음.)
각 멤버가 코러스를 담당한다. 노자와 히데유키를 제외한 멤버들은 메인 보컬곡도 있으며 작사, 작곡도 할 수 있다.
거의 모든 싱글 곡들은 작사, 작곡, 편곡을 구와타 게이스케가 담당하였다.
이름 순서는 구와타 게이스케, 오모리 다카시, 세키구치 가즈유키, 마쓰다 히로시, 하라 유코, 노자와 히데유키의 순서로 통일.
오모리 다카시가 탈퇴한 이후에는 구와타 게이스케, 세키구치 가즈유키, 마쓰다 히로시, 하라 유코, 노자와 히데유키의 순서로 통일.
구와타 게이스케와 하라 유코는 부부이다.
사잔 올 스타즈 개요
1978년에 데뷔한 이래로 30여 년동안 일본 음악계의 선두에 있는 밴드이다. 록, 발라드, 민족 음악, 향토 음악, 테크노, 디지털 록까지 여러 분야를 다루고 있다. 소재는 사랑, 섹스, 향토애, 유머, 사회 풍자 등 여러가지이다. 남녀노소를 불문한 폭넓은 층의 팬이 있어, 각계에 사잔 오루 스타즈의 팬이라고 말한 저명인들이 많다.
대표곡은 1970년대에 勝手にシンドバッド(51.6만장), いとしのエリー(72.9만장) 1980년대에 チャコの海岸物語(58.5만장), MISS BRAND-NEW DAY(30.3만장), 1990년대에는 涙のキッス(154.9만장), EROTICA SEVEN(174.3만장), 愛の言霊～Spiritual Message～(139.6만장)등이 밀리언셀러를 달성하였고, 2000년대에 와서도 TSUNAMI(293.6만장), 涙の海で抱かれたい～SEA OF LOVE～(74.2만장), I AM YOUR SINGER(52만장), ピースとハイライト(35만장)가 대히트 하였다.
80,90,00,10년대 4개의 연대에서 오리콘 차트 1위를 차지하였다.
사잔 올 스타즈 음반 목록
2008년 12월 3일에 이나무라 제인과 1집부터 13집까지 CD리마스터링반으로 재발매했다.
일라이어스 감마 부호
일라이어스 감마 부호(Elias gamma code)는 양의 정수를 대응시키는 범용 부호이다. 피터 일라이어스가 1975년 논문에서 ‘복합 표현 γ’()라는 이름으로 소개했다.
감마 부호로 부호화하는 과정은 다음과 같다.
감마 부호를 복호화하는 과정은 다음과 같다.
감마 부호로 표현된 첫 몇 개의 정수는 다음과 같다.
감마 부호는 부호화될 수 있는 가장 큰 값이 바로 알려져 있지 않거나, 큰 값이 작은 값보다 훨씬 적게 나올 때 사용된다.
일라이어스 델타 부호
일라이어스 델타 부호(Elias delta code)는 양의 정수를 대응시키는 범용 부호이다. 피터 일라이어스가 1975년 논문에서 ‘이중 복합 표현 δ’()라는 이름으로 소개했다.
델타 부호로 부호화하는 과정은 다음과 같다.
델타 부호를 복호화하는 과정은 다음과 같다.
감마 부호로 표현된 첫 몇 개의 정수는 다음과 같다.
일라이어스 오메가 부호
일라이어스 오메가 부호(Elias omega code)는 양의 정수를 대응시키는 범용 부호이다. 피터 일라이어스가 1975년 논문에서 소개했으며, 일라이어스 감마 부호와 일라이어스 델타 부호와 같이 숫자의 크기(자릿수)를 부호화해서 앞에 덧붙이는 방식을 쓴다. 하지만 감마 및 델타 부호와는 달리 오메가 부호는 이 과정에서 자기 자신을 재귀적으로 사용한다. 따라서 종종 재귀 일라이어스 부호라고 불리기도 한다.
오메가 부호로 부호화하는 과정은 다음과 같다.
오메가 부호를 복호화하는 과정은 다음과 같다.
오메가 부호로 표현된 첫 몇 개의 정수는 다음과 같다.
록히드 C-130 허큘리스
록히드 C-130 허큘리스(Lockheed C-130 Hercules)는 4개 엔진의 터보프롭 수송기이다. 세계 여러 나라 군대의 주요 전술기이다. 40개가 넘는 모델과 파생형이 50개국 이상에서 사용되고 있다.
2006년 12월, C-130는 미국 공군에서 50년간 계속 사용된 세 번째 비행기가 되었다. 1호는 영국 일렉트릭 캔버라가 2001년 5월에 기록했으며, 2번째는 B-52가 2005년 1월에 기록했다. 2012년에는 P-3 오라이온이 50년간 미국 해군에서 사용된 비행기가 될 것이다. 또한, 남극으로 가는 유일한 비행기이도 하다. (이때는 보통 ANI기로 불림. 탑승료 1인당 $15,000 = 약 1,500만 원)
록히드 C-130 허큘리스 개발
1950년 6월 시작된 한국 전쟁은 제2차 세계 대전 시절의 형태가 다른 미국의 전술 수송기들(C-119 플라잉 박스카, C-47 스카이트레인, C-46 코만도)을 미국이 운용하게 되면서 운용 유지 비용이 대폭 증가하게 되었고, 또 현대전에 부적합하다는 사실을 알게 되었다. 1951년 2월 2일, 미공군은 보잉, 더글러스, 페어차일드 항공사, 록히드에 새로운 작전능력이 향상된 차세대 전술수송기의 도입을 계획한 일반운용요구사항(GOR, General Operating Requirement)을 제출하였으며 새로운 수송기는 92명의 승객 또는 64명의 보병을 태우고 1,100 해리를 날 수 있고, 짧고 제대로 된 활주로가 없는 곳(unprepared strips)에서 이륙할 수 있고, 1개의 엔진이 멈춰도 날 수 있어야 한다고 요구했다.
윌리암 호킨스를 팀장으로 하는 록히드 설계팀은 록히드 82를 위한 130페이지 분량의 제안서로 시작했다.
록히드 C-130 허큘리스 주요 특공작전 투입
C-130 수송기는 비포장 활주로에서도 이 착륙이 가능하고 항속거리는 4,000km에 달한다. 그러다보니 각종 특수작전에 투입 빛나는 전과를 기록하고 있다.
대표적인 투입 작전으로는 1976년 7월 3일부터 4일까지 이스라엘 특수부대가 팔레스타인 테러리스트들에게 납치된 항공기의 인질을 구출하기 위해 전격적으로 실시한 기습 작전인 엔테베 특공작전에 이스라엘 공군의 C-130 수송기가 동원되어 인질들을 성공적으로 구출하였다.
록히드 C-130 허큘리스 항공모함
최대이륙중량 70톤인 C-130은 미국 역사상 항공모함에서 이착륙을 한 최대 규모의 항공기이다. 1963년 10월 미국 해병대의 KC-130F는 포레스탈 항공모함에서 29차례의 터치앤고, 21차례의 어레스팅 후크 없는 착륙, 21차례의 캐터펄트 도움 없는 이륙에 성공했다.
85,000 파운드 (38.6 t)인 KC-130F는 267 피트 (81 m)에서 착륙하여 완전히 정지했다. 최대화물탑재를 하고서 745 피트 (227 m)만에 이륙했다. 미국 해군은 C-130이 25,000 파운드 (11 t)의 화물을 싣고 2,500 마일 (4,000 km)을 비행한 다음 항공모함에 착륙할 수 있다고 결론지었다.
그러나 이착륙이 너무 위험하고, 엘리베이터에 넣을 수가 없어서, 최대이륙중량 27톤인 C-2 그레이하운드 수송기가 개발되었다.
록히드 C-130 허큘리스 An-12
미국의 C-130과 유사한 것은 소련의 An-12이다. 개발시기, 최대이륙중량, 프로펠러 엔진 4개 사용 등 여러가지가 매우 유사하다. C-130은 2천여대가 제작되었으나 An-12는 1천여대가 제작되었다. 둘 다 전 세계적인 베스트셀러이다. 현재에도 C-130은 생산 중이나, An-12는 생산되지 않고 있다. 그러나 중국의 Y-8이 현재에도 생산 중이다. 중국은 Y-8을 KJ-200 조기경보기로도 사용하고 있다.
록히드 C-130 허큘리스 대한민국 도입 운용현황
C-130 수송기도입 이전까지 공군이 운용한 기체는 C-123 프로바이더(Provider) 수송기를 운용했었으나 기체 노후화로 인해 1982년에 제주도와 청계산에서 연이어 발생한 추락 사고로, 대규모 인명피해가 발생되어 결국 신형 수송기인 C-130을 도입하게 되었다.
대한민국 공군은 1988년 4대를 시작으로 1990년 3월까지 모두 12대의 C-130H 수송기를 도입했으며 이중 4대는 동체를 연장한 C-130H-30이다. 국내에 C-130H 수송기 주용작전으로 1991년 걸프전파병, 1993년 소말리아 평화유지군 파병, 1999년 동티모르 평화유지군 파병, 2003년 이라크 파병 등 주로 우리 군의 해외파병시 많은 활약을 했다.
록히드 C-130 허큘리스 대한민국 도입 운용현황
2010년에는 C-130H 수송기 보다 성능이 더욱 향상된 C-130J 슈퍼 허큘리스 수송기를 4대를 추가 도입하기로 결정하였다
C-130J 수송기는 출력이 향상된 가장 신형 엔진을 장착해 항속거리와 비행고도가 늘어났으며, 최신 항공 전자 장비를 탑재해 각종 시스템이 자동화되어 기체 조종에 필요한 승무원이 4명(조종사, 부조종사, 항법사, 항공기관사)에서 2명(조종사, 부조종사)으로 줄어들었다. C-130J 수송기 4대는 2014년 6월 대한민국 공군에 전량 배치되어 운용되고 있다.
록히드 C-130 허큘리스 제원 (C-130H)
정보의 출처: USAF C-130 Hercules fact sheet, International Directory of Military Aircraft, Complete Encyclopedia of World Aircraft, Encyclopedia of Modern Military Aircraft
일반 특성
성능
항공전자장비
승봉도
승봉도(昇鳳島)는 대한민국 인천광역시 옹진군 자월면에 딸린 섬이다. 섬의 지형이 봉황의 머리를 닮았다고 해서 승봉도라고 불리게 되었다고 한다.
19세기 중반에 제작된 《대동여지도》에서는 이 섬을 승황(昇黃)이라고 쓰고 있다. 조선 시대에 이 섬은 남양부 영흥면에 속했다.
북서캅카스어족
북서캅카스어족(Northwest Caucasian languages)은 캅카스 북서부에서 사용되는 여러 언어들로 이루어진 어족이다. 러시아 연방의 3개 공화국(아디게야 공화국, 카바르디노발카리야 공화국, 카라차예보체르케스카야 공화국), 분쟁 영토인 압하지야, 그리고 조지아, 튀르키예와 일부 중동 지역의 캅카스인 디아스포라에서 사용된다.
다른 언어 계통과의 연관성을 불명이지만 인근의 북동캅카스어족 등과 함께 캅카스 제어의 일종으로 분류되기도 한다. UNESCO의 분류에 따르면 현재 북서캅카스어족의 모든 언어가 상당한 사멸 위기에 놓여있으며, 특히 우비흐어는 1990년대에 이미 사멸하였다.
북서캅카스 언어는 적은 모음 구별과 대조되는 복잡한 자음 구별 체계가 특징적이며, 종종 수직 모음 체계(vertical vowel system)의 대표 사례로 연구된다.
북서캅카스어족 명칭
북서캅카스어족(Northwest Caucasian) 외에 다른 명칭으로 서캅카스어족(West Caucasian), 압하스-아디게어족(Abkhazo–Adyghean), 압하스-체르케스어족(Abkhazo–Circassian), 체르케스어족(Circassic), 폰토스어족(Pontic) 등이 있다.
북서캅카스어족 음운
북서캅카스어족의 언어들은 자음 체계가 매우 복잡하고 풍부한 한편 대조적으로 모음 음소는 2, 3개에 불과하다는 점이 공통적인 음운 특징으로 된다. 어떤 학자들은 이러한 특징이 과거에 모음이 앞에 나온 자음과 합쳐져 줄어들면서 생긴 것이라고 추정하는데, 예를 들어 오늘날의 북서캅카스어족에는 존재하지 않는 모음인 */i/와 */u/가 고대에 앞의 자음을 각각 경구개음화, 순음화시키며 사라졌다는 것이다. 원시 인도유럽어에서도 이것과 동일한 과정이 순음-연구개음(labiovelar)의 발달에서 일어났다고 생각되는데, 원시 인도유럽어는 원시 북서캅카스어와 인접해 있었을 것이다.
북서캅카스어족 문법
명사 체계는 비교적 단순하여 대부분 5개를 넘지 않는 격을 가졌으나, 동사는 많은 접사와 함께 복잡한 교착어적 특징을 보인다. 문장은 보통 동사가 마지막에 오고 명사보다 명사절이 먼저 오는 좌분지(left-branching) 언어이다.
북서캅카스어족 계통
많은 어휘가 단음절로 되어 있고 동음이의어가 많은 등 몇가지 독특한 특징들이 있어 언어학적 분석을 어렵게 만들고 있다. 한편 일부 학자들은 다른 어족들과의 상위 관계를 추측하는 여러 가설을 제기하였는데, 인근의 북동캅카스어족과 함께 묶이거나, 더 나아가서는 소수설인 데네캅카스어족에 속한다는 가설이 알려져 있다. 이외에 히타이트어가 아나톨리아에 들어오기 전에 쓰이던 고대 하티어(Hattic)와 연관되어 있다는 주장도 있다.
정보 이론
정보 이론(情報理論, 영어: information theory)은 최대한 많은 데이터를 매체에 저장하거나 채널을 통해 통신하기 위해 데이터를 정량화하는 응용 수학의 한 분야이다. 데이터의 단위인 정보 엔트로피는 보통 저장 또는 통신에 사용되는 평균적인 비트 수로 표현된다. 예를 들어 매일의 날씨 정보가 3비트의 엔트로피를 가진다면, 하루의 날씨를 평균 약 3비트로 기술할 수 있다.
정보 엔트로피는 열역학에서의 엔트로피와 크게 다르지 않은 개념으로, 정보엔트로피(정보량)가 높을수록 불확실성은 커진다. 반대로 계에서의 정보량은 불확실성의 정도이므로 불확실성이 적은 계의 정보 엔트로피(정보량)는 줄어들 수 있다. 영어알파벳의 경우 모든 알파벳이 동일한 확률도 발생한다면 정보엔트로피(정보량)은 4.754887비트이지만 알파벳의 출현 빈도값을 계산하면 4.08비트까지 줄어든다. 이것 외에도 어떤 철자가 오면 그 뒤에 특정철자가 올 확률이 아주 높은 등 여러 가지 이유가 있기 때문에 정보 엔트로피(정보량)는 더욱 줄어들 수 있게 된다. 한 가지 예를 들면 q가 오면 그뒤에 a,u가 올 확률이 거의 100%이다.
정보 이론
정보 이론의 기본적인 주제가 적용되는 기술로 ZIP 파일(무손실 데이터 압축), MP3 파일(손실 데이터 압축), DSL(채널 부호화), MIMO(채널 모델) 등이 있다. 정보 이론 분야는 확률론, 통계학, 컴퓨터과학, 통계역학, 정보공학, 전기공학과 연관되어 있으며, 보이저 계획의 성공, 콤팩트 디스크의 발명, 휴대전화의 실용화, 인터넷의 개발, 언어학과 인간 지각의 연구, 블랙홀의 이해 등 많은 곳에 큰 영향을 끼쳤다.
정보 이론 수학적 모델
정보 이론은 크게 3가지 분야로 나눌 수 있다. 이 3가지 분야는 소스 코딩 이론, 채널 코딩 이론, 그리고 부호율-변형 이론이다.
채널 코딩 이론은 주어진 채널에 얼마나 많은 데이터를 보낼 수 있는가를 다루는 부분이다. 어떤 채널로 보낼 수 있는 정보의 최대량을 채널 용량이라고 한다.
채널 용량은 입력 신호와 출력 신호의 상호 엔트로피에 의해 아래와 같이 정의된다.
여기서 는 입력 신호 의 확률 밀도 함수이다.
북동캅카스어족
북동캅카스어족은 러시아령의 다게스탄, 체첸, 인구셰티야와 아제르바이잔 북부와 조지아 일부 지역에서 쓰이는 언어들로 이루어진 어족이다. 인근의 독특한 어족들과 함께 캅카스 제어라는 분류에 포함되기도 한다.
북동캅카스어족 명칭
이름은 캅카스 언어의 일종인 남캅카스어족과 북서캅카스어족에 대응되는 의미에서 붙은 것으로, 문헌에 따라 "동캅카스어족", "나흐-다게스탄어족", "카스피어족" 등의 명칭도 쓰였다.
북동캅카스어족 특징
인접한 북서캅카스어족과 유사하게 음소의 개수가 풍부하며 특히 자음이 다양한 데 반해 모음이 상대적으로 적다. 다만 최소 28개의 모음과 이중, 삼중 모음까지 가지는 체첸어 등 예외도 있다.
형태론을 볼 때 접미사의 강한 교착성이 특징적이며, 약한 굴절성도 보인다. 대부분의 언어가 능격-절대격 형태를 보이며, 명사 부류(noun class) 체계가 있다. 라크어 등 일부 예외를 제외하면 동사는 인칭과 일치하지 않는다. 증거성을 나타내는 문법이 있다.
블라디미르 레벤시테인
블라디미르 이오시포비치 레벤시테인(러시아어: Влади́мир Ио́сифович Левенште́йн IPA: [vlɐˈdʲimʲɪr ɪˈosʲɪfəvʲɪtɕ lʲɪvʲɪnˈʂtʲejn], 1935년 5월 20일 ~ 2017년 9월 6일)은 정보이론과 오류 정정 부호를 연구하는 러시아의 과학자이다. 그는 1965년에 개발한 레벤시테인 거리로 잘 알려져 있다.
블라디미르 레벤시테인 생애
1935년 5월 20일에 태어났다. 1958년에 모스크바 대학교를 졸업하였다. 이후 켈디시 응용 수학 연구소(러시아어: Институт прикладной математики им. М.В.Келдыша)의 연구원이 되었다. 1965년에 레벤시테인 거리를 최초로 다룬 논문을 출판하였다.
2006년에 IEEE 리처드 해밍 메달(영어: IEEE Richard W. Hamming Medal)을 수상했다.
다르긴어
다르긴어(Дарган мез) 또는 다르과어(Dargwa)는 다게스탄 서부의 다르긴인들이 사용하는 언어이다. 공식적인 다르기 문어(러시아어: Даргинский литературный язык)와 별도로 방언연속체인 다르기어 내에는 크게 쿠바치(Кубачинский, ГӀугъбуган), 이차리(Ицаринский, ИцӀрила гъай), 카이타크(Кайтагский, Хайдакьан), 치라크(Чирагский, Хьугъул мец) 방언이 존재한다. 문자는 키릴 문자를 사용한다.
2002년의 인구 조사에서 42만 9,347명의 다르기어 사용자가 다게스탄 공화국에 거주하고, 7,188명이 칼미크 공화국, 1,620명이 한티만시 자치구에, 680명이 체첸 공화국, 나머지 1,000명 이상은 러시아의 다른 지역에 거주한다. 라흐 방언을 사용하는 다르기인들은 14만2,523명이 다게스탄 공화국에, 1,504명이 카바르디노발카르 공화국에, 708명이 한티만시 자치구에 거주한다.
간토 대학살
간토 대학살일본어: 關東大虐殺, 영어: Kanto Massacre) 혹은 관동 대학살은 1923년 일본 도쿄도 등을 포함한 간토 지방에서 발생한 간토 대지진 당시 혼란의 와중에서 일본 민간인과 군경에 의하여 조선인을 대상으로 벌어진 무차별적인 대량 학살 사건이다. '간토 대지진 조선인 학살 사건'(關東大地震朝鮮人虐殺事件) 또는 '1923년 조선인 대학살'이라고 불린다. 희생자 수는 약 6,000명 혹은 6,600명에 달하는 것으로 알려졌으나, 이후 추가 자료가 발굴되면서, 희생자가 약 2만 3,058명이라는 주장이 제기되었다. 당시 일본의 인민대중은 조선인만이 아닌 일본인 사회주의자들도 죽이거나 다른 일본인들도 좀 죽였다. 중국인 희생자도 있었다는 주장도 있다.
간토 대학살 개요
많은 전문가들은 '간토 대지진 조선인 학살 사건'에 대한 사건 자료의 부족 원인으로 일본 민간인들의 사실 은폐 여부와 더불어 일본 정부의 관련 여부와 충분한 결과를 제시하지 못하는 일본 정부의 조사 의지 등이 주요한 원인으로 언급되고 있는 가운데 이러한 맥락이 매우 위험했던 일본의 상황뿐만 아니라 외국인에 대한 관계 정립에서 올바른 미래로 나아가는데 안타까운 역사적 상황으로 여겨지고 있다.
1923년 도쿄 일원의 간토 지방은 지진으로 인하여 궤멸적인 피해를 입었고, 민심과 사회질서가 대단히 혼란스런 상황이었다. 일반인들 사이에 서로를 믿지 못하는 불신이 싹트는 가운데, 내무성은 계엄령을 선포하였고, 각 지역의 경찰서에 지역의 치안유지에 최선을 다할 것을 지시하였다. 그런데 이때 내무성이 각 경찰서에 하달한 내용 중에 “재난을 틈타 이득을 취하려는 무리들이 있다. 조선인들이 방화와 폭탄에 의한 테러, 강도 등을 획책하고 있으니 주의하라.”라는 내용이 있었다.
간토 대학살 개요
이 내용은 일부 신문에 사실확인도 없이 보도되었고, 보도 내용에 의해 더욱 더 내용이 과격해진 유언비어들이 아사히 신문, 요미우리 신문 등 여러 신문에 다시 실림으로써 “조선인(또한 중국인)들이 폭도로 돌변해 우물에 독을 풀고 방화·약탈을 하며 일본인을 습격하고 있다.”라는 거짓소문이 각지에 나돌기 시작했다. 당시에는 지진으로 인하여 물 공급이 끊긴 상태였고, 목조 건물이 대부분인 일본인은 화재를 굉장히 두려워 하였으므로, 이러한 소문은 진위 여부를 떠나 일본 민간인에게 조선인이나 중국인에 대한 강렬한 적개심을 유발하였다.
간토 대학살 개요
이에 곳곳에서 일본인들이 자경단을 조직해 불심검문을 하면서 조선인이나 중국인으로 확인되면 가차없이 살해하는 만행을 저지르기 시작하였다. 이들은 죽창이나 몽둥이, 일본도 등으로 무장하였고, 일부는 총기로 무장하기도 하였다. 우선 조선식이나 중국식 복장을 한 이는 바로 살해당하였으며, 학살 사실을 알고 신분을 숨기기 위해 일본식 복장을 한 조선인이나 중국인, 타지역 출신을 식별해 내기 위해서 외국인에게 어려운 일본어 발음(한국어에 없는 어두전탁 및 종종 정확하게 구분되지 않는 장음 발음(撥音) 등으로 이루어진) “十五円五十銭(15엔 50전)”(じゅうごえんごじっせん)이나 "大根(무)"(だいこん)을 시켜보아 발음이 이상하면 바로 살해하였다. 이때, 조선인뿐만 아니라, 중국인, 류큐인, 외자 성을 강제당해 조선인으로 오인받은 아마미 제도 출신, 지방에서 도쿄로 와 살고 있던 지방의 일본인(특히 도호쿠, 고신에쓰, 홋카이도 출신), 미국, 영국 등 서양 출신으로 도쿄에 온 기자들도 발음상의 차이로 조선인으로 오인받고 살해당하는 등, 자경단의 광기는 상상을 초월하였다. 일부 조선인들은 학살을 피해 경찰서 유치장으로까지 피신하였으나, 일부 지역에서는 자경단이 경찰서 안까지 쳐들어와 끄집어 내어 학살하였다. 외국인이나 타 지역 사람들이 도쿄에 가는 것은 곧 죽음을 뜻했다. 경찰은 살인을 보고서도 방관하거나, 소극적으로 대응하였으며, 오히려 조선인을 조직원으로 받아들이고 있던 야쿠자등 비공권력 범죄 집단의 일부가 조선인을 숨겨주는 일이 있었다. 조선인 학살과 더불어 사회주의자, 아나키스트, 인권운동가, 반정부 행위자 등으로 경찰에 요주의 인물로 등록되어 있던, 주로 좌파 계열의 운동가에 대한 학살사건도 동시에 진행되었다.
간토 대학살 개요
일본군이나 경찰의 주도로 간토 지방에서만 4,000여개나 되는 자경단이 조직되어 집단 폭행 사건이 일어나기 시작했다. 요코하마 지역에서는 형무소에서 죄수들이 풀러나며 자경단의 활동이 가속화되었다. 이런 자경단의 집단행동으로 조선인 뿐 아니라 중국인, 일본인 등의 사망자가 나왔다. 조선인인지를 판별하기 위해 쉽볼렛을 말하게 시키거나 일본의 국가인 기미가요를 부르게 시켰으며, 한국어에는 어두에 탁음이라는 개념이 없다는 것을 이용해 행인에게 "15엔 50전"(일본어: 十五円五十銭 주고엔고주센[*]), "가기구게고"(일본어: ガギグゲゴ 가기구게고[*])를 말하게 하여 제대로 발음하지 못하면 조선인이라고 단정지으며 폭행하거나 살해하였다. "하얀 복장이라 조선인이다"라는 이유로 일본 해군 장교도 조선인으로 의심하기도 하였다. 또한 후다이촌 사건처럼 사투리를 말하는 지방 출신 일본인들도 살해한 경우도 있었다. 농아의 경우에도 마찬가지로 공격하여 도쿄농아학교 재학생의 절반 이상이 실종되었으며 졸업생 중 1명이 살해당했다. 9월 4일에는 사이타마현 혼조정(현 혼조시)에서 주민들이 조선인을 공격하여 살해하는 혼조 사건이 일어났다. 같은 날 구마가야정(현 구마가야시), 9월 5일 메누마정에서도 같은 사건이 일어났다. 9월 5일에서 6일 사이에는 군마현 후지오카정(현 후지오카시)에서 후지오카 경찰서 내에 구금되어 있던 자갈회사가 고용한 재일조선인 17명이 경찰서 내로 난입한 자경단과 군중의 린치로 살해당한 후지오카 사건이 일어났으며 이 사건은 당시 사망진단서와 검시기록 자료에도 남아 있다.
간토 대학살 개요
이런 학살 와중에도 조선인 등을 보호하고자 하는 사람들도 있었다. 요코하마시의 쓰루미 경찰서장이었던 오카와 쓰네키치는 경찰 보호 하에 있는 조선인 300명을 보호하기 위해 1천여명의 군중과 대치하면서 "조선인들을 제군에게 넘겨줄 수 없다. 이 오카와부터 죽이고 나서 데려가라. 조선인을 넘겨주는 대신 목숨이 붙어있는 한 계속 싸우겠다"며 군중을 물리친 일도 있었다. 그러면서 "독을 탔다는 우물물을 가져와라. 그 우물물을 내가 직접 마셔서 보여주겠다."라고 하면서 1되짜리 병에 든 물을 다 마시기도 하였다. 오카와는 조선인들이 일하고 있던 공사업체 관계자와 친분이 있었던 것으로 알려졌다. 이외에도 일본군 내 일부 인사들도 조선인을 보호하기도 했다. 당시 요코스카 진수부 장관이었던 노마구치 가네오의 부관이었던 구사카 류노스케(훗날 제1항공함대 참모장) 대위는 "조선인이 어선을 타고 대거 들이닥쳐 적기를 흔들고 우물에 독약을 풀고 있다"라는 루머에 현혹되지 않고 해군육전대의 실탄 사용 신청이나 재향군인회의 무기 방출 요청 허가를 전부 내주지 않았다. 요코스카 진수부는 계엄사령부의 명령에 따라 "조선인 피난소"가 되었으며, 신변의 위협을 느낀 조선인들이 잇다라 이곳으로 대피하였다. 현재의 지바현 후나바시시 마루야마에 있었던 마루야마 취락에서는 마을 주민들이 이전부터 같이 살고 있었던 조선인들을 자경단으로부터 지키기 위해 일치단결하기도 하였다. 또 조선인을 고용했던 사이타마현의 한 마을 공장의 사장은 조선인들을 벽장에 숨겨 자경단으로부터 지키기도 하였다.
간토 대학살 개요
경관수첩을 가진 순사가 헌병에게 체포되었는데 우연히 그 자리에서 소꿉친구였던 해군장교에게 도움을 받아 풀러났다는 일화도 있다. 당시 와세다 대학에 재학중이던 주마 가오루(훗날 오사카 시장이 됨)는 숙모의 집에 문병하러 가던 도중 군중에게 둘러싸인 뒤 시토미사카 경찰서로 끌려가면서 "죽음을 각오할 정도의" 폭행을 당했다고 말했다. 역사학자 야마다 쇼지는 당시 간토 지역에서 잔학한 폭행이 매우 많았다고 말하고 있다.
10월 이후 폭주하는 자경단은 경찰에게 체포되었는데, 살인, 살인미수, 상해치사, 상해 등 4개 죄목으로 기소된 일본인은 362명에 달했다. 하지만 기소된 사람들 대부분이 "애국심"으로 일으킨 일이라고 대부분이 집행유예를 받았으며 몇몇 사람들도 매우 가벼운 형을 받았다. 후쿠다촌 사건으로 실형을 선고받은 사람들도 황태자(후일의 쇼와 천황, 당시 섭정) 결혼으로 사면받았다. 간토 지역의 자경단들은 11월이 되어 전부 해체 명령을 받아 해체되었다.
간토 대학살 개요
치안 당국은 루머상의 “조선인 폭동”이 없는 것을 이미 알고 있었지만, 혼란 수습과 질서 회복의 명분하에 자경단의 만행을 수수방관하였고, 일부는 가담하거나 조장하기까지 하였다. 그러나 점차 자경단의 만행이 도를 넘어서 공권력을 위협할 정도가 되자, 그제야 개입하였으나, 이미 수많은 조선인이 학살당한 후였다. 자경단의 살상 대상은 남녀노소를 가리지 않았으며, 상당수는 암매장되었다. 학살이 최고조에 달했을 때에는 도쿄에 흐르는 스미다가와와 아라카와의 두 강이 흘러 다니는 시체로 인해 피바다로 물들었다고 한다. 일본 정부는 최종적으로 유언비어를 공식 확인하였으나, 피해자의 수를 줄여서 발표하고, 자경단 일부를 연행·조사하였으나, 형식상의 조치에 불과하였으며, 기소된 사람들도 증거불충분을 이유로 무죄 방면되었다. 학살 사건으로 인한 사법적인 책임또는 도의적인 책임을 진 사람이나 기구는 전혀 없었다.
간토 대학살 관련 사실
당시의 일본 당국은 지진 발생 얼마 전에 조선의 3.1운동과 식민지였던 대만에서 수천 명의 사상자를 낳은 대규모 봉기를 유혈 진압하면서 민중의 저항에 대한 두려움을 느끼게 되었다. 지진 당시, 치안을 맡은 최고 책임자들은 주로 대만총독부에서 일하던 관료 및 군인 출신이었다. 또한 일본 본국에서는 다이쇼 데모크라시로 인하여 노동운동, 민권운동, 여성운동 등 지배 권력에 대한 민중의 저항과 권리찾기 운동이 활발하던 시기였다. 이러한 분위기를 사회적 혼란 또는 일본제국의 위기으로 판단한 이들은 예상치 못한 자연재해인 지진을 기화로 조선인을 희생양 삼아, 질서를 유지할 목적으로 “조선인 폭동설”을 날조하였다. 사건 이후, 일본 당국은 이 사실이 알려질 경우, 조선에서 다시 대규모 반발이 일어날 것을 우려하여, 한동안 일본 내 조선인의 입국을 금지시켰다. 또한 초기 발표를 하면서 조선인 사상자의 수는 불과 2~3명에 불과하다고 주장할 정도로 일본 정부는 사건을 숨기는데 급급하였다.
간토 대학살 추모
간토 대지진 당시 학살된 조선인들에 대한 위령비가 일본에 몇몇 존재한다. 대표적으로 일본 지바현 후나바시시 마고메 공동묘지에 있는 ‘간토대지진 희생 동포 위령비가 설치되어 있다. 또한 도쿄 스미다구 요코아미초공원에도 위령비가 설치되어 있다. 대한민국 정부는 학살된 조선인들의 명단을 확보하는데 어려움을 겪고 있다.
간토 대학살 조선인 학살사건과 관련된 일본의 저명인
저명한 아나키스트 오스기 사카에와 그의 6살짜리 조카 다치바나 소이치, 페미니스트 사회주의자이자 오스기의 아내인 이토 노에가 아마카스 마사히코 중위가 이끄는 군경에 체포되어 죽을 때까지 구타당한뒤, 우물에 유기된 아마카스 사건이 일어났다.
이 사건은 간토 대지진 후의 사회적 패닉 상태를 일본 전국에 널리 알리게 된 계기가 되었으며, 조선인 학살사건도 이 사건을 통해 알려졌다.
일본 영화계의 거장으로 평가받는 구로사와 아키라(黒澤明)는 대지진 후의 혼란기를 소년기에 직접 체험하여, 당시 억울하게 희생된 조선인과 자경단의 광기, 유언비어 등에 대하여 상세히 증언하는 유명인의 한 사람이다.
한편, 일본의 소설가이며, 가장 권위있는 문학상 중 하나인 아쿠타가와 상으로 유명한 아쿠타가와 류노스케는 자경단으로 활약한 것으로 알려져 있다.
정보 엔트로피
정보이론에서 시스템은 송신자, 채널, 수신자를 이용하여 모형화한다. 송신자는 채널을 통해 전달되는 메시지를 만들어낸다. 채널은 특정한 방식을 통해 메시지를 변경한다. 수신자는 어떤 메시지가 보내진 것인지 추론하고자 한다. 이 맥락에서 정보 엔트로피(또는 섀넌 엔트로피)는 각 메시지에 포함된 정보의 기댓값(평균)이다. '메시지'는 어떤 흐름의 정보에 대해서도 모형화할 수 있다.
기술적인 관점에서 보면 정보는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그로 정의할 수 있다. 각 사건의 정보량은 그 기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌(shannon), 내트(nat) 또는 하틀리(hartley)를 사용한다. 단, 섀넌의 경우 보통 비트(bit)로 표현한다.
정보 엔트로피
확률분포의 로그는 엔트로피의 단위로 사용하기에 매우 유용한데 이는 독립적인 소스(source)들에 대해 그 값을 더할 수 있기 때문이다. 예를 들어 동전을 1개 던지면 엔트로피는 1 섀넌이고, m 개의 동전을 던질 때는 m 섀넌이다. n 이 2의 거듭제곱일 때, 일반적으로 n 개의 값 중 하나를 취하는 변수를 표현하기 위해서는 log2(n) 비트가 필요하다. 모든 값의 발생 확률이 동일하면, (섀넌으로 표현된) 엔트로피는 비트의 개수와 동일하게 된다. 비트의 개수와 섀넌이 동일한 경우는 모든 결과의 발생 확률이 동일한 경우로 한정된다. 만약 하나의 사건이 다른 사건보다 발생할 확률이 높다면 그 사건에 대한 관측이 제공할 수 있는 정보는 적다. 반대로 희귀한 사건을 관측하면 더 많은 정보를 얻을 수 있다. 확률이 낮은 사건에 대한 관측은 덜 발생할 것이므로 순 효과는 불균등하게 분포한 자료로부터 얻어진 log2(n) 보다 작은 엔트로피가 된다. 하나의 사건이 확실하게 일어나는 경우라면 엔트로피는 0 이 된다. 섀넌 엔트로피는 소스(source)의 확률분포가 알려져 있을 때 이 모든 고려사항을 수치화한다. 관측된 사건들의 의미(메시지의 의미)는 엔트로피를 정의할 때 중요하지 않다. 엔트로피는 특정한 사건이 일어날 확률만을 고려함으로써 사건의 배후에 존재하는 확률분포에 대한 정보를 캡슐화할뿐 사건 자체의 의미는 포함하지 않는다.
정보 엔트로피
일반적으로 엔트로피는 무질서도 또는 불확실성을 가리킨다. 섀넌 엔트로피의 개념은 클로드 섀넌이 자신의 1948년 논문 "수학적 통신 이론"에서 도입하였다. 섀넌 엔트로피는 정보 소스(source)를 무손실 인코딩 또는 압축할 때 가능한 최상의 평균 길이의 절대적 한계치를 제공해준다. 레니 엔트로피는 섀넌 엔트로피를 일반화한 것이다.
정보 엔트로피 의미
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 '정보가 많다', '엔트로피가 높다'고 표현한다.
정보 이론의 기본은 어떤 사람이 정보를 더 많이 알수록 새롭게 알 수 있는 정보는 적어진다는 것이다. 어떤 사건의 확률이 매우 높다고 가정하자. 우리는 그 사건이 발생해도 별로 놀라지 않는다. 즉, 이 사건은 적은 정보를 제공한다. 반대로, 만약 사건이 불확실하다면, 그 사건이 일어났을 때 훨씬 유용한 정보를 제공한다. 그러므로, 정보량(information content)은 확률에 반비례한다. 이제 만약 더 많은 사건이 일어난다면, 엔트로피는 실제로 한 사건이 일어났을 때, 얻을 것으로 기대되는 평균 정보량을 측정한다. 주사위 던지기와 동전 던지기를 생각해보자. 주사위 던지기에서 일어나는 한 사건의 확률은 동전 던지기에서 일어나는 한 사건의 확률보다 작다. 즉, 여기서 엔트로피는 주사위 던지기가 동전 던지기보다 크다고 할 수 있다.
정보 엔트로피 의미
그러므로 엔트로피는 '어떤 상태에서의 불확실성', 또는 이와 동등한 의미로 '평균 정보량'을 의미한다. 이 용어를 직관적으로 이해하기 위해 정치에서의 선거를 생각해보자. 보통, 그러한 선거는 우리가 선거 결과를 모르기 때문에 실시한다. 즉, 선거 결과는 상대적으로 '불확실'하다. 그리고 실제로 선거를 시행하고 선거 결과를 얻는 것은 우리에게 '새로운 정보'를 제공한다. 이 말은 선거 결과에 대한 엔트로피가 크다는 말과 같다. 이제, 첫 번째 선거가 실시되고 난 후, 두 번째 선거가 실시되었다고 생각해보자. 첫 번째 선거 결과를 이미 알기 때문에, 우리는 두 번째 선거 결과를 예측할 수 있고 두 번째 선거 결과의 엔트로피가 첫 번째 것보다 작다.
정보 엔트로피 의미
문자 배열로 간주되는 영어 텍스트의 경우, 꽤 낮은 엔트로피를 가지고 있다. 즉, 예상하기 쉽다는 의미이다. 예를 들어 우리가 다음 문자로 무엇이 올지 정확히는 몰라도, 'e'가 'z'보다는 많이 쓰이고 'qu'라는 조합은 'q'와 다른 문자의 조합보다는 훨씬 많다는 것을 알고 있다. 처음 문자 몇 개를 알려주면 나머지 문자를 추측하여 글자를 알아맞히는 일은 어렵지 않다. 영어 문장은 연구 방법에 따라 다르지만 일반적으로 메시지의 글자당 0.6에서 1.3비트의 엔트로피를 갖는다고 알려져 있다.
정보 엔트로피 의미
무손실 압축은 압축된 메시지를 복원함으로써 원래 메시지를 온전히 복원할 수 있음을 의미한다. 무손실 압축된 메시지는 원본 메시지와 정보량은 같지만 더 적은 문자를 가진다. 많은 정보량은 높은 엔트로피를 가지고 있다는 말과 같다. 중복성이 거의 없다는 뜻이다. 개략적으로 말해서, 섀년의 소스 코딩 정리는 무손실 압축이 문자 1비트가 1비트 이상의 정보를 포함하도록 할 수는 없지만, 어떤 코딩 방법에 의해 문자 1비트당 1비트 이하만큼의 정보를 포함하도록 할 수 있다고 말한다. 비트당 메시지의 엔트로피와 메시지 길이의 곱은 전체 메시지가 얼마나 많은 정보를 담고 있는지를 알려준다.
정보 엔트로피 의미
직관적인 이해를 위해, 우리가 ABCD 4가지 문자로 이루어져있는 메시지를 전달한다고 생각해보자. 이 메시지는 'ABADDCAB'이다. 정보 이론은 우리에게 메시지를 전달할 가장 작은 정보량을 계산하는 방법을 제공한다. 만약 4개 글자가 모두 확률이 동일하다면 (25%), A는 00, B는 01, C는 10, D는 11과 같이 2비트로 (바이너리에서) 인코딩하는 수 밖에 방법이 없다. 이제 A가 70%, B가 26%, C와 D가 2%의 확률로 발생한다고 가정하자. 우리는 각각의 문자에 가변 길이 코드를 부여할 수 있다. 우리가 순차적인 2비트의 1 (11)을 받지 않았다면, 1을 받는 것은 다음 비트까지 조사하라는 것을 의미한다. 이 경우에 A는 0 (1비트), B는 10 (2비트), C와 D는 각각 110, 111 (3비트)로 인코딩 될 수 있다. 70%의 경우, 우리는 1비트만 전송하며 26%의 경우 2비트를, 나머지 4%의 경우에만 3비트를 전송한다. 평균적으로, 2비트 이하의 정보를 전송하기 때문에 엔트로피는 감소한다.(A와 B를 합치면 96%라는 높은 출현빈도가 나오기 때문이다)
섀넌의 이론은 어떤 무손실 압축 방식도 모든 메시지를 줄일 수는 없다는 것도 의미한다. 비둘기집 원리에 의해서, 어떤 메시지가 짧게 압축되기 위해서 최소한 다른 하나는 길어져야 한다. 평소에 우리가 횡설수설하는 문서보다는 문법에 따라 쓰인 문장을 압축하는 것처럼, 특정한 형식의 메시지만을 압축하는 것에 집중하기 때문에 압축 알고리즘이 어떤 메시지를 늘리는가는 별로 문제가 되지 않는다. 그러나 이 문제는 이미 압축된 데이터를 다시 압축하려고 할 때 드러난다. 실제로, 우리는 FLAC, MP3, WebM, AAC, PNG, JPEG 같은 압축된 데이터들을 다시 ZIP 형식으로 압축하면 원본 데이터보다 용량이 조금 더 늘어나 있는 것을 목격할 수 있다.
한편, 정보 엔트로피가 커지는것은 역시 변수(불확실성)가 증가하는 것을 의미하므로, 변수를 제어함으로써 불확실성이 줄어드는 것은 결국 정보 획득을 의미하게 된다.
그러므로 획득을 증가시켜 불확실성을 감소시키는 것은 변수가 줄어드는 것으로 볼 수 있는데 이것은 결과적으로 엔트로피의 크기를 감소시키는 정보 이득과 관계있다.
정보 엔트로피 정의
확률변수 가 분포 를 따른다고 하자. 그렇다면 의 정보 엔트로피 는 다음과 같다.
만약 표본 공간 가 이산공간
이라면, 르베그 적분은 합이 되며, 따라서 정보 엔트로피는 다음과 같다.
간혹, 위 정의에서 자연로그 대신 이진로그 를 사용하는 경우가 있다. 이 경우 정보 엔트로피의 단위는 비트이고, 자연로그의 경우에는 단위 내트(nat)를 사용한다.
두 확률변수 가 주어졌고, 그 확률 분포 가 주어졌다고 하자. 그렇다면, 가 주어졌을 때 의 조건부 엔트로피(영어: conditional entropy)는 다음과 같다.
조건부 엔트로피는 항상 음이 아니며, Y값을 알고 있을 때 X값의 무작위한 정도의 양으로 해석될 수 있다. 예를 들어, 6면을 가진 주사위의 엔트로피 H(주사위)를 구하는데, 그 주사위가 1,2,3만 나오도록 조작되어있다는 사실을 알고 있다면, 이것의 엔트로피는 H(주사위 값이 1 또는 2 또는 3)와 같게 된다.
정보 엔트로피 예
앞에서 언급한 동전던지기 사례를 다시 생각해 보자. 만약 우리가 동전의 특정 면이 나올 확률을 알고 있다고 가정해 보자. (반드시 앞, 뒷면이 나올 확률이 같을 필요는 없다.) 동전 던지기를 시행했을 때 결과값의 엔트로피는 공정한 동전일 때 가장 높게 나온다. (앞, 뒷면이 나올 확률이 각각 1/2로 같을 경우이다.) 이러한 경우가 불확실성을 가장 극대화 시키고 결과값을 예상하기가 가장 어렵다는 것을 의미한다. 이때의 동전던지기 결과값은 1비트에 해당하는 정보를 가지게 된다.
그러나 만약 우리가 이 동전이 공정하지 않다면, 즉 앞면이 나올 확률이 p, 뒷면이 나올 확률을 q로 이미 알고 있다면 불확실성은 더 떨어질 것이다. 이는 동전을 던질 때마다 특정한 면이 나올 확률이 더 높기 때문이다. 이때의 불확실성의 감소는 엔트로피의 감소로 정량화될 수 있다. 공정하지 않은 동전 던지기 결과값의 엔트로피는 1비트의 정보 보다 적다고 해석할 수 있다.
정보 엔트로피 예
이와 같은 경우 중 가장 극단적인 사례는 양면을 가지고 있으나 절대로 뒷면이 나오지 않는 동전을 사용할 경우이다. 이때에는 불확실성이 전혀 없으므로 (항상 앞면이 나오므로) 엔트로피는 0이다. 즉, 이러한 동전 던지기의 시행결과는 아무런 정보도 전달하지 않는다.
정보 엔트로피의 정의를 이해하기 위해서, 이산균등분포의 엔트로피를 계산해 보자. 표본 공간이 총 n개의 서로 다른 값들로 이루어진다면, 확률 질량 함수는
이고, 따라서 엔트로피는
이다.
로그 함수는 독립적인 불확실성에 가산성을 제공하는데 사용된다. 예를 들어, 크기 의 이산 표본 공간과 크기 의 이산 표본 공간에서, 서로 독립이며 균등분포를 따르는 두 확률변수를 동시에 측정할 경우, 그 총 엔트로피는
이 된다. 즉, 서로 독립인 두 확률변수의 엔트로피는 각 확률변수의 엔트로피의 합과 같다.
정보 엔트로피 열역학적 엔트로피와의 관계
정보이론에서 '엔트로피'라는 단어를 사용하게 된 이유는 섀넌의 공식이 열역학적 엔트로피의 공식과 상당 부분 비슷하기 때문이다. 열역학적 엔트로피 S로서 가장 많이 사용되는 통계열역학에서는 기브스의 엔트로피를 다음과 같이 정의한다.
여기서 kB는 볼츠만 상수를, 그리고 pi는 미시적인 상태의 확률을 의미한다. 기브스엔트로피는 1872년 볼츠만의 연구업적을 뒤이어 조사이어 윌러드 기브스에 의하여 1878년에 정의되었다.
기브스 엔트로피는 또한 변화가 거의 없이 양자물리학에서의 노만 엔트로피로도 변형되는데 이는 1927년 존 폰 노이만에 의해 정의 소개되었으며 다음과 같이 정의된다
여기서 ρ로는 양자역학 시스템에서의 밀도 행렬을 나타내며 Tr은 대각합을 나타낸다.
일상생활의 실용적인 수준에서는 정보이론의 엔트로피와 열역학적 엔트로피의 관계가 그리 깊지는 않다. 물리학자나 화학자는 자발적으로 초기상태에서 멀어지는 시스템에서의 엔트로피 '변화'에 더욱 관심이 있다. 이는 열역학 제2법칙에 부합하는 내용으로, 불변하는 확률분포에 집중하는 정보엔트로피와는 포커싱이 사뭇 다르다.
정보 엔트로피 열역학적 엔트로피와의 관계
그러나 여러 학문분야에 걸쳐 종합적인 분석을 해보면, 열역학적 엔트로피와 정보 엔트로피 사이에서는 연결고리가 만들어질 수 있다. 1957년 제인스(영어: Jaynes)의 의견에 의하면, 열역학은 섀넌의 정보 이론의 '응용'으로 간주될 수 있다. 열역학에서의 엔트로피는 시스템의 더욱 자세한 미시적인 상태를 정의하기 위해 더 필요한 섀넌 정보 양의 추정으로 해석될 수 있다. 이는 고전열역학의 미시변수란 개념으로는 설명될 수 없는 것이었다. 예를 들면 시스템에 열을 가하는 것은 열역학적 엔트로피를 증가하는 것이다. 왜냐하면 이것은 미세 상태의 가능한 가짓수를 증가시키기 때문이다. 제임스 클러크 맥스웰은 이론적으로 시스템의 열역학적 엔트로피를 개별적인 분자 상태에 대한 정보를 사용함으로써 감소시킬 수 있다고 주장하였다. 이는 맥스웰의 도깨비란 이름으로 널리 알려져 있다. 그러나 란다우어(Landauer)와 그의 동료들은 총 엔트로피는 줄지 않는다는 것을 보이며 이 역설을 해결하였다.