shopkeeper/korean_wiki_content_only_120125 huggingface dataset:
결국, 1900년대 초 미국이 재시도해서 1914년 8월 15일에 완성했다. 77 km 거리의 운하를 건설하면서 온갖 문제에 부딪혔는데, 말라리아와 황열병 같은 질병이 덮쳤고, 흙이 무너지기도 했다. 프랑스와 미국에 의해 진행된 운하 공사가 완성되기까지 노동자 27,500명이 사망한 것으로 집계되었다. 운하가 완성된 후 파나마 운하사업은 대성공을 거두었으며, 국제 해운 무역의 중요한 통로가 되었다. 파나마 운하는 작은 개인 요트에서 거대한 상업 선박 모두 수용할 수 있었다. 운하가 감당할 수 있는 최대 크기의 선박을 파나맥스 선박이라고 하는데, 파나맥스보다 더 큰 용량의 선박은 ‘포스트-파나맥스’ 혹은 ‘수퍼-파나맥스’라고 한다. 일반적으로 운송 선박이 운하를 지나는데 약 8~10시간 정도 걸린다. 2008 회계년도에 총 14,702척의 선박이 수로를 지났는데, 이를 합하면 총 309.6 PC/UMS 톤에 이른다고 한다. (파나마 운하/국제 기준 체계)
파나마 운하는 인공 호수와 준설하거나 새로 만든 수로와 세 곳의 수문으로 이루어져 있다. 알라후엘라 호(미국 점령기에는 ‘매든 호’라고 했다)라는 인공 호수도 있는데, 운하의 저수지 역할을 한다. 배 한척이 태평양에서 대서양으로 갈 때 다음과 같은 과정을 거친다.
운하 갑문의 크기.
원래 가툰에 있는 갑문은 28.5m 폭으로 설계되었다. 1908년 미국 해군은 미국 해군 군함이 지나갈 수 있도록 갑문 폭이 최소 36m이 되어야 한다고 요청했다. 결국 타협이 이루어져 갑문은 크기는 폭 33.53m로 건설되었다. 각 갑문의 길이는 304.8m이며, 가장 높은 벽은 3m, 가장 낮은 벽은 15m 두께를 이룬다. 가툰에 있는 평행 갑문들 사이의 중앙벽은 두께가 18m나 되며, 높이는 24m가 넘는다. 갑문 출입구의 문은 강철로 만들어졌으며, 평균 2m 두께로 길이는 19.5m이고 높이는 20m이다. 파나맥스 선박 기준과 파나마 운하를 통과할 수 있는 선박 크기 제한은 발보아에 있는 아메리카의 다리와 더불어, 갑문의 크기(특히 페드로 미겔 갑문의 경우)로 결정되는 것이다.
통행료.
컨테이너선의 경우 요금은 1척당 20피트 컨테이너(Twenty-foot equivalent unit, TEU) 적재량으로 정한다. 1 TEU는 가로 20피트(6m), 세로 8피트(2m), 높이 8.5피트(3m)의 컨테이너 적재량을 뜻한다. 2009년 5월 1일부터 발효되는 통행료는 TEU당 미화 57.60 $이다. 파나맥스급 컨테이너선 한 척이 4,400 TEU를 싣는다. 여객선이나 화물이 없는 컨테이너선(밸러스트)의 경우 요금이 다르게 책정된다.
30,000톤(PC/UMS) 이상의 흔히 '크루즈선'이라고 하는 여객선은 "침대(berth)" 개수를 기준으로 요금을 정한다. 즉 배의 침대로 수용할 수 있는 승객 수에 따라 돈을 받는 것이다. 사람이 없는 침대에는 80$, 사람이 쓰는 침대에는 100$씩 받는다. 2007년부터 이 요금 제도로 여객 선박의 통행료가 크게 늘었다. 30,000톤 이하 혹은 승객 1인당 33톤 이하의 여객선은 화물선과 동일하게 톤 단위로 요금을 책정한다.
대부분의 다른 선박 종류는 100 평방피트 용적인 PC/UMS 순 등록 톤(net register ton) 기준으로 통행료가 책정된다. (상선의 톤수 계산은 매우 복잡하다) 2008 회계년도에 이 톤수 기준의 요금은 10,000톤까지는 톤당 미화 3.90$이며, 10,000톤이 넘어간 다음에는 3.19$를, 그 다음 10,000톤부터는 3.82$를 그 이상 넘어가면 3.76$를 내야한다. 컨테이너선의 경우 화물이 없어 빈 "밸러스트"일 경우 통행료를 감해준다.
파나마 운하를 지나갈 때 가장 비싼 통행료를 낸 선박은 259m 길이의 디즈니 매직 크루즈 라이너로, 2008년 5월 16일의 일이었다. 이 배는 331,200$를 지불했다. 가장 적은 통행료는 미국 모험가 리처드 핼리버튼이 1928년 파나마 운하를 수영하여 지나갈 때 낸 돈 39센트였다. 평균 통행료는 약 54,000$이다.
2004년 10월 20일 인도네시아 역사상 첫 대통령 직접 선거에서 메가와티 수카르노푸트리를 누르고 대통령에 당선되었다. 인도네시아에서는 이니셜인 "SBY"로도 알려져 있다. 2004년 10월 20일 부통령 유숩 칼라(Jusuf Kalla)와 함께 취임 선서를 했으며, 2009년 10월 20일에는 러닝 메이트 부디오노(Boediono)와 함께 다시 대통령 선거에 출마해 과반수 득표로 대통령에 재선되었다. 2014년 10월 20일 임기 종료와 함께 퇴임했다.
전지왕(腆支王, ? ~ 420년 3월(?) 혹은 425년, 재위: 405년~420년)은 백제의 제18대 국왕이다. 휘는 영(映), 전(腆) 또는 여영(餘映, 余映)이다. 《일본서기》에서는 직지왕(直支王), 《삼국유사》 왕력에서는 진지왕(眞支王), 또 《한원》에 인용되는 《송서》, 《통전》에서는 부여전(夫餘腆) 등으로 불리기도 한다. 다른 별칭은 의부부저왕(意富富杵王)이다. 아신왕의 맏아들이다.
《삼국사기》의 아신왕, 전지왕 본기에 의하면 394년(아신왕 3년)에 태자에 책봉되었고, 아신왕이 죽고 그의 첫째 동생 부여훈해가 섭정을 맡고 있었는데 왕실에서 내분이 일어났다고 한다. 왜에서 귀국하는 도중에 전지왕은 신하 해충(解忠)에게서 내분이 일어난 것을 알고 섬에서 잠시 머물렀다. 그 뒤 해씨 세력은 부여훈해를 시해하고 후임 섭정을 사칭하여 내분을 일으킨 부여설례를 죽이면서 전지왕을 즉위시키고, 그 이후에 전지왕이 백제에 들어온 것으로 파악된다.
이복 동생인 부여신 등 다른 형제들이 몇 명 더 존재하였다. 일본서기와 속일본기에 의하면 그는 아신왕 재위 중 일본에 보내졌다 한다. 일본서기 제10권 오진 천황조에 의하면, "405년 9월 아화왕(아신왕)이 서거하다. 일왕이 직지(전지) 왕자를 불러 이르기를 "그대는 백제로 돌아가 왕위를 계승하라."고 하였다." 한다. 그는 오오진 일왕이 내준 왜의 군사들을 대동하고 귀국, 설례 일파를 제거하고 16세에 왕위에 올랐다.
408년(전지왕 4), 부여신에게 새로운 관직인 상좌평을 겸하게 하여 해씨 세력을 견제하도록 했다. 417년(전지왕 13) 7월에는 동부와 북부 2부의 15세 이상 되는 사람들을 징발하여 사구성을 쌓게 하고 병관좌평인 해구를 시켜 이 일을 감독하게 하였다.
삼국사기와 삼국유사에 의하면 전지왕은 420년 3월에 사망한 것으로 되어 있으나, 일본서기 10권 오우지천황조의 기록에 의하면 직지왕이 자신의 누이동생 신제(新齊, 시세츠히메(新齊都媛))를 파견했다 하여 정확한 사망 시점에 대해서는 이견의 여지가 있다. 일설에는 신제도원과 10명의 여성을 일본으로 보낸 것이 전지왕이 아니라 비유왕으로 보기도 한다.
중국 남북조시대 남조의 사서인 송서에는 전지왕이 425년에 사망한 것으로 나타난다. 송서의 기록에 따르면 전지왕은 아들 구이신왕에게 양위하고 5년을 더 살다 사망한 것이 된다.
백제의 전지왕(405~420)과 동성왕(479~501)이 관리였던 장사나 사마를 중국 대륙에 파견했다 &lt;宋書/北史&gt;
하지(夏至)는 24절기 중 하나이며, 태양 황경이 90도가 되는 때이다. 즉, 지구의 자전축이 하지점에 위치하게 되는 날이다. 동양의 전통 달력인 24절기중 하나이다. 양력으로는 6월 21일경인데, 북반구에서는 이 시기에 낮의 길이가 가장 길고 밤이 가장 짧다.
하지는 여름의 중간 지점이자 1년 중 가장 더운 날로 여겨진다. 하지만 실제로 대한민국에서 24절기 중 기온(온도)이 가장 높은 날은 입추이다. 이는 남중고도와 기온이 꼭 비례관계가 아니라는 것을 의미한다. 더불어, 같은 시기 남반구에서는 겨울이므로 남중고도가 낮다. 이를 감안해 하지 대신 6월 지점(June solstice)라 하기도 한다.
과거에는 하지를 기념하기도 하였으나 현대에는 거의 기념하지 않는다.
한나라에서는 하지를 축제로 기념하였다. 하지를 기념하기 위해 위해 당시 사람들은 며칠간 먹고 마시며 기념하였고, 관료들은 며칠간의 휴일을 가졌다.
그러나 동지가 하지보다 더 중요한 절기로 여겨졌고, 더 크게 기념하였다. 송나라의 문인인 방원영(龐元英)은 하지에 3일 쉰 반면, 동지에는 한주를 다 쉬었다고 기록하였다.
양나라에서는 하지날 농부들이 국화잎을 태우고 그 재를 밀에 뿌려 벌레를 죽이고 식물이 건강히 자라기를 기원했다고 전한다.
『고려사』에 따르면 고려에서는 하지기간인 15일을 5일씩 끊어 각각 초후(初候), 차후(次候), 말후(末侯)로 나누었다.
충청도 등 한반도 남부지방에서는 단오 전후에 모내기를 시작해 이때쯤이면 모내기가 끝났다. 그 사이에 비가 오지 않는다면 기우제를 지낸다. 이때 제사는 이장이나 무당이 관장하는데, 소를 잡아 피를 바위에 칠하고, 소의 머리를 소의 배속에 집어넣는 의식을 치르기도 한다. 신성한 지역을 더럽혀놓으면 그것을 씻기 위해 신이 비를 내린다는 신앙의 실현이다.
강원도에서는 하지 전후로 캐는 감자를 '하지감자'라 부른다. 감자를 밥에 넣어 먹으면 감자가 잘 열린다는 믿음이 있다. "하짓날은 감자 캐먹는 날이고 보리 환갑이다."라는 속담에서 알 수 있듯, 하지가 지나면 보리가 마르기 때문에 그 전에 수확한다. 또한 하지가 지나면 감자 싹이 죽으므로 '감자천신한다'고 하며 감자를 캐내 감자전을 부쳐 먹는다.
데이터 마이닝(data mining)은 기계 학습, 통계학, 데이터베이스 시스템이 교차하는 지점의 방법을 활용하여 대규모 데이터 집합에서 패턴을 추출하고 발견하는 과정이다. 데이터 마이닝은 컴퓨터 과학과 통계학의 학제간 하위 분야로, 데이터 집합에서 정보를 (지능적인 방법으로) 추출하고, 이 정보를 추가 활용을 위해 이해 가능한 구조로 변환하는 것을 목표로 한다. 데이터 마이닝은 "지식 발견" 과정(KDD)의 분석 단계이다. 이 분석 단계 외에도, 데이터베이스 및 데이터 관리, 데이터 전처리, 통계 모델 및 추론, 흥미도 지표, 계산 복잡도, 발견된 구조의 사후 처리, , 온라인 업데이트 등이 포함된다.
"데이터 마이닝"이라는 용어는 실제로 데이터 자체를 추출(채굴)하는 것이 아니라, 대량의 데이터에서 패턴과 지식을 추출하는 것이 목적이기 때문에 오해의 소지가 있다. 또한 이 용어는 버즈워드로, 대규모 데이터 또는 정보 처리(데이터 수집, 정보 추출, 저장, 분석, 통계) 전반, 그리고 의사결정 지원 시스템의 모든 응용(예: 인공지능 및 비즈니스 인텔리전스)에도 자주 사용된다. 실제 방법을 가리킬 때는 "데이터 분석", "애널리틱스", "인공지능", "기계 학습" 등이 더 적합할 때가 많다.
실제 데이터 마이닝 작업은 대량의 데이터를 반자동 또는 자동으로 분석하여, 이전에 알려지지 않았던 흥미로운 패턴(예: 데이터 레코드의 그룹(클러스터 분석), 이상치(이상 감지), 의존성(연관 규칙 학습, ))을 추출하는 것이다. 이를 위해 보통 공간 인덱스 등 데이터베이스 기법이 활용된다. 이렇게 발견된 패턴은 입력 데이터의 요약으로 볼 수 있으며, 추가 분석이나 기계 학습, 예측 분석 등에 활용될 수 있다. 예를 들어, 데이터 마이닝 단계에서 여러 그룹을 식별하면, 의사결정 지원 시스템을 통해 더 정확한 예측 결과를 얻는 데 사용할 수 있다. 데이터 수집, 데이터 준비, 결과 해석 및 보고는 데이터 마이닝 단계에 포함되지 않지만, 전체 KDD 과정의 추가 단계에 해당한다.
데이터 분석과 데이터 마이닝의 차이는, 데이터 분석은 데이터 집합에서 모델과 가설을 검증하는 데 사용되는 반면(예: 마케팅 캠페인의 효과 분석), 데이터 마이닝은 기계 학습 및 통계 모델을 활용해 대량 데이터에서 숨겨진 패턴을 찾아낸다는 점이다.
관련 용어인 자료 긁어내기, "데이터 피싱", "자료 캐고들기"은 데이터 마이닝 방법을 이용해 모집단 데이터 집합의 일부만을 샘플링하여 신뢰할 수 없는 통계적 추론을 하는 행위를 말한다. 하지만 이러한 방법은 더 큰 데이터 모집단에 대해 검증할 새로운 가설을 만드는 데 사용할 수 있다.
1960년대에 통계학자와 경제학자들은 "데이터 피싱"이나 자료 캐고들기과 같은 용어를, 사전 가설 없이 데이터를 분석하는 잘못된 관행을 지칭하는 데 사용했다. "데이터 마이닝"이라는 용어도 1983년 경제학자 이 "리뷰 오브 이코노믹 스터디즈"에 발표한 논문에서 비판적으로 사용했다. 로벨은 이 관행이 "실험(긍정적)"부터 "피싱"이나 "캐고들기"(부정적)까지 다양한 이름으로 위장한다고 언급했다... "데이터 마이닝"이라는 용어는 1990년대 데이터베이스 커뮤니티에서 긍정적인 의미로 사용되기 시작했다. 1980년대에는 "데이터베이스 마이닝"이라는 표현이 잠시 사용되었으나, 이는 HNC라는 회사의 상표로 등록되어 있었기 때문에 연구자들은 결국 데이터 마이닝이라는 용어를 채택했다. 이외에도 데이터 고고학, 정보 수집, 정보 검색, 지식추출 등의 용어가 사용되었다. 는 1989년 KDD 워크숍에서 "지식 발견(데이터베이스에서 지식 검색)"이라는 용어를 처음 사용했고, 이 용어는 AI와 기계 학습 커뮤니티에서 더 널리 쓰이게 되었다. 그러나 "데이터 마이닝"이라는 용어가 비즈니스와 언론에서는 더 대중적으로 자리 잡았다. 현재는 데이터 마이닝과 지식 검색이 혼용되어 사용된다.
데이터에서 패턴을 수작업으로 추출하는 일은 수세기 전부터 이루어져 왔다. 데이터에서 패턴을 식별하는 초기 방법으로는 베이즈 정리(1700년대), 회귀 분석(1800년대) 등이 있다. 컴퓨터 기술의 확산과 성능 향상으로 데이터 수집, 저장, 조작 능력이 크게 증가했다. 데이터 집합의 크기와 복잡성이 커지면서, 직접적인 "손으로 하는" 데이터 분석은 간접적이고 자동화된 데이터 처리로 점차 대체되었고, 특히 기계 학습 분야의 인공 신경망, 클러스터 분석, 유전 알고리즘(1950년대), 의사결정 트리와 의사결정 규칙(1960년대), 서포트 벡터 머신(1990년대) 등이 발전했다. 데이터 마이닝은 이러한 방법을 적용해 숨겨진 패턴을 찾아내는 과정이다. 데이터 마이닝은 응용 통계학과 인공지능(수학적 배경 제공)에서 데이터베이스 관리로 이어지며, 데이터베이스에 저장·색인되는 방식을 활용해 실제 학습 및 발견 알고리즘을 더 효율적으로 실행할 수 있게 하여, 점점 더 큰 데이터 집합에도 적용할 수 있게 한다.
"데이터베이스 내 지식 발견(KDD) 과정"은 일반적으로 다음과 같은 단계로 정의된다:
하지만 이와 유사한 여러 변형이 존재한다. 예를 들어, (CRISP-DM)는 여섯 단계를 정의한다:
또는 (1) 전처리, (2) 데이터 마이닝, (3) 결과 검증과 같은 단순화된 과정도 있다.
2002년, 2004년, 2007년, 2014년에 실시된 설문조사에 따르면, CRISP-DM 방법론이 데이터 마이닝 실무자들이 가장 많이 사용하는 방법론임이 나타났다.
이 설문조사에서 언급된 유일한 다른 데이터 마이닝 표준은 였다. 하지만 CRISP-DM을 사용한다고 답한 사람이 SEMMA의 3~4배에 달했다. 여러 연구팀이 데이터 마이닝 프로세스 모델에 대한 리뷰 논문을 발표했으며, Azevedo와 Santos는 2008년에 CRISP-DM과 SEMMA를 비교한 연구를 수행했다.
데이터 마이닝.
데이터 마이닝에는 여섯 가지 주요 작업이 있다:
결과 검증.
데이터 마이닝은 의도치 않게 잘못 사용될 수 있는데, 이는 실제로 미래 행동을 예측하지 못하거나 새로운 데이터 샘플에서 재현되지 않는, 의미 있어 보이지만 쓸모 없는 결과를 낳을 수 있다. 이는 너무 많은 가설을 검증하거나 적절한 통계적 가설 검정을 수행하지 않을 때 발생한다. 기계 학습에서 이 문제의 단순한 형태는 과적합(overfitting)으로 알려져 있다.
데이터로부터 지식을 발견하는 마지막 단계는 데이터 마이닝 알고리즘이 생성한 패턴이 전체 데이터 집합에서도 나타나는지 확인하는 것이다. 모든 패턴이 반드시 유효한 것은 아니다. 데이터 마이닝 알고리즘이 학습 집합(training set)에서는 나타나지만, 전체 데이터 집합에는 없는 패턴을 찾는 경우가 흔하다. 이를 과적합이라고 한다. 이를 방지하기 위해, 데이터 마이닝 알고리즘이 학습되지 않은 테스트 집합을 사용해 평가한다. 예를 들어, "스팸"과 "정상" 이메일을 구분하는 알고리즘은 샘플 이메일의 학습 집합에서 학습한 뒤, 학습되지 않은 테스트 집합에 적용해 정확도를 측정한다. 여러 통계적 방법(예: ROC 곡선)을 사용해 알고리즘을 평가할 수 있다.
학습된 패턴이 원하는 기준을 충족하지 못하면, 전처리 및 데이터 마이닝 단계를 재검토해야 한다. 기준을 충족하면, 마지막으로 학습된 패턴을 해석해 지식으로 전환한다.
이 분야의 대표적인 전문 단체는 ACM의 지식 발견 및 데이터 마이닝 특별 관심 그룹()이다. 1989년부터 이 SIG는 매년 국제 학술대회를 개최하고 논문집을 발간해왔으며, 1999년부터는 연 2회 "SIGKDD 탐색"라는 학술지를 발간하고 있다.
컴퓨터 과학 분야의 데이터 마이닝 관련 주요 학회로는 다음이 있다:
데이터 마이닝 주제는 ICDE, SIGMOD, 등 다양한 데이터베이스 학회에서도 다뤄진다.
데이터 마이닝 프로세스를 위한 표준을 정의하려는 여러 시도가 있었다. 예를 들어, 1999년 유럽의 (CRISP-DM 1.0)와 2004년 표준(JDM 1.0)이 있다. 이들 프로세스의 후속 버전(CRISP-DM 2.0과 JDM 2.0)은 2006년까지 활발히 개발되었으나, 그 이후로는 중단되었다. JDM 2.0은 최종 초안에 이르지 못한 채 철회되었다.
추출된 모델을 교환하기 위한 표준, 특히 예측 분석에서 중요한 표준은(PMML)이다. PMML은 데이터 마이닝 그룹(DMG)이 개발한 XML 기반 언어로, 많은 데이터 마이닝 애플리케이션에서 교환 형식으로 지원된다. 이름에서 알 수 있듯이, 이 표준은 예측 모델, 즉 비즈니스 응용에서 매우 중요한 특정 데이터 마이닝 작업만을 다룬다. 그러나 (예를 들어) 을 다루기 위한 확장안도 DMG와 별도로 제안된 바 있다.
주요 활용.
디지털 데이터가 존재하는 곳이라면 어디에서든 데이터 마이닝이 활용된다. 대표적인 는 비즈니스, 의학, 과학, 금융, 건설, 감시 등 다양한 분야에서 찾아볼 수 있다.
프라이버시와 윤리.
"데이터 마이닝"이라는 용어 자체는 윤리적 함의를 내포하지 않지만, 실제로는 (윤리적이든 아니든)과 관련된 정보의 마이닝과 자주 연관된다.
데이터 마이닝이 사용되는 방식에 따라 프라이버시, 합법성, 윤리와 관련된 문제가 제기될 수 있다. 특히, 프로그램이나 처럼 국가 안보 또는 법 집행 목적으로 정부나 기업 데이터셋을 마이닝하는 경우 프라이버시 논란이 크다.
데이터 마이닝에는 데이터 준비 과정이 필요하며, 이 과정에서 기밀성과 프라이버시 의무를 위반할 수 있는 정보나 패턴이 드러날 수 있다. 가장 흔한 예는 를 통한 것이다. 는 여러 출처의 데이터를 결합해 분석을 용이하게 하지만, 이로 인해 익명화된 데이터에서 개인을 식별할 수 있게 될 수도 있다. 이는 데이터 마이닝 그 자체라기보다는, 분석 목적의 데이터 준비 과정에서 발생하는 결과이다. 데이터가 한 번 집계되고 나면, 데이터 마이너나 해당 데이터셋에 접근할 수 있는 누구든 원래 익명화된 데이터에서 특정 개인을 식별할 수 있게 될 위험이 있다.
데이터는 익명화되어 개인이 쉽게 식별되지 않도록 수정될 수도 있다. 하지만 ""된 데이터셋도 충분한 정보가 포함되어 있다면 개인을 식별할 수 있는 경우가 있다. 예를 들어, AOL에서 실수로 공개한 검색 기록을 바탕으로 기자들이 여러 개인을 찾아낸 일이 있었다.
개인 식별 정보가 우발적으로 드러나 제공자가 공정 정보 관행을 위반하는 경우, 이는 재정적, 정서적, 신체적 피해로 이어질 수 있다. 예를 들어, 2011년 Walgreens 고객들이 회사가 처방 정보를 데이터 마이닝 회사에 판매하고, 이 데이터가 제약회사에 제공된 것에 대해 소송을 제기한 사례가 있다.
유럽의 상황.
유럽은 비교적 강력한 프라이버시 법률을 갖추고 있으며, 소비자 권리를 더욱 강화하려는 노력이 진행 중이다. 그러나 1998~2000년에 개발된 으로 인해, 현재는 유럽 사용자가 미국 기업에 의해 프라이버시 침해를 당할 위험이 있다. 에드워드 스노든의 글로벌 감시 폭로 이후, 이 협정을 폐기하려는 논의가 증가했으며, 미국과의 합의 시도는 실패했다.
특히 영국에서는 기업들이 데이터 마이닝을 이용해 특정 고객 집단에 불공정하게 높은 가격을 부과한 사례가 있었다. 이런 집단은 디지털 시장에서 착취당하는 방법을 잘 모르는 사회경제적 약자일 때가 많다.
미국의 상황.
미국에서는 의회가 와 같은 규제 법률을 제정해 프라이버시 문제를 다루고 있다. HIPAA는 개인이 제공하는 정보와 그 사용 목적에 대해 "정보에 입각한 동의"를 요구한다. "Biotech Business Week" 기사에 따르면, "실제로 HIPAA는 연구 분야의 기존 규정보다 더 큰 보호를 제공하지 않는다"고 미국 학술보건센터(AAHC)는 말한다. 더 중요한 것은, 이 규정이 보호를 위해 추구하는 '정보에 입각한 동의'가 평균적인 개인에게는 사실상 이해 불가능한 수준이라는 점이다. 이는 데이터 집계 및 마이닝에서 데이터 익명화의 필요성을 강조한다.
미국의 정보 프라이버시 관련 법률(HIPAA, )은 각 분야에만 적용된다. 미국 내 대부분 기업의 데이터 마이닝은 별도의 법적 규제를 받지 않는다.
저작권법.
에 따르면, 저작권이 있는 작품(예: 웹 마이닝)을 저작권자의 허가 없이 마이닝하는 것은 불법이다. 데이터베이스가 순수 데이터인 경우 저작권이 없을 수 있으나, 데이터베이스 권리가 존재할 수 있으므로 데이터 마이닝은 지적 재산권 소유자의 권리에 종속된다. 하그리브스 보고서의 권고에 따라, 영국 정부는 2014년 저작권법을 개정해 콘텐츠 마이닝을 로 허용했다. 영국은 2009년 일본에 이어 세계에서 두 번째로 데이터 마이닝 예외를 도입했다. 그러나 (2001)의 제한으로, 영국 예외는 비상업적 목적에만 적용된다. 영국 저작권법은 계약 조항으로 이 규정을 무효화할 수 없도록 한다. 2020년부터 스위스도 연구 목적에 한해 데이터 마이닝을 허용하도록 규정하고 있다.
유럽연합 집행위원회는 2013년 "Licences for Europe"이라는 이름으로 텍스트 및 데이터 마이닝에 대한 이해관계자 논의를 주도했다. 이 논의에서 라이선스 중심의 해결책에 반발해 대학, 연구자, 도서관, 시민단체, 오픈 액세스 출판사 등이 2013년 5월 대화에서 이탈했다.
, 특히 공정 이용 조항은 미국과 이스라엘, 대만, 대한민국 등 공정 이용 국가에서 콘텐츠 마이닝의 합법성을 인정한다. 콘텐츠 마이닝은 원본 저작물을 대체하지 않고 변형적이기 때문에 공정 이용으로 간주된다. 예를 들어, 판결에서, 담당 판사는 저작권이 있는 책의 디지털화 프로젝트가 변형적 용도(텍스트 및 데이터 마이닝 등)를 보였으므로 합법임을 인정했다.
무료 오픈소스 데이터 마이닝 소프트웨어 및 애플리케이션.
다음 애플리케이션들은 무료/오픈소스 라이선스로 제공된다. 소스 코드에 대한 공개 접근도 가능하다.
상용 데이터 마이닝 소프트웨어 및 애플리케이션.
다음 애플리케이션들은 상용 라이선스로 제공된다.
데이터에서 정보를 "분석"이 아닌 "추출"하는 것에 대한 더 많은 정보는 다음을 참고:
인터넷 릴레이 챗(, )은 실시간 채팅 프로토콜이다. 채널이라 불리는 토론 포럼에서 그룹 대화를 하기 위해 설계되었으나 개인 메시지를 통한 1:1 소통, 그리고 파일 공유를 포함한 채팅 및 대화 전송도 가능하다.
IRC는 "WiZ"란 별명을 사용하던 Jarkko Oikarinen가 핀란드의 한 BBS에서 쓰이던 채팅 프로그램을 대체하기 위해, 1988년 8월에 제작했다. Oikarinen은 Bitnet에서 쓰이던 Bitnet Relay Chat에서 힌트를 얻어 IRC를 만들었다.
기술적인 정보.
IRC는 TCP 기반의 공개 네트워크 프로토콜으로, TCP뿐만이 아니라 TLS을 지원하기도 한다. IRC 서버는 IRC 네트워크 확장을 목적으로 다른 IRC 서버들로 접속이 가능하다. 사용자들은 클라이언트를 서버에 연결함으로써 IRC 네트워크에 접근한다.
IRC 프로토콜은 RFC를 통해 공개되어 있다. IRC에 관한 최초의 RFC는 RFC 1459이며, 이후 2000년에 이를 개정해 RFC 2810, RFC 2811, RFC 2812, RFC 2813의 네 개로 정리하였다.
IRC 프로토콜은 초기에는 평문 프로토콜로 정의되었으며, 이후 확장되었다. IRC 접속 포트는 IANA에서 194/TCP를 할당해 두었지만, 많은 운영 체제에서 이 포트를 사용하려면 특별 권한이 필요하기 때문에, 대부분의 서버에서는 6667/TCP 포트를 사용한다.
IRC 프로토콜은 문자는 8 bit라고만 규정하고 있을 뿐, 이용하는 텍스트에 대한 문자 인코딩은 규정하고 있지 않다. IRC가 생겨났을 당시에는 한 인코딩만 지원하는 텍스트 터미널만 줄창 쓰였고, IRC 프로토콜 설계자들은 IRC 사용자간 대화가 호환 가능한 인코딩 하에서 이루어질 것이라고 단순히 생각했었다. IRC 프로토콜의 이러한 성격은, 사용자들이 서로 다른 클라이언트와 (혹은) 다른 플랫폼 상에서, 영어를 제외한 다른 언어를 써서 서로 대화하고자 할 때 문제가 되기도 한다.
현존하는 모든 클라이언트-서버 IRC 프로토콜들은 IRC2server의 irc2.8 버전에서 구현된 프로토콜에서 나왔다. 이 프로토콜은 RFC 1459 문서에 규정되어 있다. RFC 1459가 발표된 이래로, irc2.10 버전 구현의 새 기능들 때문에, RFC 2810, RFC 2811, RFC 2812 등등의 여러 개정판 프로토콜이 발표되었다. 그러나 이 개정판 프로토콜들은 많은 구현에서 채택되지는 않고 있다.
IRC 프로토콜에 대한 많은 규격 문서들이 발표되었지만, 공식 규격 문서는 존재하지는 않는다. 위에서 말한 RFC들을 참조 삼아 엄격하게 구현한 클라이언트는 현재 거의 하나도 없다고 해도 과언이 아니다.
IRC 서버들의 표준적인 구조는 일종의 트리(비순환 그래프)를 이룬다. 메시지들은 트리 내에서 전달에 필요한 가지()들만을 따라 전달된다. 반면에 네트워크 스테이트(network state)는 모든 서버에게 전송된다. 일반적으로 매우 높은 수준의 비명시적 신뢰 관계가 서버들 사이에 존재한다. 이 아키텍처는 몇 가지 문제점을 가지고 있다; 잘못 동작하는 서버나 악의적으로 놓인 서버가 IRC 네트워크에 치명적인 손실을 가져다 줄 수도 있다. 의도적인 것에 의한 결과이든 하부 네트워크의 상황에 따른 결과이든 구조의 어떠한 변경은, 넷-스플리트(net-split)이나 넷-조인(net-join)을 요구할 수도 있다. 이로 인해 수많은 네트워크 트래픽과 가짜의 나감/들어옴(quit/join) 메시지가 유발되어 잠시 통신 연결이 손실될 수도 있다. 또한 구조의 어떠한 변경은 대규모의 네트워크에 서버를 하나 추가한다는 셈이 되는데, 이것은 많은 네트워크에 백그라운드 밴드위스 부하를 가져다 주고, 서버에 많은 메모리 부하를 야기한다.
URI 스킴.
IRC에는 세 개의 인식 가능한 통합 자원 식별자(URI) 스킴이 있다.: codice_1, codice_2, codice_3. 지원할 경우, 다음을 포함한 다양한 형태의 하이퍼링크를 허용한다.
irc://&lt;host&gt;[:&lt;port&gt;]/[&lt;channel&gt;[?&lt;channel_keyword&gt;]]
마이크로소프트에서 IRC 프로토콜을 변형하여 1998년 IRCX라는 것을 내놓았다. 당시 IRC 네트워크가 직면했던 문제점들의 일부만을 해결하였다. 사람들은 당시 이것에 대해 "시기상조"라고 했다.
에니그마()는 회전자로 작동하는 암호 기계의 한 종류로, 그 이름은 고대 그리스어로 '수수께끼'를 뜻하는 아이니그마()라는 말에서 따온 것이다. 암호의 작성과 해독이 가능하며 보안성에 따라 여러 모델이 있다.
1918년 독일인 아르투르 슈르비우스에 의해 처음 고안되어 상업적 목적으로 사용되었다. 특히 제2차 세계 대전 중 나치 독일이 군기밀을 암호화하는 데 사용하였다.
오랫동안 난공불락으로 여겨졌으나 전쟁 시작도 전에, 폴란드의 암호국, 비우로 시프루프 (Bioro Szyfrów)에서 해독의 기초를 마련하였다. 이들은 이후 영국과 프랑스의 암호학자들과 정보를 공유했고, 영국 블레츨리 파크의 암호학자들에 의해 해독되어 전쟁 중 연합군의 전략에 상당한 도움을 주었다.
에니그마는 1945년 독일 패전과 함께 사용이 중지됐지만, 형태가 변형되어 1970년대까지 주로 상업적 보안통신용으로 사용되었다. 에니그마를 원형으로 한 군용 보안통신기 역시 1960년대까지 사용되었다.
구성 및 작동원리.
기계적 하부체계에는 알파벳 26자로 구성된 키보드가 있다. 키보드의 키는 하나 이상의 명령으로 수행된다.
전기적 하부체계의 구성요소는 자판(Tastatur), 회전자(Rotor), 플러그판(Steckbrett),
전구판(Lampenfeld), 입력축, 램프, 스크램블러, 반사판, 배전반 이 있다.
전기 회로.
에니그마는 시시각각으로 변화하는 전기회로를 구성하여 작동한다. 사용자가 키를 누르면 전류가 회로를 따라 흘러 특정한 알파벳을 지칭하는 전구들 중 하나를 켠다. 예를 들어 ANX~로 시작하는 단어를 암호화할 때 사용자는 A에 해당하는 키를 누르고 Z 전구에 불이 들어왔다고 하자. 이 경우 이 암호문의 첫 글자는 Z가 된다. (미완성)
회전자.
암호기의 밀반출은 곧바로 모든 암호화된 문구의 노출을 의미한다. 그리고 꼭 밀반출이 아니더라도 꾸준한 감청을 통해 데이터베이스를 쌓아 분석하면 어떤 글자가 어떤 글자로 연결되는지는 쉽게 알 수 있다.
그리하여 매번 사용 시마다 규칙은 다르고 또한 그 규칙의 경우의 수가 될 수 있으면 많은 그런 암호기가 필요하게 된다. 이를 위해 에니그마의 두뇌라고 할 수 있는 회전자(Rotor)가 만들어진다.
그림에는 3개의 회전자(rotor)가 들어가 있는데 각각의 회전자는 26개의 원소를 가진 순열이라 보면 된다. 그림에는 간단히 8개의 알파벳으로만 표시되어 있는데 'A'가 3개의 회전자를 통해 'D'로 바뀌는 과정을 보여주고 있다. 이렇게 한 글자의 암호를 마치면 첫 번째 회전자는 조금씩 회전을 하는데 당연히 26번을 한바퀴로 하고 있다. 첫 번째 회전자가 한바퀴를 돌면 시계의 원리처럼 두 번째 회전자가 한 칸 움직이고 똑 같은 방법으로 세 번째 회전자도 움직이게 된다. 여기서 가능한 회전자의 조합 수를 생각해보면 26x26x26=17,576이다.
닉음과의같복잡성은전자의 위치 선정으로 6가지의 경우의 수, 그리고 회전자의 처음 위치를 어디로 할지의 26x26x26의 가짓수, 거기에다가 회전 자들의 임의 변경(Ringstellung)을 통한 경우의수 26x26x26. 즉 총 6x26x26x26x26x26x26 = 1,853,494,656 의 가능한 에니그마의 상태가 존재하는 것이다.
반사체.
반사체는 에니그마 속에서 가장 독특한 부속품이다. 모든 회전자 내부의 배선 위에서 각각의 글자들은 다른 글자와 서로 연결될 수 있다. 예로 A는 K와 연결되어 있는 F에 연결이 가능하였다. 반사체 내부에, 연결은 서로 짝으로 이루어져 있었다. 만약 A가 F에 연결되어 있다면, 이것은 F역시 A와 연결되어 있음을 의미하는 것이고, 결과적으로 역으로 암호화 된다는 것을 의미한다. 에니그마의 이점은 이것으로 분명해 진다. 암호의 조립과 해독이 동일한 에니그마 셋팅과 배선으로 가능하다는 것이다. 그러나 어떠한 글자를 암호화시켜도 그 자신으로 나올 수가 없다는 특징이 암호해독을 가능케 하는 열쇠가 되었다.
2차 세계대전 기간동안, B와 C type 두 가지 형식의 반사체가 사용되었다. 전쟁 막바지에 가서는 특별한 형식의 D type 반사체가 도입되었다. D type 반사체는 12개의 전선과 24개의 플러그로 조정이 가능한 반사체로, 13번째 전선은 고정되어있었다.
4개의 회전자 형식의 독일해군 에니그마는 특별한 형태의 얇은 회전자를 사용하였는데, 이것들 역시 B와 C반사체로 불렸지만, 독일 육군과 공군의 3회전자 방식의 에니그마의 반사체와 다른 배선구조를 가지고 있었다. 만약 독일해군 에니그마의 반사체들이 4번째 회전자를 A포지션과 A링셋팅으로 사용하게 되면 이를 반사체들은 3회전자 방식의 에니그마와 서로 호환이 되었으며, 다른 형식의 에니그마 사이의 상호 통신이 가능할 수 있었다.
보조장치.
M4 에니그마는 Schreibmax라는, 26글자를 얇은 종이 리본에 인쇄할 수 있는 장치를 사용하였다. 이는 램프를 읽고 번역할 2차 장치의 필요성을 제거해 주었다.
이는 에니그마 장치의 상단에 부착되었고, 램프판에 연결되어 있었다. 또한 장치 설치를 위해 램프 덮개와 전구를 제거해야 했는데, 이는 사용상의 편리성과 보안성을 강화시켰다. 장거리 램프 패널 Fernlesgerat는 에니그마에 Scribemax로 인해 덮개와 전구가 없는 경우에도 해석된 평서문을 간편히 읽을 수 있도록 하였다.
1926년 독일 군대는 암호를 쉽게 해독하기 어렵고 암호화뿐만 아니라 복호화도 가능한 전자 기계식 암호화 장치를 도입하였다. 8년 전 전기 기사 아르투르 세르비우스(1878~1929)는 메시지를 부호화하기 위해 표준 사이즈 가로 세로 30cm, 높이 15cm, 무게 30kg의 기계에 문자판과 세 개의 원판을 결합하여 최초의 에니그마 모델을 개발하였다.
에니그마는 1931년 폴란드의 암호국, 비우로 쉬프루프(Biuro Szyfrów)에서 처음 해독 되었다. 그러나 1939년 2차 세계 대전이 발발하자 24시간 마다 암호체계를 바꾸는 독일군의 방침으로 인해 무산되었다. 이를 해독하기 위해 앨런 튜링(Alan Turing)을 비롯한 영국의 암호학자들은 블레츨리 파크(Bletchley Park)에 위치한 영국정보암호학교 GC&amp;CS(UK Government Code and Cypher School)에서 1939년에 The Bombe(한국어:봄브 기계)를 제작해 해독하는 데에 성공한다. 이는 전쟁 중 연합군의 전략에 상당한 도움을 주고 전쟁 종결을 앞당기는 데에 기여하였다.
이 암호기의 개량종인 Hegelin(헤겔린)은 한국전쟁(1950년 6월 25일~ 1953년 7월 27일)에도 사용되었다.
상업적 에니그마.
1918년 2월 23일, 독일 엔지니어 아르투르 세르비우스는 로터(rotor)를 이용한 암호 장치로 특허를 냈고, 리처드 E. 리터와 함께 Scherbius &amp; Ritter 회사를 설립했다. 그들은 독일 해군과 외국 회사에 그들의 기계를 선보였지만 둘다 관심을 보이지 않았다.
세르비우스와 리처드는 1923년 7월 9일에 특허권을 독일의 'Chiffriermaschinen Aktien-Gesellschaft (암호 기계 주식회사)'에 양도함으로써 이사가 되었다.Chiffriermaschinen AG는 '에니그마 모델 A'라는 회전자 기계를 홍보하기 시작했다. 이 기계는 타자기의 기능도 갖고 있어 무거웠고 크기도 컸다. 그 크기는 65×45×35 cm이고 무게는 약 50kg이었다.
1924년에 비슷한 구조를 가진 '에니그마 모델 B가 소개되었다. 에니그마라는 이름을 가지고 있었지만, 모델 A와 B는 이후에 등장하게 되는 기기들과는 많은 차이가 있었다. 외형적인 면에서뿐만 아니라 반사체를 가지고 있지도 않기 때문에 암호 표기적인 면에서도 차이가 많이 났다.
모델 C는 그 이전의 장치들보다 더 작았고 휴대하기 편리했다. 타자기 대신 전구를 추가했기 때문에 '점등관 에니그마'라고 불리게 되어 모델 A, B와는 차이를 두었다.
에니그마 C가 개발되고 얼마 안되어서 에니그마 D(1927)가 개발되었다. 에니그마 D는 스웨덴, 네덜란드, 영국, 일본, 이탈리아, 스페인, 미국, 폴란드 등에서 널리 사용되었다.
이미테이션 게임
1932년 폴란드 암호 전문가 마리안 레예프스키(Marian Rejewski)는 독일의 에니그마 암호기로 만든 암호를 푸는 데 성공했다. 폴란드는 제2차 세계대전이 일어나기 5주 전인 1939년 6월 25일에 영국과 프랑스 군사정보 담당처에 암호제작기 에니그마와 암호독해 관련 기술을 전달해 주었다. 영국은 독일군의 암호문을 해독하기 위해 블레츨리 파크(Bletchley Park)에서 콜러서스(Colossus)라는 기계를 개발했다.
콜러서스.
영국은 암호를 해독하기 위해 앨런 튜링(Alan Turing), 토미 플라워스(Tommy Flowers) 등의 기술자들을 통해 콜러서스(Colossus)라는 기계를 개발하였다. 이런 과학자들은 암호의 규칙을 찾아내고 암호의 유형을 확인하기 위해 콜로서스라는 세계 최초의 컴퓨터를 만든 것이다.
콜러서스는 2400개의 진공관을 가진 전자식 암호해독용 컴퓨터다. 이를 위해 현대식 컴퓨터의 원리를 도입해야 했다. 콜러서스는 여러 가지 새로운 컴퓨팅 개념을 실현하고 있었다. 1초에 25000자를 번역할 수 있다. 전쟁 후에 이 기계는 군사기밀을 이유로 폐기되었으나 일원으로 2007년에 다시 만들어졌다.
조작법.
전방 추론(前方推論, forward reasoning, forward chaining)은 후방 추론과 달리 자료 위주의 추론 방법이다. 가능한 결론의 종류가 많은 경우에 적합하다.
전방 추론은 전문가 시스템, 비즈니스 및 생산 규칙 시스템에 널리 사용되는 구현 전략이다. 전방 추론의 반대는 후방 추론이다.
전방 추론은 사용 가능한 데이터로 시작하고 추론 규칙을 사용하여 목표에 도달할 때까지 더 많은 데이터(예: 최종 사용자로부터)를 추출한다. 전방 추론을 사용하는 추론 엔진은 선행 항목(If 절)이 참인 것으로 알려진 규칙을 찾을 때까지 추론 규칙을 검색한다. 이러한 규칙이 발견되면 엔진은 결과(Then 절)를 결론짓거나 추론하여 데이터에 새로운 정보를 추가할 수 있다.
추론 엔진은 목표에 도달할 때까지 이 프로세스를 반복한다.
후방 추론(後方推論, backward reasoning, backward chaining)은 전방 추론과 반대로 목표로부터 시작해서 이를 충족시키는 전제를 찾아나가는 추론 방식이다. 가능한 목표의 수가 적은 경우에 우수한 추론 방법이다.
게임 이론에서 연구자들은 이를 (더 단순한) 하위 게임에 적용하여 역진 귀납(backward induction)이라는 과정을 통해 게임에 대한 해결책을 찾는다. 체스에서는 역행 분석(Retrograde Analysis)이라고 하며, 컴퓨터 체스용 체스 엔드게임을 위한 테이블 기반을 생성하는 데 사용된다.
후방 추론은 SLD 분석을 통해 논리 프로그래밍에서 구현된다. 두 규칙 모두 모더스 포넨스 추론 규칙을 기반으로 한다. 이는 추론 규칙과 논리적 함의를 통해 가장 일반적으로 사용되는 두 가지 추론 방법 중 하나이다. 다른 하나는 전방 추론이다. 후방 추론 시스템은 일반적으로 깊이 우선 탐색 전략(예: 프롤로그 (프로그래밍 언어))을 사용한다.
아르센 뤼팽(, )은 20세기 초에 소설가 모리스 르블랑이 발표한 추리소설이자 모험소설인 《괴도신사 아르센 뤼팽》 시리즈에 등장하는 주인공의 이름이다. 흔히 "괴도 신사"로 묘사된다.
또한 공식적으로 발표된 아르센 뤼팽의 마지막 작품은 '아르센 뤼팽의 수십억 달러()'인데, 제9장 '금고'(IX. Les coffres-forts) 부분이 누락된 채로 절판된 작품이었다. 그것을 2003년 대한민국의 시인이자 번역가 성귀수가 프랑스 현지 연구가의 도움을 받아 살려내 까치글방 출판사를 통해 세계 최초로 완간해냈다. 그리고 진짜 마지막 작품(르블랑 미공개)인 '아르센 뤼팽의 마지막 사랑'은 1996년 자크 드루아르 교수가 르블랑 고택에서 발견해내 2012년 르블랑 사망 70주기를 맞아 르블랑 유족이 발간을 결정, 프랑스와 대한민국에서 동시에 출간되었다. 2018년 7월 12일 번역가 성귀수가 출판사 북이십일의 출판 브랜드 아르테를 통해서 결정판 전집을 세계 최초로 출간했다.
1905년부터 1939년까지 25년 이상에 걸쳐서 집필된 프랑스의 인기 소설로, 모리스 르블랑의 대표작이다. 전기의 작품에서는 신출귀몰한 괴도신사 아르센 뤼팽 이야기가 주요내용이지만, 중반은 돈 루이스 페레나의 애국 모험, 후기는 탐정 짐 바르네트 등 탐정 모험, 라울이라는 이름을 쓰는 연애 모험이 주가되는 등, 변용이 풍부하고 전기의 작품과 후기의 작품에서는 각각 정취가 다르다.
인물상.
신사이면서 강도, 사기꾼, 모험가이다. 변장의 달인으로 자유자재로 가명을 사용하며 신분을 숨긴다.
관련 말.
참고로, 2016년 출시된 비디오 게임 페르소나 5의 주인공 이름은 아르센이며 그가 자주 머무는 카페 이름은 르블랑이다.
파일 전송 프로토콜(File Transfer Protocol, FTP)은 TCP/IP 프로토콜을 가지고 서버와 클라이언트 사이의 파일 전송을 하기 위한 표준 통신 프로토콜(standard communication protocol)이다. 파일 전송 프로토콜은 TCP/IP 프로토콜 테이블의 응용 계층에 속하며, 역사는 오래 되었지만 지금도 인터넷에서 자주 사용된다.
최초의 FTP 클라이언트 애플리케이션들은 운영 체제가 그래픽 사용자 인터페이스를 갖추기 이전에 개발된 명령 줄 프로그램이었으며, 대부분의 윈도우, 유닉스, 리눅스 운영 체제에 현재도 기본 포함되어 있다. 그 뒤로 수많은 FTP 클라이언트 및 오토메이션 유틸리티들이 데스크톱, 서버, 모바일 장치, 하드웨어용으로 개발되고 있으며, FTP는 웹 페이지 편집기와 같은 생산성 응용 프로그램들에 통합되고 있다.
FTP 서버의 역사.
원래의 FTP에 대한 사양은 이 작성하였으며, 1971년 4월 16일 RFC 114로 게시되었다. 1980년까지 FTP는 TCP/IP의 전신인 NCP 위에 실행되었다. 이 프로토콜은 나중에 TCP/IP 버전인 RFC 765 (1980년 6월), 그리고 현재의 사양인 RFC 959 (1985년 10월)으로 대체되었다. 제안된 일부 표준들은 RFC 959를 개정하였는데, 이를테면 RFC 1579 (1994년 2월)는 방화벽 친화 FTP (수동 모드)를 활성화하며, RFC 2228 (1997년 6월)은 보안 확장을 제안하며, RFC 2428 (1998년 9월)은 IPv6 지원을 추가하고 새로운 종류의 수동 모드를 정의한다.
프로토콜 개요.
파일 전송 프로토콜은 서버의 파일을 바꾸거나 지울 수 있기 때문에 전송하기 앞서 사용자 이름과 암호를 묻는 인증 과정이 필요하다. 보통 FTP에서는 암호가 암호화되지 않아 위험하기 때문에 원 타임(한 번만 묻는) 암호를 이용한 인증을 이용하며, 아니면 보안을 더욱 철저하게 하려면 아예 SFTP, SCP 등 다른 방법을 사용하여 파일을 전송한다.
파생.
FTPS.
SSH 파일 전송 프로토콜.
심플 파일 전송 프로토콜(Simple File Transfer Protocol, SFTP)은 RFC 913에 의해 정의되어 있다.
음성 인식(speech recognition)은 컴퓨터 과학과 전산언어학의 방법론과 기술을 개발하는 학제간 하위 분야로, 음성 언어를 컴퓨터가 인식하고 텍스트로 번역할 수 있도록 한다. 자동 음성 인식(automatic speech recognition, ASR), 컴퓨터 음성 인식(computer speech recognition) 또는 음성-텍스트(speech-to-text, STT)라고도 한다. 컴퓨터 과학, 언어학, 컴퓨터 공학 분야의 지식과 연구를 통합한다. 반대 과정은 음성 합성이다.
일부 음성 인식 시스템은 "훈련"(또는 "등록")이 필요하며, 개별 화자가 시스템에 텍스트나 특정 어휘를 읽어준다. 시스템은 해당 화자의 특정 목소리를 분석하고 이를 사용하여 해당 화자의 음성 인식을 미세 조정하여 정확도를 높인다. 훈련을 사용하지 않는 시스템은 "화자 독립" 시스템이라고 한다. 훈련을 사용하는 시스템은 "화자 종속"이라고 한다.
음성 인식 애플리케이션에는 음성 다이얼링(예: "집으로 전화"), 통화 라우팅(예: "수신자 부담 전화 걸겠습니다"), 가정 자동화 기기 제어, 검색 키워드(예: 특정 단어가 말해진 팟캐스트 찾기), 간단한 데이터 입력(예: 신용카드 번호 입력), 구조화된 문서 작성(예: 방사선 보고서), 화자 특성 결정, 음성-텍스트 처리(예: 워드 프로세서 또는 이메일), 항공기 (일반적으로 직접 음성 입력이라고 불림)의 음성 사용자 인터페이스가 포함된다. 자동 발음 평가는 구어 학습과 같은 교육에 사용된다.
음성 인식 또는 화자 인식는 화자가 무엇을 말하는지가 아니라 화자를 식별하는 것을 의미한다. 화자를 인식하면 특정 화자의 목소리로 훈련된 시스템의 음성 번역 작업이 단순화되거나, 보안 프로세스의 일부로 화자의 신원을 인증하거나 확인할 수 있다.
기술적인 관점에서 음성 인식은 몇 가지 주요 혁신의 물결과 함께 오랜 역사를 가지고 있다. 가장 최근에는 이 분야가 딥 러닝과 빅 데이터의 발전으로 혜택을 받았다. 이러한 발전은 이 분야에서 발표된 학술 논문의 급증뿐만 아니라, 더 중요하게는 전 세계 산업계에서 다양한 딥 러닝 방법을 사용하여 음성 인식 시스템을 설계하고 배포하는 데 채택된 것으로 입증된다.
성장의 핵심 영역은 어휘 크기, 화자 독립성, 처리 속도였다.
1970년 이전.
라지 레디는 1960년대 후반 스탠퍼드 대학교의 대학원생으로서 연속 음성 인식을 처음으로 수행했다. 이전 시스템은 사용자가 각 단어 뒤에 잠시 멈춰야 했다. Reddy의 시스템은 체스를 두기 위한 음성 명령을 발행했다.
이 무렵 소련 연구원들은 동적 시간 워핑 (DTW) 알고리즘을 발명하고 이를 사용하여 200개 단어 어휘에서 작동할 수 있는 인식기를 만들었다. DTW는 음성을 짧은 프레임, 예를 들어 10ms 세그먼트로 나누고 각 프레임을 단일 단위로 처리하여 음성을 처리했다. DTW는 이후의 알고리즘에 의해 대체되었지만 이 기술은 계속 사용되었다. 화자 독립성 달성은 이 시기에도 여전히 해결되지 않은 문제였다.
1970–1990.
1960년대 후반 레너드 바움은 국방 분석 연구소에서 마르코프 연쇄의 수학을 개발했다. 10년 후, 카네기 멜런 대학교에서 라지 레디의 제자인 제임스 베이커와 자넷 M. 베이커는 음성 인식을 위해 은닉 마르코프 모형 (HMM)을 사용하기 시작했다. 제임스 베이커는 학부 교육 중 국방 분석 연구소에서 여름 아르바이트를 통해 HMM에 대해 배웠다. HMM의 사용으로 연구원들은 음향, 언어, 구문과 같은 다양한 지식 출처를 통일된 확률 모델로 결합할 수 있게 되었다.
실용적인 음성 인식.
1980년대에는 N-그램 언어 모델도 도입되었다.
이 분야의 발전은 컴퓨터 기능의 급속한 증가에 기인한다. 1976년 DARPA 프로그램이 끝났을 때 연구원들이 사용할 수 있는 최고의 컴퓨터는 4MB 램의 PDP-10이었다. 음성 30초를 해독하는 데 최대 100분이 걸릴 수 있었다.
두 가지 실용적인 제품은 다음과 같다.
이 시점에는 일반적인 상업용 음성 인식 시스템의 어휘가 평균 인간 어휘보다 더 많았다. 라지 레디의 전 학생인 쉐둥 황은 카네기 멜런 대학교에서 Sphinx-II 시스템을 개발했다. Sphinx-II 시스템은 화자 독립적인 대규모 어휘 연속 음성 인식을 수행한 최초의 시스템이었으며, 1992년 DARPA 평가에서 최고의 성능을 보였다. 대규모 어휘를 갖춘 연속 음성을 처리하는 것은 음성 인식 역사에서 중요한 이정표였다. Huang은 1993년에 Microsoft의 음성 인식 그룹을 설립했다. 라지 레디의 학생 Kai-Fu Lee는 애플에 입사하여 1992년에 캐스퍼(Casper)로 알려진 애플 컴퓨터의 음성 인터페이스 프로토타입 개발을 도왔다.
벨기에 기반 음성 인식 회사인 Lernout &amp; Hauspie는 1997년에 Kurzweil Applied Intelligence, 2000년에 Dragon Systems를 포함한 여러 회사를 인수했다. L&amp;H 음성 기술은 윈도우 XP 운영 체제에 사용되었다. L&amp;H는 2001년 회계 스캔들로 인해 회사가 종료될 때까지 업계 선두 주자였다. L&amp;H의 음성 기술은 ScanSoft에 의해 인수되었고, 2005년에 Nuance가 되었다. Apple은 원래 Nuance로부터 소프트웨어를 라이선스하여 Siri 디지털 비서에게 음성 인식 기능을 제공했다.
2000년대에 DARPA는 두 가지 음성 인식 프로그램인 2002년의 효과적이고 경제적이며 재사용 가능한 음성-텍스트 변환(EARS)과 글로벌 자율 언어 활용(GALE)에 자금을 지원했다. EARS 프로그램에는 IBM, BBN과 LIMSI 및 Univ. of Pittsburgh가 주도하는 팀, 케임브리지 대학교, ICSI, SRI 및 워싱턴 대학교로 구성된 팀 등 4개 팀이 참여했다. EARS는 500명 이상의 화자로부터 260시간의 녹음된 대화를 포함하는 스위치보드 전화 말뭉치 수집에 자금을 지원했다. GALE 프로그램은 아랍어 및 표준 만다린 방송 뉴스 음성에 중점을 두었다. Google의 첫 번째 음성 인식 노력은 Nuance에서 일부 연구원을 고용한 후 2007년에 시작되었다. 첫 번째 제품은 전화 기반 디렉토리 서비스인 GOOG-411이었다. GOOG-411의 녹음 자료는 Google이 인식 시스템을 개선하는 데 도움이 되는 귀중한 데이터를 제공했다. 구글 음성 검색은 이제 30개 이상의 언어를 지원한다.
미국에서는 미국 국가안보국이 최소 2006년부터 키워드 탐지 유형의 음성 인식을 사용하고 있다. 이 기술을 통해 분석가는 대량의 녹음된 대화를 검색하고 키워드 언급을 분리할 수 있다. 녹음 자료는 색인화되어 분석가가 데이터베이스에서 관심 있는 대화를 찾기 위한 쿼리를 실행할 수 있다. 일부 정부 연구 프로그램은 DARPA의 EARS 프로그램 및 IARPA의 바벨 프로그램과 같이 음성 인식의 정보 애플리케이션에 중점을 두었다.
2000년대 초반에는 음성 인식이 은닉 마르코프 모형과 전방향 인공 신경망을 결합한 전통적인 접근 방식이 여전히 지배적이었다.