shopkeeper/korean_wiki_content_only_120125 huggingface dataset:
유럽 연합의 일반 데이터 보호 규정(GDPR)은 EU 내 개인에 대한 저장된 데이터가 익명화 또는 가명 처리 과정을 거치도록 요구한다. GDPR 전문 (26)은 익명 데이터가 무엇을 구성하는지에 대해 매우 높은 기준을 설정하여, "...식별되거나 식별 가능한 자연인과 관련이 없는 정보 또는 데이터 주체를 식별할 수 없거나 더 이상 식별할 수 없는 방식으로 익명화된 개인 데이터"라는 GDPR 요구사항에서 해당 데이터를 면제한다. 유럽 데이터 보호 감독관(EDPS)과 스페인 데이터 보호 기관(AEPD)은 익명성 및 GDPR 요구사항 면제에 대한 공동 지침을 발행했다. EDPS와 AEPD에 따르면, 데이터 컨트롤러를 포함하여 누구도 적절히 익명화된 데이터 세트에서 데이터 주체를 재식별할 수 없어야 한다. 런던의 임페리얼 칼리지와 벨기에의 UCLouvain 데이터 과학자들의 연구, 그리고 텔아비브 지방 법원의 미할 아그몬-고넨 판사의 판결은 오늘날의 빅 데이터 세상에서 "익명화"의 단점을 강조한다. 익명화는 데이터 처리가 고립된(사일로화된) 응용 프로그램에 한정되어 있던 시기에 개발된 데이터 보호에 대한 구식 접근 방식을 반영하며, 광범위한 데이터 공유 및 결합을 포함하는 빅 데이터 처리의 인기가 높아지기 전의 일이다.
다양한 유형의 데이터 익명화.
구조화된 데이터:
비구조화된 데이터:
메타데이터를 컴퓨터 파일에서 제거하는 것은 익명화를 위해 중요하다. 메타데이터 제거 도구는 이를 달성하는 데 유용하다.
데이터 큐레이션(data curation)은 다양한 소스에서 수집된 자료를 조직하고 통합하는 것이다. 이는 데이터의 가치가 시간이 지나도 유지되고 데이터가 재사용 및 보존을 위해 계속 사용될 수 있도록 데이터를 주석 처리하고 게시하며 제시하는 과정을 포함한다. 데이터 큐레이션은 "원칙적이고 제어된 데이터 생성, 유지보수 및 관리에 필요한 모든 프로세스와 데이터에 가치를 더하는 능력"을 포함한다. 과학 분야에서 데이터 큐레이션은 연구 논문과 같은 과학 텍스트에서 중요한 정보를 추출하여 생물학적 데이터베이스 항목과 같은 전자 형식으로 변환하는 과정을 의미할 수 있다.
현대의 빅 데이터 시대에는 데이터 큐레이션이 더욱 중요해지고 있는데, 특히 대량의 복잡한 데이터 시스템을 처리하는 소프트웨어에 있어서 그러하다. 이 용어는 디지털 인문학 프로젝트에서 증가하는 문화 및 학술 데이터가 데이터 큐레이션의 전문 지식과 분석적 관행을 요구하는 인문학 분야에서도 사용된다. 넓은 의미에서 큐레이션은 구성 요소를 생성, 관리, 유지 및 유효성 검사하기 위해 수행되는 다양한 활동과 프로세스를 의미한다. 구체적으로 데이터 큐레이션은 어떤 정보가 저장할 가치가 있고 얼마나 오래 저장할 가치가 있는지 결정하려는 시도이다.
역사 및 실제.
일반적으로 데이터 큐레이션을 시작하고 메타데이터를 유지하는 것은 데이터베이스 자체가 아니라 사용자이다. 일리노이 대학교 도서관 및 정보과학 대학원에 따르면 "데이터 큐레이션은 학술, 과학 및 교육에 대한 관심과 유용성의 생애주기 동안 데이터를 적극적으로 지속적으로 관리하는 것이며; 큐레이션 활동은 데이터 발견 및 검색을 가능하게 하고, 품질을 유지하며, 가치를 더하고, 시간이 지남에 따라 재사용을 제공한다." 데이터 큐레이션 워크플로는 데이터 품질 관리, 데이터 보호, 수명 주기 관리 및 데이터 이동과 구별된다.
센서스 자료는 20세기 초부터 천공 카드 형태로 제공되었고 1960년대부터 전자화되었다. 정치사회연구를 위한 대학 간 컨소시엄(ICPSR) 웹사이트는 1962년을 첫 설문조사 데이터 아카이브 설립일로 기록하고 있다.
데이터 라이브러리에 대한 심층적인 배경은 1982년 일리노이 저널 라이브러리 트렌드(Library Trends)에 실렸다. 데이터 아카이브 운동의 역사적 배경은 "Social Scientific Information Needs for Numeric Data: The Evolution of the International Data Archive Infrastructure"를 참조하라. 모든 조직에서 수행되는 정확한 큐레이션 프로세스는 데이터 양, 데이터에 포함된 노이즈 양, 그리고 데이터의 예상 미래 사용이 보급에 어떤 의미를 갖는지에 따라 달라진다.
우주 자료 위기는 1999년 OAIS 참조모형(Open Archival Information System) 모델의 탄생으로 이어졌고, 이 모델은 1982년에 결성된 우주 데이터 시스템 자문위원회(CCSDS)에서 관리했다.
데이터 큐레이션이라는 용어는 때때로 생물학적 데이터베이스의 맥락에서 사용되는데, 여기서 특정 생물학적 정보는 다양한 연구 논문에서 먼저 얻어진 다음 특정 범주의 데이터베이스 내에 저장된다. 예를 들어, 항우울제에 대한 정보는 다양한 소스에서 얻을 수 있으며, 데이터베이스로 사용 가능한지 확인한 후 약물 데이터베이스의 항우울제 범주에 저장된다. 기업들은 또한 데이터 품질과 정확성을 보장하기 위해 운영 및 전략 프로세스 내에서 데이터 큐레이션을 활용하고 있다.
프로젝트 및 연구.
정보 재사용을 위한 보급 정보 패키지(DIPIR) 프로젝트는 정량적 사회 과학자, 고고학자 및 동물학자가 생산하고 사용하는 연구 데이터를 연구하고 있다. 대상 독자는 보조 데이터를 사용하는 연구자와 디지털 큐레이터, 디지털 저장소 관리자, 데이터 센터 직원 및 기타 디지털 정보를 수집, 관리 및 저장하는 사람들이다.
단백질 정보 은행은 1971년 브룩헤이븐 국립연구소에서 설립되었으며, 전 세계적인 프로젝트로 성장했다. 단백질 및 기타 대형 생체 분자의 3차원 구조 데이터베이스인 PDB는 120,000개 이상의 구조를 포함하고 있으며, 모두 표준화되고 실험 데이터에 대해 유효성 검사가 이루어졌으며 주석이 달려 있다.
초파리과 곤충 가족의 유전 및 분자 데이터의 주요 저장소인 플라이베이스(FlyBase)는 1992년으로 거슬러 올라간다. 플라이베이스는 전체 노랑초파리 게놈에 주석을 달고 있다.
언어 데이터 컨소시엄은 1992년으로 거슬러 올라가는 언어 데이터 저장소이다.
슬론 디지털 전천탐사는 2000년에 밤하늘을 탐사하기 시작했다. 컴퓨터 과학자 짐 그레이는 SDSS의 데이터 아키텍처 작업을 하면서 과학 분야에서 데이터 큐레이션 개념을 옹호했다.
데이터넷은 미국 국립과학재단 사이버 인프라 사무소의 연구 프로그램으로, 과학 분야의 데이터 관리 프로젝트에 자금을 지원했다. 데이터원(DataONE, Data Observation Network for Earth)은 데이터넷을 통해 자금을 지원받은 프로젝트 중 하나로, 환경 과학 커뮤니티가 데이터를 보존하고 공유하는 데 도움을 주고 있다.
데이터 큐레이션의 상업적 중요성은 이 분야의 특허 존재로 강조된다. 예를 들어, Tamr Inc. 및 Praxi Data와 같은 회사는 데이터 큐레이션 기술 및 프로세스와 관련된 특허를 보유하고 있다.
생물학 데이터베이스(Biological database)는 과학 실험, 출판된 문헌, 고처리량 실험 기술 및 전산 분석으로부터 수집된 생물학 분야의 라이브러리이다. 여기에는 유전체학, 단백체학, 대사체학, 마이크로어레이 유전자 발현 및 계통학을 포함한 연구 분야의 정보가 포함되어 있다. 생물학 데이터베이스에 포함된 정보에는 유전자 기능, 구조, 위치(세포 및 염색체), 돌연변이의 임상적 효과뿐만 아니라 생물학적 서열 및 구조의 유사성이 포함된다.
생물학 데이터베이스는 수집하는 데이터 유형에 따라 분류할 수 있다(아래 참조). 크게 분자 데이터베이스(서열, 분자 등), 기능 데이터베이스(생리학, 효소 활동, 표현형, 생태학 등), 분류 데이터베이스(종 및 기타 분류 단계), 이미지 및 기타 미디어, 또는 표본(박물관 소장품 등)이 있다.
데이터베이스는 생체분자의 구조와 상호작용부터 유기체의 전체 물질대사에 이르기까지 수많은 생물학적 현상을 분석하고 설명하는 데 과학자들을 돕는 중요한 도구이며, 종 (생물학)의 진화를 이해하는 데에도 중요하다. 이 지식은 질병 퇴치, 의약품 개발 지원, 특정 유전 질환 예측, 생명 역사에서 종 간의 기본 관계 발견을 돕는다.
기술적 기반과 이론적 개념.
컴퓨터 과학의 관계형 데이터베이스 개념과 전자 도서관의 정보 검색 개념은 생물학 데이터베이스를 이해하는 데 중요하다. 생물학 데이터베이스 설계, 개발 및 장기 관리는 생물정보학 분야의 핵심 영역이다. 데이터 내용은 유전자 서열, 텍스트 설명, 속성 및 온톨로지 분류, 인용 및 표 형식 데이터를 포함한다. 이들은 종종 반-정형 데이터로 설명되며, 테이블, 키 구분 기록 및 XML 구조로 표현될 수 있다.
대부분의 생물학 데이터베이스는 사용자가 온라인으로 데이터를 검색할 수 있도록 데이터를 구성하는 웹사이트를 통해 접근 가능하다. 또한 기본 데이터는 일반적으로 다양한 형식으로 다운로드할 수 있다. 생물학 데이터는 여러 형식으로 제공된다. 이러한 형식에는 텍스트, 서열 데이터, 단백질 구조 및 링크가 포함된다. 이들 각각은 특정 출처에서 찾을 수 있다. 예를 들어:
생물학적 지식은 수많은 데이터베이스에 분산되어 있다. 이로 인해 정보의 일관성을 확보하기가 때때로 어려워진다. 예를 들어, 동일한 종에 대해 다른 이름이 사용되거나 다른 데이터 형식이 사용되는 경우이다. 결과적으로 상호 운용성은 정보 교환에 있어 끊임없는 도전 과제이다. 예를 들어, DNA 서열 데이터베이스가 DNA 서열과 함께 종의 이름을 저장하는 경우, 해당 종의 이름이 변경되면 다른 이름을 사용할 수 있는 다른 데이터베이스와의 링크가 끊어질 수 있다. 통합 생물정보학은 통합된 접근 방식을 제공하여 이 문제를 해결하려는 한 분야이다. 한 가지 해결책은 생물학 데이터베이스가 접근 번호를 사용하여 다른 데이터베이스와 상호참조하여 관련 지식을 연결하는 방식이다(예: 종 이름이 변경되더라도 접근 번호는 동일하게 유지되도록). 중복성 또한 문제이다. 많은 데이터베이스가 동일한 정보를 저장해야 하기 때문이다. 예를 들어, 단백질 구조 데이터베이스에는 해당 단백질의 서열, 그리고 해당 서열 및 서지 정보도 포함된다.
모델 생물 데이터베이스.
일부 종, 주로 연구에 자주 사용되는 종(모델 생물)에 대한 종별 데이터베이스가 있다. 예를 들어, EcoCyc는 대장균 데이터베이스이다. 다른 인기 있는 모델 생물 데이터베이스에는 실험실 쥐인 생쥐(Mus musculus)를 위한 생쥐 유전체 정보, 랫서스(Rattus)를 위한 랫 유전체 데이터베이스, 제브라피시(Danio Rerio)를 위한 ZFIN, 분열 효모인 분열 효모(Schizosaccharomyces pombe)를 위한 폼베이스, 초파리(Drosophila)를 위한 플라이베이스, 선충인 예쁜꼬마선충과 Caenorhabditis briggsae를 위한 웜베이스, 열대성 제노푸스와 아프리카발톱개구리 개구리를 위한 제노베이스가 있다.
생물다양성 및 종 데이터베이스.
수많은 데이터베이스가 지구상의 생명 다양성을 문서화하려고 시도한다. 대표적인 예는 Species 2000과 통합분류정보시스템(Integrated Taxonomic Information System)이 2001년에 처음 만든 생명의 카탈로그이다. 생명의 카탈로그는 전 세계에서 현재 인정되는 모든 종의 분류학적 분류를 문서화하는 것을 목표로 하는 협력 프로젝트이다. 생명의 카탈로그는 연구원과 정책 입안자가 참조할 수 있는 통합되고 일관된 데이터베이스를 제공한다. 생명의 카탈로그는 소나무 데이터베이스, ICTV MSL(바이러스용), 렙인덱스(나비 및 나방용)와 같은 다른 출처의 최신 데이터 세트를 관리한다. 2022년 5월 기준, 생명의 카탈로그는 총 165개의 데이터베이스를 활용한다. 생명의 카탈로그 운영 비용은 세계생물다양성정보기구, 일리노이 자연사 연구소, 나투랄리스 생물다양성 센터, 스미스소니언 협회에서 지불한다.
일부 생물학 데이터베이스는 다양한 종의 지리적 분포도 문서화한다. 쌍다이(Shuang Dai) 외 연구진은 중국 내 1,371종 조류의 공간/지리적 분포를 문서화하기 위한 새로운 다중 출처 데이터베이스를 구축했는데, 이는 기존 데이터베이스가 많은 종에 대한 공간 분포 데이터가 심각하게 부족했기 때문이다. 이 새로운 데이터베이스의 출처는 책, 문헌, GPS 추적, 온라인 웹페이지 데이터 등을 포함했다. 이 새로운 데이터베이스는 각 종에 대한 분류, 분포, 종 정보 및 데이터 출처를 보여주었다. 조류 공간 분포 데이터베이스가 완성된 후, 중국에 알려진 종의 61%가 이전에 알려진 지역을 넘어 분포하는 것으로 밝혀졌다.
의료 데이터베이스.
의료 데이터베이스는 생의학 데이터 자원의 특별한 경우이며 펍메드와 같은 서지 자료부터 AI 기반 진단 소프트웨어 개발을 위한 이미지 데이터베이스에 이르기까지 다양할 수 있다. 예를 들어, 그러한 이미지 데이터베이스 중 하나는 상처 모니터링 알고리즘 개발을 돕는 것을 목표로 개발되었다. 79명의 환자 방문에서 188개 이상의 다중 모드 이미지 세트가 큐레이션되었으며, 여기에는 사진, 열화상 이미지, 3D 메시 깊이 맵이 포함되었다. 상처 윤곽은 수동으로 그려져 사진 데이터 세트에 추가되었다. 이 데이터베이스는 만성 상처 데이터베이스 웹사이트에서 다운로드할 수 있는 WoundsDB라는 프로그램 형태로 공개되었다.
Nucleic Acids Research 데이터베이스 특집호.
생물학 데이터베이스를 찾는 중요한 자료는 학술지 핵산 연구 (NAR)의 연례 특별호이다. NAR의 데이터베이스 특집호는 무료로 이용 가능하며, 많은 공개 생물학 데이터베이스를 분류한다. 이 특집호의 동반 데이터베이스인 온라인 분자생물학 데이터베이스 컬렉션은 1,380개의 온라인 데이터베이스를 나열한다. MetaBase 및 Bioinformatics Links Collection과 같은 다른 데이터베이스 컬렉션도 존재한다.
데이터 공유(data sharing)는 학술 연구에 사용된 데이터를 다른 연구자에게 제공하는 관행이다. 투명성과 개방성이 많은 사람들에게 과학적 방법의 일부로 간주되기 때문에 많은 자금 지원 기관, 연구 기관 및 출판 장소는 데이터 공유에 관한 정책을 가지고 있다.
많은 자금 지원 기관과 과학 저널은 동료 평가 논문의 저자에게 출판된 연구를 이해, 개발 또는 재현하는 데 필요한 모든 보충 정보(미가공 데이터, 통계 방법 또는 소스 코드)를 공유하도록 요구한다. 상당수의 과학 연구는 데이터 공유 요구 사항의 적용을 받지 않으며, 이러한 정책 중 다수는 광범위한 예외를 허용한다. 구속력 있는 요구 사항이 없는 경우 데이터 공유는 과학자 자신의 재량에 달려 있다. 또한 특정 상황에서는 정부와 기관이 독점적 이익, 국가 안보, 주제/환자/피해자 기밀을 보호하기 위해 데이터 공유를 금지하거나 심하게 제한한다. 데이터 공유는 기관과 과학자를 정치적 목적으로 데이터 사용하는 것으로부터 보호하기 위해 제한될 수도 있다.
데이터와 방법은 출판 후 몇 년이 지나서도 저자에게 요청될 수 있다. 데이터 공유를 장려하고 데이터 손실이나 손상을 방지하기 위해 많은 자금 지원 기관과 저널이 데이터 아카이빙 정책을 수립했다. 공개적으로 아카이빙된 데이터에 대한 접근은 통신 및 정보기술의 기술 발전으로 가능해진 과학사의 최근 발전이다. 현대의 빠른 통신을 완전히 활용하려면 각 기여의 상호 인정을 뒷받침하는 기준에 대한 합의가 필요할 수 있다. 긴급 전염병 위협에 대한 보다 효과적인 대응을 위한 데이터의 적시 공유에 대해 인정된 모델에는 국제인플루엔자정보공유기구 이니셔티브에 의해 도입된 데이터 공유 메커니즘이 포함된다.
데이터 공유 및 아카이빙 정책에도 불구하고 데이터 은닉은 여전히 발생한다. 저자는 데이터를 아카이빙하지 않거나 데이터의 일부만 아카이빙할 수 있다. 데이터 아카이빙 실패 그 자체는 데이터 은닉이 아니다. 연구자가 추가 정보를 요청할 때 저자가 제공을 거부하는 경우도 있다. 저자가 이처럼 데이터를 은닉할 경우 과학계의 신뢰를 잃을 위험이 있다. 2022년 연구에서는 데이터가 제공된다는 진술이 포함된 약 3500개의 연구 논문을 식별했지만, 요청하고 데이터를 더 찾아본 결과 94%의 논문에서 데이터가 제공되지 않는다는 사실을 발견했다.
데이터 공유는 또한 소셜 미디어 플랫폼에서 개인 정보를 공유하는 것을 나타낼 수도 있다.
미국 정부 정책.
2007년 8월 9일, 조지 부시 대통령은 민간 연방 기관들이 기관, 대중 및 정책 입안자 간의 데이터와 연구의 개방적인 교환을 촉진하고 최적화하기 위한 지침, 정책 및 절차를 제공하도록 요구하는 미국 경쟁법 (또는 "기술, 교육 및 과학 분야 우수성 촉진을 위한 미국 기회 창출법")에 서명했다. 섹션 1009를 참조하라.
NIH 데이터 공유 정책.
NIH 연구 데이터 공유 최종 성명은 다음과 같다.
연구 진실성 관리국.
의학 연구에서의 비행 혐의는 심각한 결과를 초래한다. 미국 보건복지부는 데이터 은닉을 포함한 비행 혐의 조사를 감독하는 사무소를 설립했다. 웹사이트는 임무를 다음과 같이 정의한다.
데이터 공유의 이상.
일부 연구 기관은 데이터 공유에 대해 특히 강한 의견을 가지고 있다. 스탠퍼드 대학교의 WaveLab은 재현 가능한 연구와 연구를 재현하는 데 필요한 모든 알고리즘 및 소스 코드 공개에 대한 철학을 가지고 있다. "WaveLab과 재현 가능한 연구"라는 논문에서 저자들은 일정 시간이 지난 후 자신들의 연구를 재현하려 할 때 겪었던 문제들을 설명한다. 많은 경우 너무 어려워서 노력을 포기했다. 이러한 경험들이 그들에게 소스 코드 공개의 중요성을 확신시켰다. 이 철학은 다음과 같이 설명된다.
지구 데이터 관측 네트워크 (DataONE)와 데이터 보존회는 연구 과학자들 사이의 데이터 공유를 장려하고 촉진하며 메타분석을 더 잘 지원하기 위해 미국 국립과학재단의 지원을 받는 프로젝트이다. 환경 과학 분야에서 연구 공동체는 분야 내외의 지식 통합을 포함하는 주요 과학적 발전이 데이터 공유의 기술적 장벽뿐만 아니라 역사적으로 뿌리 깊은 제도적 및 사회학적 장벽도 극복해야 할 것이라는 점을 인식하고 있다. 국립노화연구소 소장인 리처드 J. 호데스 박사는 "연구자들이 데이터를 질투심에 사로잡혀 지키던 옛 모델은 더 이상 적용되지 않는다"고 말했다.
납세자 접근 연합은 정부 지원 연구에 대한 개방형 접근을 지지하는 단체들의 모임이다. 이 단체는 개방형 접근이 중요한 이유를 설명하는 "원칙 성명서"를 발표했다. 또한 많은 국제 공공 접근 정책들을 나열하고 있다. 이는 건강 비상사태에 효과적으로 대응하기 위한 필수 정보의 적시 통신에서 특히 그러하다. 공개 도메인 아카이브는 주로 공식 출판 후 데이터를 예치하는 데 활용되었지만, 에볼라와 지카 발생과 같은 건강 비상사태 동안 신속한 데이터 공유를 장려하는 데 실패했다. 인플루엔자로부터의 신흥 위협에 대처하기 위해 국제인플루엔자정보공유기구 이니셔티브가 채택한 것과 같이, 데이터를 생성하는 사람들의 이해관계를 인정하면서도 연구 및 실제 적용을 위해 데이터(출판 전)에 대한 자유롭고 방해받지 않는 접근 및 사용을 허용하는 보다 명확하게 정의된 원칙이 필요하다.
학계의 데이터 공유 문제.
유전학 분야에서 데이터 은닉이 너무나 흔해져서 매사추세츠 종합병원의 연구자들이 이 주제에 대한 저널 논문을 발표했다. 이 연구는 "데이터 접근이 거부되었기 때문에 유전학자들의 28%가 출판된 연구를 확인할 수 없었다고 보고했다"는 것을 발견했다.
2006년 연구에서 미국 심리학회 (APA) 경험적 논문의 저자 141명 중 103명(73%)이 6개월 동안 자신의 데이터를 제공하지 않은 것으로 관찰되었다. 2015년에 발표된 후속 연구에서는 APA 저널 논문 저자 394명 중 246명(62%)이 요청 시 자신의 데이터를 공유하지 않은 것으로 나타났다.
2018년 연구는 2017년 2월부터 5월까지 고고학 과학 저널에 출판된 48개 기사의 무작위 표본에 대한 연구를 보고했는데, 18개 논문(53%)에서 공개적으로 사용 가능한 원시 데이터를 발견했으며, 구성 및 연대 측정 데이터가 가장 자주 공유되는 유형이었다. 이 연구는 또한 2009년에서 2015년 사이에 출판된 석기 유물 실험에 대한 기사 저자들에게 출판물과 관련된 데이터를 요청하기 위해 이메일을 보냈다. 23개 기사의 저자들에게 연락하여 15개의 답변을 받았고, 응답률은 70%였다. 데이터 파일이 포함된 5개의 답변을 받았고, 전체 공유율은 20%였다.
훈련 중인 과학자.
훈련 중인 과학자들을 대상으로 한 연구는 많은 사람들이 이미 데이터 은닉을 경험했음을 나타냈다. 이 연구는 미래 세대의 과학자들이 확립된 관행을 따르지 않을 것이라는 우려를 낳았다.
다른 분야의 다른 접근 방식.
데이터 공유 요구 사항은 물리 과학보다 의학 및 생물 과학 분야의 기관, 자금 지원 기관 및 출판 기관에서 더 일반적으로 부과된다. 데이터가 전혀 공유되어야 하는지, 누구와 공유되어야 하는지, 누가 데이터 공유 비용을 부담해야 하는지에 대해 요구 사항은 크게 다르다.
NIH 및 NSF와 같은 자금 지원 기관은 더 큰 데이터 공유를 요구하는 경향이 있지만, 이러한 요구 사항조차 환자 기밀 유지, 데이터 공유에 발생하는 비용, 요청의 합법성이라는 우려를 인정하는 경향이 있다. 독점적 이해관계와 국가 안보 이해관계(국방 및 법 집행)를 가진 민간 이익 및 공공 기관은 종종 비공개 계약을 통해 데이터 및 방법 공유를 장려하지 않는다.
데이터 공유는 참여형 모니터링 이니셔티브에서 특정 문제를 제기한다. 예를 들어, 산림 공동체가 지역 사회 및 환경 조건에 대한 데이터를 수집하는 경우이다. 이 경우 데이터 공유 프로토콜 개발에 대한 권리 기반 접근 방식은 자유롭고 사전 고지된 동의 원칙을 기반으로 할 수 있으며, 데이터를 생성한 사람들과 데이터 공유로 인해 잠재적으로 영향을 받는 사람들의 권리 보호를 우선시한다.
— 자연 과학 분야의 국제 데이터 교환에 대해 논한다.
데이터 마스킹(data masking) 또는 데이터 난독화(data obfuscation)는 민감한 데이터를 무단 침입자에게는 가치 없거나 거의 가치 없게 만들면서도 소프트웨어 또는 권한 있는 직원이 사용할 수 있도록 수정하는 과정이다. 데이터 마스킹은 다른 문맥에 따라 익명화 또는 토큰화라고도 불릴 수 있다.
데이터 마스킹의 주된 이유는 개인 식별 정보 또는 중요 업무 데이터로 분류된 정보를 보호하기 위함이다. 그러나 데이터는 유효한 테스트 주기를 수행하는 목적으로 사용 가능해야 한다. 또한 실제처럼 보이고 일관성이 있어야 한다. 일반적으로 마스킹은 기업의 운영 시스템 외부에 있는 데이터에 적용된다. 즉, 애플리케이션 개발, 프로그램 확장 구축 및 다양한 테스트 주기 수행을 위해 데이터가 필요한 경우이다. 기업 컴퓨팅에서는 이러한 비운영 환경에 필요한 데이터 구성 요소를 채우기 위해 운영 시스템의 데이터를 가져오는 것이 일반적이다. 그러나 이러한 관행이 항상 비운영 환경에만 국한되는 것은 아니다. 일부 조직에서는 콜센터 운영자의 터미널 화면에 나타나는 데이터에 사용자 보안 권한에 따라 동적으로 마스킹이 적용될 수 있다(예: 콜센터 운영자가 청구 시스템에서 신용카드 번호를 볼 수 없도록 함).
기업 지배구조 관점에서 주된 우려는 이러한 비운영 환경에서 작업하는 직원이 운영 데이터에 포함된 정보를 다룰 보안 권한을 항상 부여받는 것은 아니라는 점이다. 이러한 관행은 무단 직원이 데이터를 복사할 수 있고, 표준 운영 수준 제어와 관련된 보안 조치가 쉽게 우회될 수 있는 보안 구멍을 나타낸다. 이는 데이터 보안 침해의 접근 지점이 된다.
데이터 마스킹 또는 난독화에 관련된 데이터는 여러 수준에서 의미를 유지해야 한다.
대체는 데이터 마스킹을 적용하고 데이터 레코드의 실제 모양과 느낌을 보존할 수 있는 가장 효과적인 방법 중 하나이다.
이 방법을 사용하면 기존 값을 다른 실제처럼 보이는 값으로 대체하는 방식으로 마스킹을 수행할 수 있다. 이 접근 방식은 전체 데이터 하위 집합이 마스킹된 데이터 세트인지 여부를 위장하는 데 최적의 이점을 제공하는 여러 데이터 필드 유형이 있다. 예를 들어, 고객 레코드를 포함하는 원본 데이터를 처리하는 경우, 실제 성 또는 이름은 제공되거나 사용자 지정된 조회 파일에서 무작위로 대체될 수 있다. 대체 첫 번째 단계에서 모든 이름에 남성 이름을 적용할 수 있다면, 두 번째 단계에서는 성별이 "F"인 모든 이름에 여성 이름을 적용해야 한다. 이 접근 방식을 사용하면 데이터 구조 내에서 성별 구성을 쉽게 유지하고 데이터 레코드에 익명성을 적용하면서도 마스킹된 데이터로 구성된 데이터베이스임을 쉽게 식별할 수 없는 현실적인 데이터베이스를 유지할 수 있다.
이 대체 방법은 전화번호, 우편번호 및 우편번호, 그리고 신용카드 번호 및 사회 보장 번호 및 메디케어 번호와 같이 룬 알고리즘의 체크섬 테스트를 실제로 준수해야 하는 다른 카드 유형 번호와 같이 전 세계 데이터베이스 구조에 있는 많은 필드에 적용되어야 한다.
대부분의 경우 대체 파일은 상당히 광범위해야 하므로, 대규모 대체 데이터 세트를 보유하고 사용자 지정 데이터 대체 세트를 적용할 수 있는 능력은 모든 데이터 마스킹 솔루션 평가 기준의 핵심 요소가 되어야 한다.
섞기.
섞기 방법은 매우 흔한 데이터 난독화 형태이다. 대체 방법과 유사하지만, 마스킹되는 동일한 데이터 열에서 대체 세트를 파생시킨다. 매우 간단히 말해, 데이터는 열 내에서 무작위로 섞인다. 그러나 단독으로 사용되는 경우, 원본 데이터에 대한 지식이 있는 사람은 누구나 데이터 세트에 "만약 ~라면" 시나리오를 적용하여 실제 신원을 재구성할 수 있다. 섞기 방법은 섞기 알고리즘이 해독될 수 있다면 역추적될 가능성도 있다.
데이터 섞기는 교란되거나 수정된 기밀 데이터 사용에 대한 우려를 극복하는데, 이는 교란의 바람직한 모든 속성을 유지하면서 데이터 유용성 및 공개 위험 측면에서 다른 마스킹 기술보다 우수한 성능을 보여주기 때문이다.
그러나 섞기에는 특정 영역에서 몇 가지 강점이 있다. 예를 들어, 테스트 데이터베이스의 재무 정보에 대한 연말 수치가 있다면, 공급업체 이름을 마스킹하고 계정의 값을 마스킹된 데이터베이스 전체에 섞을 수 있다. 원본 데이터에 대한 깊은 지식을 가진 사람이라도 실제 데이터 레코드를 원래 값으로 되돌릴 수 있는 가능성은 매우 낮다.
숫자 및 날짜 분산.
숫자 분산 방법은 재무 및 날짜 기반 정보 필드에 적용하는 데 매우 유용하다. 효과적으로, 이러한 마스킹 방식을 활용하는 방법은 급여와 같은 재무 데이터 세트에서 의미 있는 범위를 여전히 남겨둘 수 있다. 적용되는 분산이 약 +/- 10%라면, 급여 수령자에게 지급되는 급여 범위 측면에서 여전히 매우 의미 있는 데이터 세트이다.
날짜 정보에도 동일하게 적용된다. 전체 데이터 세트가 인구통계학적 및 보험계리적 데이터 무결성을 유지해야 한다면, 날짜 필드에 +/- 120일의 무작위 숫자 분산을 적용하면 날짜 분포를 보존할 수 있지만, 알려진 실제 출생일 또는 마스킹되는 레코드의 알려진 날짜 값에 기반한 알려진 개체로의 추적 가능성은 여전히 방지된다.
암호화는 종종 데이터 마스킹 문제를 해결하는 가장 복잡한 접근 방식이다. 암호화 알고리즘은 종종 사용자 권한에 따라 데이터를 보기 위해 "키"를 적용해야 한다. 이는 종종 최상의 해결책처럼 들리지만, 실제로는 데이터에 대한 적절한 권한이 없는 직원에게 키가 제공될 수 있다. 이렇게 되면 마스킹 작업의 목적이 무산된다. 오래된 데이터베이스는 제공된 키의 원본 자격 증명으로 복사될 수 있으며, 동일한 통제되지 않은 문제가 계속될 수 있다.
최근에는 엔티티의 속성을 보존하면서 데이터를 암호화하는 문제가 인식되었고 공급업체와 학계 사이에서 새로이 관심을 얻었다. 새로운 도전은 형식 유지 암호화를 수행하는 알고리즘을 탄생시켰다. 이들은 NIST가 인정하는 표준 암호화 알고리즘(AES) 모드를 기반으로 한다.
널 처리 또는 삭제.
때로는 특정 필드에 널 값을 적용함으로써 마스킹에 대한 매우 단순한 접근 방식이 채택되기도 한다. 널 값 접근 방식은 데이터 요소의 가시성을 방지하는 데만 실제로 유용하다.
거의 모든 경우에 이는 마스킹된 데이터 세트에서 유지되는 데이터 무결성의 정도를 감소시킨다. 이는 현실적인 값이 아니며, 테스트 중인 시스템의 프런트엔드 소프트웨어에 적용되었을 수 있는 모든 애플리케이션 로직 유효성 검사를 실패하게 할 것이다. 또한 신원 데이터의 역추적을 원하는 사람에게 데이터 세트에 어느 정도 데이터 마스킹이 적용되었음을 강조한다.
가리기.
특정 필드의 문자 스크램블링 또는 마스킹은 민감한 정보가 보여지는 것을 방지하는 또 다른 단순하지만 매우 효과적인 방법이다. 이는 이전의 널 처리 방법의 확장판이지만, 데이터를 현실적으로 유지하고 전체적으로 완전히 마스킹하지 않는 것에 더 중점을 둔다.
이는 운영 시스템의 신용카드 데이터에 일반적으로 적용된다. 예를 들어, 콜센터의 운영자는 고객의 신용카드로 항목에 비용을 청구할 수 있다. 그런 다음 XXXX XXXX xxxx 6789의 마지막 4자리와 함께 카드에 대한 청구 참조를 인용한다. 운영자는 카드 번호의 마지막 4자리만 볼 수 있지만, 청구 시스템이 고객의 세부 정보를 청구를 위해 전달하면 전체 번호가 결제 게이트웨이 시스템에 공개된다.
이 시스템은 테스트 시스템에는 그다지 효과적이지 않지만, 위에 상세히 설명된 청구 시나리오에는 매우 유용하다. 이는 동적 데이터 마스킹 방법으로도 흔히 알려져 있다.
추가 복잡한 규칙.
마스킹 방법이 어떻게 구성되든 상관없이 추가 규칙을 모든 마스킹 솔루션에 포함할 수 있다. 제품에 구애받지 않는 백서는 행 내부 동기화 규칙, 테이블 내부 동기화 규칙 및 테이블 대 테이블 동기화 규칙을 포함하는 기업 마스킹 솔루션에 대한 더 일반적인 복잡한 요구 사항 중 일부를 탐색하기 위한 좋은 정보 소스이다.
데이터 마스킹은 테스트 데이터 구축과 밀접하게 연관되어 있다. 주요 데이터 마스킹 유형은 정적 데이터 마스킹과 온더플라이 데이터 마스킹이다.
정적 데이터 마스킹.
정적 데이터 마스킹은 일반적으로 데이터베이스의 황금 사본에 대해 수행되지만, 파일 포함하여 다른 소스의 값에도 적용될 수 있다. DB 환경에서 운영 데이터베이스 관리자는 일반적으로 테이블 백업을 별도의 환경으로 로드하고, 데이터 세트를 특정 테스트 라운드에 필요한 데이터를 포함하는 하위 집합으로 축소하고("하위 집합화"라고 불리는 기술), 데이터가 정지 상태일 때 데이터 마스킹 규칙을 적용하고, 소스 제어에서 필요한 코드 변경 사항을 적용하고, 원하는 환경으로 데이터를 푸시한다.
결정론적 데이터 마스킹.
결정론적 마스킹은 동일한 행, 동일한 테이블, 동일한 데이터베이스/스키마, 그리고 인스턴스/서버/데이터베이스 유형 간에 관계없이 열의 값을 동일한 값으로 대체하는 과정이다. 예: 데이터베이스에 여러 테이블이 있고, 각 테이블에는 이름이 있는 열이 있다. 결정론적 마스킹을 사용하면 이름은 항상 동일한 값으로 대체된다. 즉, "Lynne"은 데이터베이스 어디에 있든 항상 "Denise"가 된다.
통계적 데이터 난독화.
정적 데이터 마스킹에 대한 대안도 있는데, 이는 원본 데이터의 일부 통계적 속성을 보존하는 데이터의 확률적 교란에 의존한다. 통계적 데이터 난독화 방법의 예로는 차등 프라이버시
및 DataSifter 방법이 있다.
온더플라이 데이터 마스킹.
온더플라이 데이터 마스킹은 데이터가 디스크에 닿지 않고 환경 간에 데이터를 전송하는 과정에서 발생한다. 동일한 기술이 "동적 데이터 마스킹"에도 적용되지만 한 번에 하나의 레코드에 적용된다. 이 유형의 데이터 마스킹은 지속적인 배포를 하는 환경뿐만 아니라 고도로 통합된 애플리케이션에 가장 유용하다. 지속적인 배포 또는 지속적 전달 관행을 사용하는 조직은 백업을 생성하고 데이터베이스의 골든 카피에 로드하는 데 필요한 시간이 없다. 따라서 운영에서 마스킹된 테스트 데이터의 작은 하위 집합(델타)을 지속적으로 보내는 것이 중요하다. 고도로 통합된 애플리케이션에서 개발자는 개발 초기에 다른 운영 시스템에서 피드를 가져오며, 이러한 피드의 마스킹은 간과되거나 나중에 예산이 책정되지 않아 조직이 규정을 준수하지 못하게 된다. 온더플라이 데이터 마스킹을 갖추는 것이 필수적이다.
동적 데이터 마스킹.
동적 데이터 마스킹은 온더플라이 데이터 마스킹과 유사하지만, 온더플라이 데이터 마스킹이 데이터를 한 소스에서 다른 소스로 복사하여 후자를 공유할 수 있도록 하는 것과 달리 동적 데이터 마스킹은 런타임에 동적으로, 온디맨드로 발생하여 마스킹된 데이터를 동적으로 저장할 두 번째 데이터 소스가 필요하지 않다는 점에서 차이가 있다.
동적 데이터 마스킹은 여러 시나리오를 가능하게 하며, 그 중 많은 부분이 싱가포르 통화청이나 유럽의 개인 정보 보호 규정과 같은 엄격한 개인 정보 보호 규정과 관련되어 있다.
동적 데이터 마스킹은 속성 기반이며 정책 중심이다. 정책에는 다음이 포함된다.
동적 데이터 마스킹은 특히 형식 유지 암호화를 사용할 때 값을 즉석에서 암호화하거나 암호 해독하는 데에도 사용될 수 있다.
최근 몇 년 동안 동적 데이터 필터링 및 마스킹을 구현하기 위한 여러 표준이 등장했다. 예를 들어, XACML 정책을 사용하여 데이터베이스 내의 데이터를 마스킹할 수 있다.
동적 데이터 마스킹을 적용하는 여섯 가지 기술이 가능하다.
데이터 마스킹과 클라우드.
최근 몇 년 동안 조직들은 최종 애플리케이션이 클라우드에 호스팅되든 온프레미스에 호스팅되든 상관없이 클라우드에서 새로운 애플리케이션을 개발하는 경우가 점점 더 많아지고 있다. 현재 클라우드 솔루션은 조직이 서비스형 인프라스트럭처, 서비스형 플랫폼, 서비스형 소프트웨어를 사용할 수 있도록 한다. 온프레미스 데이터베이스에서 클라우드로 또는 클라우드 내의 다른 환경 간에 테스트 데이터를 생성하고 이동하는 다양한 모드가 있다. 동적 데이터 마스킹은 고객이 클라우드 공급업체에 데이터베이스 관리를 의존하면서 PII 데이터를 보호해야 할 때 클라우드 환경에서 더욱 중요해진다.
데이터 마스킹은 개발 환경의 SLA가 일반적으로 운영 환경의 SLA만큼 엄격하지 않기 때문에 애플리케이션이 클라우드에 호스팅되든 온프레미스에 호스팅되든 관계없이 소프트웨어 개발 수명 주기(SDLC)의 필수적인 부분이 된다.
히가시야마 문화()는 무로마치 시대 말기의 일본 건축, 일본 회화 및 일본 연극 분야의 혁신을 포함하는 일본의 문화의 한 부분이다. 1467년 오닌의 난 이후 일본 사회는 전란에 휩싸였지만 이 속에서도 다도, 노, 정원, 렌카 등 다양한 일본 고유의 예술이 발달할 수 있었다. '히가시야마'라는 명칭은 15세기에 수도 교토시의 동쪽 언덕(東山 히가시야마)에 있는 별장으로 은퇴한 쇼군 아시카가 요시마사가 이곳에서 새로운 문화를 시작하고 예술가들을 장려했기 때문에 이 이름으로 불리게 되었다.
14세기의 아시카가 막부는 아시카가 요시노리 하에서 명나라와의 조공책봉 관계로 외교 관계를 갱신했다. 중국 문화에 접근하면서 막부는 쇼군 아시카가 요시마사를 통해 최신 문화 유행을 수입했지만, 뚜렷한 일본적 미학을 가지고 있었다. 이것은 요시마사의 영향력의 중심성과 그가 은거처를 지은 교토시의 지역 이름을 따서 "히가시야마 문화"로 알려지게 되었다. 요시마사는 혼자서 미학에 기여한 것이 아니라 예술적 재능을 가진 사람들을 모집하고 후원했으며, 귀중한 비평을 제공했다.
주로 선불교의 이상과 미학, 특히 오산 제도 아래 사찰들과 와비·사비의 개념에 기반을 둔 히가시야마 문화는 일본 다도, 이케바나(꽃꽂이), 노, 수묵화의 발전을 중심으로 했다. 오늘날 일본 선 미학으로 흔히 여겨지는 많은 것들이 이 시기에 기원했다. 히가시야마 문화는 종종 기타야마 문화와 대조되는데, "기타야마 문화"는 무로마치 시대 초기에 나타났다.
요시마사의 은거 별장은 그의 사후 지쇼지(은각사)로 바뀌었다. 이곳은 교토시의 사쿄구에 위치하며 히가시야마 문화 발전의 중심지였고 선과 와비·사비 미학으로 유명했다. 은퇴한 쇼군은 많은 예술가, 시인, 궁정 귀족들을 그의 별장으로 초대하여 그들의 예술 발전을 장려했다. 방대하고 귀중한 유물이 컬렉션처럼 모여 히가시야마 보물로 알려지게 되었다.
히가시야마 문화에 영향을 미친 인물들은 다음과 같다.
도구도 건물 구조에는 도진사이(Dōjinsai)라고 불리는 쇼인 양식의 방이 포함되어 있다. 원래 바닥에 벽난로가 내장되어 있었는데, 이 때문에 도진사이는 다실로 사용하기 위해 설계된 방의 가장 초기 현존하는 예로 간주된다.
이 시기에는 특히 지쇼지에서 많은 건축 혁신이 있었으며, 이는 17세기 건축의 쇼인 양식의 핵심 요소가 되었다. 이러한 요소 중 하나는 도코노마로, 족자가 걸려 있고 꽃이나 다른 작은 물건들이 놓여 방의 미적 감각을 높이는 작은 벽감이다. 위대한 수묵화가 셋슈는 지쇼지에서 많은 시간을 보냈으며, 이 시기에는 일본 회화의 가노파와 초기 형태의 다도 (일본)도 탄생했다. 다도는 16세기에 센노 리큐에 의해 더욱 체계화될 것이다.
중요한 날짜.
이 기간의 주목할 만한 날짜는 다음과 같다.
히가시야마 문화의 예는 다음과 같다.
아카이벌 디스크(Archival Disc, AD)는 소니그룹과 파나소닉 홀딩스가 장기 디지털 저장을 위해 설계한 단종된 광 디스크 저장 매체의 등록 상표명이다. 2014년 3월 10일에 처음 발표되고 2015년 2분기에 출시된 이 디스크는 먼지와 물 외에도 온도 및 습도 변화에 견딜 수 있도록 설계되어 디스크를 최소 50년 동안 읽을 수 있도록 보장했다. 소니와 파나소닉이 차세대 광 미디어 표준을 공동 개발하기로 한 협약은 2013년 7월 29일에 처음 발표되었다. 이 디스크는 2016년에 파나소닉에서 대량 생산되었다. 이 제품은 2024년부로 단종되었다. 두 회사는 이후 다른 형식인 옵티컬 디스크 아카이브 개발에 협력했다.
처음에는 디스크가 300 기가바이트의 데이터를 저장하도록 설계되었고, 이후 두 번째 버전의 디스크는 최대 500 기가바이트를 저장할 수 있었으며, 궁극적으로 두 회사의 로드맵 계획에 따라 세 번째 버전의 디스크는 최대 1 테라바이트의 데이터를 저장할 수 있었다.
소니와 파나소닉이 공동 개발한 아카이벌 디스크 표준은 좁은 트랙 피치 누화 제거, 높은 선형 밀도 심볼 간 간섭 제거 및 다중 레벨 기록과 같은 신호 처리 기술을 사용했다. 디스크 구조는 양면으로 구성되며, 각 면에 3개의 레이어가 있고, 랜드 앤 그루브 형식을 채택한다. 트랙 피치는 0.225 μm, 데이터 비트 길이는 79.5 nm이며, 표준은 리드 솔로몬 부호 오류 정정 방식을 활용할 것이다.
2019년에 소니와 파나소닉은 3세대 옵티컬 디스크 아카이브를 출시했다. 2020년에 소니는 최대 2.9 PB의 데이터를 저장할 수 있는 Gen3 PetaSite 옵티컬 디스크 아카이브를 출하하기 시작했다.
2015년 여름, 소니그룹은 아카이벌 디스크 용량을 디스크당 300GB에서 1TB로 늘리는 로드맵 계획을 발표할 예정이었다. 2022년 현재까지는 더 큰 용량의 디스크 출시 시기는 발표되지 않았다.
소니는 새로운 표준이 영화 산업(예: 4K 해상도 시청각 데이터 저장), 아카이빙 서비스, 빅 데이터를 처리하는 클라우드 데이터 센터에서 사용될 것으로 예상했다. 2014년 현재 이 디스크 형식은 소비자 저장 매체가 아니라 전문가용 데이터 아카이브를 위한 것이었다. 더 높은 재생 신호 품질을 보장하면서 더 큰 용량에 도달하기 위해 이 표준은 누화 제거 및 부분 응답 최대 우도 (PRML) 신호 처리를 채택할 것이다. 두 회사는 각자의 브랜드로 이 광학 형식을 마케팅했다.
소니는 아카이벌 디스크를 옵티컬 디스크 아카이브 전문가용 아카이빙 제품군에 사용했으며, 최소 6-TB 저장 매체를 만드는 것을 목표로 했다. 2020년 현재 5.5 TB 옵티컬 디스크 아카이브 카트리지를 제공했다.
2016년, 아카이벌 디스크의 이용 목적은 데이터센터 내 콜드 데이터 저장용으로 예측되었다.
근접신관(近接信管, proximity fuse, VT 신관 또는 "가변시한신관")은 목표물에 일정 거리 이내로 접근했을 때 자동으로 폭발 장치를 터뜨리는 신관이다. 근접신관은 항공기, 미사일과 같은 피하기 어려운 군사 목표물뿐만 아니라 해상의 함선 및 지상군을 위해 설계되었다. 이 정교한 격발 메커니즘은 일반적인 접촉 신관이나 시한 신관에 비해 살상력을 5~10배 증가시킬 수 있다.
근접신관 발명 이전에는 직접 접촉, 발사 시 설정된 타이머 또는 고도계에 의해 폭발이 유도되었다. 이 모든 이전 방법에는 단점이 있었다. 작고 움직이는 목표물에 직접 명중할 확률은 낮았으며, 목표물을 약간 빗나간 포탄은 폭발하지 않았다. 시간 또는 고도에 의해 작동되는 신관은 포수의 정확한 예측과 신관의 정확한 타이밍을 요구했다. 둘 중 하나라도 틀리면 정확하게 조준된 포탄도 목표물에 도달하기 전이나 지나친 후에 무해하게 폭발할 수 있었다. 영국 대공습 초기에는 항공기 한 대를 격추하는 데 20,000발이 필요하다고 추정되었다. 다른 추정치로는 100,000발 또는 2,500발까지 낮게 보기도 한다. 근접신관을 사용하면 포탄이나 미사일이 비행 중 어느 시점에 목표물 가까이를 지나치기만 하면 된다. 근접신관은 이전 방법보다 문제를 더 간단하게 만들었다.
근접신관은 지상 목표물에 대한 공중 폭발을 일으키는 데도 유용하다. 접촉신관은 지면에 부딪히면 폭발하여 파편을 흩뿌리는 데는 그다지 효과적이지 않다. 시한신관은 지상 몇 미터 위에서 폭발하도록 설정할 수 있지만, 타이밍이 매우 중요하며, 보통 관측병이 타이밍 조정을 위한 정보를 제공해야 한다. 관측병은 많은 상황에서 현실적이지 않을 수 있으며, 지형이 고르지 않을 수 있고, 어쨌든 이 방법은 느리다. 포병 및 박격포 포탄과 같은 무기에 장착된 근접신관은 지상 몇 미터 위(예: )의 설정된 폭발 고도 범위를 포병대가 선택하도록 하여 이 문제를 해결한다. 포탄은 지상에서 적절한 높이에서 폭발한다.
근접신관의 아이디어는 오랫동안 군사적으로 유용하다고 여겨졌다. 광선을 비추고 반사광이 특정 임계값에 도달하면 작동하는 광학 시스템, 무선 신호를 이용하는 다양한 지상 작동 방식, 금속 탐지기와 유사한 정전식 또는 유도식 방법 등 여러 아이디어가 고려되었다. 이 모든 방법은 제2차 세계 대전 이전 전자장치의 큰 크기와 취약성, 그리고 필요한 회로의 복잡성으로 인해 어려움을 겪었다.
제2차 세계 대전 초기, 영국 군사 연구자 새뮤얼 커런, 윌리엄 뷰테멘트, 에드워드 샤이어, 그리고 암허스트 톰슨은 통신 연구소 (TRE)에서 근접신관의 아이디어를 구상했다. 그들의 시스템은 작고 짧은 거리의 도플러 레이더를 포함했다. 영국은 이후 "비회전 발사체"(당시 영국에서 무유도 로켓을 지칭하는 용어)를 이용한 테스트를 수행했다. 그러나 영국 과학자들은 로켓보다 훨씬 높은 가속도를 견뎌야 하는 대공포탄용 신관을 개발할 수 있을지 확신하지 못했다. 영국은 1940년 티자드 임무 기간 동안 광전 신관과 무선 신관을 포함한 다양한 신관 설계 아이디어를 미국과 공유했다. 포탄에 사용하려면 신관은 소형화되어야 하고, 대포 발사의 높은 가속도를 견뎌야 하며, 신뢰성이 있어야 했다.
국방연구위원회는 이 임무를 지구 자기학과 소속 물리학자 멀 트루브에게 맡겼다. 또한 국립표준국의 연구원들도 참여하게 되었다(NBS의 이 연구 부서는 나중에 육군 연구소의 일부가 되었다). 1942년 연구는 분할되어, 트루브의 그룹은 포탄용 근접신관을 연구하고, 국립표준국 연구원들은 기술적으로 더 쉬운 폭탄 및 로켓 연구에 집중했다. 무선 포탄 신관 연구는 존스 홉킨스 대학교 응용물리학 연구소 (APL)의 섹션 T로 알려진 트루브 그룹에 의해 완료되었다. 100개 이상의 미국 기업이 약 2천만 개의 포탄 신관을 제작하기 위해 동원되었다.
근접신관은 제2차 세계 대전의 가장 중요한 기술 혁신 중 하나였다. 이것이 너무 중요하여 원자폭탄 프로젝트나 노르망디 상륙작전 침공과 유사한 수준으로 비밀이 보호되었다. 루이스 스트로스 제독은 다음과 같이 썼다.
신관은 나중에 포탄을 공중 폭발시키는 데 사용될 수 있음이 밝혀져 대인 효과를 크게 높였다.
독일에서는 대공용으로 30가지 이상(최대 50가지)의 다양한 근접신관 설계가 개발되거나 연구되었지만, 어떤 것도 실전에서 사용되지는 않았다. 여기에는 엔진 소리로 작동하는 음향신관, 라인메탈-보르지히가 개발한 정전기장 기반 신관, 그리고 무선신관이 포함되었다. 1939년 11월 중순, 독일 네온 램프 튜브와 정전 용량 효과 기반의 시제품 근접신관 설계가 오슬로 보고서의 일부로 영국 정보부에 입수되었다.
제2차 세계 대전 이후, 무선, 광학 및 기타 감지 방법을 사용하는 여러 새로운 근접신관 시스템이 개발되었다. 현대 공대공 무기에 사용되는 일반적인 형태는 레이저를 광원으로 사용하고, 비행 시간을 이용하여 거리를 측정한다.
영국에서의 개발.
영국에서 레이더 개념에 대한 최초 언급은 1931년 작은 브레드보드 방식의 펄스 레이더 모델을 제작한 윌리엄 뷰테멘트와 P. E. 폴라드가 했다. 그들은 이 시스템이 해안포 부대에서 야간에도 선박과의 거리를 정확하게 측정하는 데 유용할 것이라고 제안했다. 육군성은 이 개념에 관심이 없었고, 두 사람에게 다른 문제에 집중하라고 지시했다.
1936년, 공군성은 서퍽주의 바우드시 매너를 인수하여 이듬해 체인 홈으로 등장한 프로토타입 레이더 시스템을 더욱 발전시켰다. 육군은 갑자기 레이더 주제에 극도로 관심을 갖게 되었고, 뷰테멘트와 폴라드를 바우드시로 보내 "육군 셀"로 알려진 조직을 구성하게 했다. 그들의 첫 번째 프로젝트는 해안 방어에 대한 원래 작업의 재개였지만, 곧 대공포를 돕기 위한 거리 측정 전용 레이더를 개발하는 두 번째 프로젝트를 시작하라는 지시를 받았다.
1930년대 후반에 이러한 프로젝트들이 개발 단계에서 시제품 형태로 전환되면서, 뷰테멘트는 다른 개념들에 주목하기 시작했으며, 그 중 하나가 근접신관의 아이디어였다.
1940년 5월, 뷰테멘트, 에드워드 샤이어, 그리고 암허스트 톰슨의 공식 제안이 이 두 개념 중 두 번째를 기반으로 하여 영국 방공기관에 전달되었다. 브레드보드 회로가 제작되었고, 다양한 거리에서 주석판을 움직여 실험실에서 개념이 테스트되었다. 초기 현장 테스트에서는 회로를 사이리스터 트리거에 연결하여 타워에 장착된 카메라를 작동시켜 지나가는 항공기를 촬영하여 신관 기능의 거리를 측정했다.
1940년 6월, 시제품 신관들이 제작되어 영국에서 고체 연료 로켓의 암호명이었던 "비회전 발사체"에 설치되었고, 풍선으로 지지된 목표물을 향해 발사되었다. 로켓은 가속도가 비교적 낮고 원심력을 발생시키는 회전이 없으므로, 섬세한 전자 신관에 가해지는 스트레스는 비교적 적다. 제한된 적용이 이상적이지 않다는 것은 이해되었다. 근접신관은 모든 유형의 포병, 특히 대공포에 유용할 것이지만, 이러한 포는 가속도가 매우 높았다.
1939년 9월 초, 존 콕크로프트는 파이 유한회사에서 이러한 훨씬 더 큰 힘을 견딜 수 있는 열전자관 (전자관)을 개발하기 위한 노력을 시작했다. 파이의 연구는 미국이 전쟁에 참전하면서 티자드 임무를 통해 전달된 기술 패키지의 일부로 미국으로 이전되었다. 파이 그룹은 1941년 8월 6일까지 높은 압력 하에서 견고한 5극 진공관을 안정적으로 작동시키지 못했는데, 이는 미국 그룹의 성공적인 테스트 이후였다.
진공관 문제에 대한 단기적인 해결책을 찾기 위해, 1940년에 영국은 웨스턴 일렉트릭 컴퍼니와 미국 라디오 회사로부터 보청기에 사용될 20,000개의 소형 전자관을 주문했다. 해럴드 G. 보웬 시니어 제독이 이끄는 미국 팀은 이 전자관들이 폭탄과 로켓용 근접신관 실험을 위한 것이라고 정확히 추측했다.
1940년 9월, 티자드 임무는 여러 영국 개발 사항을 미국 연구자들에게 소개하기 위해 미국으로 향했고, 근접신관의 주제가 논의되었다. 영국 실험의 세부 사항은 미국 해군 연구소와 국방연구위원회 (NDRC)에 전달되었다. 정보는 1940년에 캐나다에도 공유되었고, 캐나다 국립연구위원회는 신관 개발 작업을 토론토 대학교의 한 팀에 위임했다.
미국에서의 개발.
영국으로부터 회로 설계도를 받기 전과 후, 국방연구위원회(NDRC) 섹션 T 의장 멀 트루브의 지시 아래 리처드 B. 로버츠, 헨리 H. 포터, 로버트 B. 브로드가 다양한 실험을 수행했다. 트루브의 그룹은 섹션 T로 알려졌으며, 전쟁 내내 APL에 위치했다. 트루브는 나중에 인터뷰에서 이렇게 말했다. "영국에서 로켓에 사용하고 있다는 회로에 대한 소문을 들었고, 그들이 우리에게 회로를 주었지만, 나는 이미 로켓, 폭탄, 포탄에 그것을 적용했었다." 트루브가 이해했듯이, 신관의 회로는 기초적이었다. 그의 말에 따르면, "이 상황에서 가장 두드러진 특징은 이런 종류의 신관의 성공이 기본적인 기술 아이디어에 의존하지 않는다는 사실이다. 모든 아이디어는 간단하고 어디에서나 잘 알려져 있다." 대공포탄용 신관을 개조하는 중요한 작업은 영국이 아닌 미국에서 이루어졌다. 트루브는 뷰테멘트 외 대 배리안 특허 소송의 결과에 기뻐했음에도 불구하고, 이 소송은 신관이 영국의 발명품임을 확인시켜주어 미 해군이 특허 사용료를 면제받아 수백만 달러를 절약할 수 있게 했지만, 티자드 임무가 전달한 신관 설계는 "우리가 작동시킨 것이 아니다!"라고 말했다.
핵심적인 개선점은 로이드 버크너에 의해 도입되었는데, 그는 분리된 송신기 및 수신기 회로를 사용하는 시스템을 개발했다. 1940년 12월, 트루브는 미국 국립표준국 (NBS)의 해리 다이아몬드 (엔지니어)와 윌버 S. 힌먼 주니어를 초청하여 버크너의 개선된 신관을 조사하고 루프트바페 항공기에 대항하기 위한 로켓 및 폭탄용 근접신관을 개발하도록 했다.