표절 탐지

표절 탐지(plagiarism detection) 또는 콘텐츠 유사성 탐지(content similarity detection)는 작품 또는 문서 내에서 표절 또는 저작권 침해 사례를 찾아내는 과정이다. 컴퓨터의 광범위한 사용과 인터넷의 출현은 타인의 작업을 표절하는 것을 더 쉽게 만들었다.브레태그, T., & 마흐무드, S. (2009). A model for determining student plagiarism: Electronic detection and academic judgement. Journal of University Teaching & Learning Practice, 6(1). Retrieved from http://ro.uow.edu.au/jutlp/vol6/iss1/6

표절 탐지는 다양한 방식으로 이루어질 수 있다. 사람에 의한 탐지는 서면 작업에서 표절을 식별하는 가장 전통적인 형태이다. 이는 독자에게 길고 시간이 많이 소요되는 작업이 될 수 있으며 조직 내에서 표절을 식별하는 방식에 불일치를 초래할 수도 있다.Macdonald, R., & Carroll, J. (2006). Plagiarism—a complex issue requiring a holistic institutional approach. Assessment & Evaluation in Higher Education, 31(2), 233–245.  "표절 탐지 소프트웨어" 또는 "안티 표절" 소프트웨어라고도 불리는 텍스트 매칭 소프트웨어(TMS)는 상용 제품과 오픈 소스 소프트웨어 형태로 널리 보급되었다. TMS는 그 자체로 표절을 탐지하는 것이 아니라, 한 문서에서 다른 문서의 텍스트와 일치하는 특정 텍스트 구절을 찾아낸다.

소프트웨어 지원 표절 탐지

컴퓨터 지원 표절 탐지는 특수 정보 검색 시스템(표절 탐지 시스템(PDS) 또는 문서 유사성 탐지 시스템이라고 함)이 지원하는 정보 검색(IR) 작업이다. 2019년 체계적인 문헌 검토는 최신 표절 탐지 방법에 대한 개요를 제시한다.

텍스트 문서에서
텍스트 유사성 탐지 시스템은 두 가지 일반적인 탐지 접근 방식 중 하나를 구현하는데, 하나는 외부적이고 다른 하나는 내재적이다.
외부 탐지 시스템은 의심스러운 문서를 참조 컬렉션(진본으로 추정되는 문서 집합)과 비교한다.
선택된 문서 모델 및 사전 정의된 유사성 기준에 따라, 탐지 작업은 의심스러운 문서의 텍스트와 선택된 임계값 이상으로 유사한 텍스트를 포함하는 모든 문서를 검색하는 것이다.
내재적 PDS는 외부 문서와의 비교를 수행하지 않고 평가될 텍스트만 분석한다. 이 접근 방식은 잠재적 표절의 지표로서 저자의 고유한 문체 변화를 인식하는 것을 목표로 한다.
PDS는 사람의 판단 없이는 표절을 안정적으로 식별할 수 없다. 유사성 및 문체 특징은 미리 정의된 문서 모델을 통해 계산되며 오탐을 나타낼 수 있다.

고등 교육 환경에서 이러한 도구의 효과

고등 교육 환경에서 유사성 탐지 소프트웨어의 효과를 테스트하기 위한 연구가 수행되었다. 연구의 한 부분은 한 그룹의 학생들에게 논문을 작성하도록 했다. 이 학생들은 먼저 표절에 대해 교육받고 자신들의 작업이 콘텐츠 유사성 탐지 시스템을 통해 실행될 것이라는 정보를 받았다. 두 번째 그룹의 학생들은 표절에 대한 정보 없이 논문을 작성하도록 했다. 연구자들은 첫 번째 그룹에서 더 낮은 표절율을 예상했지만, 두 그룹 모두에서 거의 동일한 표절율을 발견했다.

접근 방식
아래 그림은 컴퓨터 지원 콘텐츠 유사성 탐지에 현재 사용되는 모든 탐지 접근 방식의 분류를 나타낸다. 이 접근 방식들은 수행하는 유사성 평가 유형(전역 또는 지역)으로 특징지어진다. 전역 유사성 평가 접근 방식은 텍스트의 더 큰 부분 또는 문서 전체에서 추출한 특성을 사용하여 유사성을 계산하는 반면, 지역 방법은 미리 선택된 텍스트 세그먼트만을 입력으로 검사한다.

섬네일|center|upright=2.0|컴퓨터 지원 표절 탐지 방법 분류

지문 인식
지문 인식은 현재 콘텐츠 유사성 탐지에 가장 널리 적용되는 접근 방식이다. 이 방법은 문서에서 여러 부분 문자열(N-그램) 집합을 선택하여 대표적인 문서 다이제스트를 생성한다. 이 집합은 지문을 나타내며, 그 요소는 특징점이라고 불린다.
의심스러운 문서의 지문을 계산하고, 참조 컬렉션의 모든 문서에 대한 미리 계산된 지문 인덱스를 사용하여 특징점을 조회함으로써 표절 여부를 확인한다. 다른 문서의 특징점과 일치하는 경우 공유된 텍스트 세그먼트를 나타내며, 선택된 유사성 임계값을 초과하면 잠재적 표절을 시사한다. 계산 리소스와 시간은 지문 인식의 제한 요소이므로, 이 방법은 일반적으로 계산 속도를 높이고 인터넷과 같은 매우 큰 컬렉션에서도 검사를 가능하게 하기 위해 특징점의 부분 집합만을 비교한다.

문자열 매칭
문자열 매칭은 컴퓨터 과학에서 널리 사용되는 접근 방식이다. 표절 탐지 문제에 적용될 때, 문서들은 문자 그대로의 텍스트 중첩을 위해 비교된다. 이 작업을 다루기 위해 수많은 방법이 제안되었으며, 그중 일부는 외부 표절 탐지에 적용되었다. 이 설정에서 의심스러운 문서를 확인하려면 참조 컬렉션의 모든 문서를 효율적으로 비교 가능한 표현으로 계산하고 저장하여 쌍별 비교를 수행해야 한다. 일반적으로 접미사 트리나 접미사 벡터와 같은 접미사 문서 모델이 이 작업에 사용되었다. 그럼에도 불구하고 부분 문자열 매칭은 계산 비용이 많이 들기 때문에 대규모 문서 컬렉션을 확인하는 데 적합하지 않은 해결책이다.

단어 가방
단어 가방 분석은 전통적인 IR 개념인 벡터 공간 모델을 콘텐츠 유사성 탐지 영역에 적용한 것이다. 문서는 하나 또는 여러 벡터(예: 다른 문서 부분용)로 표현되며, 이는 쌍별 유사성 계산에 사용된다. 유사성 계산은 전통적인 코사인 유사도 측정 또는 더 정교한 유사성 측정에 의존할 수 있다.

인용 분석

인용 기반 표절 탐지(CbPD)는 인용 분석에 의존하며, 텍스트 유사성에 의존하지 않는 유일한 표절 탐지 접근 방식이다. CbPD는 텍스트의 인용 및 참조 정보를 검토하여 인용 시퀀스에서 유사한 패턴을 식별한다. 따라서 이 접근 방식은 인용을 포함하는 과학 텍스트 또는 기타 학술 문서에 적합하다. 표절 탐지를 위한 인용 분석은 비교적 새로운 개념이다. 상용 소프트웨어에서는 채택되지 않았지만, 인용 기반 표절 탐지 시스템의 첫 번째 프로토타입이 존재한다. 검토된 문서에서 인용의 유사한 순서와 근접성은 인용 패턴 유사성을 계산하는 데 사용되는 주요 기준이다. 인용 패턴은 비교되는 문서에서 공유되는 인용을 비독점적으로 포함하는 부분 시퀀스를 나타낸다. 패턴에서 공유된 인용의 절대 수 또는 상대 비율, 인용이 문서에서 함께 나타날 확률과 같은 요소도 패턴의 유사성 정도를 정량화하는 데 고려된다.

문체론
문체론은 저자의 고유한 문체를 정량화하는 통계적 방법을 포괄하며, 주로 저자 귀속 또는 내재적 표절 탐지에 사용된다. 저자 귀속을 통한 표절 탐지는 의심스러운 문서의 문체가 특정 저자에 의해 쓰여진 것으로 추정되는 경우, 동일 저자가 쓴 문서 코퍼스의 문체와 일치하는지 확인해야 한다. 반면에 내재적 표절 탐지는 다른 문서와 비교하지 않고 의심스러운 문서 내의 내부 증거를 기반으로 표절을 밝혀낸다. 이는 의심스러운 문서의 다른 텍스트 세그먼트에 대한 문체 모델을 구성하고 비교하여 수행되며, 문체적으로 다른 구절은 잠재적 표절/침해로 표시된다. 추출하기는 간단하지만, 문자 N-그램은 내재적 표절 탐지를 위한 최고의 문체 특징 중 하나로 입증되었다.

신경망
신경망을 사용하여 콘텐츠 유사성을 평가하는 최신 접근 방식은 훨씬 더 높은 정확도를 달성했지만, 상당한 계산 비용이 든다. 전통적인 신경망 접근 방식은 두 콘텐츠 조각을 의미론적 벡터 임베딩으로 임베딩하여 유사성을 계산하며, 이는 종종 코사인 유사성이다. 더 고급 방법은 트랜스포머 아키텍처를 사용하여 유사성 또는 분류의 종단간 예측을 수행한다. 유사 표현 탐지는 특히 고도로 매개변수화된 사전 훈련 모델로부터 이점을 얻는다.

성능
콘텐츠 유사성 탐지 시스템에 대한 비교 평가는 시스템의 성능이 존재하는 표절 유형에 따라 달라진다는 것을 보여준다(그림 참조). 인용 패턴 분석을 제외하고 모든 탐지 접근 방식은 텍스트 유사성에 의존한다. 따라서 표절 사례가 더 모호해질수록 탐지 정확도가 감소하는 것은 당연한 결과이다.

섬네일|center|upright=2.0|표절 유형에 따른 컴퓨터 지원 표절 탐지 접근 방식의 탐지 성능

문자 그대로의 복사, 즉 복사-붙여넣기 표절 또는 노골적인 저작권 침해, 또는 적당히 위장된 표절 사례는 소스에 소프트웨어가 접근할 수 있는 경우 현재 외부 PDS에 의해 높은 정확도로 탐지될 수 있다. 특히 부분 문자열 일치 절차는 일반적으로 접미사 트리와 같은 무손실 문서 모델을 사용하기 때문에 복사-붙여넣기 표절에 대해 좋은 성능을 달성한다. 지문 인식 또는 단어 가방 분석을 사용하는 시스템의 복사본 탐지 성능은 사용된 문서 모델로 인한 정보 손실에 따라 달라진다. 유연한 청킹 및 선택 전략을 적용함으로써 부분 문자열 일치 절차에 비해 적당히 위장된 표절 형태를 더 잘 탐지할 수 있다.

문체론을 이용한 내재적 표절 탐지는 언어적 유사성을 비교함으로써 텍스트 유사성의 한계를 어느 정도 극복할 수 있다. 표절된 부분과 원본 부분 사이의 문체적 차이가 유의미하고 신뢰성 있게 식별될 수 있다면, 문체론은 위장 및 유사 표현 표절을 식별하는 데 도움이 될 수 있다. 문체론적 비교는 부분이 표절자의 개인적인 문체와 더 밀접하게 닮을 정도로 강하게 유사 표현되거나 텍스트가 여러 저자에 의해 편집된 경우 실패할 가능성이 높다. 2009년, 2010년, 2011년에 개최된 표절 탐지 국제 대회 결과와 스타인(Stein)이 수행한 실험은 문체론적 분석이 수천 또는 수만 단어 길이의 문서에서만 안정적으로 작동하는 것으로 보이며, 이는 이 방법의 컴퓨터 지원 표절 탐지 설정에 대한 적용 가능성을 제한한다.

번역된 표절을 탐지할 수 있는 방법과 시스템에 대한 연구가 증가하고 있다. 현재 교차 언어 표절 탐지(CLPD)는 성숙한 기술로 간주되지 않으며 해당 시스템은 실제로 만족스러운 탐지 결과를 달성하지 못했다.

인용 패턴 분석을 이용한 인용 기반 표절 탐지는 다른 탐지 접근 방식에 비해 더 강력한 유사 표현과 번역을 더 높은 성공률로 식별할 수 있는데, 이는 텍스트 특징에 독립적이기 때문이다. 그러나 인용 패턴 분석은 충분한 인용 정보의 가용성에 의존하므로 학술 텍스트에만 국한된다. 이는 복사-붙여넣기 또는 흔들기-붙여넣기 표절(후자는 다른 소스에서 약간 변경된 조각들을 혼합하는 것을 의미함)과 같은 전형적인 짧은 표절 구절을 탐지하는 데는 텍스트 기반 접근 방식보다 열등하다.

소프트웨어
텍스트 문서에 사용되는 콘텐츠 유사성 탐지 소프트웨어의 설계는 여러 요인에 의해 특징지어진다.
 요인 설명 및 대안 검색 범위 공개 인터넷 (검색 엔진 사용) / 기관 데이터베이스 / 로컬, 시스템별 데이터베이스. 분석 시간 문서가 제출된 시점과 결과가 제공되는 시점 사이의 지연. 문서 용량 / 배치 처리 시스템이 단위 시간당 처리할 수 있는 문서 수. 검색 강도 시스템이 검색 엔진과 같은 외부 리소스를 얼마나 자주, 어떤 유형의 문서 조각(단락, 문장, 고정 길이 단어 시퀀스)에 대해 쿼리하는지. 정밀도와 재현율 시스템이 문서를 서로 비교하는 방식을 정의하는 알고리즘. 정밀도와 재현율 올바르게 표절로 표시된 문서 수와 총 표시된 문서 수, 그리고 실제로 표절된 총 문서 수의 비교. 높은 정밀도는 오탐이 거의 없음을 의미하고, 높은 재현율은 미탐이 거의 감지되지 않았음을 의미한다.

대부분의 대규모 표절 탐지 시스템은 분석을 위해 제출된 각 추가 문서와 함께 성장하는 대규모 내부 데이터베이스(다른 리소스 외에)를 사용한다. 그러나 일부에서는 이 기능을 학생 저작권 침해로 간주한다.

소스 코드에서
컴퓨터 소스 코드의 표절도 빈번하며, 문서의 텍스트 비교에 사용되는 도구와는 다른 도구가 필요하다. 학술 소스 코드 표절에 상당한 연구가 집중되었다."표절 예방 및 탐지 - 소스 코드 표절 온라인 자료" . 고등 교육 아카데미, 얼스터 대학교.

소스 코드 표절의 독특한 측면은 전통적인 표절에서 발견되는 에세이 공장과 같은 것이 없다는 점이다. 대부분의 프로그래밍 과제는 학생들이 매우 특정한 요구 사항을 가진 프로그램을 작성하도록 기대하기 때문에, 이미 이러한 요구 사항을 충족하는 기존 프로그램을 찾는 것은 매우 어렵다. 외부 코드를 통합하는 것이 처음부터 작성하는 것보다 종종 더 어렵기 때문에, 대부분의 표절 학생들은 동료로부터 코드를 표절하기로 선택한다.

로이(Roy)와 코디(Cordy)에 따르면,Roy, Chanchal Kumar;Cordy, James R. (26 September 2007)."A Survey on Software Clone Detection Research". School of Computing, 퀸스 대학교 (캐나다). 소스 코드 유사성 탐지 알고리즘은 다음 중 하나를 기반으로 분류할 수 있다.
 문자열 – 예를 들어 5개 단어 실행과 같은 세그먼트의 정확한 텍스트 일치를 찾는다. 빠르지만 식별자 이름 변경에 의해 혼란스러울 수 있다.
 토큰 – 문자열과 같지만, 먼저 렉서를 사용하여 프로그램을 토큰으로 변환한다. 이렇게 하면 공백, 주석 및 식별자 이름이 제거되어 시스템이 간단한 텍스트 대체에 더 강해진다. 대부분의 학술 표절 탐지 시스템은 이 수준에서 작동하며, 토큰 시퀀스 간의 유사성을 측정하기 위해 다른 알고리즘을 사용한다.
 파스 트리 – 파스 트리를 구축하고 비교한다. 이를 통해 더 높은 수준의 유사성을 탐지할 수 있다. 예를 들어, 트리 비교는 조건문을 정규화하고 동등한 구성을 서로 유사하게 탐지할 수 있다.
 프로그램 의존성 그래프(PDG) – PDG는 프로그램의 실제 제어 흐름을 캡처하며, 복잡성과 계산 시간은 더 많이 들지만 훨씬 더 높은 수준의 동등성을 찾을 수 있다.
 메트릭 – 메트릭은 특정 기준에 따라 코드 세그먼트의 '점수'를 캡처한다. 예를 들어, "루프 및 조건문의 수" 또는 "사용된 다른 변수의 수"와 같다. 메트릭은 계산하기 쉽고 빠르게 비교할 수 있지만, 오탐으로 이어질 수도 있다. 즉, 동일한 메트릭 점수를 가진 두 조각은 완전히 다른 작업을 수행할 수 있다.
 하이브리드 접근 방식 – 예를 들어, 파스 트리 + 접미사 트리는 파스 트리의 탐지 능력과 접미사 트리(일종의 문자열 일치 자료 구조)가 제공하는 속도를 결합할 수 있다.

이전 분류는 리팩터링을 위해 개발되었으며, 학술 표절 탐지를 위한 것이 아니었다(리팩터링의 중요한 목표는 문헌에서 코드 클론이라고 불리는 중복 코드를 피하는 것이다). 위의 접근 방식들은 다른 수준의 유사성에 대해 효과적이다. 낮은 수준의 유사성은 동일한 텍스트를 나타내고, 높은 수준의 유사성은 유사한 사양으로 인해 발생할 수 있다. 학술 환경에서는 모든 학생이 동일한 사양으로 코드를 작성할 것으로 예상되므로, 기능적으로 동등한 코드(높은 수준의 유사성)는 전적으로 예상되며, 낮은 수준의 유사성만이 부정 행위의 증거로 간주된다.

표절과 저작권의 차이

표절과 저작권은 작가, 연구자, 학생들이 이해해야 할 학술 및 창작 글쓰기의 필수적인 개념이다. 비슷하게 들릴 수 있지만 동일하지 않으며, 각각을 다루는 데 다른 전략이 사용될 수 있다.

 알고리즘 

 표절 탐지를 위한 텍스트 매칭 소프트웨어 사용의 복잡성 
표절 탐지를 위해 텍스트 매칭 소프트웨어를 사용하는 데 있어 다양한 복잡성이 기록되어 왔다. 기록된 더 만연한 우려 중 하나는 지적 재산권 문제에 집중되어 있다. 기본적인 주장은 TMS가 일치를 효과적으로 판단하려면 자료가 데이터베이스에 추가되어야 하지만, 사용자의 자료를 그러한 데이터베이스에 추가하는 것은 그들의 지적 재산권을 침해할 수 있다는 것이다. 이 문제는 여러 법정 소송에서 제기되었다. 

TMS 사용의 추가적인 복잡성은 소프트웨어가 다른 텍스트와 정확히 일치하는 부분만 찾아낸다는 것이다. 예를 들어, 제대로 재작성되지 않은 작업이나 탐지 소프트웨어를 피하기 위해 충분한 단어 대체를 사용하여 표절하는 행위("rogeting"이라고 알려짐)는 감지하지 못한다. 또한, 재작성된 내용이 실제로 원래의 이해를 반영하는지 아니면 탐지를 우회하려는 시도인지를 평가할 수 없다.

TMS의 또 다른 복잡성은 합법적인 인용 및 재작성된 내용을 포함하여 필요 이상으로 많은 콘텐츠에 플래그를 지정하는 경향이 있어 실제 표절 사례를 찾기 어렵게 만든다는 것이다. 이 문제는 TMS 알고리즘이 글쓰기의 맥락을 고려하지 않고 주로 표면적인 텍스트 유사성을 보기 때문에 발생한다. 교육자들은 TMS에 의존하는 것이 올바른 인용 및 글쓰기 기술을 가르치는 데서 초점을 벗어나 학생 글쓰기의 뉘앙스를 무시하는 표절에 대한 과도하게 단순화된 관점을 만들 수 있다는 우려를 제기했다. 결과적으로 학자들은 이러한 오탐이 학생들에게 두려움을 유발하고 그들이 자신의 진정한 목소리를 사용하는 것을 단념시킬 수 있다고 주장한다.

 같이 보기 





  – 여러 시스템에서 토큰 시퀀스 간의 유사성을 추정하는 데 사용


 각주 

 문헌 
 Carroll, J. (2002). A handbook for deterring plagiarism in higher education. Oxford: The Oxford Centre for Staff and Learning Development, Oxford Brookes University. (96 p.), 
 Zeidman, B. (2011). The Software IP Detective's Handbook.  프렌티스 홀. (480 p.), 

분류:교육 평가