DOI: 10.5281/zenodo.17470132
title: Dataset of English Translations of Non-English Abstracts of OpenAlex Works Cited in Overton Policy Documents
title: Overton 정책문서에 인용된 OpenAlex 비영어 초록의 영문 번역 데이터셋

description: Overview





Target: OpenAlex works cited in Overton policy documents




Data: Overton (2025-02-11 snapshot), OpenAlex (2025-05-30 snapshot)




Objective: Select abstracts detected as non-English (or with English probability < 0.8) and provide English translations




Models used: Open-source models (fastText for language detection, gpt-oss-120b for translation)




Files (3 total):





Overton_OpenAlex_matched_works_id.csv — Overton–OpenAlex matched IDs




total_lang_detect.csv — Language detection results (English probability < 0.8 + clearly non-English)




translate.csv — English translations of abstracts tagged as non-English







1) Overton_OpenAlex_matched_works_id.csv

Description: Match results between Overton policy documents and OpenAlex worksRow count: 6,532,365

Schema








Column
Type
Description




oaid_w
string
OpenAlex Work ID


doi
string
DOI








2) total_lang_detect.csv

Description: From ~6.6M matches, language detection results for OpenAlex abstracts with English probability < 0.8 or clearly non-EnglishRow count: 1,569,586

Schema (standardized column names)








Column
Type
Description




oaid_w
string
OpenAlex Work ID


doi
string
DOI


lang
string
Language detected by fastText


lang_detect_llm
string
Detection value based on gpt-oss-120b


lang_score
float
fastText language score


Translated
bool
Whether translation was performed








3) translate.csv

Description: Subset of total_lang_detect.csv with English translations for abstracts tagged as non-EnglishRow count: 474,130

Schema (final standardized column names)








Column
Type
Description




oaid_w
string
OpenAlex Work ID


doi
string
DOI


lang
string
Language detected by fastText


lang_detect_llm
string
Detection result based on gpt-oss-120b


lang_score
float
fastText language score


abstract_en
string
English translated abstract




 

# Acknowledgement





























This dataset is a research output produced under KISTI’s 2025 Basic Project (Project No.: K25L4M2C3).





 
description: 개요





대상: Overton 정책문서에 인용된 OpenAlex 논문(works)




데이터: Overton(20250211 snapshot), OpenAlex(20250530 snapshot)




목적: 비영어(또는 영어 확률 < 0.8)로 판정된 초록을 선별하고, 영문 번역본을 제공




활용 모델: 오픈소스 모델(fasttext(언어 감지), gpt-oss-120b(번역))




구성 파일(총 3개):





Overton_OpenAlex_matched_works_id.csv — Overton–OpenAlex 매칭 ID




total_lang_detect.csv — 언어 판정 결과(영어 확률 0.8 미만 + 확실한 비영어)




translate.csv — 비영어로 태깅된 초록의 영문 번역본







1) Overton_OpenAlex_matched_works_id.csv

설명: Overton 정책문서와 OpenAlex 논문 간 매칭 결과행 수: 6,532,365

스키마








컬럼
타입
설명




oaid_w
string
OpenAlex Work ID


doi
string
DOI








2) total_lang_detect.csv

설명: 6.6M 매칭 중에서 OpenAlex 초록의 영어 확률 < 0.8 또는 명백한 비영어로 판정된 레코드의 언어 판정 결과행 수: 1,569,586

스키마 (컬럼명 통일)








컬럼
타입
설명




oaid_w
string
OpenAlex Work ID


doi
string
DOI


lang
string
fasttext 탐지 언어


lang_detect_llm
string
gpt-oss-120b 기반 탐지값


lang_score
float
fastText 언어 점수


Translated
bool
번역 수행 여부








3) translate.csv

설명: total_lang_detect.csv 중 비영어로 태깅된 초록에 대해 영문 번역을 수행한 서브셋행 수: 474,130

스키마 (최종 컬럼명 표준화)








컬럼
타입
설명




oaid_w
string
OpenAlex Work ID


doi
string
DOI


lang
string
fasttext 탐지 언어


lang_detect_llm
string
gpt-oss-120b 기반 탐지 결과


lang_score
float
fastText 언어 점수


abstract_en
string
영문 번역 초록




 

# 사사















이 데이터는 2025년도 한국과학기술정보연구원(KISTI)의 기본사업으로 수행된 연구 결과물입니다. (과제번호: (KISTI) K25L4M2C3)