{{위키데이터 속성 추적}}
[[파일:OGRE screenshot 08.png|섬네일|[[오거 (게임 엔진)|오거]](OGRE) 엔진의 벤치마크로 실행되는 그래픽 데모]]
'''벤치마크'''(benchmark)는 [[컴퓨팅]]에서 특정 오브젝트(하드웨어 또는 소프트웨어 등)에 대해 일반적으로 수많은 표준 테스트와 시도를 수행함으로써 오브젝트의 상대적인 성능 측정을 목적으로 컴퓨터 프로그램을 실행하는 행위이다.<ref>{{저널 인용| doi = 10.1145/5666.5673| issn = 0001-0782| volume = 29| issue = 3| pages = 218–221| last1 = Fleming| first1 = Philip J.| last2 = Wallace| first2 = John J.| title = How not to lie with statistics: the correct way to summarize benchmark results| journal = Communications of the ACM| date = 1986-03-01| s2cid = 1047380| doi-access = free}}</ref>

'벤치마크'라는 용어는 정교하게 설계된 벤치마킹 프로그램 자체의 목적으로 일반적으로 사용된다.

벤치마킹은 일반적으로 [[컴퓨터 하드웨어]]의 성능 특성(예: CPU의 부동 소수점 연산 성능)을 평가하는 것과 관련이 있지만 이 기술이 소프트웨어에도 적용되는 경우가 있다. 예를 들어 소프트웨어 벤치마크는 [[컴파일러]]나 [[데이터베이스 관리 시스템]](DBMS)에 대해 실행된다.

벤치마크는 다양한 칩/시스템 아키텍처 전반에 걸쳐 다양한 하위 시스템의 성능을 비교하는 방법을 제공한다. [[지속적 통합]]의 일부인 벤치마킹을 지속적 벤치마킹(Continuous Benchmarking)이라고 한다.<ref>{{콘퍼런스 인용|doi=10.1109/IC2E.2019.00039|chapter-url=https://www.researchgate.net/publication/333918034|chapter=Continuous Benchmarking: Using System Benchmarking in Build Pipelines|year=2019|access-date=2023-12-03|first1=Martin|last1=Grambow|first2=Fabian|last2=Lehmann|first3=David|last3=Bermbach|title=2019 IEEE International Conference on Cloud Engineering (IC2E) |pages=241–246 |isbn=978-1-7281-0218-4 }}</ref>

==기능==
벤치마킹 소프트웨어의 기능에는 성능 과정을 [[스프레드시트]] 파일로 기록/내보내기, [[선 그래프]] 그리기 또는 [[색 부호|색상으로 구분된]] 타일과 같은 시각화, 다시 시작하지 않고도 재개할 수 있도록 프로세스 일시 중지 등이 포함될 수 있다. 소프트웨어는 해당 목적에 맞는 추가 기능을 가질 수 있다. 예를 들어, 디스크 벤치마킹 소프트웨어는 선택적으로 전체 디스크가 아닌 디스크의 지정된 범위 내에서 디스크 속도 측정을 시작하고, 무작위 액세스 읽기 속도 및 [[레이턴시]]를 측정하고, 지정된 간격과 크기의 샘플을 통해 속도를 측정하고 데이터 블록 크기(읽기 요청당 요청된 바이트 수를 의미)를 지정할 수 있는 "빠른 스캔" 기능이 있다.<ref>Software: HDDScan, GNOME Disks</ref>

==벤치마킹 원칙==
벤치마크에는 7가지 중요한 특성이 있다.<ref>{{콘퍼런스 인용|first1=Wei |last1=Dai |first2=Daniel |last2=Berleant |title=Benchmarking Contemporary Deep Learning Hardware and Frameworks: a Survey of Qualitative Metrics |date=December 12–14, 2019 |location=Los Angeles, CA, USA |book-title=2019 IEEE First International Conference on Cognitive Machine Intelligence (CogMI)|publisher=IEEE |doi=10.1109/CogMI48466.2019.00029 |pages=148–155|url=https://dberleant.github.io/papers/BenchmarkingContemporaryDeepLearningHardwareAndFrameworks.pdf |arxiv=1907.03626 }}</ref> 이러한 주요 속성은 다음과 같다.

# 관련성: 벤치마크는 상대적으로 중요한 기능을 측정해야 한다.
# 대표성: 벤치마크 성과 지표는 업계와 학계에서 널리 받아들여져야 한다.
# 형평성: 모든 시스템은 공정하게 비교되어야 한다.
# 반복성: 벤치마크 결과를 확인할 수 있다.
# 비용 효율성: 벤치마크 테스트는 경제적이다.
# 확장성: 벤치마크 테스트는 낮은 리소스부터 높은 리소스까지 다양한 리소스를 보유한 시스템 전반에서 작동해야 한다.
# 투명성: 벤치마크 지표는 이해하기 쉬워야 한다.

== 벤치마크 유형 ==
#실제 프로그램
#*워드 처리 소프트웨어
#*CAD의 도구 소프트웨어
#*사용자의 응용 소프트웨어(예: MIS)
#*[[비디오 게임]]
#*대규모 프로젝트를 빌드하는 [[컴파일러]](예: [[크로미엄 (웹 브라우저)|크로미엄 브라우저]] 또는 [[리눅스 커널]]).
#부품 벤치마크/마이크로벤치마크
#*코어 루틴은 상대적으로 작고 구체적인 코드 조각으로 구성된다.
#*컴퓨터 기본 부품의 성능 측정<ref>{{저널 인용|url=http://www.da.isy.liu.se/pubs/ehliar/ehliar-ssocc2004.pdf|title= Benchmarking network processors|
first1=Andreas|last1= Ehliar |first2= Dake |last2=Liu}}</ref>
#*레지스터 수, [[캐시]] 크기, [[메모리 레이턴시]] 등 컴퓨터의 하드웨어 변수를 자동으로 감지하는 데 사용될 수 있다.
#커널
#*키 코드가 포함된다.
#*일반적으로 실제 프로그램에서 추상화된다.
#*대중화된 커널: 리버모어(Livermore) 루프
#*린팩(linpack) 벤치마크(FORTRAN 언어로 작성된 기본 선형 대수 서브루틴 포함)
#*결과는 Mflop/s로 표시된다.
#합성 벤치마크
#*합성 벤치마크 프로그래밍 절차:
#**많은 응용 프로그램에서 모든 유형의 작업에 대한 통계를 얻는다.
#**각 작업의 비율을 구한다.
#**위의 비율에 따라 프로그램을 작성한다.
#*종합 벤치마크 유형은 다음과 같다.
#**[[웻스톤]](Whetstone)
#**[[드라이스톤]]
#*이것은 최초의 범용 산업 표준 컴퓨터 벤치마크였다. 현대 파이프라인 컴퓨터에서 반드시 높은 점수를 얻는 것은 아니다.
# 입출력(I/O) 벤치마크
# 데이터베이스 벤치마크
#* 데이터베이스 관리 시스템(DBMS)의 처리량과 응답 시간을 측정한다.
# 병렬 벤치마크
#* 다중 코어 및 프로세서가 있는 시스템 또는 다중 시스템으로 구성된 시스템에 사용된다.

== 공통 벤치마크 ==
일반적으로 하드웨어의 주요한 부품인 CPU, 램 등에 대한 밴치마크에 사용되는 테스트 프로그램으로는 [[pov-ray]] 등이 있다. 잘 알려진 하드웨어 벤치마크(benchmark)사이트로는 [[탐스 하드웨어]](Tom's Hardware)가 있다.<ref>[https://www.tomshardware.com/features/intel-core-i9-11900K-vs-amd-ryzen-9-5900x tomshardware- AMD Ryzen 9 5900X vs Intel Core i9-11900K: Rocket Lake and Ryzen 5000 CPU Face Off,By Paul Alcorn April 20, 2021]</ref>

== 같이 보기 ==
* [[벤치마킹]]
* [[비손실 압축]]
* [[중앙 처리 장치]]
* [[대형 언어 모델]]

== 각주 ==
{{각주}}

== 참고 자료 ==
* [https://medium.com/thebestproduct/%EC%9D%B8%ED%85%94%EA%B3%BC-amd-%EB%9D%BC%EC%9D%B4%EC%A0%A0-ryzen-cpu-%EC%84%B1%EB%8A%A5-%EC%88%9C%EC%9C%84%EC%99%80-%EC%9E%A5%EB%8B%A8%EC%A0%90-%EC%A0%95%EB%A6%AC-f7c41543dee4 Medium-인텔과 AMD 라이젠(Ryzen) CPU 성능 순위와 장단점 정리]

== 외부 링크 ==
* {{위키공용분류-줄}}
* {{저널 인용|last1=Lewis |first1=Byron C. |last2=Crews |first2=Albert E. |date=1985 |title=The Evolution of Benchmarking as a Computer Performance Evaluation Technique |url=https://www.jstor.org/stable/249270 |journal=MIS Quarterly |volume=9 |issue=1 |pages=7–16 |doi=10.2307/249270 |jstor=249270 |issn=0276-7783 |url-access=registration}} The dates: 1962-1976

{{전거 통제}}
[[분류:컴퓨터 벤치마크| ]]