asketeddy/gooo-record-field-tiny-v2

Gooo paired field intentions v2

연구 PR16은 전체25개 CI 통과 후 main 05db7d6e13e66259d2d116ef5c97d36216b04c4b로 병합했습니다. Linux의360회 조립·720회 실행 원본도 내려받아 독립 재계산하고 Mac의 부분 충족 수와 모두 비교했습니다. 원본 artifact의 SHA256과 소스 지문을 확인했습니다. 검증 기록은 validation/release-validation.json, 별도Linux 실행 원본은 validation/linux-native.zip에 있습니다. 원래 자료와Linux 원본을 합친 비압축 크기는 약117.23MiB로128MiB 안에 있습니다. 가중치와 학습 설정은 처음 공개한 실험 그대로입니다.

Gooo에 조건문, 변수와 필드별 선택지를 적고, 작은 자체 모델이 조립 순서를 제안하는 실험입니다. 설계도에서 제목·상태·사유에 들어갈 부품을 두 개씩 준비하고, 모델이 요구 문장을 읽어 조합을 고릅니다. 컴파일러는 실제로 조립하고 실행한 뒤 맞은 필드와 남은 부분을 기록합니다.

이번에는 같은 선택지에 반대 요구를 짝지었습니다. 제목을 유지하거나 상태를 복사하고, 상태를 ready 또는 wait로 채우며, 사유의 앞이나 뒤에 문자열을 붙입니다. 본문에 따라 draft·deferred 상수를 고르는 요구도 포함합니다. 세 요구를 섞은 여덟 조합을 모두 다루고, 새로운 한영 표현은 따로 평가합니다.

관측 결과: FP32의 첫 완전 조합 비율은 같은 평가에서 기존 v1의12.5%에서 27.6%로 올랐습니다. 새로운 본문과 새로운 표현이 함께 있는 평가에서는15.8% 였습니다. 삼진 모델의 개선은 작았습니다. 실제 실행의 변환 필드는 더 많이 맞았지만, 첫 후보 하나로 완성되는 비율과 분모를 따로 읽어야 합니다.

공개한 계획과 범위

• 학습 이전 공개 계획: 0de4570.
• 실제 학습 소스: f982bff.
• 컴파일러: clean main aeff3641254ac5f795fa1fb8c94bed702f10cbe4, Go1.27.1.
• SDK: v0.2.22-experimental, 특징 버전 triple_record_field_context_v1_joint_v1.
• 같은768/24/8 네트워크,18,656개 매개변수, 같은 새 초기값(seed20261051).
• Go가 소스·특징·유한 예시의 정답을 만들고, Python은 오프라인 MPS 학습과 내보내기를 수행합니다. Go가 모델 추론과 코드 생성·실행·지표 계산을 맡습니다.

전체7,168개 소스 관측은 여덟 본문/후보식 모양 × 여섯 필드 순서 × 여덟 후보 방향 × 여덟 요구 조합 × 한영 언어의6,144개 기본 표현과, 두 새로운 표현의1,024개 관측으로 이루어집니다.3,072개는 학습,1,536개는 보정에 씁니다. 학습/보정 밖의 세 평가 축은 아래와 같습니다.

평가 축	관측 수	공유되는 것
다른 본문/후보식, 기본 표현	1,536	요구 조합과 기본 문구
학습한 본문, 새로운 표현	512	본문·선택지의 골격
다른 본문, 새로운 표현	512	세 필드 역할과 요구 조합

본문6/7은 앞선 v1에서 이미 관측한 개발 벤치마크입니다. 모든 여덟 요구 조합은 학습에도 있습니다. 세 축의 정확한 소스·문맥·특징 바이트 중복은 모두0이며, 학습한 본문의 표현 평가에서는 골격을 의도적으로 공유합니다. 작성한 세 필드 역할과 여덟 모양에 대한 결과로 읽을 수 있습니다.100가지 독립 실험 방식이라는 더 큰 언어 연구 목표는 계속 진행 중입니다.

각 소스의 다섯 예시와15개 필드를 실제 결정론적 컴파일러 조립으로 확인했습니다. 모델 문맥에는 필드 이름, 두 후보식 전체와 의도가 들어갑니다. 예시 입력과 예상 출력은 실행 관측에서 사용합니다. 학습은40 FP32 +40 QAT epoch, 각1,920회, 총3,840회 실제 갱신입니다. 보정 자료가 epoch와 온도를 고르며, 평가 결과를 본 뒤 학습 설정이나 모델을 다시 조정하지 않았습니다.

첫 완전 조합과 후보 예산

모델	다른 본문: 첫 후보	두 후보 안	네 후보 안	새 표현·같은 본문: 첫 후보	새 표현·다른 본문: 첫 후보
기존 필드 v1 FP32	192/1,536 (12.50%)	384	764	64/512 (12.50%)	64/512 (12.50%)
새 FP32	424/1,536 (27.60%)	844	1,251	100/512 (19.53%)	81/512 (15.82%)
새 PTQ 삼진화	191/1,536 (12.43%)	384	768	64/512 (12.50%)	64/512 (12.50%)
새 QAT 삼진화	212/1,536 (13.80%)	450	874	67/512 (13.09%)	65/512 (12.70%)

다른 본문의 첫 후보에서 맞은 개별 필드 요구는 기존2,304/4,608(50%), FP32 2,942/4,608(63.85%), QAT 2,430/4,608(52.73%)입니다. 새 표현·다른 본문의 FP32는831/1,536(54.10%)입니다. 세 필드를 모두 맞춰야 완전 조합 하나가 맞으므로 두 지표의 비율이 다릅니다. FP32의 다른 본문 첫 조합은 한글191/768, 영어233/768이며, 새 표현은 한글41/256, 영어40/256입니다. 기존 모델은 균형 잡힌 여덟 조합에서12.5%를 기록합니다. 결정론적 고정 첫 마스크도 이 전체 균형 자료에서는12.5%이며, 부분집합 실행 수치는 달라집니다.

120개 내보내기/Go 수치 비교의 최대 logit 오차는0.00000131입니다. 소스·문맥·특징을 재생하고 이 비교를 통과한 뒤 평가 지표를 계산했습니다. 모든 예측 순서와 시간은 evidence.zip의 audit/에 있습니다.

실제 실행에서 맞은 부분

사전에 고정한24개 소스를 다섯 방식, 예산1/2/8로 조립해360개 그래프를 생성하고 각 두 번 실행했습니다.16개는 기본 표현,8개는 새로운 표현입니다. 새 입력 두 개는 변환을 요구하고, 두 개는 조건에 따라 입력을 그대로 반환합니다. Go가 원본 입력·활동 간 전달·실제 출력·자식 프로세스 상태를 다시 읽어360개 요약 모두를 독립 재계산했습니다.

아래는 예산 하나에서 변환이 활성화된 사례의 필드만 셉니다. 입력 그대로 반환하는 보호 조건의 필드는 모든 방식에서 각각96/96,48/48입니다.

방식	기본 표현: 활성 필드	새 표현: 활성 필드	두 축의 실제 값 변경 요구
결정론적 순서	48/96	24/48	60/120
기존 필드 v1 FP32	48/96	24/48	48/120
새 FP32	76/96	32/48	92/120
새 PTQ	46/96	24/48	54/120
새 QAT	44/96	26/48	62/120

새 FP32는 선택한24개 소스의 활성 필드108/144(75%), 실제 값 변경 요구 92/120(76.67%)를 맞췄습니다. 이는 전체 평가의 첫 완전 조합27.6%와 분모가 다릅니다. 이24개 소스는 작은 실행 표본입니다. 예산8에서는360개 중 해당 예산의120개 조립 모두 선택 필드15/15, 실행 필드12/12, 이름 있는 출력8/8을 충족합니다. 추론은 조립 시작에 한 번이고, 두 네이티브 실행의 추가 호출은0번입니다. 부분 완성과 실제 실패 값도 원본에 남습니다.

시간과 메모리

비용	관측값
FP32 Go 판단 중앙값, 다른 본문	17.792µs
PTQ / QAT Go 판단 중앙값, 다른 본문	16.250µs / 16.250µs
FP32 파일 / 상주 텐서	74,624B / 74,624B
삼진 파일 / 상주 텐서	3,854B / 18,752B + 스케일8B
실제 GPU 학습 루프 합계	5.341초
전체 학습 프로세스 시간 / CPU 시간	7.21초 / 4.17초
전체 학습 프로세스 최대 RSS	538.28MiB
샘플링한 MPS 텐서 / 드라이버 최대 할당	13.81MiB / 50.72MiB

CPU 시간/전체 시간으로 계산한 평균은 CPU 한 코어 기준57.84%입니다. 호스트 전체 CPU 사용률 증가와 GPU 사용률은 측정하지 않았습니다. MPS 메모리 할당량은 별도 비용입니다. 모델 파일은 작아도 학습 도구 전체는538MiB까지 사용했습니다. 추론의 임시 파싱 할당과 프로세스 전체 RSS도 텐서 메모리와 따로 관측해야 합니다.

기본 표현 예산1의 전체 명령 중앙값은 결정론395.86ms, FP32 397.60ms였습니다. Go 컴파일과 프로세스 시작을 포함하는 고정 순서의 제어 관측입니다.17.8µs 판단 비용과 전체 조립 시간을 함께 읽을 수 있습니다. 이 실행 자료에서는 전체 명령의 시간 차이가 작았습니다.

삼진 행렬은 바이트에 다섯 값을 넣어 약1.6비트/가중치로 저장합니다. 정보량의 이론값은 약1.58비트이고 Go는 실행할 때 int8 배열로 풉니다. 이번 QAT는 혼합 의도에서 표현력을 많이 잃었습니다. 모든 세 모델을 보존하고 현재 기본 모델 선택은 그대로 두었습니다.

직접 실행하고 지표 보기

공개 모델은 asketeddy/gooo-record-field-tiny-v2입니다. demo.gooo.fixture는 제목에 입력 상태를 복사하고, 상태는ready, 사유는 접미사를 붙이는 혼합 요구입니다. 첫 후보 예산으로 제공합니다.

hf download asketeddy/gooo-record-field-tiny-v2 \
  models/fp32/model.json models/fp32/weights.bin demo.gooo.fixture demo-cases.json \
  --local-dir ./gooo-paired-demo
gooo body-compose --source ./gooo-paired-demo/demo.gooo.fixture \
  --cases ./gooo-paired-demo/demo-cases.json \
  --model ./gooo-paired-demo/models/fp32/model.json

모델 옵션을 생략하면 결정론적 순서로 조립합니다. 소스의 attempts "1"을 attempts "8"로 바꾸면 모든 후보를 확인합니다. 소스 안의 의도와 예시를 함께 바꿔 다른 요구를 시험할 수 있습니다. --composition으로 저장한 조립을 재사용하면 새 입력을 실행할 때 추론을 추가하지 않습니다.

연구 저장소에서 Go1.27.1로 전체 관측을 다시 읽을 수 있습니다.

unzip -q publication/paired-field-intents-20261005/evidence.zip -d /tmp/gooo-paired
GOWORK=off GOTOOLCHAIN=local go run ./cmd/record-field-curriculum \
  --paired-summary /tmp/gooo-paired --output /tmp/gooo-paired-summary.json
GOWORK=off GOTOOLCHAIN=local go run ./cmd/record-field-curriculum \
  --paired-audit /tmp/gooo-paired/prepared --models /tmp/gooo-paired/trained/models \
  --frozen-model publication/paired-field-intents-20261005/baselines/frozen-field-v1/model.json \
  --output /tmp/gooo-paired-audit-new
GOWORK=off GOTOOLCHAIN=local go run ./cmd/record-field-curriculum \
  --paired-recount /tmp/gooo-paired/native --audit-prepared /tmp/gooo-paired/prepared \
  --output /tmp/gooo-paired-recount-new.jsonl

--paired-summary는 세 평가 축의 비율, 활성/조건 반환/값 변경 요구, 추론·학습 비용을 짧게 출력합니다. 새 출력 위치를 사용합니다. 모든7,168개 소스와 문맥, 특징, 학습 기록, 예측과360개 원본 실행은15,523개 파일, 94.23MiB의 원본으로 묶었습니다. 압축본은 약22MiB입니다.128MiB 자료 예산과 파일별 체크섬을 함께 제공합니다.

공개 다운로드와 흐름 확인

원래 공개 커밋 7434976a133e8694bdd2914718961a9bf89e3753의19개 파일을 다운로드해 원본과 모두 비교했습니다. 다운로드한 가중치를 설치 main에 직접 연결한 여섯 제어 실행도 확인했습니다. 혼합 요구 예제의 첫 후보는 FP32에서 선택 필드15/15와 실행 출력8/8, 결정론에서12/15와4/8이었습니다. 전체 예산은 모든 세 모델과 결정론에서 완성했고 실행 중 추가 모델 호출은0번입니다.

이어 두 작업자에게24개 혼합 요구 소스를 반복한32개 조립 요청을 보냈습니다. 첫 요청의 응답을 받기까지 입력 스트림을 열어 두었습니다. 첫 결과는42.26ms에 나왔고32개 요청은86.50ms, 프로세스 CPU121.67ms에 끝났습니다. 선택 필드 480/480개, 최대RSS22.38MiB였습니다. 이 관측은 입력 종료를 기다리는 장벽과 요청 멈춤이 있는지 실제로 확인합니다. 상주 작업자는 레코드를 조립하고, 레코드 그래프 실행은 body-compose에서 진행합니다.

validation/public-dogfood.json이 관측과 실행기 지문을, validation/public-dogfood.go가 실제 사용한 표준 Go 관측 코드를 담습니다. 원래 GitHub 공개 자료, 원래 커밋의 HF 다운로드, 압축을 푼native 위치, 컴파일러, 작업자, 새 출력 위치를 순서대로 전달해 실행할 수 있습니다.

추가 특징 진단에서 학습3,072개 관측은2,304개 특징 벡터를 가졌습니다. 중복768개는 같은 정답이었고, 동일 특징에 서로 다른 마스크를 요구하는 경우는 0개였습니다. 각 평가 축에는 정확히 같은 특징의 중복이 없었습니다. 이 결과와 관측 코드는 validation/feature-conflicts.json·.go에 남겼습니다. 현재 학습 자료에서 동일 특징의 상충 정답을 원인으로 지목할 근거는 없습니다. 가까운 특징의 겹침과 작은 판단기의 표현 방식은 다음 실험에서 비교합니다.

다음 접근과 참고 연구

다음 실험은 필드마다 두 후보를 작은 공유 판단기로 비교하고, 그 세 확률로 조합 순서를 구성하는 방법입니다. 지금 모델은 여덟 전체 마스크를 한 번에 고릅니다. 필드별 비교는 새 필드 순서와 혼합 요구를 더 작은 문제로 나눌 수 있다는 가설입니다. 특징 계약과 실행 지표를 새로 고정하고 별도로 관측합니다. 후보의 타입과 실제 실행 경로는 계속 Gooo 소스에 남습니다.

DeepCoder의 학습된 프로그램 속성으로 탐색을 안내하는 아이디어와, DreamCoder의 재사용할 언어 부품을 축적하는 아이디어를 참고합니다. Gooo에서는 후보식과 연결을 소스로 남기고, 자체 모델이 그 조합의 순서를 돕는 작은 범위부터 실험합니다. BitNet b1.58의 삼진 가중치 원리가 저사양 실험의 참고점입니다. 이 모델에서 관측한 양자화 손실과 실제 메모리를 함께 공개합니다. 앞선 Laya 실험은 로컬 판단 방향의 출발점이며, 이번 가중치는 기록한 자체 초기값에서 학습했습니다.