컬럼비아 대학교
윌리엄스는 컬럼비아 대학교 학생으로, 입학 원년에 18승 3패를 기록하였다. 컬럼비아 대학교 입학할 당시 그는 국내 주니어 남자 사브르 랭킹 8위였고, 시니어 남자 사브르 랭킹 19위였다. 윌리엄스는 새크라멘토 펜싱 클럽에서 처음 칼을 잠았다. 고등학교 졸업 후, 제임스는 컬럼비아 대학교에 다니기 위해 뉴욕 시로 이사갔다. 그는 2007년에 미국사와 러시아학을 복수 전공한 뒤 학사학위를 받았다.