Han deltok i et 18-måneders språkkurs i kinesisk ved det amerikanske forsvarsdepartementets språkinstitutt fra 1954 til 1956. Deretter fortsatte han studiene ved Massachusetts Institute of Technology til han mottok sin Bachelor of science innen humaniora med bifag innen kjemi i 1958. To år senere fikk han graden Master of arts innen vitenskapshistorie ved Harvard og i 1966 PhD i samme emne, også ved Harvard. Sivin fikk senere en æres-Master of arts ved University of Pennsylvania.