Frazer studerte ved Universitetet i Glasgow og på Trinity College ved University of Cambridge hvor han tok eksamen med æresbevisning på klassikerne (hans doktoravhandling ble senere utgitt under tittelen The Growth of Plato's Ideal Theory) og forble medlem av den klassiske departementet resten av livet. Han forlot Trinity for å studere jus ved Middle Temple, men praktiserte aldri. Han ble fire ganger valgt til Trinitys tittel «Alpha Fellowship», og ble assosiert med lærestedet for det meste av livet, unntatt for et år, 1907–1908, da han var ved Universitetet i Liverpool. Han ble adlet i 1914. Han ble ikke blind, men fikk kraftig synsvekkelse fra 1930-tallet og framover. Han og hans hustru Lily døde samme dag innenfor noen timer og ble gravlagt ved kirkegården Ascension Parish Burial Ground i Cambridge, England.