Richardson ble uteksaminert fra Harvard University i 1941 rett før utbruddet av andre verdenskrig. Fra 1942 tjenestegjorde han som sanitetssoldat, og var blant annet med i Operasjon Overlord under 4th Infantry Division, hvorpå han siden fikk utnevnelsen Purple Heart. Etter krigen fortsatte han med studier innen rettsvitenskap ved Harvard Law School, hvor han ble uteksaminert i 1947. I tiden etter uteksamineringen arbeidet han som kontorist ved den føderale appeldomstolen under ledelse av Learned Hand, og senere under Felix Frankfurter. Fra 1959 til 1961 tjenestegjorde Richardson som jurist for delstaten Massachusetts, før han fra 1965 til 1967 ble valgt til viseguvernør i samme delstat.