Robert J. Walker var sønn av en dommer. Han begynte med sine studier ved University of Pennsylvania, og tok slutteksamehn i 1819 sån årskullets beste. Deretter studerte han rettsvitenskap, og fikk i 1821 advokatløyve.