Marvin Mandel ble uteksaminert fra Baltimore City College og avla juristeksamen ved University of Maryland i 1942. Mens han studerte jus giftet han seg med Barbara «Bootsie» Oberfeld. Han hadde sin advokatpraksis i Baltimore og var ordfører i Marylands delegathus fra 1963 til 1969.