Caspar Olevian var sønn av en baker, laugsmester og rådsherre. Moren var datter av en slakterlaugsmester og rådsherre. Navnet Olevian avledet faren fra Olewig som nå er en bydel i Trier. Det var fra Olewig familien stammet opprinnelig. Caspar Olevian gikk på forskjellige skoler i Trier. Han forlot byen som 13-åring.