Han var den eldste overlevende sønn av Franz I av Lothringen og Christian IIs datter Christine av Danmark. Faren døde etter kun et år med hertugtittelen, og moren regjerte derfor mens sønnen var umyndig. I 1547 arvet han etter sin farfars mor Philippa av Gelderland en større arv. Som 11-årig ble han sendt til det franske hoffet i Paris.