Karl var andre sønn til den senere kong Maximilian I og hans hustru Augusta av Hessen-Darmstadt; hans søster Augusta ble mor til dronning Josefine av Norge og Sverige. Han fikk en rent militær oppfostring.