Juan var uekte sønn av keiser Karl V og Barbara Blomberg, en tysk vertshuspike i Regensburg som var keiserens elskerinne en periode i 1546, da hun var 19 år gammel. Juan ble født i hemmelighet, ble tatt fra moren og vokste opp i en anonym tilværelse i Spania, ukjent også for Karls øvrige familie.