Filip ble født i Valladolid som eneste sønn av keiser Karl V av det tysk-romerske rike og Isabella av Portugal.