His mother Joanna remained titular queen of Castile until her death in 1555, but due to her mental health and worries of her being proposed as an alternative monarch by opposition (as happened in the Revolt of the Comuneros), Charles kept her imprisoned.
Η μητέρα του, Ιωάννα, παρέμεινε κατ' όνομα βασίλισσα της Καστίλης έως το θάνατο της το 1555, αλλά εξαιτίας της ψυχικής της υγείας και ανησυχιών επειδή προτεινόταν ως ένας εναλλακτικός μονάρχης από την αντιπολίτευση (όπως συνέβη στην Εξέγερση των Κομουνέρος), ο Κάρολος την κράτησε φυλακισμένη.