כמו כן נולדו לקרל החמישי מספר ילדים מחוץ לנישואין. מבין הללו הפכו שניים לשליטי הולנד מטעם שושלת הבסבורג: מרגרטה מפרמה, בתה של המאהבת יוהנה מאריה ון דר חיינסט; וחואן מאוסטריה, בנה של המאהבת ברברה בלומברג, שהתפרסם אחר כך בקרב לפנטו.