Filip II:n isällä Kaarle V:llä oli sivusuhteita monien naisten kanssa ja niistä syntyi myös lapsia. Filip II otti heistä eräitä palvelukseensa ja myönsi heille korkeita hallinnollisia tehtäviä. Sisarpuoli Margareta Parmalainen oli Alankomaiden käskynhaltija ja velipuoli Don Juan d’Austria komensi kristittyjen liittouman laivat voittoon Lepanton meritaistelussa.