Han ble født som eldste sønn av Thomas Howard, 4. hertug av Norfolk og Lady Mary FitzAlan, datter av Henry Fitzalan, 19. jarl av Arundel. Han ble døpt i Palace of Whitehall med medlemmer av kongefamilien til stede, og fikk navn etter sin gudfar Filip II av Spania.