Felipe tuvo dos hermanas menores, Catalina e Isabel Neri y un hermano que murió siendo aún muy niño.