Felipe fue hijo de Francisco y Lucrecia Neri, quien falleció cuando Felipe aún era un niño.