Felipe era el hijo menor del conde Simón VI de Lippe-Detmold.