Han ble født i Detmold, sønn av Simon August, greve av Lippe-Detmold (1727–1782) og hans andre kone prinsesse Leopoldine av Anhalt-Dessau.