Su padre, el Barón Ludwig von Westphalen (1770-1842), era un viudo con cuatro hijos de anteriores matrimonios, que sirvió como "Regierungsrat" (burócrata con un alto cargo en la Administración Pública) en Salzwedel y en Tréveris.