Nach Ende des Weltkriegs engagierte sich das Paar für den Wiederaufbau Darmstadts, für Kunst, Museen und karitative Einrichtungen, wie das Alice-Hospital, das Eleonorenheim und das Rote Kreuz. Durch eine Ausleihe der berühmten Darmstädter Madonna an das Museum in Basel ermöglichten sie in den 1940er und 1950er Jahren Darmstädter Kindern, den Madonnenkindern, Ferienaufenthalte im schweizerischen Davos. Ludwig war unter anderem auch Mitbegründer des Institut für Neue Technische Form, des Rates für Formgebung, des Bauhaus-Archivs, schuf die Neue Künstlerkolonie Rosenhöhe und gestaltete den deutschen Pavillon für die Expo 1958 in Brüssel mit. Als Liebhaber der klassischen Musik förderte er die Ansbacher Festwochen und das Aldeburgh Festival. Für den befreundeten Benjamin Britten übersetzte er Texte und ließ den englischen Komponisten nach Wolfsgarten kommen, wo Teile seiner 1973 veröffentlichten Oper "Death in Venice" entstanden.