Fra 1957 til 1970 var Ludwig gift med bassbarytonen Walter Berry; paret opptrådte ofte sammen. I 1972 giftet hun seg med den franske scenemanageren Jean-Emile Deiber.