Ludwig ble født i en musikalsk familie; hennes far, Anton Ludwig, var en tenor og opera-administrator, hennes mor, mezzo-sopranen Eugenie Besalla-Ludwig, sang på Aachen-operaen under Herbert von Karajans tid som dirigent. Ludwigs første sanglærer var moren.