Hun ble født Olga Maria Elisabeth Frederike Schwarzkopf i Jarotschin i den prøyssiske provinsen Posen i det nåværende Polen, og viste interesse for musikk allerede i meget ung alder. Hun sang sin første operarolle i 1928, som Evrydike i en skoleoppsetning av i Magdeburg.