Nacque da Felix Milder, un pasticcere alle dipendenze dell'ambasciatore austriaco Baron Herbert von Rathkeal in istanza a Costantinopoli, e da sua moglie, dama di compagnia della moglie dell'ambasciatore. Quando Anna aveva cinque anni la famiglia partì per Bucarest, dove Felix lavorò come traduttore fino a quando non dovettero lasciare la città a causa della guerra austro-turca (1787–1791). Stabilitisi a Vienna, Anna studiò il tedesco e prese lezioni di musica. Fu notata da Sigismund von Neukomm, il quale divenne il suo insegnante per due anni. Su consiglio di Emanuel Schikaneder studiò anche con Antonio Salieri.