Figlio di un immigrato austriaco, Frederic "Fritz" Austerlitz (nato l'8 settembre 1868 come Friedrich Emanuel Austerlitz, i cui genitori erano ebrei convertitisi al cattolicesimo), e di un'americana discendente da tedeschi luterani, Johanna "Ann" Geilus, Frederick Austerlitz, questo il suo vero nome, dimostrò fin da bambino una grande passione per la danza. Quando il padre perse improvvisamente il lavoro, la famiglia si trasferì nel 1905 a New York per dare maggiori possibilità alla carriera dei bambini, che intrapresero gli studi presso l'Alviene Master School dell'Accademia di Teatro e delle Arti culturali per imparare a recitare e a cantare. La madre suggerì di cambiare il nome di famiglia da Austerlitz al più pratico Astaire, per evitare infelici accostamenti all'omonima battaglia.