Fred var sønn av Johanna «Ann» (født Geilus) og Frederic «Fritz» Austerlitz (født 8. september 1868 som Friedrich Emanuel Austerlitz). Astaires mor var født i USA av lutherske tyske emigranter fra Øst-Preussen og Elsass. Astaires far var født i Linz i Østerrike av jødiske foreldre som hadde konvertert til den katolske kirke.