Su padre Adolf Furtwänglerera un importante arqueólogo y Adelheid Wendt su madre fue pintora y muy ligada a la música (su padre fue amigo de Johannes Brahms), su hermano fue Walter (1887-1967) y sus hermanas Marit (1891-1971) y Annele (1900).