Destinée à exalter la relation entre la France et le grand empire austro-hongrois du tout début du et à affirmer le rayonnement et la puissance de la République française qui venait d'accueillir l'Exposition Universelle, l'ambassade a été imaginée par l'architecte Georges Chedanne, célèbre par sa réalisation des Galeries Lafayette ou de l'Élysée Palace. D'une surface totale de 6500 m², le bâtiment a été construit à partir de 1904. Chedanne s'entoura des meilleurs représentants de l'Art nouveau : Hippolyte Lefèbvre, Binet, Dubois, Vernon, Gasq, Sicard. Les plus grandes manufactures françaises de l'époque furent aussi sollicitées pour l'aménagement intérieur : tapisseries des Gobelins, glaces de Saint-Gobain, mobilier de Tony Selmersheim, cristaux de Gagneau et Daum, escalier de Majorelle.