Stała dyplomatyczna reprezentacja rosyjska przy dworze wiedeńskim datuje się dopiero od czasów, gdy Piotr I Wielki wprowadził reformy wzorowane na zachodnich metodach administracyjnych. Pierwszym rosyjskim przedstawicielem przy monarchii habsburskiej był Piotr Golicyn, który objął placówkę w Wiedniu 4 lutego 1701 roku. W pierwszej połowie XVIII wieku Rosja wysyłała do Wiednia wielu posłów (czasem nawet dwóch w tym samym czasie), którzy nosili różne tytuły. W 1720 roku oba państwa zawarły przymierze, które choć chwilami kłopotliwe przetrwało, aż do drugiej połowy XIX wieku, kiedy to konkurencja obu cesarstw na Bałkanach spowodowała liczne napięcia. Do I wojny światowej oba państwa przystąpiły po przeciwnych stronach. 6 sierpnia 1914 roku, wskutek wybuchu wojny stosunki między dwoma krajami zostały zerwane. Wznowiono je w kwietniu 1924, lecz już w zupełnie innej sytuacji politycznej. Austro-Węgry rozpadły się, a republikańska Austria utraciła znaczenie mocarstwowe. W Rosji w listopadzie 1917 władzę przejęli bolszewicy, którzy w grudniu 1922 utworzyli Związek Socjalistycznych Republik Radziecki. Anschluss w 1938 roku doprowadził do zaniknięcia stosunków dyplomatycznych między dwoma krajami. Od 1945 roku ziemie austriackie były okupowane przez zwycięskie mocarstwa. Już w 1953 roku Moskwa wyznaczyła ambasadora. Do kolejnej zmiany w stosunkach dwustronnych doszło w 1991 roku, po rozpadzie ZSRR, gdy powołana została Federacja Rosyjska.