Az első diplomáciai misszió 1706-ban érkezett Berlinbe, akkor még az Orosz Birodalom és a Német-római Császárság közti diplomáciai kapcsolatok történetének fontos állomásaként. Az első követ Albrecht von der Lieth volt. Az első világháború időszakában a követség épületét az oroszok elhagyták, A békekötést követően pedig nem orosz, hanem szovjet követségként működött az intézmény. 1941-ben a Harmadik Birodalom lerohanta a Szovjetuniót, ekkor kezdetben internálótáborként működött a követségi udvar. Az ott összegyűjtött személyeket – jellemzően a követség dolgozóit – később kicserélték a moszkvai német követség tagjaira. Ezt követően az épületben az ún. Keleti Minisztérium ("Ostministerium") működött. Ez a németek által megszállt keleti területek ügyeivel foglalkozó náci kormányzati csúcsszerv volt. Az Unter den Lindenen található épületet a világháború végén bombatalálat érte és elpusztult. A világháborút követően - már a Német Demokratikus Köztársaság területén - új épületet emeltek Anatolij Sztrizsevszkij és Fritz Bornemann tervei alapján. A megnyitásra 1952. november 7-én került sor. 1954 január-februárjában itt tartották a négy hatalom külügyminiszteri konferenciáját ("Berliner Außenministerkonferenz"). 1971 szeptemberében szintén a nagykövetség épületében írták alá azt a négyhatalmi megállapodást ("Viermächteabkommen über Berlin"), mely jelentősen enyhített a Nyugat-Berlinre nehezedő nyomáson. A Szovjetunió felbomlását követően - annak jogutódjaként - minden birtokát az Oroszországi Föderáció örökölte, így a nagykövetség épületét is.