היחסים בין המדינות החלו בינואר 1979, בזמן מלחמת הסבך הרודזי. ברית המועצות תמכה באיחוד העם האפריקני בזימבבואה של ג'ושוע נקומו וסיפקה להם נשק; ניסיונותיו של רוברט מוגאבה להשיג תמיכה סובייטית באיחוד הלאומי האפריקני בהנהגתו בזימבבואה נדחו, מה שהביא אותו להיכנס למערכת יחסים עם יריבתה הסובייטית סין, שהגיעה לשיאה בפגישה בינואר 1979 במוזמביק, בה אישרו שני הצדדים את כוונתם לשתף פעולה יותר מקרוב. שתי המדינות כוננו רשמית יחסים דיפלומטיים ב-18 באפריל 1980, יום עצמאותה של זימבבואה. כעבור חודשיים ביקר שר החוץ של זימבבואה סימון מוזנדה בבייג'ינג כדי להביע תודה; אחריו ביקר נשיא זימבבואה רוברט מוגאבה בעצמו בשנה שלאחר מכן.