纪念碑由苏军指挥部设立，在1945年8月开始修建，同年11月7日（十月革命28周年）完成，并举行典礼。到了1960、70年代，中苏关系因珍宝岛事件而大幅恶化，有些象征中苏友谊的纪念碑受波及，哈尔滨市苏军烈士纪念碑曾被脚手架围住；但是，在清明节和欧战胜利纪念日，苏联驻华使领馆、中苏友好协会等单位都会在纪念碑前献上花圈。中苏关系恢复正常后，烈士纪念碑进行了修葺工程。1997年11月11日，时任俄罗斯总统鲍里斯·尼古拉耶维奇·叶利钦访问哈尔滨，期间在纪念碑前献上花圈。哈尔滨市苏军烈士纪念碑在1995年成为