958年10月动工兴建，1959年7月完工。1959年10月内部预展，1960年8月正式对外开放。军事博物馆展览大楼与北京电报大楼和长话大楼一样，设计上遵循了当时苏式建筑的风格。与电报大楼和长话大楼不同的是，军事博物馆展览大楼主楼塔尖上托着的是中国人民解放军军徽，而前两者的塔尖上托着的则是五角星。2008年3月1日起，军事博物馆对外免费开放，成为北京市第一个免费开放的国家级博物馆。2008年5月，获国家文物局评定为“国家一级博物馆”。2010年7月，经中共中央、中央军委批准，军事博物馆展览大楼加固改