礼堂的地基是原有的一座可容纳三四百人的砖木结构、茅草覆顶的礼堂在遭受火灾后留下的废墟。会址确定后,李富春便请延安自然科学院的建筑专家杨作材重新设计了建筑方案。杨作材加班加点拿出了两个修建方案。一个规模相当宏大,足够全部中央机关人员在一幢建筑内工作。李富春看了这个方案开玩笑说:“你不是想在这个地方建都吧?”另一个方案因为比较实用更像个开会的地方,便确定了下来。
除了当地的建筑工人之外,中央机关以及部队院校的很多干部职工也参加了义务劳动。但当初人们并不知道这座建筑是什么用途,因为开会一事是严格保密的。