1951年年底，六安至佛子岭公路通车，指挥部开始由各方调配人员，民工多来自皖西北六安、阜阳等地，并从江苏、上海等地招聘技术工人，次年清基工程正式开工。1952年7月，刚在寿县完成土改的解放军第90师改编为水利第一师参加了水库建设。大坝从1952年7月开始浇筑坝身混凝土，至1954年9月浇筑完成，11月工程竣工。大坝围堰曾在1953年洪水中被冲毁，工程一度停工。1954年6月，在工程即将竣工时发生了里氏5.25级地震，坝体未出现破坏现象，但一些观点猜测此地震可能由水库的建设所引发。工程的建设期间正值朝鲜战争和国内剿匪斗争进行之中，国内环境复杂，建设过程曾抓获十余名空降来破坏工程的国民党特务人员。