1959年西藏骚乱中，因该寺部分僧尼参与“叛乱”，该寺被定为“参叛寺”。文化大革命时期，寺院遭到部分破坏。当时由于政治逼迫迫，僧尼全部回家还俗。中共十一届三中全会以后，民族宗教政策逐步落实，为满足农牧民群众就近开展宗教活动的需要，经南木林县、拉布普区（现在的拉布普乡当时是拉布普区）两级政府批准，于1985年起恢复重建色吾寺。在原寺废墟上修复大经堂以及9座殿堂，供奉莲花生师徒三尊塑像，以及空行母益西措杰（原为吐蕃赞普墀松德赞的妃子，后来拜莲花生为师，成为密法大师）的修行洞。到21世纪初，修复后的色吾寺占地面积已达到3393平方米。