玛派（红教），和山南地区的敏珠林寺有母寺、分寺的关系，但自民主改革至今已没有来往。该寺鼎盛时期，僧尼达到147人（其中僧人126人，尼姑21人）。色吾寺是南木林县有名的寺院。1959年西藏骚乱中，因该寺部分僧尼参与“叛乱”，该寺被定为“参叛寺”。文化大革命时期，寺院遭到部分破坏。当时由于政治逼迫迫，僧尼全部回家还俗。中共十一届三中全会以后，民族宗教政策逐步落实，为满足农牧民群众就近开展宗教活动的需要，经南木林县、拉布普区（现在的拉布普乡当时是拉布普区）两级政府批准，于1985年起恢复重建色吾寺。在原寺废