挤苯教时，木辛氏后裔木扎赛路易杰保到达木（位于后藏）止村定居，并娶妻生子，使木辛氏族延续至今。据说，木辛氏的先祖来到谢通门塔西地方时，见空中降下一条白色哈达，为吉祥之兆，乃定居此地，后来兴建了颇章。西藏民主改革前，色果查姆寺有苯教僧人80多人。蒙古准噶尔部入侵西藏时，该寺幸免于难。“文化大革命”中，该寺被毁。1988年，国家拨款修复了色果查姆寺。
建筑.色果查姆寺由拉措颇章和大殿两部分构成。拉措颇章是木辛家族的官邸，大殿则是苯教僧众集会及举办宗教活动的场所。