寺是由都松钦巴于其75岁的藏历蛇年（即1185年）兴建。后来，都松钦巴又于1187年在前藏堆龙地方兴建了楚布寺。噶玛寺与楚布寺并称康、藏的两大祖寺。后来，楚布寺成为噶玛噶举派的中心。但是噶玛寺仍然十分重要，历世噶玛巴坐床前后必须到噶玛寺朝佛讲经，噶玛噶举派信徒也多以朝拜噶玛寺为终生幸事。噶玛寺是藏传佛教史上开创活佛转世系统的第一座寺院（第一个活佛转世系统噶玛巴便起自噶玛寺创建人都松钦巴），对藏传佛教采用活佛转世制度影响很大。噶玛寺起初有许多活佛世系，其中最知名的为黑帽系（噶玛巴）和红帽系（夏玛巴）。