语“帕邦喀”意为“大石”，因该寺建在大石上而得名。帕邦喀起初是松赞干布为其五妃兴建的五座道场之一（其他四座是大昭寺、小昭寺、查拉鲁普、扎叶巴寺），文成公主曾经住在帕邦喀，并且按照风水将此地断定为拉萨之北玄龟位。后来，大臣吞米·桑布扎在帕邦喀研究发明了藏文。8世纪吐蕃赞普赤松德赞时期，西藏历史上最早的七比丘“桑耶七觉士”、莲花生、静命（705年－762年）以及赤松德赞本人，均曾在帕邦喀修行。噶当派时期，曾经一度荒废的帕邦喀被噶当派祖师复兴。鼎盛时期，该寺有7000多名僧人在此学经。后来，该寺由色拉寺管