曾任元朝宰相的桑哥，便是胆巴的学生。忽必烈至元元年（1264年），大元帝师八思巴返回西藏时，结识了胆巴。至元六年（1269年），八思巴再赴元朝朝廷时，携来许多吐蕃僧人，其中包括胆巴。胆巴来到朝廷后，获忽必烈封为“金刚上师”，并奉忽必烈之命居于五台山寿宁寺。五台山设立藏传佛教寺院由胆巴开始。胆巴来到五台山后，便“建立道场，行秘密咒法，作诸佛事，祠祭摩诃伽刺，持戒甚严，昼夜不懈。屡彰神异赫然流间，自是德业隆盛，人天敬归。”胆巴苦心经营，使寿宁寺日盛，成为闻名的大寺。元英宗硕德八刺朝礼五台山时，便驻跸于该寺。