班禅、三世班禅均为恩贡一带人，且出自一家族。15世纪明朝年间，二世班禅自拉萨学经归来后，便住在恩贡寺传扬宗喀巴的格鲁派，原来信奉萨迦派的恩贡寺僧众皈依格鲁派之后，奉二世班禅为寺主。四世班禅为学习更多佛教知识，舍弃了恩贡寺活佛的身份，以普通喇嘛的身份赴扎什伦布寺学经，后因佛学知识渊博，出任扎什伦布寺寺主。十世班禅任命恩贡寺的恰扎活佛恰扎·强巴赤列为扎什伦布寺民主管理委员会主任。恩贡寺有两个活佛系统，即恰扎活佛、斯布活佛。1984年，国家拨5.5万元专款修复了恩贡寺。
建筑.恩