宫北侧悬崖的一个花园中静修，放弃了他在1702年发表公众演讲的计划，而这是作为他修炼的一部份。他在年轻的时候开始学习哲学、诗歌、历算，并且拒绝成为沙弥。他喜欢饮酒，与男男女女结伴，并创作情歌。
被废黜与下落之谜.桑结嘉措与和硕特汗国的拉藏汗产生严重对立。拉藏汗则与清朝的康熙帝结盟。1705年，拉藏汗进攻拉萨，杀害了摄政桑结嘉措。对此仓央嘉措表现出非常不安，他离开了自己的静修地前往日喀则，请求师傅五世班禅喇嘛的原谅，将僧衣脱下还给了五世班禅，将以表舍戒还俗之意。后来，他返回布达拉宫