时当过牧童，13岁时被送进喇嘛庙。17岁时逃出喇嘛庙，赴库伦，靠搬运、打更维持生计（曾取汉名崔保善），后来进入库伦的俄罗斯帝国领事馆办的翻译学校学习。1914年春，因成绩优秀，乔巴山被送往俄国伊尔库茨克师范学院附设高级小学学习。在俄国期间，乔巴山见到布尔什维克党领导的俄国工人运动。1917年俄国二月革命之后，乔巴山等留学俄国的学生被外蒙古召回。1919年，乔巴山在库伦参与组织秘密革命小组，不久该小组便同苏赫巴托尔领导的小组合并，筹建蒙古人民党，并筹组人民武装。1920年6月，乔巴山秘密赴苏维埃俄国，在伊尔