Цэрэндорж родился в семье шабинаров, относящихся к Шабинскому ведомству Богдо-гэгэна (ныне аймак Сэлэнгэ). Свободно разговаривал на маньчжурском, китайском и русском языках; в 1885—1911 годах служил переводчиком при маньчжурском суде. После национальной революции 1911 года поступил во вновь образованное министерство иностранных дел, в 1913 году был назначен заместителем министра и вскоре возглавил министерство. В 1914—1915 годах вместе с премьер-министром Намнансурэном принимал участие в трёхсторонней Кяхтинской конференции.