色木丕勒生于郭尔罗斯前旗辅国公府（位于今前郭尔罗斯蒙古族自治县哈拉毛都乡王府屯）。他自光绪七年（1881年）开始学习蒙文、满文、汉文。光绪十四年至十五年（1888年-1889年），他随着祖父的年班朝见了光绪帝。光绪二十年（1894年），因慈禧庆寿而自四等台吉晋为三等。光绪廿三年（1897年），他祖父图普乌勒济图病逝，而他父亲阿玛尔浩毕图又在生病，遂由理藩院奏请齐默特色木丕勒袭其祖父的扎萨克辅国公的爵位。光绪廿八年（1902年），齐默特色木丕勒担任哲里木盟副盟长。光绪卅一年正月（1905年），他任哲里木盟盟长