1906年(清光绪三十二年)设置汤原县,归汤原县管辖。1908年(清光绪三十四年),曾奏准于鹤立岗添设鹤冈县,终因人烟稀少,未果。中华民国成立后,1914年开始清丈放荒,称“鹤字段”。同年,当地人发现露头煤。1918年,鹤立岗居民沈松年成立兴华煤矿公司,开始掘煤。1926年矿山至莲江口铁路开通,遂人口聚集,商贾往来,形成集镇,称“矿山镇”。1929年3月,设置兴山镇,由驻矿事务所管理兴山镇街政事务。东北沦陷后,1934年将兴山镇改为汤原县矿山保,1938年改为兴山街。1939年6月设置鹤立县,兴山街划归鹤立县管辖。1944年1月,伪三江省公署将兴山街改为鹤岗街。1945年“九三”抗日战争胜利后,同年12月20日,合江省政府批准,将兴山镇改设兴山市,隶属鹤立县领导。1946年4月,改由合江省管辖;同年11月,合江省委决定,复又改隶鹤立县领导。1947年2月,改隶合江省第四专区管辖。翌年8月,改由合江省直辖。
1949年5月,合江省与松江省合并,兴山市隶属松江省管辖。同年11月24日,东北人民政府批准,将兴山市改为鹤岗市。1954年8月,松、黑两省合并,改隶黑龙江省管辖。1957年1 月,将汤原县的峻德乡划给鹤岗市管辖。同年7月,将鹤岗市管辖的宝泉岭农场划归萝北县; 11月,将汤原县的吉祥、永发、振兴乡划归鹤岗市。1958年8月,将由省直辖的鹤岗市划归合江专区。同年11月,将宝泉岭农场划入鹤岗市。1959年1月,将汤原县的裕德公社和鹤立镇划归鹤岗市管辖。1960年12月10日,省人民委员会批准,鹤岗市升为地级市,设置西山、新街基、南山、兴山、兴安、大陆、东山、新一、新华9个市辖区。1962年鹤岗市人民委员会决定,撤销新华区。1964年5月30日,国务院批准,将鹤岗市所属的宝泉岭农场划归萝北县;将鹤立镇和吉祥、振兴、裕德、永发4个公社,以及梧桐河、鹤立河、伏尔基河3个农场划归汤原县管辖。1966年2月,鹤岗市改由省直辖。同年8月,市人民委员会决定,将新街基区更名为工农区、西山区更名为向阳区、东山区更名为群力区、兴山区更名为红卫区、南山区更名为东风区、大陆区更名为跃进区、兴安区更名为红旗区、新一区更名为反修区。1980年4月,省人民政府批准,将东风、跃进2区合并为南山区;群力、反修2区合并为东山区;红旗区更名为兴安区;红卫区更名为兴山区。1987年11月6日,国务院批准,将佳木斯市所属的萝北、绥滨两县划归鹤岗市领导。