1909年8月24日(清宣统元年七月初九日),吉林巡抚奏准于“密山府属呢吗口地方”,设置呢吗厅。翌年4月18日(清宣统二年三月初九日),吉林巡抚奏称:“呢吗口本因俄国境内之呢吗河西流,汇于该处,故有斯名。今设同知一缺,若仍循旧时称谓,深恐日久沿讹,国界未易分晰。查该处本在七虎林河之南,拟请定为虎林厅,以符名实,而垂久远。”同年5月(农历四月)批准,将呢吗厅改为虎林厅,隶属吉林行省东北路道。中华民国成立后,1913年3月,改为虎林县,仍驻呢吗口(称虎林县城)。1914年6月,隶属依兰道。1929年2月,撤销道区,由吉林省直辖。时为三等县,全县2.59万人。东北沦陷后,初隶吉林省,1934年12月划归滨江省管辖。1937年7月,改归新设之牡丹江省。1938年8月5日,伪虎林县公署移驻安乐镇(原名东街基,又称黑嘴子),并将安乐镇改为“虎林”(今虎林镇),原县公署驻地改为“虎头”。1939年6月,划归新设之东安省管辖。1943年10月,隶属东满总省,1945年5月改隶东满省。1945年“九三”抗日战争胜利后,虎林县划归合江省管辖。1946年6月,划归新设立的东安专区管辖。1947年10月,改隶牡丹江省。1948年7月,复由合江省直辖。1949年5月,改隶松江省管辖。1954年8月,松、黑两省合并,由黑龙江省直辖。1956年2月27日将全县6个区、40个行政村、68个自然屯划为1镇、13个乡。1956年3月,划归新设立的牡丹江专区管辖。1956年8月17日,成立云山、兴农、前进、红旗、迎春、团结、东方红、安兴8个农场乡。1960年1月7日,国务院决定,将虎林、饶河两县合并为虎饶县,县人民委员会驻虎林镇,隶属牡丹江专区。1962年11月,改隶合江专区。1964年6月5日,国务院决定,撤销虎饶县,恢复虎林县和饶河县,10月10日两县正式分开。