1944年（昭和19年）7月，因第12师团从满洲移师台湾，以驻扎在东宁的第12师团残留部队为基础编成第120师团。同年12月末整编完成后编入第3军。负责满洲东部的警备和治安维持任务。1945年（昭和20年）3月，从满洲移师朝鲜半岛南部，并配属至第17方面军隷下，总部设置在庆山，负责釜山、大邱地区的防卫任务。同年8月9日，随着苏联对日参战（八月风暴行动），师团主力移动至京城，步兵第261联队移动至平壤，未参加战斗就迎来终战。