移师南部战线或者进行本土决战的准备，以强化满洲地区防御为目的，据1945年（昭和20年）1月16日下达的军令陆甲，受命编成第121、第122、第123、第124、第125、第126、第127和第128师团8个师团。 第128师团以从朝鲜半岛撤出的第120师团参与部队为基础，追加第1国境守备队、第2国境守备队、第11国境守备队部分队伍编成，4月10日在牡丹江省完成整编之后被编入第3军。此后，纳入独立混成第132旅的指挥下，第128师团主力驻扎在罗子沟附近，迎来苏军的八月风暴行动。1945年8月13日至