第128師団は、朝鮮半島へ転出した第120師団の残留者を基幹に、第1国境守備隊、第2国境守備隊、第11国境守備隊の一部を加えて編成され、4月10日に牡丹江省で編成を完了し第3軍に編入された。
第128师团以从朝鲜半岛撤出的第120师团参与部队为基础，追加第1国境守备队、第2国境守备队、第11国境守备队部分队伍编成，4月10日在牡丹江省完成整编之后被编入第3军。