1945年（昭和20年）1月16日的军令陆甲下令，开始编成第121、第122、第123、第124、第125、第126、第127和第128师团等8个师团。第121师团是因第28师团由满洲转移至宫古岛，以驻扎在滨江省成高子的第28师团残留部队为基础，外加骑兵第3旅的骑砲兵第3联队以及该旅团辎重队一并整编而成。1945年3月30日完成整编后，编入自满洲移师朝鲜半岛南部的第58军。同年6月，移师济州岛，在该岛东部进行防御阵地的构筑以防备连合国军由此登陆，为参加战斗即迎来终战。