第121師団は、第28師団が満州から宮古島に転用されたため、浜江省成高子において第28師団の残留者を基幹に騎兵第3旅団の騎砲兵第3連隊と同旅団輜重隊を加えて編成された。
第121师团是因第28师团由满洲转移至宫古岛，以驻扎在滨江省成高子的第28师团残留部队为基础，外加骑兵第3旅的骑炮兵第3联队以及该旅团辎重队一并整编而成。