Für die Vorbereitung auf das Unternehmen Barbarossa verlegte die Division nach Ostpreußen und wurde der Heeresgruppe Nord und der 16. Armee unterstellt. Das erste Ziel der Division war die Eroberung der Stadt Dünaburg in Lettland. Dünaburg wurde Ende Juli 1941 eingenommen. Im Winter 1941/42 nahm die 121. Infanterie-Division an der Belagerung Leningrads teil. Vom Mai 1942 bis Februar 1944 kämpfte die Division fast ununterbrochen an der Wolchow-Stellung. Im Frühjahr 1944 musste die Heeresgruppe Nord dem Druck der Roten Armee weichen, und die 121. Infanterie-Division zog sich über Luga, Pleskau und Livland nach Ostpreußen zurück. Im März 1944 erfolgte eine Auffrischung durch die Schatten-Division Mielau. Die 121. Infanterie-Division wurde im Mai 1945 im Kurland-Kessel vernichtet, die Überlebenden gerieten in sowjetische Kriegsgefangenschaft.