С октября 1940 по январь 1941 находилась в Зеннелагере (). Была включена в состав 11-й армии и относилась к группе армий «С». В феврале отправлена в Хамельн (район Хильдесхайм, Ганновер). 5 апреля включена в состав 16-й армии и передислоцирована в Восточную Пруссию. 13 апреля передана в 18-ю армию и включена в группу армий «В». Но уже 23 мая вернулась в состав 16-й армии. Также дивизию перевели в группу армий «Север». В июне передислоцирована под Вилькию. 15 августа дивизия участвовала во взятии Новгорода. 26 августа дивизия под Шелонью. Дивизия находилась в 18-й армии. В сентябре—октябре 1941 года дивизия воевала в районе Шлиссельбург-Липки-Ладожское озеро. Участвовала в блокаде Ленинграда, предварительно захватив Шлиссельбург. В октябре 1941—январе 1942 в составе 16-й армии сражалась на Волховском фронте. В марте—июне переведена в состав 18-й армии. В июле 1942—январе 1943 дивизия оборонялась под Демянском. В ходе Демянской наступательной операции советских войск дивизия отступала под Старую Руссу и 18 марта закрепилась в нём. 30 июля дивизия перешла в состав 18-й армии. 17 августа 126-я пехотная дивизия дислоцируется возле Ладожского озера. В течение августа 1943—января 1944 блокировала Ленинград. В феврале—июле дивизия в составе 18-й армии оборонялась под Псковом. В августе дивизия отошла в Латвию. В сентябре оборонялась в Риге. С октября 1944 по май 1945 в составе 18-й армии оборонялась в Курляндии. 8 мая 1945 капитулировала.