Истоки формирования дивизии берут начало от 27 ноября 1939 года в Кёнигсбрюке, 4-й военный округ Дрезден. Во время Французской кампании (1940), дивизия была включена в группу армий «A», с которой дошла до Реймса, пока в декабре 1940 года была переведена в группу армий «D», осуществляющей оккупационные функции во Франции, Бельгии, Голландии. В январе 1941 года дивизия вошла в состав 12-й армии, находящейся в Румынии, и приняла участие в Балканской кампании по разгрому Югославии. С апреля участвует в захвате Греции, где она была в составе оккупационных войск в Салониках до июля. После операции по захвату Крита, в ноябре на остров прибывают 382-й и 433-й пехотные полки 164-й пехотной дивизии, которые вошли в состав крепостной дивизии «Крит». 440 пехотный полк передан в состав 717-ю пехотную дивизию. В августе 1942 года из 382-го и 433-го пехотных полков формируется основа 164-й лёгкой пехотной дивизии «Африка».