За переписом 1939 року в Любавичах проживало 1069 євреїв. Під час Другої світової війни частины євреїв вдалося евакуюватися у глиб Радянського Союзу перед окупацією частинами вермахту в липні 1941 року. 27 вересня 1941 року в Любавичах було створено єврейське гетто, яке складалося з 19 невеликих будинків. Євреїв Любавичів змушували ремонтувати дороги і мости. Старих релігійних євреїв німці піддавали витонченим тортурам. Їм висмикували щипцями волосся з бороди, щодня влаштовували публічну прочуханку, змушували танцювати на свитках Тори. Часто ці знущання закінчувалися розстрілами. 4 листопада 1941 все єврейське населення Любавичів було розстріляно. Згідно німецьким даним, за час окупації Любавич було знищено 492 єврея, за звітом Надзвичайної державної комісії зі встановлення та розслідування злочинів німецько-фашистських загарбників — 483 єврея. З протоколу огляду місця поховання любавицьких євреїв від 10 жовтня 1943 року, проведеного радянським майором юстиції Гінзбургом в присутності жителів містечка: