Irma Grese, hvis far, Alfred Grese, var meieriarbeider i Wrechen (Mecklenburg-Strelitz), hadde fire søsken. Hennes mor, Berta, begikk selvmord i 1936 ved å drikke saltsyre etter å ha oppdaget at Alfred Grese hadde hatt et forhold til en lokal vertshuseiers datter. Alfred Grese sluttet seg til nazistpartiet i 1937, og giftet seg på nytt i 1939.