Oskar Grönings far kom tilbake fra første verdenskrig som invalid. Moren døde da Oskar var fire år gammel. Oskar Gröning tilhørte først «Scharnhorstbund», en ungsomsorganisasjon under den paramilitære foreningen Stahlhelm. I 1933 ble han med i Hitlerjugend.