Nasceu em Schweizer-Reneke, no Transvaal, de pais judeus alemães. O pai foi internado num campo de concentração pelos britânicos durante a Guerra da África do Sul por causa das suas inclinações pró- Boer. [1] Irma e o irmão mais novo, Rudi, foram levados para a Cidade do Cabo pela mãe. Após a guerra, a família voltou para a Alemanha e viajou muito. Essas viagens iriam influenciar a futura obra de Irma.