Irma Stern urodziła się Schweizer-Reneke, małym miasteczku w Transwalu. Miała niemiecko-żydowskich rodziców. Jej ojciec był internowany w obozie koncentracyjnym przez Brytyjczyków podczas wojny burskiej ponieważ opowiedział się po stronie Burów. Z tego względu Irma i jej młodszy brat Rudi zostali zabrani przez matkę do Kapsztadu. Po wojnie rodzina wróciła do Niemiec i ciągle podróżowała. Ta podróż mogła wpłynąć na pracę Irmy.