Hartmann var sønn av en kjent blomstermaler og yngst av fire brødre hvorav de tre eldre også ble malere. Selv ble han slitt i valgets kvaler mellom musikken og billedkunsten. Han ble også i sin tidlige politiske utvikling påvirket av hendelsene i den mislykkede arbeiderrevolusjonen i Bayern etter det tyske monarkiets sammenbrudd mot slutten av første verdenskrig. Han forble sosialist resten av livet.