Colditz var håndverkersønn (faren var boktrykker), og ønsket opprinnelig å bli skuespiller. Han kom etterhvert inn i et miljø av jevngamle kunstnere som møttes i billedhuggeren Rolf Skjeftes (1856–86) atelier i Akersveien 2, kalt «Mangelgården». Dette miljøet gjorde han kjent gjennom sin roman (1888).