Fortellingene hans er lagt til et østlandsk bygdemiljø. Han debuterte i 1892 med boka . Kjølstad regnes som en forteller som ser poeng i de små opplevelsene i hverdagen. Fortellingene kan ofte ha et komisk poeng mot slutten. Noen av tekstene er blitt lesebokklassikere.