Kjelstrup var i 1940 rørlegger. Under den tyske invasjonen av Norge i april 1940 deltok han som vernepliktig menig i kampene på Østlandet. Han ble såret ved Harestua den 15. april. Han reddet trolig livet fordi en avbitertang han hadde under jakka tok av for den tyske kula som taff ham. Prosjektilet ble værende i magen hans resten av livet. Den 1. mai stakk han fra Hov sykehus ved Randsfjorden, og tok seg nordover Gudbrandsdalen i et forsøk på igjen å slutte seg til norske styrker. Etter hvert fant han sammen med en av mange mindre grupper norske soldater som var kommet bort fra sine enheter, og streifet rundt uten å være klar over at kampene i Sør-Norge var over. Den 24. mai utførte Kjelstrups gruppe ved hjelp av etterlatte britiske våpen et ildoverfall på en tysk kolonne ved Rosten bro i Sel, en av de siste krigshandlingene i Sør-Norge våren 1940.