For sitt virke under krigen ble Kjelstrup hedret med blant annet de norske utmerkelsene St. Olavsmedaljen med ekegren to ganger, Deltagermedaljen med rosett og Haakon VIIs 70-årsmedalje samt britiske Military Medal,1939–1945 Star og franske Æreslegionen og Croix de guerre.