Jelstrup deltok i en rekke ekspedisjoner på Spitsbergen, Grønland og Jan Mayen. På Svalbard er Jelstrupfjellet på oppsiden av Smutsbreen oppkalt etter ham.