I november 1894 ble Hjalmar tilbudt jobb som medfølgeren til Nansen på en ekspedisjon til Nordpolen, og han takket ja. Nordpol-ekspedisjon varte fra mars 1895 til august 1896, samtidig som Fram-ekspedisjonen fortsatte på egen hånd. De nådde 86° 14' N 7. april, som på den tiden var lenger nord enn noe menneske hadde vært tidligere. Reisen hjemover fra 86° 14' N er kanskje mer berømt enn selve 86° 14'. Den varte nesten ett og et halvt år, der Nansen og Johansen måte overvintre på Frans Josef Land vinteren 1895–96. Ved nyttår foreslo Nansen at de skulle bli dus. Den danske Klaus Rifbjerg spekulerer i romanen fra 2002 på om dette forholdet også var seksuelt. Denne boken fikk for øvrig dårlig mottagelse blant norske kritikere.