Hjalmar Johansen var sønn av bonden og justisvaktmesteren Jens Johansen (1838–1888) og Maren Pedersen (1838–1907) og var nest eldste barn i en søskenflokk på fem. Foreldrene kom opprinnelig fra Hedmark, faren var fra Løten og moren fra Stange, men de bosatte seg i Skien etter at de giftet seg i 1862. I 1885 var Hjalmar med å stifte Idrætsforeningen Odd, der han utmerket seg som en god skiløper og turner. Samme år var Hjalmar med i Norgesmesterskapet for turn som foregikk i byen Fredrikshald (Halden), der han ble norgesmester i turn. Tre år senere, i 1889, var han med det norske landslaget i turn til verdensutstillingen i Paris, der han ble verdensmester.