Nerman studerte nordiske språk, litteraturhistorie og arkeologi ved Uppsala universitet, og ble i 1913 med avhandlingen . I 1923 ble han utnevnt til professor i arkeologi ved universitetet i Tartu i Estland. Han beholdt denne stillingen til 1925, og regnes sammen med sin forgjenger Arne Mikael Tallgren som grunnlegger av arkeologifaget i Estland. På slutten av 1920-tallet og begynnelsen av 1920-tallet ledet han flere arkeologiske utgravninger i de baltiske statene. I 1938 ble han direktør for Statens historiska museum, og satt i denne stillingen til han gikk av med pensjon i 1954. Fra 1939 til 1964 var han formann i Svenska fornminnesföreningen.