Hermelin var sønn av riksråd Carl Hermelin (1707–1789) og barnebarn av statsmannen Olof Hermelin. Han studerte gruvedrift ved Universitetet i Uppsala med bergverkseksamen i 1761. Han studerte mineralogi, kjemi og metallurgi og besøkte Norge i 1768 for å studere geologi, metallbearbeiding og bergverk. I 1771 ble han valgt som medlem nummer 191 av Kungliga Vetenskapsakademien.