Jarmann ble født i Nord-Fron i Gudbrandsdalen, hvor hans far Jens Petter Jarmann var lensmann. Hans mor het Maren Elisabeth Hiorth. Han ville satse på en militær karriere og tok offiserseksamen som privatist i 1840, men hadde ikke gode nok resultater. Han arbeidet bl.a. som maskinist på dampskip og var tidlig interessert i konstruksjon av skytevåpen. Han skal ha konstruert et enkeltskudds bakladningsgevær allerede i 1838. I 1855 startet han sammen med ingeniør Prosper Nørbech et mekanisk verksted i Kristiania. Firmaet ble gjort om til aksjeselskap i 1857 under navnet Nylands mekaniske verksted. I 1878 trakk han seg fra driften av verkstedet for å jobbe på heltid med geværkonstruksjon. I 1877 fikk han patent på et repetergevær i kaliber 11 mm. Dette ble videreutviklet til det geværet som ble antatt som 10,15 mm Jarmanngevær M/1884.