I 1875 ble han korpsbøssemaker ved Smaalenske Bataljon (1. Akershusiske Korps) og flyttet til Fredrikstad, hvor han samtidig åpnet privat børsemakerverksted. Han fikk patent på et eget jaktgevær i 1878. I 1882 kom han tilbake til Kongsberg Våpenfabrikk. Den første kimen til Krag-Jørgensen-geværet ble sådd etter at Jørgensen hadde vært i Danmark i forbindelse med danske prøver med Krags Kapselmagasingevær på Jarmanns mekanisme. Etter at han kom tilbake konstruerte de sammen det som skulle bli det første prøvegeværet under Krag-Jørgensen-navnet.