Han ble født i Lier ved Drammen som sønn av major Johan Christian Vibe (1716–1764) og Anna Cathrine Pihl (1725–1773). Han valgte den militære løpebane, ble artillerioffiser og var som sådan i årene 1785–86 bosatt i Frederiksstad.