Vibe tok eksamen ved Den frie matematiske skole (Krigsskolen) i 1780 som dragonløytnant. Som kadett hadde han fått grunnleggende opplæring i karttegning og landmåling. Allerede fra vinteren 1783 deltok han i den trigonometriske oppmmålingen for kartlegging av distriktene langs grensen mot Sverige som assistent for sin bror Ditlev Vibe, og i 1790 fikk han fast stilling ved , som ble Norges geografiske oppmåling. Fra 1785 ble brødrene Vibe beordret til å arbeide med oppmåling for sjøkartverket over kysten sørover fra Trondheimsfjorden til Svinesund. Mens de militære landkartene bare forelå håndtegnet, ble sjørkartene trykt som kobberstikk av i København fra 1791 til 1803.