Han var sønn av major ved 1. akershusiske regiment Johan Christian Vibe (d. 1764) og Anne Cathrine, født Pihl (d. 1773). Wibe ble elev ved matematiske skole i Christiania. I årene 1773–77 var han i Rendsborg hvor han deltok i kortlegningsarbeidene for det slesvig-holstenske kanalanlegget.