N.A. Vibe ble født i Rollag som sønn av major Johan Christian Vibe (1716–1764) og Anne Cathrine Pihl (1725–1773). Han var bror av Johan Vibe (1748–1782) og Ditlev Wibe. I 1795 giftet han seg med Margery Kierulf (1775–1852) fra Kristiansand. De fikk sønnene professor Frederik Ludvig Vibe og major og kartograf Andreas Vibe (1801–1860) og døtrene Henriette Gislesen (1809–1859) og Nicoline Vibe (1807–1885), gift med Heinrich Arnold Thaulow (1808–1894), hennes tremenning.