I 1795 ble Vibe krigskommisær ved Vesterlenske infanteriregiment med hovedkvarter i Kristiansand, og der ble han samme år gift med Margery Kierulf. Han ble amtmann i Nordre Bergenhus i 1802, med bosted i Bergen. Der deltok han aktivt i byens musikkliv som sanger i Bergen Filharmoniske Orkester, og han var medstifter av den bergenske avdeling av Det Kongelige Selskap for Norges Vel og æresmedlem i Det Nyttige Selskab. I 1811 ble han generalkrigskommissær og flyttet til Christiania. Da kong Christian Frederik etablerte sitt norske hoff i mai 1814, ble Vibe en av kongens kammerherrer. Han døde 9. september 1814 og fikk dermed ikke oppleve at landet kom i union med Sverige.