Vibe var sammen med Wilhelm Adelsten Maribo den vesentligste drivkraften bak opprettelsen av Skulpturmuseet i Christiania, som stod ferdig på Tullinløkken i 1881 (bygningen ble senere midtpartiet i Nasjonalgalleriet).