Olsen Wivel var selv av dansk herkomst. Moren hans kom fra København, og morfaren hadde virket som kjøpmann og possementmaker i Amager. Morfaren hadde enerett til å være possementmaker i mange år.