I 1764 bortførte han den unge skuespillerinne Mette Marie Rose fra hennes hjem i København. Dette førte til at han ble forvist fra den danske hovedstaden, og han bodde deretter i Larvik frem til 1766. I 1766 vendte han tilbake til København, men allerede i 1771 kom han igjen til Larvik. Der oppholdt han seg frem til sin død i 1783. Det meste av tiden bodde han på gården i Hedrum, sammen med Ingeborg Ackeleye, som tidligere hadde vært gift med Herman Løvenskiold til Fossum.