Han var gift med Susanne Beko Karoli, men de skiftet senere navn til Pål og Eva Karlsen. De fikk 14 barn og 58 barnebarn. Datteren Solomia Karoli utgav boken om sin oppvekst i Karolifamilien.