Kasper Petersen giftet seg med Petrine Fiskvik, datter av Per R. Fiskvik og Gjertrud Auran på Østre Fiskvik. De hadde ingen egne barn, men tok til seg Magnhild Arnstad, datter av Ingebjørg og Olav Arnstad, som sin pleiedatter. Petrine og Ingebjørg var kusiner.