I 1889 besøkte han først Skredsvig på Fleskum, før han bosatte seg ved Farrisvannet i Larvik. Her møtte han samme år skipperdatteren Inga Kristine Dahl fra Drøbak. Hun var delvis oppvokst på Lille Ekeberg gård i det som den gangen var Østre Aker. De ble stormende forelsket og giftet seg etter bare få ukers bekjentskap. De fikk til sammen ni barn. Inga forsto seg på kunst og hadde praktisk sans. Kittelsen visste å sette pris på hennes uvurderlige støtte, også i økonomiske og huslige spørsmål. Hun drev skole med barna og organiserte hans utstillinger.