Etter skilsmissen flyttet han til Eggedal hvor han etterhvert bygget sitt hjem Hagan. 15. juli 1898 giftet han seg med den yngre tjenestepiken Beret Knudsdatter Holt fra Eggedal og de fikk fire barn sammen. Eggedalsnaturen ga Skredsvig ro og inspirasjon. Kjente malerier fra Eggedal er «Vår i Hagan», «Idyll» og «Jupsjøen». I 1896 flyttet også Skredsvigs gode venn fra studietiden i München, kunstneren Theodor Kittelsen, til Sigdal. Skredsvig skrev også bøker. I 1908 utgav han minneboken «Dage og Nætter blandt Kunstnere», senere fulgte romanene «Møllerens Søn» (1912) og «Evens hjemkomst» (1916). Samleverket «Romaner og Fortællinger» utkom i tre bind i 1924 med romanene og ett bind fortellinger. I senere utgaver av selvbiografien er også «Det gamle skilderi» (1921) inkludert.