I 1541 kjøpte han gården Sem på Eiker av Christian III og startet et systematisk oppkjøp av jord- og skogeiendommer nederst i Drammensvassdraget. I perioden 1541–1548 samlet Peder Hanssøn Litle det 200 000 mål store Foss-godset på Eiker, og la dermed grunnlaget for Norges første satsning på trelasthandel med kontinentet. Godsets hovedgård var det som nå er Fossesholm herregård i Vestfossen i Øvre Eiker. Målet med samlingen var å få kontroll over den lønnsomme sagbruksindustrien i området.