Kong Kristian III (1503-1559) solgte gården i 1541 til den danske adelsmannen, Peder Hanssøn Litle (ca.1500-1551), som hadde vært lensherre på Akershus fra 1536. Litle var trolig sønn av Svend Basse som tidligere hadde bodd på Sem. Litle kjøpte systematisk opp jord- og skogeiendommer nederst i Drammensvassdraget. Han var gift med Ingeborg Nilsdatter Gyldenløve (ca.1507-1597), datter av Inger Ottesdotter Rømer (ca.1475-1555), fru Inger til Austrått, den mest innflytelsesrike kvinne i Norge på denne tiden. Han bodde nok ikke på Sem men på Fosseholm som han også eide. Litle falt av hesten ved påsketider 1551 og skadet seg stygt, han døde i september samme år. Peder Hanssøn Litle og hans enke ble gravlagt i et eget gravkammer under gulvet på Haug kirke.