Han giftet seg i 1905 med Olga Aagaard (Staven) (1876–1968) fra Namdalseid. I 1907 kjøpte de gården Hanemo i hennes hjembygd. Silset var en dyktig agronom, og i løpet av 30 år fordoblet han dyrkningsarealet, avlingen og husdyrbesetningen på gården.