Ifølge Ytreberg var det en danske som het Søren Bøgeberg den første handelsmannen som slo seg ned på Sværholt. Han fikk gjestgiveribevilgning og en engslette til bopel. Dette var i 1793. Slekta hans drev stedet til langt ut på 1800 tallet. I 1849 bosatte Amund Torgersen Kraabøl fra Vestre Gausdal seg på Sværholt. Han innførte blant annet kilenøter i distriktet og drev avlstasjon for sau.