Flere andre mer eller mindre kjente personer har eid eller besøkt Tose opp igjennom årene. Familiene Bildt og Sehested hadde sete her, senere fulgt av familien Møller, med Katti Anker Møller som et av de mest kjente medlemmene. Under et besøk hos Edvard og Dikka Møller i siste halvdel av det 19. århundre skal Bjørnstjerne Bjørnson ha skrevet Sigurd Jorsalfar her.