Die Peyers verkauften das Schloss an Hans Ulrich Toggenburger, der aus einer wohlhabenden Marthaler Familie stammte. Er hatte zuvor an der Universität Strassburg Medizin studiert und führte einen wohlhabendeHausstand mit Angestellten. Nach dem Franzoseneinfall 1798 flüchtete Anna Keller, die Frau des Goldschmieds Heinrich Keller aus Zürich zu ihren Bekannten ins Schloss Marthalen, um den Wirren des Zweiten Koalitionskriegs zu entgehen. Sie gebar am Heiligabend 1800 einen Sohn namens Ferdinand, der später Altertumsforscher wurde und sich mit den ersten Funden von prähistorischen Pfahlbausiedlungen in den Schweizer Seen befasste.