Ursprünglich war das Schloss ein Bauernhof, der von den Zähringern als Lehen an ihre Gefolgsleute vergeben wurde. Der erste urkundlich erwähnte Lehnsherr war Mitte des 13. Jahrhunderts Heinricus de Wittenchoven. 1271 kaufte eine religiöse Gemeinschaft das Anwesen von Heinrich von Seedorf, und in den Folgejahren kam es zu mehreren Besitzerwechseln. 1570 wurde das Schloss vom Berner Schultheissen Beat Ludwig von Mülinen erworben. 1580 brannten Teile des Schlosses ab. Während des Franzoseneinfalls wurde das Schloss am 5. März 1798 von französischen Truppen verwüstet und geplündert. Zeitweise befand sich das Hauptquartier der Verteidiger des Ancien Régime darin. Der Generalstab der Gegner der neuen Helvetischen Republik liess sich zeitweise auch hier nieder. Das Schloss findet mehrmals Erwähnung in den Erzählungen von Rudolf von Tavel.