Eine erste urkundliche Erwähnung der Ritter van der Arffe, der Namensgeber des Schlosses, erfolgte im Jahre 1366. Albrecht von Baexen erwarb das Gut im Jahr 1572 durch Heirat mit Catharina von der Arff. Doch in den Truchsessischen Kriegen von 1583 bis 1586 wurde der Vorgängerbau zerstört.