Die frühere Wasserburg Oelber spielte im Mittelalter nur eine untergeordnete Rolle. In einem Tal des Höhenzugs der Lichtenberge, abseits der großen Heer- und Handelsstraßen gelegen, war sie nicht umkämpft. Der Standort hatte allerdings seit der Zugehörigkeit zum Fürstentum Braunschweig-Wolfenbüttel ab 1523 eine sensible Lage im äußersten südwestlichen Zipfel des Kernlandes. Umgeben von fremden Territorien, behielten es die Braunschweiger Herzöge über alle Wirren hinweg in ihrem Besitz. Während des Dreißigjährigen Krieges quartierte sich der kaiserliche Feldherr Graf Tilly 1626 mit seiner Truppe drei Monate lang in der inzwischen zum Schloss gewordenen Anlage ein. Noch heute trägt ein Raum den Namen „Tilly-Saal“. Nach seinem Abzug nahm das dänische Heer unter Graf Philipp Reinhard von Solms das Schloss ein und verwüstete es ebenso wie das Dorf. Tillys Truppen stellten etwa 15 km südlich von Oelber am weißen Wege die Dänen unter König Christian IV. und schlugen sie am 27. August 1626 in der Schlacht bei Lutter am Barenberge.