Im Jahre 1216 wird ein Hermann von Bergau erwähnt. Seine erste urkundlich überlieferte Erwähnung fand der Ort als "Burgowe" am 31. Oktober 1257 durch die die Gebrüder Hartmann und Otto von Bergowe im Rahmen der Verleihung eines Weinbergs unter der Lobdeburg an das Nonnenkloster Oberweimar. Die älteste Überlieferung von Hofbesitzern stammt aus der Zeit von 1421–1425. Im Sächsischen Bruderkrieg wurde die Burg von Herzog Wilhelm im Jahre 1447 belagert, eingenommen und abgerissen. Das Schloss wurde wieder aufgebaut, fiel aber nach dem Tode des letzten Nachkommen des Burgauischen Hauses im Jahre 1468 an Kurfürst Ernst von Sachsen. Seine Söhne Friedrich der Weise und Johann der Beständige verkauften das Schloss wieder im Jahre 1510.