Um 1217 gehörte der Ort dem Ritter von Talkenberg, der das Amt des Burggrafen der Burg Talkenberg ("Welkersdorf") bekleidete. Im Jahr 1327 wurden Seifried und Nickel von Raussendorf mit Plagwitz belehnt, und es entstanden zwei durch den Fluss getrennte Herrensitze. Der ältere dieser Herrensitze wurde nach einem Hochwasser 1815 vollständig abgetragen. Ab 1501 war ein Teil des Besitzes Eigentum von Christoph von Talkenberg. Dessen Erben errichteten zwischen 1550 und 1563 anstelle des vorherigen Herrensitzes ein Schloss im Stil der Renaissance, vermutlich nach Entwurf des Franz Parr und dessen Haynauer Werkstatt. 1585 gelangte das Schloss an die Schaffgotsch. Nach 1720 war Hans Freiherr von Hochberg Eigentümer, der das Schloss mit einer Bibliothek und einer Gemäldesammlung ausstatten ließ. 1813 wurde es von napoleonischen Truppen verwüstet. Später im Besitz des Grafen von Nostitz-Rieneck, ging das Schloss 1824 an den Preußischen Staat, der 1828 die Provinzial-Heil und Pflegeanstalt Plagwitz am Bober errichtete.