Hans Caspar Marschalk war der letzte der Familie im Mannesstamm und der Besitz kam in die mit dem Marschalks verwandte Familie der Freiherren von Tattenbach. Um 1600 wurden diese mit Eberschwang, Maierhof und Mühring belehnt. 1668 ließ Graf Gottfried Wilhelm von Tattenbach-Reinstein den aus Holz bestehenden Vorgängerbau abreißen und durch das gemauerte Schlösschen ersetzen. 1684 wurde das Schlösschen der neu erbauten Wallfahrtskirche des Ortes als Benefiziatenhaus zur Verfügung gestellt. Im Spanisch-Österreichischen Erbfolgekrieg wurde Eberschwang 1704 von österreichischen Husaren unter dem Kommando von Oberstleutnant Razghay erobert und geplündert. 1735 übernahm Maximilian Franz Reichsgraf zu Tattenbach-Rheinstein Eberschwang und verband es mit seiner Domäne Aurolzmünster. Nach dem Friede von Teschen von 1779 kam Eberschwang mit dem Innviertel an Österreich. Das Benefizium wurde im Jahr 1785 aufgehoben. Am 3. Oktober 1821 starb Heinrich Graf von Rheinstein-Tattenbach in München und Eberschwang war längere Zeit im Besitz der Grafen Arco-Valley zu Aurolzmünster. 1858 erwarb der Pfarrer von Eberschwang, Johann Schuster, den Ansitz und richtete ihn als Pfarrhof ein; er ist heute Eigentum der Diözese Linz.