Sachverhalt: A. Am 3. Juni 2002 reichte die Swisscom Mobile AG bei der Politischen Gemeinde Bronschhofen ein Baugesuch für den Neubau einer Mobilfunkantennenanlage auf dem Dach der zum Landgasthof Rössliguet gehörenden Scheune an der Braunauerstrasse 7 in Rossrüti ein. Gegen das Bauvorhaben gingen zahlreiche Einsprachen ein. Am 31. Oktober 2002 wies die Baukommission die Einsprachen ab und erteilte die Baubewilligung. B. Gegen diese Verfügung erhoben ein Teil der Einsprecher Rekurs beim Gemeinderat Bronschhofen und, nach dessen Abweisung, Rekurs beim Baudepartement des Kantons St. Gallen. Am 5. November 2003 führte das Baudepartement in Anwesenheit des Leiters der kantonalen Denkmalpflege sowie eines Mitarbeiters des Amtes für Umweltschutz einen Augenschein durch. Am 23. Januar 2004 wies das Baudepartement den Rekurs ab. C. Gegen den Rekursentscheid erhoben A._, B._, C._, D._, E._ sowie weitere Einsprecher Beschwerde an das Verwaltungsgericht des Kantons St. Gallen. Dieses führte am 25. Oktober 2004 einen Augenschein durch. Anlässlich dieses Augenscheins machte der Vertreter der Beschwerdeführer erstmals geltend, im Dachgeschoss des Landgasthofs Rössliguet befinde sich ein "Knechtezimmer", für das noch eine NIS-Berechnung vorgenommen werden müsse. Am 9. November 2004 wies das Verwaltungsgericht die Beschwerde ab, soweit es darauf eintrat. D. Gegen den verwaltungsgerichtlichen Entscheid erheben A._, B._, C._, D._ sowie E._ Verwaltungsgerichtsbeschwerde ans Bundesgericht mit dem Antrag, der sie betreffende Teil (Disp.-Ziff. 4-6) des angefochtenen Entscheids sei aufzuheben und die Sache sei zu neuem Entscheid an die Vorinstanz zurückzuweisen. E. Die Swisscom Mobile AG beantragt, die Verwaltungsgerichtsbeschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Baudepartement und das Verwaltungsgericht des Kantons St. Gallen schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. F. Das BUWAL äussert sich in seiner Vernehmlassung zu den immissionsschutzrechtlichen Rügen der Beschwerdeführer sowie, in Absprache mit dem Bundesamt für Kultur, zur Anwendung von Art. 2 und 3 des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451). Den Beteiligten wurde Gelegenheit gegeben, sich dazu zu äussern. G. Mit Schreiben vom 31. Mai 2005 teilte die Gemeinde Bronschhofen mit, sie habe das Baugesuch von F._ zum Ausbau des Dachgeschosses der Liegenschaft Braunauerstrasse 7, Rossrüti am 20. Dezember 2004 an den Gesuchsteller zur Überarbeitung zurückgewiesen, da seitens der Denkmalpflege dem geplanten Bauvorhaben nicht zugestimmt werden könne. Seither sei kein neues oder überarbeitetes Baugesuch bei der Gemeinde eingegangen. Mit Schreiben vom 29. Juni 2005 widersprechen die Beschwerdeführer dieser Darstellung der Gemeinde: Das Baugesuch sei weder zurückgezogen noch abgelehnt worden, weshalb es noch hängig sei.