Sachverhalt:
A. Am 8. September 2011 wies das Bundesgericht die Beschwerde von XA._, XB._ und XC._ gegen Y._ ab (1C_225/2011). Es erlegte den Beschwerdeführern die Gerichtskosten auf (Disp.-Ziff. 2) und verpflichtete diese, Y._ für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen (Disp.-Ziff. 3).
B. Am 28. Oktober 2011 haben XA._, XB._ und XC._ ein Gesuch um Revision des bundesgerichtlichen Urteils eingereicht. Sie beantragen, Ziff. 3 des Dispositivs sei aufzuheben und es sei von einer Parteientschädigung an Y._ abzusehen.
C. Y._ hat sich nicht vernehmen lassen.
Dagegen beantragt Fürsprecher Christoph Bernet im Auftrag des Gemeinderates Rorschacherberg, auf das Revisionsgesuch sei nicht einzutreten, eventualiter sei es abzuweisen. Er teilt mit, dass die Gemeinde Y._ die Kosten des Verfahrens, einschliesslich der Kosten der anwaltlichen Vertretung, durch Kostenverfügung auferlegt habe. Das Bundesgericht habe diesem daher zu Recht eine Entschädigung zugesprochen.
Das Baudepartement und das Verwaltungsgericht des Kantons St. Gallen haben auf eine Vernehmlassung verzichtet.
Erwägungen:
1. Die Gesuchsteller wehren sich gegen die ihnen auferlegte Parteientschädigung; dazu sind sie legitimiert. Auf das rechtzeitig erhobene (Art. 124 Abs. 1 lit. b BGG) und genügend begründete Revisionsgesuch ist somit einzutreten.
2. Die Revision eines Entscheids des Bundesgerichts kann verlangt werden, wenn das Gericht in den Akten liegende erhebliche Tatsachen aus Versehen nicht berücksichtigt hat (Art. 121 lit. d BGG).
Wie die Gesuchsteller zutreffend darlegen, ging das Bundesgericht im Entscheid 1C_225/2011 irrtümlich davon aus, dass der Beschwerdegegner Y._ eine Vernehmlassung eingereicht und darin die Abweisung der Beschwerde beantragt hatte (vgl. Sachverhalt, Abschnitt D, 2. Absatz). Tatsächlich aber hatte er sich im bundesgerichtlichen Verfahren nicht vernehmen lassen.
Die einzige Stellungnahme mit Antrag auf Abweisung der Beschwerde wurde vom Rechtsvertreter der Gemeinde Roschacherberg, Fürsprecher Christoph Bernet, eingereicht. Der Antrag der Gemeinde wird jedoch im bundesgerichtlichen Urteil nicht erwähnt.
Das Bundesgericht ging also irrtümlich davon aus, dass die von Rechtsanwalt Christoph Bernet verfasste Vernehmlassung im Auftrag des Beschwerdegegners Y._ erfolgt sei, obwohl aus dem Einleitungssatz klar hervorging, dass der Anwalt im Auftrag des Gemeinderates Rorschacherberg handelte. Diese in den Akten liegende Tatsache wurde vom Bundesgericht aus Versehen nicht berücksichtigt.
3. Diese Tatsache war für den Kostenentscheid des Bundesgerichts erheblich.
Praxisgemäss wird eine Parteientschädigung nur der obsiegenden Partei zugesprochen, die sich (i.d.R. anwaltlich vertreten) am bundesgerichtlichen Verfahren beteiligt hat und der dadurch (Anwalts-)Kosten entstanden sind (vgl. Art. 68 Abs. 2 BGG und Art. 1 lit. a des Reglements über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht vom 31. März 2006 [SR 173.110.210.3]).
Hätte das Bundesgericht bemerkt, dass die Vernehmlassung von Fürsprecher Christoph Bernet im Auftrag der Gemeinde erfolgt war, hätte es keine Parteientschädigungen zugesprochen: Y._ hat keinen Anspruch auf eine Parteientschädigung, weil ihm durch das bundesgerichtliche Verfahren keine (Anwalts-)Kosten entstanden sind, und die Gemeinde Rorschacherberg hat als erstinstanzlich verfügende Baubehörde, die in ihrem amtlichen Wirkungskreis obsiegt, keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 3 BGG; vgl. BGE 134 II 117 E. 7 S. 118 f.).
Interne Abmachungen zwischen den Parteien über die Kostentragung werden beim Kostenentscheid praxisgemäss nicht berücksichtigt, weshalb es unerheblich ist, ob die Gemeinde Rorschacherberg mit Y._ eine Regelung über die Kostentragung getroffen oder diesem die Kosten des Rechtsstreits überbunden hat. Im Übrigen hat sie diesen Umstand im bundesgerichtlichen Verfahren 1C_225/2011 auch nicht erwähnt.
4. Nach dem Gesagten ist das Revisionsgesuch gutzuheissen und antragsgemäss zu entscheiden.
Bei diesem Ausgang des Verfahrens rechtfertigt es sich, keine Kosten zu erheben und die Parteientschädigung der Gesuchsteller aus der Gerichtskasse zu bezahlen (vgl. Urteil 1P.13/2003 vom 5. März 2003 E. 6, in: Pra 2003 Nr. 157 S. 866). Die Gemeinde Rorschacherberg hat keinen Anspruch auf eine Parteientschädigung.
Demnach erkennt das Bundesgericht:
1. Das Revisionsgesuch wird gutgeheissen und Dispositiv-Ziffer 3 des Urteils 1C_225/2011 des Bundesgerichts vom 8. September 2011 aufgehoben.
2. In diesem Punkt wird stattdessen neu wie folgt entschieden: "Es werden keine Parteientschädigungen zugesprochen".
3. Im Revisionsverfahren werden keine Kosten erhoben.
4. Den Gesuchstellern wird aus der Gerichtskasse eine Parteientschädigung von Fr. 800.-- für das Revisionsverfahren zugesprochen.
5. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 7. Dezember 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber