Sachverhalt:
A. Am 13. Januar 2010 erteilte der Bauausschuss der Stadt Winterthur der X._ AG die baurechtliche Bewilligung für den Abbruch von vier Gebäuden und den Neubau von vier Mehrfamilienhäusern und zwei Tiefgaragen auf den Grundstücken Kat.-Nr. 4/5068, 4/5313 und 4/5315 im Weiler Rossberg.
B. Dagegen erhob die Zürcherische Vereinigung für Heimatschutz (ZVH) Rekurs an die Baurekurskommission IV des Kantons Zürich. Diese wies den Rekurs am 12. August 2010 ab.
C. Gegen den Rekursentscheid gelangte die ZVH mit Beschwerde an das Verwaltungsgericht des Kantons Zürich, das die Beschwerde am 23. März 2011 abwies.
D. Dagegen hat die ZVH am 5. Mai 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiär Verfassungsbeschwerde ans Bundesgericht erhoben. Sie beantragt, der angefochtene Entscheid sei aufzuheben. Eventualiter sei die Sache im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Subeventualiter seien die Kostenfolgen des angefochtenen Entscheids sowie des Entscheids der Baurekurskommission zugunsten der Beschwerdeführerin zu korrigieren.
E. Die X._ AG und das Baupolizeiamt der Stadt Winterthur beantragen, die Beschwerde sei abzuweisen. Das Verwaltungsgericht hat auf eine Vernehmlassung verzichtet.
F. Mit Verfügung vom 8. Juni 2011 wurde der Beschwerde die aufschiebende Wirkung zugesprochen.
Erwägungen:
1. Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts, der eine baurechtliche Bewilligung und damit eine öffentlich-rechtliche Angelegenheit betrifft, steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 ff. BGG). Die von der Beschwerdeführerin eventualiter erhobene subsidiäre Verfassungsbeschwerde kommt daher nicht zum Zug (Art. 113 BGG).
1.1 Die Beschwerdeführerin ist als kantonal (und nicht gesamtschweizerisch) tätige Heimatschutzorganisation nicht nach Art. 12 Abs. 1 lit. b des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) i.V.m. Art. 89 Abs. 2 lit. d BGG zur Beschwerde legitimiert. Das Verbandsbeschwerderecht gemäss § 338a Abs. 2 des Zürcher Planungs- und Baugesetzes vom 7. September 1975 (PBG) gilt nur für die kantonale Ebene, nicht aber vor Bundesgericht.
1.2 Zu prüfen ist daher ihre Beschwerdebefugnis nach Art. 89 Abs. 1 BGG. Danach ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (Art. 89 Abs. 1 BGG). Verlangt wird somit neben der formellen Beschwer (lit. a), dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt (lit. b) und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht (lit. c). Die Nähe der Beziehung zum Streitgegenstand muss bei Bauprojekten insbesondere in räumlicher Hinsicht gegeben sein. Ein schutzwürdiges Interesse liegt vor, wenn die tatsächliche oder rechtliche Situation des Beschwerdeführers durch den Ausgang des Verfahrens beeinflusst werden kann (BGE 133 II 409 E. 1.3 S. 413 mit Hinweisen).
Die Beschwerdeführerin macht selbst nicht geltend, dass sie oder die Mehrzahl ihrer Mitglieder eine enge (insbes. räumliche) Beziehung zu den vom Abbruch bedrohten Bauten hätten. Der statutarische Zweck der Beschwerdeführerin, sich für die Belange des Heimatschutzes im Kanton Zürich einzusetzen, genügt nicht, um die Beschwerdebefugnis nach Art. 89 Abs. 1 BGG zu begründen. Das Bundesgericht hat bereits mehrfach entschieden, dass Heimatschutz-Vereinigungen, denen auf kantonaler Ebene ein Verbandsbeschwerderecht zusteht, vor Bundesgericht lediglich (aber immerhin) geltend machen können, im kantonalen Verfahren in ihren Parteirechten verletzt worden zu sein; zudem können sie einen sie belastenden Kostenentscheid anfechten (vgl. Urteile 1C_367/2009 vom 27. Oktober 2009 E. 3; 1C_374/2010 vom 21. Dezember 2010 E. 1 betr. ZVH).
Allerdings können sie auf diesem Weg keine (indirekte) Überprüfung des Entscheids in der Hauptsache erlangen. Nicht einzutreten ist daher auf formelle Rügen, deren Beurteilung von der Prüfung in der Sache selbst nicht getrennt werden können, wie namentlich die Rüge, die Begründung des Verwaltungsgerichts sei unvollständig, zu wenig differenziert oder materiell unzutreffend (BGE 129 I 217 E. 1.4 S. 222 mit Hinweisen).
1.3 Nach dem Gesagten ist auf die Beschwerde nur insoweit einzutreten, als die Verletzung des rechtlichen Gehörs gerügt und eine Aufhebung bzw. Abänderung des Kostenentscheids verlangt wird. Im Übrigen kann auf die Beschwerde mangels Legitimation nicht eingetreten werden.
2. Die Beschwerdeführerin rügt zunächst eine Verletzung des rechtlichen Gehörs, weil sich das Verwaltungsgericht, wie bereits die Baurekurskommission, nicht ernsthaft mit ihrer zentralen Rüge auseinandergesetzt habe, wonach der Abbruch von rund der Hälfte der prägenden Bausubstanz des Weilers Rossberg § 50 Abs. 1 PBG widerspreche, weil der Weiler damit seinen Charakter als "ursprüngliche Bauernsiedlung" verliere. Das Verwaltungsgericht habe auf diese Rüge in E. 5.4.6 in nur sechs Zeilen geantwortet und in E. 6.5 auf das Ermessen der kommunalen Behörden verwiesen. Wieviel "Inhalt" gemäss Kernzonenbeschreibung übrig bleiben müsse, damit noch von der Eigenart der Kernzone gesprochen werden könne, hätten die Vorinstanzen mit keinem Wort erörtert.
2.1 Das Verwaltungsgericht hielt die Rüge der Beschwerdeführerin, wonach der Abriss der Hälfte der baulichen Substanz des Weilers den Denkmalschutzanliegen von Kernzonen widerspreche, für nicht überzeugend. Es führte dazu aus, der Bauausschuss habe die Vorschriften des Gestaltungsplans in einer Weise angewandt, die dem Zweck der Kernzone gemäss § 50 Abs. 1 PBG, nämlich der Erhaltung und Entwicklung eines schutzwürdigen Ortsbilds, entspreche. Es liege im Ermessen der kommunalen Behörden, nicht eine Erhaltung der Substanz zu verlangen und bei der Erhaltung der Struktur eine Gewichtung der für die Strukturgebung und damit für den Charakter des Weilers wesentlichen Elemente vorzunehmen. Dabei habe sich der Ausschuss der Stadt Winterthur von sachlichen Kriterien leiten lassen. Insbesondere habe er sich mit der Siedlungsanalyse auseinandergesetzt, deren Ergebnisse auch bei der Durchführung des Wettbewerbs berücksichtigt worden seien (E. 6.5 des angefochtenen Entscheids).
Schon zuvor (E. 5, in Zusammenhang mit der Rüge der Verletzung des Gestaltungsplans, der seinerseits auf die Bauvorschriften für die Kernzone IV verweist) hatte das Verwaltungsgericht dargelegt, dass keine absolute Verpflichtung bestehe, die vorhandene Bausubstanz zu erhalten, sondern nur die bauliche Struktur des Weilers und dessen bäuerlicher Charakter zu wahren seien (E. 5.4.1-5.4.3). Diese Anforderung erfülle das streitige Projekt (vgl. dazu insbes. E. 5.4.6). Das Verwaltungsgericht zitierte u.a. den Schlussbericht vom 30. Juni 2008, in welchem das Fachgremium das Siegerprojekt als "angenehm soliden Vorschlag, der sich mit der notwendigen Umsicht zu einer ausserordentlich kernzonengerechten Lösung ausdifferenzieren" lasse. Die Bemerkungen der Jury seien in einer mehrmonatigen Überarbeitung in das Projekt eingeflossen, wobei auch der Stadtbaumeister und der Leiter der Denkmalpflege beteiligt gewesen seien (E. 5.4.3 des angefochtenen Entscheids).
Der Bedeutung der Ensembles von Bauernhaus und Scheune sei insoweit Rechnung getragen worden, als mit dem Vielzweckbauernhaus an der Rossbergstrasse 40 weiterhin ein solches Ensemble vorhanden sein werde. Im Gegensatz zu den Gebäuden, die abgebrochen werden sollen, komme diesem gemäss der Siedlungsanalyse der ibid Altbau AG auch in seiner Substanz eine für das Ortsbild zentrale Bedeutung zu (E. 5.4.4 des angefochtenen Entscheids).
2.2 Das Verwaltungsgericht hat sich demnach mit der Rüge der Beschwerdeführerin zur Verletzung von § 50 Abs. 1 PBG auseinandergesetzt. Es teilte jedoch nicht deren Ausgangsannahme, wonach die Kernzone Denkmalschutzfunktion habe und dem Abbruch eines gewissen Prozentsatzes an historischer Bausubstanz entgegenstehe. Es folgte vielmehr der Auffassung der Stadt Winterthur, wonach der Substanzschutz grundsätzlich durch eine formelle Unterschutzstellung von Bauten und Umschwung erfolgen müsse. Kernzonen dienten dem Schutz des Ortsbildes und der Baustruktur. Insofern liege die Erhaltung der historischen Bausubstanz in Weiler- bzw. Kernzonen ohne inventarisierte Denkmalschutzobjekte grundsätzlich im Ermessen der kommunalen Behörde.
Nach dieser Rechtsauffassung (die im vorliegenden Verfahren nicht materiell zu prüfen ist), durfte sich das Verwaltungsgericht auf eine Ermessensmissbrauchsprüfung beschränken und musste nicht festlegen, welcher Prozentsatz an historischer Bausubstanz in der Kernzone erhalten bleiben müsse.
Damit liegt keine Verletzung des rechtlichen Gehörs oder der Begründungspflicht vor.
3. Weiter rügt die Beschwerdeführerin eine Verletzung des rechtlichen Gehörs, weil die Baubewilligungsinstanz im Rekursverfahren umfangreiche und für die Beurteilung der Kernzonenkonformität zentrale Dokumente nachgeschoben habe, namentlich die Siedlungsanalyse Hof Rossberg der ibid Altbau AG vom Feb./März 2008, den Studienauftrag Wohnbauten Weiler Rossberg vom 6. März 2008 und den Schlussbericht Wohnbauten Weiler Rossberg vom 30. Juni 2008. Die Baubewilligung sei massgeblich mit Dokumenten gerechtfertigt worden, welche der Beschwerdeführerin nicht vorgelegen hätten, als sie Rekurs erhob. Ihr sei damit zugemutet worden, ein Rechtsmittel zur Verwirklichung der Begründungspflicht zu erheben. Zugleich sei ihr ein Abschätzen der Prozessaussichten verunmöglicht worden.
3.1 Das Verwaltungsgericht ging davon aus, die Baubewilligung sei hinreichend begründet gewesen und habe offensichtlich die Möglichkeit zu einer sachgerechten Anfechtung gewährleistet. Die Begründung einer Baubewilligung diene nicht dazu, Dritten, welche sich gegen ein Bauvorhaben zur Wehr setzen wollen, die Auseinandersetzung mit der Baueingabe zu ersparen (E. 4.1 des angefochtenen Entscheids). Wolle man dennoch eine Gehörsverletzung bejahen, würde diese jedenfalls nicht so schwer wiegen, dass eine Heilung nicht möglich wäre (E. 4.2).
Soweit die Beschwerdeführerin geltend mache, es sei ihrem Rechtsvertreter aufgrund der Menge der mit der Rekursantwort nachgereichten Akten nicht möglich gewesen, sich innerhalb der 20-tägigen Replikfrist vollumfänglich mit den neuen Fakten auseinanderzusetzen, sei darauf hinzuweisen, dass sich der Umfang der Akten in einem für ein solches Bauvorhaben durchaus üblichen Rahmen bewegt habe. Zudem sei der Beschwerdeführerin zumindest die Tatsache bekannt gewesen, dass das Bauvorhaben aus einem Projektwettbewerb hervorgegangen sei und dass sich die entsprechenden Dokumente in den Akten befinden müssten. Der Rechtsvertreter der Beschwerdeführerin habe dennoch erst am letzten Tag der Replikfrist Einsicht in die Akten verlangt. Die Zeitknappheit habe sich die Beschwerdeführerin somit primär selbst zuzuschreiben (E. 7.4).
3.2 Im Kanton Zürich ergeht die Baubewilligung nicht nach einem Einspracheverfahren; vielmehr müssen Dritte im Baubewilligungsverfahren die Zustellung des baurechtlichen Entscheids verlangen, um ihre Rekursmöglichkeit zu wahren (§§ 315 f. PBG). Dies hat zur Folge, dass die Baubehörde erst im Rekursverfahren von den Einwänden gegen das Bauvorhaben erfährt und dazu Stellung nehmen kann.
Die Baubewilligung der Stadt Winterthur ist (mit 32 Seiten) sehr umfangreich und äussert sich ausführlich zur Zonenkonformität des Bauvorhabens in der Kernzone Rossberg wie auch zur Zulässigkeit des Abbruchs der bestehenden Bausubstanz (S. 3). Erwähnt wird auch, dass das Bauvorhaben aus einem Projektwettbewerb hervorgegangen ist (S. 5). Insofern hätte die Beschwerdeführerin die Möglichkeit gehabt, innerhalb der 30-tägigen Rekursfrist Einsicht in die Wettbewerbsunterlagen zu verlangen; notfalls hätte sie bei der Rekurskommission Frist zur nachträglichen Ergänzung der Beschwerdeschrift verlangen können.
Immerhin liesse sich im vorliegenden Fall die Auffassung vertreten, dass die - auch aus Sicht der Stadt Winterthur zentralen - Dokumente (Siedlungsanalyse; Wettbewerbsunterlagen) in der Baubewilligung ausdrücklich hätten genannt werden müssen, um den mitbeteiligten Dritten die Möglichkeit zu geben, gezielt Akteneinsicht zu verlangen. Letztlich kann die Frage offen bleiben. Wie das Verwaltungsgericht zu Recht angenommen hat, wäre eine allfällige (und nicht besonders schwer wiegende) Verletzung des rechtlichen Gehörs im Rekursverfahren geheilt worden, indem der Beschwerdeführerin die Einsichtnahme in und die Stellungnahme zu diesen Dokumenten ermöglicht wurde.
4. Die Beschwerdeführerin macht geltend, dem Nachschieben von Dokumenten im Rekursverfahren müsse mindestens bei den Kostenfolgen Rechnung getragen werden.
4.1 Das Verwaltungsgericht verneinte dies. Es betonte, dass der Bauausschuss Winterthur im Rekursverfahren keine neuen Gründe für die Bewilligung vorgebracht habe, die erst zur Abweisung des Rekurses geführt hätten; vielmehr habe es sich um Ergänzungen gehandelt, welche in der Praxis üblich seien und zu Recht toleriert würden. Dem hätte die Vorinstanz bei der Regelung der Kosten- und Entschädigungsfolgen nur Rechnung tragen müssen, wenn die Beschwerdeführerin aufgrund der Rekursantwort ihren Rekurs zurückgezogen hätte (E. 7.2 des angefochtenen Entscheids).
4.2 Diese Auffassung ist nicht zu beanstanden: Wie oben dargelegt wurde, war die Beschwerdeführerin bereits aufgrund der Begründung der Baubewilligung in der Lage, diese sachgerecht anzufechten. Die fehlende Nennung der Unterlagen in der Baubewilligung war auch nicht kausal für die Rekurserhebung der Beschwerdeführerin: Diese blieb vielmehr auch nach Einsichtnahme in die nachgeschobenen Unterlagen von der Begründetheit ihres Rekurses überzeugt und zog deshalb die Sache (und nicht nur den Kostenentscheid) an das Verwaltungsgericht und schliesslich an das Bundesgericht weiter. Unter diesen Umständen ist davon auszugehen, dass sie den Rekurs auch dann erhoben und im Wesentlichen gleich begründet hätte, wenn ihr die fraglichen Unterlagen von Anfang an bekannt gewesen wären.
Unter diesen Umständen ist es nicht bundesrechtswidrig, ihr die Gerichts- und Parteikosten des kantonalen Verfahrens vollständig aufzuerlegen.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die X._ AG für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Bauausschuss der Stadt Winterthur und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 27. Juli 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Die Gerichtsschreiberin: Gerber