Sachverhalt:
A. Vom 10. bis 29. Juni 2005 legte die Stadt Frauenfeld den Gestaltungsplan "Wohnüberbauung Walzmühle" öffentlich auf. Dieser Gestaltungsplan sieht für die 18'208 m2 grosse, der X._ gehörenden Parzelle Nr. 761 (genannt "Stammerau") drei Baubereiche für eine Überbauung mit insgesamt 81 Wohnungen vor. Das Baugrundstück grenzt an das ehemalige Fabrikareal Walzmühle der A._. Beim Kernbereich dieses Areals handelt es sich nach dem "Richtplan Natur- und Landschaft" vom 20. Dezember 1999 um erhaltenswerte Bauten oder Baugruppen.
Gegen den Gestaltungsplan "Wohnüberbauung Walzmühle" erhoben die A._ sowie verschiedene Bewohner und Stockwerkeigentümer der Liegenschaften Walzmühlestrasse 55/57 Einsprache. Der Stadtrat Frauenfeld wies die Einsprache am 15. November 2005 ab. Dagegen gelangten die unterlegenen Einsprecher an das Departement für Bau und Umwelt des Kantons Thurgau. Dieses wies den Rekurs mit Entscheid vom 7. Juni 2007 ab. Eine gegen diesen Entscheid gerichtete Beschwerde wies das Verwaltungsgericht des Kanton Thurgau mit Urteil vom 21. Mai 2008 ab, soweit es darauf eintreten konnte (kant. Verfahren V 93).
B. Gegen den Entscheid des Verwaltungsgerichts vom 21. Mai 2008 gelangten u.a. die A._ und die Stockwerkeigentümergemeinschaft B._ mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 15. September 2008 an das Bundesgericht. Sie beantragten, der Entscheid des Verwaltungsgerichts vom 21. Mai 2008 sei aufzuheben und die Sache sei zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Allenfalls sei der Gestaltungsplan "Wohnüberbauung Walzmühle" nicht zu genehmigen.
Das Bundesgericht zog im Beschwerdeverfahren den Entscheid des kantonalen Departements für Bau und Umwelt vom 22. Juni 2007 bei, mit welchem der umstrittene Gestaltungsplan genehmigt worden war. Mit Urteil 1C_422/2008 vom 23. Dezember 2008 trat das Bundesgericht auf die Beschwerde nicht ein, weil die für die Verbindlichkeit eines Nutzungsplans erforderliche Genehmigung im Sinne von Art. 26 Abs. 3 RPG und §§ 32 f. PBG/TG nicht in das vorinstanzliche Verfahren einbezogen war. Damit lag noch kein letztinstanzlicher kantonaler Endentscheid über die Nutzungsplanung vor, welcher die Rechte und Pflichten der betroffenen Personen verbindlich geregelt hätte. Das Bundesgericht legte dar, dass es auf Beschwerden gegen Nutzungsplaninhalte grundsätzlich nur eintritt, wenn die erforderliche kantonale Genehmigung vorliegt und von der letzten kantonalen Instanz auch mitbeurteilt werden konnte. Es obliege den zuständigen kantonalen Instanzen, die erforderliche Koordination sicherzustellen (BGE 135 II 22 E. 2 S. 28 f.).
C. Am 16. Dezember 2008 erhoben die A._ und die Stockwerkeigentümergemeinschaft B._ beim Verwaltungsgericht Beschwerde gegen den Genehmigungsentscheid des Departements für Bau und Umwelt vom 22. Juni 2007. Sie erklärten, dieser Genehmigungsentscheid sei ihnen erstmals im bundesgerichtlichen Verfahren 1C_422/2008 zur Kenntnis gebracht und eröffnet worden.
D. Nach Vorliegen des Nichteintretensentscheids des Bundesgerichts 1C_422/2008 vom 23. Dezember 2008 (lit. B hiervor) führte das Verwaltungsgericht das kantonale Verfahren weiter. Mit Entscheid vom 21. Mai 2008 und 9. September 2009 (kant. Verfahrens-Nr. V 93 VG.2008.219/E) wies es die Beschwerde gegen den Rekursentscheid vom 7. Juni 2007 wiederum ab, soweit es darauf eintrat. Die Beschwerde gegen den Genehmigungsentscheid wies das Verwaltungsgericht im selben Urteil ab.
E. Mit Eingabe an das Bundesgericht vom 19. Oktober 2009 führen die A._ und die Stockwerkeigentümergemeinschaft B._ Beschwerde in öffentlich-rechtlichen Angelegenheiten. Zur Hauptsache beantragen sie, die verwaltungsgerichtlichen Entscheide vom 21. Mai 2008 und 9. September 2009 seien aufzuheben, und die Sache sei zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Allenfalls sei der Gestaltungsplan "Wohnüberbauung Walzmühle" nicht zu genehmigen.
Das Verwaltungsgericht und die X._ stellen den Antrag, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Die Stadt Frauenfeld beantragt, die Beschwerde sei abzuweisen.
F. Mit Präsidialverfügung vom 23. November 2009 wurde ein Gesuch der Beschwerdeführerinnen um Gewährung der aufschiebenden Wirkung abgewiesen.
Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Entscheid, mit dem eine Beschwerde gegen einen Gestaltungsplan im Sinne der §§ 18 ff. des Planungs- und Baugesetzes des Kantons Thurgau vom 16. August 1995 (PBG/TG; RB 700) und damit einen (Sonder-) Nutzungsplan im Sinne von Art. 14 ff. RPG (SR 700) abgewiesen wurde. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 34 Abs. 1 RPG i.V.m. Art. 82 ff. BGG).
1.2 Die Beschwerdeführer sind als Nachbarn des umstrittenen Gestaltungsplangebiets ohne Weiteres zur Beschwerde legitimiert (zur Legitimation gemäss Art. 89 Abs. 1 BGG siehe BGE 133 II 249 E. 1.3.3 S. 253 f.; Urteil des Bundesgerichts 1C_500/2009 vom 1. Februar 2010 E. 2.2-2.6). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist unter Vorbehalt der genügenden Begründung (dazu E. 1.3 und 1.4 hiernach) einzutreten.
1.3 Nach Art. 42 Abs. 2 BGG ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich die Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzen. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG). Auf die Beschwerde kann aber nur eingetreten werden, wenn diese wenigstens die Begründungsanforderungen von Art. 42 Abs. 2 BGG erfüllt.
Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten zu beurteilen ist. Dies prüft das Bundesgericht insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Für derartige Rügen gelten die gleichen Begründungsanforderungen, wie sie gestützt auf Art. 90 Abs. 1 lit. b OG für die staatsrechtliche Beschwerde gegolten haben (BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (BGE 135 III 127 E. 1.6 S. 130; 134 II 244 E. 2.1 und 2.2 S. 245; je mit Hinweisen).
1.4 Die Feststellung und Würdigung der tatsächlichen Verhältnisse überprüft das Bundesgericht im Rahmen der Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Massgabe der Art. 97 Abs. 1 und Art. 105 Abs. 1 und 2 BGG. Voraussetzung dazu ist allerdings, dass die Beschwerdeführer rechtsgenügend begründete Sachverhaltsrügen im Sinne von Art. 42 Abs. 2 BGG erheben. Solche Sachverhaltsrügen liegen nicht vor. Die Beschwerdeführerinnen kritisieren den von der Vorinstanz erhobenen Sachverhalt zwar in verschiedener Hinsicht. Inwiefern die Sachverhaltsfeststellungen auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen oder offensichtlich unrichtig sein sollen und überdies für den Ausgang des Verfahrens entscheidend waren, legen die Beschwerdeführerinnen nicht dar. Insoweit kann auf ihre Beschwerde nicht eingetreten werden.
2. Die Beschwerdeführerinnen machen geltend, die Richter des Verwaltungsgerichts hätten nach dem Entscheid des Bundesgerichts 1C_422/2008 vom 23. Dezember 2008 bei der weiteren Behandlung der Angelegenheit in Ausstand treten müssen.
2.1 Nach Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK hat der Einzelne Anspruch darauf, dass seine Sache von einem durch Gesetz geschaffenen, zuständigen, unabhängigen und unparteiischen Gericht ohne Einwirken sachfremder Umstände entschieden wird. Dieser Anspruch ist verletzt, wenn bei einem Richter - objektiv betrachtet - Gegebenheiten vorliegen, die den Anschein der Befangenheit und der Gefahr der Voreingenommenheit begründen. Solche Umstände können entweder in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein (BGE 135 I 14 E. 2 S. 15; 134 I 20 E. 4.2 S. 21; 133 I 1 E. 6.2 S. 6; 131 I 113 E. 3.4 S. 116). Für den Ausstand wird nicht verlangt, dass der Richter oder die Richterin tatsächlich befangen ist. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken (BGE 133 I 1 E. 6.2 S. 6; 131 I 24 E. 1.1 S. 25 mit Hinweisen). Das subjektive Empfinden einer Partei vermag dagegen keine Ausstandspflicht zu begründen (BGE 134 I 20 E. 4.2 S. 21; 133 I 1 E. 5.2 S. 3).
2.2 Der Eindruck möglicher Voreingenommenheit entsteht bei den Parteien vor allem dann, wenn einzelne Gerichtspersonen in einem früheren Verfahren mit der konkreten Streitsache schon einmal befasst waren. In einem solchen Fall der sog. Vorbefassung stellt sich die Frage, ob sich ein Richter durch seine Mitwirkung an früheren Entscheidungen in einzelnen Punkten bereits in einem Mass festgelegt hat, das ihn nicht mehr als unbefangen und dementsprechend das Verfahren als nicht mehr offen erscheinen lässt. Ob von einer unzulässigen, den Verfahrensausgang vorwegnehmenden Vorbefassung eines Richters auszugehen ist, kann nicht generell gesagt werden, sondern ist im Einzelfall - anhand der tatsächlichen und verfahrensrechtlichen Umstände - zu untersuchen (BGE 131 I 113 E. 3.4 S. 116 f. mit Hinweisen).
2.3 Der Umstand allein, dass ein Richter an einem Urteil mitgewirkt hat, das im Rechtsmittelverfahren aufgehoben wird, schliesst diesen nach der Rechtsprechung noch nicht von der Neubeurteilung der zurückgewiesenen Sache aus. Ist ein Verfahrensfehler, beispielsweise eine Verletzung des Anspruchs auf rechtliches Gehör, begangen oder materielles Recht verletzt und daher ein Entscheid erfolgreich angefochten worden, darf und muss von den daran beteiligten Richtern grundsätzlich erwartet werden, dass sie die Sache mit der nötigen Professionalität und Unvoreingenommenheit nochmals behandeln (BGE 131 I 113 E. 3.6 S. 120; 116 Ia 28 E. 2a S. 30).
Befangenheit ist demgegenüber regelmässig dann anzunehmen, wenn konkrete Anhaltspunkte dafür vorliegen, dass sich der Richter oder die Richterin bereits in einer Art festgelegt hat, dass er oder sie einer anderen Bewertung der Sach- und Rechtslage nicht mehr zugänglich und der Verfahrensausgang deswegen nicht mehr offen erscheint (BGE 131 I 113 E. 3.7 S. 124). Diese Grundsätze sind auch auf die hier zu beurteilende Konstellation anzuwenden, wo nicht ein prozessualer Zwischenentscheid, sondern die Überprüfung des Beschwerdeentscheids ohne Koordination mit dem Genehmigungsentscheid den Anlass für die Vorbefassung bot.
2.4 Das Verwaltungsgericht nahm nach dem Vorliegen des Urteils 1C_422/2008 vom 23. Dezember 2008 die Beurteilung des kantonalen Beschwerdeentscheids und des Genehmigungsentscheids des Departements an die Hand. Es beschränkte sich dabei auf die Beachtung der bundesrechtlichen Minimalanforderungen, welche sich aus der Koordinationspflicht gemäss Art. 25a RPG ergeben. Irgendwelche konkrete Anhaltspunkte für die Befangenheit der beteiligten Richter sind nicht ersichtlich und werden auch von den Beschwerdeführerinnen nicht genannt. Allein der Umstand, dass das Gericht seine im ersten Entscheid dargelegte Auffassung in Bezug auf die Rechtmässigkeit des Gestaltungsplans bestätigte, stellt keinen konkreten Anhaltspunkt für die Befangenheit der beteiligten Gerichtspersonen dar.
3. Die Beschwerdeführerinnen legen dar, dass die Stockwerkeigentümergemeinschaft B._ am 25. Juni 2009 bei der Stadt Frauenfeld ein Gesuch um Unterschutzstellung des gesamten Walzmühleareals mitsamt der Umgebung eingereicht haben. Dieses Gesuch stützt sich auf § 13 des kantonalen Gesetzes vom 8. April 1992 zum Schutz und zur Pflege der Natur und der Heimat (NHG/TG; RB 450.1) und ist zurzeit noch hängig. Der beantragte Umgebungsschutz betrifft das vom umstrittenen Gestaltungsplan erfasste Areal. Die Beschwerdeführerinnen berufen sich zur Begründung der Schutzwürdigkeit der Umgebung des Walzmühleareals namentlich auf ein Gutachten von Prof. Luigi Snozzi vom 1. März 2006 und ein Schreiben des kantonalen Amtes für Denkmalpflege vom 18. April 2006. Ausserdem machen sie geltend, gemäss dem Bundesinventar schützenswerter Ortsbilder der Schweiz (ISOS) sei das Ensemble Walzmühle in der Substanz zu erhalten und die räumliche Trennung der Baugruppen müsse durch angemessene Freiräume unbedingt bestehen bleiben. Im kantonalen Hinweisinventar alter Bauten und Ortsbilder im Kanton Thurgau, das zurzeit überarbeitet werde, sei das Ensemble Walzmühle in der Gesamtform als erhaltenswert eingestuft. Die Beschwerdeführerinnen rügen, die Vorinstanz habe trotz rechtzeitig und formrichtig beantragter Begutachtung auf ein Fachgutachten zur Schutzwürdigkeit der Umgebung der Walzmühle verzichtet und damit das rechtliche Gehör (Art. 29 Abs. 2 BV) verweigert sowie das Willkürverbot (Art. 9 BV) verletzt.
3.1 Das Verwaltungsgericht hat die Einholung des beantragten Fachgutachtens abgelehnt, da die nördlichen Teile des Walzmühleareals nicht unter Schutz stünden und somit für diesen Bereich auch kein Umgebungsschutz beansprucht werden könne. Auch bestehe kein Anlass, den Entscheid über das Unterschutzstellungsgesuch vom 25. Juni 2009 abzuwarten. Das Amt für Denkmalpflege wende sich einzig gegen die Geschosszahl der neuen Überbauung (vier Stockwerke statt drei). Schliesslich ergebe sich auch aus der Berufung der Beschwerdeführerinnen auf das ISOS keine andere Betrachtungsweise. Weder gehe es vorliegend um die Erfüllung einer Bundesaufgabe noch sei die Überbauung der im Baugebiet gelegenen Parzelle Nr. 761 auf ihre materielle Übereinstimmung mit den Anliegen und Zielen des ISOS zu überprüfen.
3.2 Zunächst ergibt sich, dass das Unterschutzstellungsgesuch vom 25. Juni 2009 die Erhaltung des nördlichen Teils des Walzmühleareals sowie der vom umstrittenen Gestaltungsplan erfassten unüberbauten Umgebung anstrebt. Der Auffassung der Vorinstanz, dieses Gesuch sei für das vorliegende Verfahren unbeachtlich, kann nicht zugestimmt werden. Die bei der Stadt Frauenfeld hängige Frage der Schutzwürdigkeit des gesamten Walzmühleareals samt Umgebung ist offensichtlich geeignet, die Beurteilung des umstrittenen Gestaltungsplans zu beeinflussen. Es besteht insoweit ein Koordinationsbedarf, dem das Verwaltungsgericht nicht hinreichend Rechnung getragen hat. Die Vorinstanz hat trotz des Koordinationsbedarfs weder weitere Erhebungen zur Beurteilung der aufgeworfenen Frage des Ensembleschutzes vorgenommen, noch hat sie ihren Entscheid aufgeschoben bis Klarheit über die Beurteilung des bei der Stadt hängigen Gesuchs besteht. Dieses Vorgehen widerspricht den Grundsätzen der Koordination, die auf das Nutzungsplanungsverfahren sinngemäss anwendbar sind (Art. 25a RPG). Nach Art. 25a Abs. 2 RPG holt die verantwortliche Behörde von allen kantonalen und eidgenössischen Behörden umfassende Stellungnahmen zum Vorhaben ein (lit. c) und sorgt für eine inhaltliche Abstimmung [.....] der Verfügungen (lit. d). Die Verfügungen dürfen keine Widersprüche enthalten (Art. 25a Abs. 3 RPG). Diese Grundsätze gelten im Nutzungsplanungsverfahren sinngemäss (Art. 25a Abs. 4 RPG). Durch die fehlende Abstimmung der umstrittenen Gestaltungsplanung auf die Frage des Umgebungsschutzes und die Schutzwürdigkeit des nördlichen Teils des Walzmühleareals besteht die Gefahr widersprüchlicher Entscheide. Der angefochtene Entscheid trägt dem in Art. 25a RPG enthaltenen Gebot der inhaltlichen Abstimmung nicht hinreichend Rechnung.
3.3 Hinzu kommt, dass Bundesinventare wie das ISOS nicht nur bei der Erfüllung von Bundesaufgaben, sondern auch bei der Erfüllung von kantonalen (und kommunalen) Aufgaben von Bedeutung sind. Ihrer Natur nach kommen sie Sachplänen und Konzepten im Sinne von Art. 13 RPG gleich. Im Rahmen der allgemeinen Planungspflicht der Kantone (Art. 2 RPG) legen diese die Planungsgrundlagen in ihrer Richtplanung im Allgemeinen fest (Art. 6 RPG) und berücksichtigen die Bundesinventare als besondere Form von Konzepten und Sachplänen im Speziellen (Art. 6 Abs. 4 RPG). Aufgrund der Behördenverbindlichkeit der Richtplanung (Art. 9 RPG) finden die Schutzanliegen des Bundesinventars auf diese Weise Eingang in die Nutzungsplanung (Art. 14 ff. RPG), insbesondere in die Ausscheidung von Schutzzonen (Art. 17 Abs. 1 RPG) und in die Anordnung von andern Schutzmassnahmen (Art. 17 Abs. 2 RPG). Die derart ausgestaltete Nutzungsplanung ist auch für die Eigentümer verbindlich. Insoweit besteht für die Kantone (und Gemeinden) eine Pflicht zur Berücksichtigung von Bundesinventaren (vgl. zum Ganzen Arnold Marti, Bundesinventare - eigenständige Schutz- und Planungsinstrumente des Natur- und Heimatschutzes, URP 2005 S. 634 ff.; Rausch/Marti/Griffel, Umweltrecht, Zürich 2004, Rz. 527 ff. und 565). Die Pflicht zur Beachtung findet zum einen ihren Niederschlag in der Anwendung der die Schutzanliegen umsetzenden (Nutzungs-)Planung. Zum andern darin, dass im Einzelfall erforderliche Interessenabwägungen im Lichte der Heimatschutzanliegen vorgenommen werden. Das ist insbesondere der Fall, wenn von der Grundnutzungsordnung abgewichen werden soll (BGE 135 II 209 E. 2.1 S. 213).
Der angefochtene Entscheid trägt dieser Rechtslage keine Rechnung, sondern begnügt sich im Ergebnis damit, das ISOS als für den umstrittenen Gestaltungsplan nicht massgebend darzustellen. Dies obwohl der Gestaltungsplan nach den Ausführungen des Verwaltungsgerichts eine Abweichung von der Regelbauweise vorsieht (vier Geschosse an Stelle von drei). Inwiefern den Anliegen des ISOS trotz Abweichung von der Regelbauweise entsprochen werden kann, ist dem angefochtenen Entscheid nicht zu entnehmen.
3.4 Daraus ergibt sich, dass die Beschwerde wegen mangelnder Abstimmung des Gestaltungsplans auf das noch hängige Verfahren der Unterschutzstellung inkl. Umgebungsschutz des nördlichen Teil des Walzmühleareals gutzuheissen ist. Dies führt zur Aufhebung des angefochtenen Entscheids und zur Rückweisung der Angelegenheit an die Vorinstanz. Damit wird der Sistierungsantrag der Beschwerdeführer gegenstandslos. Bei diesem Ausgang des bundesgerichtlichen Verfahrens ist auf die übrigen Rügen der Beschwerdeführerinnen nicht weiter einzugehen. Das Verwaltungsgericht wird für die einwandfreie Einhaltung der Koordinationsgrundsätze im Sinne von Art. 25a RPG zu sorgen haben. Dazu gehört auch, dass die erforderliche Koordination von den nach dem kantonalen Recht zuständigen Behörden gewährleistet wird (BGE 135 II 22 E. 2 S. 29 mit Hinweis). Ausserdem wird das Verwaltungsgericht die Kosten des kantonalen Verfahrens neu zu verlegen haben.
4. Dem Ausgang des bundesgerichtlichen Verfahrens entsprechend sind die Gerichtskosten der X._ aufzuerlegen (Art. 66 Abs. 4 BGG). Diese hat den Beschwerdeführern überdies eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und das Urteil V 93 VG.2008.219/E des Verwaltungsgerichts des Kantons Thurgau vom 21. Mai und 9. September 2009 wird aufgehoben. Die Angelegenheit wird zur neuen Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht zurückgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden der X._ auferlegt.
3. Die X._ hat den Beschwerdeführerinnen eine Parteientschädigung von Fr. 4'000.-- zu bezahlen.
4. Dieses Urteil wird den Parteien, der Politischen Gemeinde Frauenfeld, dem Departement für Bau und Umwelt sowie dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 3. Mai 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Haag