Sachverhalt:
A. Der Gemeinderat Herrliberg setzte mit Beschluss vom 22. August 2006 die Baulinien an der Schulhausstrasse in Herrliberg neu fest und publizierte diesen Beschluss am 25. August 2006 im Amtsblatt des Kantons Zürich. Durch die neu festgesetzte Baulinie wird das an der Schulhausstrasse auf Grundstück Kat.-Nr. 3977 gelegene Gebäude (Vers.-Nr. 716, Schulhausstrasse 30) von Y._ nicht mehr durchschnitten, sondern strassenseitig umfahren.
B. Gegen diese Neufestsetzung erhob B.X._, Miteigentümer der von der Baulinie tangierten Strassenparzelle Nr. 5938 und Eigentümer des durch diese Strassenparzelle erschlossenen hinterliegenden Grundstücks Kat.-Nr. 3427 (mit Gebäude Vers.-Nr. 718, Schulhausstrasse 32), Rekurs bei der Baurekurskommission II des Kantons Zürich. Diese wies den Rekurs mit Entscheid vom 22. Mai 2007 nach Durchführung eines Augenscheins aus materiellrechtlichen Erwägungen ab.
C. Die dagegen gerichtete Beschwerde von B.X._ wies das Verwaltungsgericht des Kantons Zürich, 4. Kammer, am 5. Dezember 2007 im Sinne der Erwägungen ab. Es vertrat die Auffassung, der Beschwerdeführer sei zur Rechtsmittelergreifung vor der Baurekurskommission nicht legitimiert gewesen.
D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. Januar 2008 beantragt die Witwe des zwischenzeitlich verstorbenen B.X._, A.X._, die Aufhebung der Entscheide des Verwaltungsgerichts und der Baurekurskommission II sowie des Beschlusses des Gemeinderates vom 22. August 2006, soweit es die strassenseitige Umfahrung des Gebäudes Nr. 716 betrifft, und die Beibehaltung des bisherigen Verlaufs der Baulinie.
E. Mit Poststempel vom 29. Januar 2007 reichte die Beschwerdeführerin eine korrigierte Version der Beschwerdeschrift nach.
F. Das Verwaltungsgericht des Kantons Zürich, 4. Abteilung, verzichtet auf Vernehmlassung. Die Baurekurskommission II des Kantons Zürich verzichtet auf die Stellung eines Antrages, hält jedoch an ihrer Auffassung fest, dass der Rechtsvorgänger der Beschwerdeführerin zur Rechtsmittelergreifung legitimiert gewesen sei. Der Gemeinderat Herrliberg schliesst sinngemäss auf Abweisung der Beschwerde. Y._ hat sich nicht vernehmen lassen.
Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid, mit dem eine Beschwerde gegen einen Baulinienplan und damit einen (Sonder)Nutzungsplan i.S.v. Art. 14 ff. RPG abgewiesen wurde. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 ff. BGG).
1.1 Die erforderliche Genehmigung des strittigen Baulinienplans durch die zuständige kantonale Behörde (Art. 26 RPG; § 109 i.V.m. § 2 des Zürcher Planungs- und Baugesetzes vom 7. September 1975 [PBG]) ist noch nicht erfolgt. Nach der aktenkundigen Korrespondenz hat die Baudirektion der Gemeinde Herrliberg gegenüber die Nichtgenehmigung in Aussicht gestellt.
1.1.1 Das Bundesgericht tritt auf Beschwerden gegen Rechtsmittelentscheide über die Festsetzung von Nutzungsplänen grundsätzlich nur ein, wenn ein Genehmigungsentscheid im Sinne von Art. 26 Abs. 1 RPG vorliegt. Diese Praxis galt bereits für die staatsrechtliche Beschwerde nach dem OG (BGE 120 Ia 19 E. 2a S. 22; 118 Ia 165 E. 2a S. 168; 116 Ia 221 E. 1e S. 226; Urteile 1P.68/1998 vom 31. März 1998, publ. in ZBl 100/1999 S. 70, E. 1b/bb) und wird auch unter der Geltung des BGG weitergeführt (vgl. Entscheid 1C_190/2007 vom 7. Dezember 2007 E. 2.2 mit Hinweisen).
Die Koordinationsgrundsätze gemäss Art. 25a RPG erfordern eine Abstimmung des Rechtsmittel- und des Genehmigungsentscheids (Entscheid 1C_190/2007 vom 7. Dezember 2007 E. 2.2.2.2 mit Hinweisen). Auf welche Weise diese Koordination hergestellt wird, bleibt grundsätzlich den Kantonen überlassen (Art. 25 Abs. 1 RPG; Urteil 1P.222/2000 vom 22. November 2000, publ. in ZBl 102/2001 S. 383 ff. E. 3b mit Hinweisen). Der Genehmigungsentscheid muss jedoch spätestens im Beschwerdeverfahren vor der letzten kantonalen Rechtsmittelinstanz eingeholt werden; die gebotene Koordination darf nicht erst vor Bundesgericht erfolgen (Entscheid 1C_190/2007 vom 7. Dezember 2007 E. 2.2.2.2 und 2.2.2.3 mit Hinweisen).
1.1.2 Der Beschwerdeführer hatte im verwaltungsgerichtlichen Verfahren die Einholung des Genehmigungsentscheids beantragt. Das Verwaltungsgericht hielt dazu fest, § 329 Abs. 4 PBG erwähne Baulinienpläne, wie auch andere (Sonder)Nutzungspläne i.S.v. Art. 14 ff. RPG, nicht. Auch in anderen Fällen genehmigungspflichtiger Nutzungspläne - etwa im Quartierplanverfahren gemäss § 159 Abs. 1 PBG oder bei überkommunalen Strassenprojekten - werde die kantonale Genehmigung erst nach rechtskräftiger Festsetzung eingeholt. Ob zwecks Gewährleistung der bundesrechtlich gebotenen Koordination gemäss § 25a RPG entsprechend § 329 Abs. 4 PBG vorgegangen werden müsse, könne vorliegend offen bleiben, weil die Beschwerde mangels Legitimation materiell nicht zu behandeln sei.
1.1.3 Wie dargelegt wurde, verlangt § 25a RPG die Koordination von Genehmigungs- und Rechtsmittelentscheid für alle Nutzungspläne, einschliesslich Baulinienpläne, spätestens im Verfahren vor der letzten kantonalen Rechtsmittelinstanz. Ist die Koordination nicht schon in einem früheren Verfahrensstadium erfolgt, muss deshalb das Verwaltungsgericht den Genehmigungsentscheid einholen, sei es analog § 329 Abs. 4 PBG, sei es in unmittelbarer Anwendung von § 25a RPG.
Der Auffassung des Verwaltungsgerichts, wonach auf die Einholung der Genehmigung verzichtet werden könne, wenn die Beschwerde mangels Legitimation nicht materiell zu behandeln sei, kann nicht ohne Weiteres gefolgt werden: Wird die Genehmigung verweigert, wird das Rechtsmittelverfahren gegenstandslos, womit sich auch die Beschwerde an das Bundesgericht erübrigt. Es kann auch nicht von vornherein ausgeschlossen werden, dass die Genehmigungsbehörde in ihrem Entscheid Bedingungen und Auflagen vorsieht (Entscheid 1C_190/2007 E. 2.2.2.2), welche die Interessen der Parteien berühren und sich auf ihre Legitimation auswirken können.
1.1.4 Nachdem jedoch das Verwaltungsgericht von der Einholung des Genehmigungsentscheids abgesehen und die Auffassung vertreten hat, schon die Baurekurskommission hätte auf den Rekurs des Beschwerdeführers mangels Legitimation nicht eintreten dürfen, kommt sein Entscheid, die Beschwerde "im Sinne der Erwägungen" abzuweisen, einem Nichteintretensentscheid gleich. Nichteintretensentscheide bringen das Verfahren prozessual zum Abschluss und sind daher als Endentscheide zu qualifizieren, unabhängig davon, in welchem Stadium des kantonalen Verfahrens sie ergehen (Entscheid 1C_82/2007 vom 19. November 2007 E. 1.2; Felix Uhlmann, Basler Kommentar zum BGG, Art. 90 N 9 S. 895 f.; so schon unter dem OG: BGE 131 V 42 E. 3 S. 47 mit Hinweisen; Walter Kälin, Das Verfahren der staatsrechtlichen Beschwerde, Bern 1994, S. 338 f.). Insofern ist auf die vorliegende Beschwerde einzutreten. Dies erscheint auch deshalb gerechtfertigt, weil sich die Beschwerde selbst im Fall der Nichtgenehmigung des umstrittenen Baulinienplans nicht völlig erledigen würde, bliebe der Beschwerdeführer doch mit den Kosten des kantonalen Verfahrens belastet.
1.2 Die Beschwerdeführerin ist als Alleinerbin des vor Einreichung der Beschwerde verstorbenen ursprünglichen Beschwerdeführers B.X._ grundsätzlich befugt, das Verfahren für diesen fortzusetzen (Art. 71 BGG i.V.m. Art. 17 Abs. 3 BZP).
Sie macht geltend, indem das Verwaltungsgericht ihr bzw. ihrem Rechtsvorgänger die Beschwerdelegitimation abgesprochen habe, sei es in formelle Rechtsverweigerung sowie in Willkür verfallen und habe ihren Anspruch auf rechtliches Gehör sowie Art. 33 Abs. 3 lit. a RPG verletzt. Zu diesen Rügen ist die Beschwerdeführerin nach Art. 89 Abs. 1 BGG ohne Weiteres befugt. Insoweit ist auf die Beschwerde einzutreten.
1.3 Nicht einzutreten ist dagegen auf die Beschwerde, soweit die Aufhebung des Entscheids der Baurekurskommission sowie der neuen Baulinienfestsetzung auf der Parzelle Nr. 3977 und die Beibehaltung der Baulinie im bisherigen Verlauf beantragt wird. Nachdem das Verwaltungsgericht die umstrittene Baulinie nicht materiell geprüft hat, fehlt es insoweit an einem vorinstanzlichen Sachentscheid. Das Bundesgericht kann deshalb nur prüfen, ob das Verwaltungsgericht die Legitimation des seinerzeitigen Beschwerdeführers bundesrechtswidrig verneint hat; dagegen kann es nicht selbst in der Sache entscheiden.
2. Die Beschwerdeführerin rügt, die Verneinung der Legitimation ihres Rechtsvorgängers durch das Verwaltungsgericht verletzte Art. 33 Abs. 3 lit. a RPG, stelle eine formelle Rechtsverweigerung und eine Verletzung des rechtlichen Gehörs dar (Art. 29 Abs. 1 und 2 BV) und sei willkürlich (Art. 9 BV).
2.1 Es ist unbestritten, dass der strittige Baulinienplan als Nutzungsplan im Sinne von Art. 33 RPG anzusehen und die bundesrechtliche Minimalvorschrift des Art. 33 Abs. 3 lit. a RPG zu der in kantonalen Rechtsmittelverfahren zu gewährleistenden Legitimation anwendbar ist.
Nach dieser Bestimmung gewährleistet das kantonale Recht die Legitimation mindestens im gleichen Umfang wie für die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Die Berechtigung zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ergibt sich aus Art. 89 Abs. 1 BGG. Verlangt wird insbesondere, dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt (Art. 89 Abs. 1 lit. b BGG) und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht (Art. 89 Abs. 1 lit. c BGG).
Die Beziehungsnähe zum Streitgegenstand muss bei Nutzungsplänen insbesondere in räumlicher Hinsicht gegeben sein. Ein schutzwürdiges Interesse liegt vor, wenn die tatsächliche oder rechtliche Situation des Beschwerdeführers durch den Ausgang des Verfahrens beeinflusst werden kann (vgl. Botschaft vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege, BB1 2001 S. 4236). Die Voraussetzungen von Art. 89 Abs. 1 lit. b und lit. c BGG hängen eng zusammen; insgesamt kann insoweit an die Grundsätze zur Legitimationspraxis bei der Verwaltungsgerichtsbeschwerde nach Art. 103 lit. a OG, angeknüpft werden (BGE 133 II 249 E. 1.3.1 S. 252 f., 353 E. 3 S. 356 f., 400 E. 2.2 S. 404, je mit Hinweis auf BGE 120 Ib 48 E. 2a S. 51 f. und 379 E. 4b S. 386 f.).
In Übereinstimmung mit diesen Vorschriften des Bundesrechts bestimmt § 338a PGB, dass zum Rekurs und zur Beschwerde berechtigt ist, wer durch die angefochtene Anordnung berührt ist und ein schutzwürdiges Interesse an ihrer Aufhebung oder Änderung hat.
2.2 Das Verwaltungsgericht ging davon aus, dass der Beschwerdeführer kein eigenes schutzwürdiges Interesse an der Beibehaltung der ehemaligen Baulinienführung habe; was er im vorinstanzlichen Verfahren zum Nachweis seiner Legitimation vorgebracht habe, sei nicht zutreffend. Unter Berücksichtigung der erforderlichen Beobachtungsdistanz vom Fahrstreifenrand, welcher gemäss Anhang zur Verkehrssicherheitsverordnung vom 15. Juni 1983 (VerkehrssicherheitsV) 2.5 m oder allenfalls 3-4 m betrage, sei die Sicht auf die Schulhausstrasse jedenfalls nicht durch das Gebäude des Beschwerdegegners übermässig eingeschränkt; vielmehr ergebe sich schon aus den der Baurekurskommission vorgelegten Akten, dass die für Ausfahrten gemäss Anh. VerkehrssicherheitsV maximal erforderliche Sichtweite von 120 m eingehalten sei.
2.3 Die Beschwerdeführerin macht dagegen zweierlei geltend:
Zum einen sei es eine Frage der Begründetheit der Beschwerde und nicht der Rechtsmittellegitimation, ob das Wohnhaus des Beschwerdegegners die Sicht auf die Schulhausstrasse übermässig einschränke und deshalb die Verkehrssicherheit gefährde. Insofern hätte das Verwaltungsgericht die Beschwerde materiell beurteilen müssen.
Zum anderen habe ihr Rechtsvorgänger nicht nur als Miteigentümer der Strassenparzelle, sondern zur Hauptsache als Eigentümer des Grundstücks Kat.-Nr. 3427 Beschwerde erhoben. Diese Parzelle grenze südlich unmittelbar an die Parzelle des Beschwerdegegners an und weise deshalb eine hinreichend enge Raumbeziehung zum Streitgegenstand auf. Der seinerzeitige Beschwerdeführer habe in seinem Rekurs geltend gemacht, dass durch die Neufestsetzung der Baulinie sogar ein Neubau mit einem Strassenabstand von nur 1.25 m ermöglicht werde. Ein Neubau auf einem unmittelbar südlich vorgelagerten Grundstück beeinträchtige jedoch die Interessen des Grundeigentümers in tatsächlicher und wirtschaftlicher Hinsicht.
2.4 Grundsätzlich ist der Beschwerdeführerin zuzustimmen, dass die materielle Beurteilung des Falles nicht schon bei der Prüfung der Beschwerdelegitimation vorweggenommen werden sollte. Das bedeutet aber nicht, dass das Gericht alle zur Begründung der Legitimation vorgebrachten Tatsachen ungeprüft übernehmen müsste. Ergibt sich bereits aus den vom Beschwerdeführer selbst eingereichten Unterlagen bzw. dem amtlichen Baulinienplan, dass die behauptete Sichtbeeinträchtigung nicht vorliegt und die Ausfahrt offensichtlich alle gesetzlichen Anforderungen erfüllt, kann bereits die Legitimation verneint und auf die Beschwerde nicht eingetreten werden.
Die Beschwerdeführerin legt nicht dar, inwiefern die Sachverhaltsfeststellung des Verwaltungsgerichts, wonach sich bereits aus den der Baurekurskommission vorgelegten Akten ergebe, dass die für Ausfahrten maximal erforderliche Sichtweite von 120 m eingehalten werde, willkürlich sei. Sie rügt auch die vom Verwaltungsgericht zugrunde gelegten Beobachtungsdistanzen und Sichtweiten nicht als willkürlich. Es ist deshalb davon auszugehen, dass das beschwerdegegnerische Haus kein relevante Einschränkung der Sicht bei der fraglichen Einmündung bewirkt. Somit lässt sich das schutzwürdige Interesse der Beschwerdeführerin an der Beibehaltung der bisherigen Baulinie nicht mit Verkehrssicherheitsaspekten begründen.
2.5 Die Legitimation der Beschwerdeführerin ist jedoch aus einem anderen Grund zu bejahen:
Der seinerzeitige Beschwerdeführer hatte vor den kantonalen Instanzen wenigstens sinngemäss geltend gemacht, dass die Verlegung der Baulinie im geplanten Sinne eine gegenüber dem jetzigen Rechtszustand bessere und gesteigerte Nutzung der Parzelle des Beschwerdegegners ermögliche. Zu Recht:
Die bauliche Nutzbarkeit des Grundstücks Nr. 3977 war bisher stark eingeschränkt: Zwar geniesst das bestehende Haus Bestandesschutz; ein Neubau wäre jedoch bei Einhaltung aller massgeblichen Grenzabstände sowie der bisherigen Baulinien aus dem Jahr 1990 kaum denkbar gewesen (vgl. E. 4.3 S. 12 des Rekursentscheids). Der Beschwerdegegner hat dies in seiner Stellungnahme ans Verwaltungsgericht bestätigt, in der er geltend machte, seit 1980 durch die Baulinien an einer überfälligen Renovation und zeitgemässen Nutzung seines Gebäudes (Jahrgang 1890) gehindert zu werden. Die neue Baulinienfestsetzung hat zur Folge, dass ein Neubau bis an die (neue) Baulinie gesetzt werden kann, ohne Einhaltung des ordentlichen Strassenabstands von 6 m (vgl. §§ 264 f. PBG).
Die Beschwerdeführerin hat ein eigenes Interesse daran, die erhöhte Ausnutzbarkeit der Nachbarparzelle zu verhindern und den ihr günstigen, aktuellen Zustand beizubehalten.
2.6 Erweist sich die Beschwerde nach dem Gesagten schon hinsichtlich der Legitimation als begründet, kann offen bleiben, ob die Beschwerde auch wegen Verletzung des Koordinationsgebots aufzuheben wäre (vgl. oben, E. 1.1).
3. Nach dem Gesagten ist die Beschwerde gutzuheissen und die Sache ans Verwaltungsgericht zurückzuweisen. Dieses wird zunächst den Genehmigungsentscheid der Baudirektion einholen und alsdann die Beschwerde - sofern sie nicht gegenstandslos geworden ist - materiell beurteilen müssen.
Der private Beschwerdegegner hat sich am bundesgerichtlichen Verfahren nicht beteiligt. Nachdem die streitige neue Baulinienfestsetzung auch nicht auf seinen Antrag hin erfolgte (vgl. BGE 128 II 90 E. 2b S. 94) und Prozessgegenstand vor Bundesgericht nicht deren Bestand, sondern die Legitimation des Beschwerdeführers und damit eine prozessrechtliche Frage war (vgl. BGE 120 V 265 E. 3 S. 270), rechtfertigt es sich, ihm keine Kosten aufzuerlegen.
Die Gemeinde Herrliberg ist von Gerichtskosten befreit (Art. 66 Abs. 4 BGG). Sie ist dagegen verpflichtet, die Beschwerdeführerin für die Kosten des bundesgerichtlichen Verfahrens zu entschädigen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und der Entscheid des Verwaltungsgerichts des Kantons Zürich, 4. Abteilung, 4. Kammer, vom 5. Dezember 2007 aufgehoben. Die Sache wird zu neuer Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Die Gemeinde Herrliberg hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Herrliberg, der Baurekurskommission II und dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 28. August 2008
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Féraud Gerber