Sachverhalt:
A. J._ war seit 3. April 1988 mit V._ verheiratet, der als Arbeitnehmer der X._ AG bei der PK-SBV Pensionskasse Schweizerischer Baumeisterverband vorsorgeversichert war. Am 7. Oktober 2003 reichte sie gegen ihren Ehemann beim Bezirksgericht die Scheidungsklage ein. Am 27. Januar 2004 fand die Hauptverhandlung statt. Mit Urteil vom 3. März 2005 sprach das Gemeindegericht in Y._, Republik Serbien, die Scheidung aus und regelte das Sorgerecht über den noch minderjährigen Sohn (geboren 1988). Mit Eingabe vom 7. September 2005 beantragte J._ beim Bezirksgericht, die Rechtsbegehren ihrer Scheidungsklage in Bezug auf den Unterhaltsbeitrag, die Teilung der Austrittsleistung der Vorsorgeeinrichtung und die Abgeltung der güterrechtlichen Ansprüche seien im Sinne einer Ergänzungsklage zu entscheiden. Am 2. Januar 2006 verstarb V._. Daraufhin schrieb das Bezirksgericht das Scheidungsverfahren mit Verfügung vom 16. Februar 2006 als gegenstandslos ab.
B. Am 10. Januar 2007 leitete J._ Klage gegen die Pensionskasse Schweizerischer Baumeisterverband ein mit dem Antrag, diese sei zu verpflichten, ihr die Hälfte der nach dem Freizügigkeitsgesetz für die Ehedauer zu ermittelnden Austrittsleistung ihres früheren Ehemannes abzüglich der Hälfte der während der Ehe geäufneten eigenen Austrittsleistung auf ihr Freizügigkeitskonto zu überweisen. Mit Entscheid vom 27. März 2008 trat das Sozialversicherungsgericht des Kantons Zürich auf die Klage nicht ein.
C. J._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des angefochtenen Entscheides sei die Sache an die Vorinstanz zurückzuweisen.
Die Pensionskasse Schweizerischer Baumeisterverband verweist auf ihre Klageantwort in erstinstanzlichen Verfahren. Das Bundesamt für Sozialversicherungen (BSV) schliesst auf Abweisung der Beschwerde.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
2. 2.1 Gemäss <ref-law> hat jeder Ehegatte Anspruch auf die Hälfte der nach dem Freizügigkeitsgesetz vom 17. Dezember 1993 (FZG; SR 831.42) für die Ehedauer zu ermittelnden Austrittsleistung des andern Ehegatten, wenn ein Ehegatte oder beide Ehegatten einer Einrichtung der beruflichen Vorsorge angehören und bei keinem Ehegatten ein Vorsorgefall eingetreten ist. Stehen den Ehegatten gegenseitig Ansprüche zu, so ist nur der Differenzbetrag zu teilen (Abs. 2).
Haben sich die Ehegatten über die Teilung der Austrittsleistungen sowie die Art der Durchführung der Teilung nicht geeinigt, so entscheidet das Scheidungsgericht über das Verhältnis, in welchem die Austrittsleistungen zu teilen sind (<ref-law>). Sobald der Entscheid über das Teilungsverhältnis rechtskräftig ist, überweist das Gericht die Streitsache von Amtes wegen dem nach dem FZG zuständigen Gericht (Abs. 2).
2.2 Angesichts dieser Zuständigkeitsordnung zwischen Scheidungsgericht und Berufsvorsorgegericht ging die Vorinstanz zu Recht davon aus, dass die Durchführung einer Teilung der Austrittsleistung nach <ref-law> einen Entscheid des Scheidungsgerichts voraussetzt, in welchem dieses das Verhältnis der Teilung der Austrittsleistungen festgelegt hat (<ref-law>; vgl. Art. 25a Abs. 1 FZG). Dies gilt auch im Zusammenhang mit einer im Ausland ausgesprochenen Ehescheidung (<ref-ruling>). Hat ein ausländisches Scheidungsurteil, das - wie hier - in der Schweiz anerkennungsfähig und vor Eintritt des Vorsorgefalles rechtskräftig geworden ist (<ref-ruling>), zum Vorsorgeausgleich nichts festgelegt, so ist dieser Anspruch durch eine Ergänzungsklage vor dem zuständigen schweizerischen Scheidungsgericht geltend zu machen (Art. 15 Abs. 1 und Art. 64 Abs. 1 IPRG; <ref-ruling> E. 2.3 S. 290; Urteil 5C.173/2001 vom 19. Oktober 2001; Urteil B 45/00 vom 2. Februar 2004).
2.2 Angesichts dieser Zuständigkeitsordnung zwischen Scheidungsgericht und Berufsvorsorgegericht ging die Vorinstanz zu Recht davon aus, dass die Durchführung einer Teilung der Austrittsleistung nach <ref-law> einen Entscheid des Scheidungsgerichts voraussetzt, in welchem dieses das Verhältnis der Teilung der Austrittsleistungen festgelegt hat (<ref-law>; vgl. Art. 25a Abs. 1 FZG). Dies gilt auch im Zusammenhang mit einer im Ausland ausgesprochenen Ehescheidung (<ref-ruling>). Hat ein ausländisches Scheidungsurteil, das - wie hier - in der Schweiz anerkennungsfähig und vor Eintritt des Vorsorgefalles rechtskräftig geworden ist (<ref-ruling>), zum Vorsorgeausgleich nichts festgelegt, so ist dieser Anspruch durch eine Ergänzungsklage vor dem zuständigen schweizerischen Scheidungsgericht geltend zu machen (Art. 15 Abs. 1 und Art. 64 Abs. 1 IPRG; <ref-ruling> E. 2.3 S. 290; Urteil 5C.173/2001 vom 19. Oktober 2001; Urteil B 45/00 vom 2. Februar 2004).
2.3 2.3.1 Die Beschwerdeführerin anerkennt diese Rechtslage im Grundsatz. Sie ist jedoch der Auffassung, die Ergänzungsklage sei nicht mehr möglich, nachdem der frühere Ehemann gestorben sei. Das mit dem Ergänzungsbegehren angegangene Scheidungsgericht habe dies mit Recht abgelehnt, hätte es doch sonst dem Grundsatz der Höchstpersönlichkeit der Scheidung widersprochen.
2.3.2 Höchstpersönlich ist die Scheidung im Scheidungspunkt. Anders verhält es sich mit der Regelung des Vorsorgeausgleichs: Der Tod eines Ehegatten führt hier nicht zur Gegenstandslosigkeit des Verfahrens, weil die Vorsorgebedürfnisse beider Parteien bis zu ihrem Tod berücksichtigt werden müssen (nicht publizierte E. 1.4 von <ref-ruling>). Der Prozess ist allenfalls mit den Erben weiterzuführen (vgl. E. 1.1 von <ref-ruling>). Daraus folgt, dass das Scheidungsgericht zu Unrecht das Verfahren in Bezug auf die Vorsorgebegehren der Beschwerdeführerin mit Verfügung vom 16. Februar 2006 als gegenstandslos abgeschrieben hat.
2.3.3 Der Abschreibungsbeschluss des Bezirksgerichts vom 16. Februar 2006 ist zwar formell rechtskräftig geworden. Indessen entfalten Abschreibungsbeschlüsse infolge Gegenstandslosigkeit keine materielle Rechtskraft hinsichtlich des materiellrechtlichen Anspruchs, jedenfalls sofern sie nicht - was hier nicht der Fall ist - auf Erfüllung während des Prozesses beruhen (Frank/Sträuli/Messmer, Kommentar zur zürcherischen Zivilprozessordnung, 3. Aufl., Zürich 1997, § 188 N 11a, § 191 N 18; Leuch/Marbach/Kellerhals/Sterchi, Die Zivilprozessordnung für den Kanton Bern, 5. Aufl. Bern 2000, Art. 206 N 3.a; Berger/Güngerich, Zivilprozessrecht, Bern 2008, S. 255 Rz. 884; Staehelin/Staehelin/Grolimund, Zivilprozessrecht, Zürich 2008, S. 413 Rz. 10). Der Abschreibungsbeschluss hindert somit nicht, dass die Beschwerdeführerin beim örtlich zuständigen Scheidungsgericht gegen die Erben ihres ehemaligen Ehemannes in der Form eines Ergänzungsurteils zum Scheidungsurteil einen Teilungsentscheid im Sinne von Art. 122 und <ref-law> erwirkt; gestützt darauf kann in der Folge die Teilung durchgeführt werden. Es besteht daher kein Anlass, lückenfüllend eine Zuständigkeit des Sozialversicherungsgerichts zur Festlegung des Teilungsschlüssels anzunehmen.
3. Die unterliegende Beschwerdeführerin trägt die Gerichtskosten (<ref-law>). Der Beschwerdegegnerin steht als Vorsorgeeinrichtung in einem Leistungsstreit keine Parteientschädigung zu (<ref-law>; <ref-ruling> E. 5b S. 133 f., 126 V 143 E. 4a 150).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Juli 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Nussbaumer