Sachverhalt:
A. D._, der Ehemann der 1965 geborenen, nicht erwerbstätigen G._ war im diplomatischen Dienst der Eidgenossenschaft tätig, bis 31. Juli 2001 in B._. Auf das am 21. Februar 2001 eingegangene Gesuch um Beitritt zur obligatorischen Alters- und Hinterlassenenversicherung hin teilte ihr die Eidgenössische Ausgleichskasse (EAK) am 21. August 2001 mit, die Anmeldefrist für die rückwirkende Erfassung sei grundsätzlich gewahrt und ersuchte um Retournierung der offiziellen Beitrittserklärung. Mit Schreiben vom 11. April 2002 bestätigte die EAK die befristete Aufnahme in die obligatorische Versicherung vom 1. Januar 2001 bis 31. Juli 2001. Am 15. Juni 2004 ersuchte die EAK G._ zum Zweck der definitiven Buchungen auf dem individuellen Konto, den Fragebogen zur Überprüfung der Versicherungsvoraussetzungen ausgefüllt einzureichen. Im Oktober 2005 wurde der Ehemann von G._ als Generalkonsul nach X._ versetzt.
Mit E-Mail vom 10. Juni 2009 ersuchte D._ um Bestätigung, dass seine Frau seit 1. Oktober 2001 obligatorisch versichert sei sowie um Zustellung ihres Versicherungsausweises. Mit Schreiben vom 19. Juni 2009 informierte ihn die EAK, dass seine Ehefrau seit Oktober 2005 nicht mehr obligatorisch versichert und eine rückwirkende Aufnahme in die obligatorische Versicherung nicht möglich sei. Am 17. Juli 2009 ersuchte G._ um Erlass einer beschwerdefähigen Verfügung. Mit Verfügung vom 12. November 2009 wurde sie ab 1. August 2009 in die obligatorische Versicherung aufgenommen; eine rückwirkende Aufnahme ab 1. November 2005 lehnte die EAK ab. Daran hielt diese mit Einspracheentscheid vom 9. Juni 2010 fest.
B. Die hiegegen erhobene Beschwerde mit dem Antrag auf rückwirkende Aufnahme in die AHV ab 25. Oktober 2005 wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 17. August 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt G._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei festzustellen, dass sie zwischen Oktober 2005 und 31. Juli 2009 obligatorisch in der AHV versichert gewesen sei. Eventualiter sei die Angelegenheit zum weiteren Vorgehen (Beiladung der Ausgleichskasse des Kantons Zürich, hinreichende Abklärungen) an die Vorinstanz zurückzuweisen.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Gemäss <ref-law> obligatorisch versichert sind unter anderem nach lit. a die natürlichen Personen mit Wohnsitz in der Schweiz und nach lit. c Ziff. 1 Schweizer Bürger, die im Ausland im Dienste der Eidgenossenschaft tätig sind. Gemäss Abs. 4 lit. c (in der seit 1. Januar 2003 in Kraft stehenden Fassung) können die im Ausland wohnhaften nicht erwerbstätigen Ehegatten von erwerbstätigen Personen, die nach Absatz 1 lit. c versichert sind, der Versicherung beitreten .
3. Streitig und zu prüfen ist, ob die Beschwerdeführerin von Oktober 2005 bis 31. Juli 2009 die Versicherteneigenschaft in der obligatorischen AHV erfüllt hat. Dabei steht nurmehr in Frage, ob sie im fraglichen Zeitraum Wohnsitz in der Schweiz hatte und damit gestützt auf <ref-law> der obligatorischen AHV unterstellt war, während ihr Ehemann im diplomatischen Dienst als Generalkonsul in X._ tätig war.
3.1 Vorinstanz und Verwaltung lehnten eine Unterstellung unter die obligatorische AHV gestützt auf einen Schweizerischen Wohnsitz mit der Begründung ab, die Beschwerdeführerin und ihr Ehemann hätten Ende Oktober 2005 den Wohnsitz nach Y._ verlegt. Nach Lage der Akten gelte dies auch nach dem 1. Januar 2009.
Demgegenüber macht die Beschwerdeführerin im Wesentlichen geltend, sie habe wiederholt und in verschiedenen Zusammenhängen klar und uneingeschränkt vorgebracht, dass sie im fraglichen Zeitraum den Wohnsitz in der Schweiz gehabt habe. Aus den Akten werde erkennbar, dass sie geltend gemacht habe, bei Versetzung ihres Ehemannes nach X._ (Ende Oktober 2005) habe sie weiterhin das Familienhaus im Kanton Zürich bewohnt und sich fast immer dort aufgehalten. Sie habe ihren Mann nicht nach X._ begleiten können. Sie halte immer wieder fest, dass "er" sich nach X._ begeben habe. Verschiedene Postsendungen hätten ohne weiteres nach Z._, ihrem Wohnsitz, zugestellt werden können. Dass sie ab August 2001 Wohnsitz in Z._ habe, werde im Fragebogen vom 18. Juni 2004 bestätigt. Die Einsprache vom 29. November 2009 sei ebenfalls von Z._ verschickt worden. Ebenfalls werde in der Eingabe vom 2. Dezember 2010 auf den Schweizerischen Wohnsitz hingewiesen. Die SAK wäre gehalten gewesen, dies hinreichend abzuklären, was diese unterlassen habe. Die Beschwerdeführerin rügt eine unzutreffende Auslegung von Bestimmungen des AHVG und eine Verletzung verfassungsrechtlicher Bestimmungen.
3.2 Hinsichtlich ihres Wohnsitzes gab die Beschwerdeführerin in ihrer Einsprache vom 29. November 2009 an, Ende Oktober sei ihr Mann an einen neuen Posten als Generalkonsul in X._ versetzt worden. Während voller anderthalb Jahre habe sie nicht bei ihm weilen können, weil die Residenz des Generalkonsuls wegen Renovation und Neumöblierung praktisch nicht bewohnbar gewesen sei. Seit ungefähr einem Jahr sei sie nun aus gesundheitlichen Gründen erneut wieder in der Schweiz. Das EDA sei gegenwärtig auf Grund eines ärztlichen Berichts daran zu prüfen, ob ihr ein offizieller getrennter Wohnsitz aus Gesundheitsgründen bewilligt werde.
In der vorinstanzlichen Beschwerde vom 10. Juli 2010 brachte sie vor, mit der Versetzung ihres Mannes Ende Oktober 2005 nach X._ sei der juristische Wohnsitz der Familie automatisch ins Ausland verlegt worden, obwohl sie ihr Haus im Kanton Zürich weiterhin bewohnt hätten und sie sich ohne jede Erwerbstätigkeit fast immer dort aufgehalten habe. Sie habe ihren Mann nicht nach X._ begleiten können, zuerst weil die dortige Residenz (Dienstwohnung) während anderthalb Jahren wegen Renovation und Neumöblierung praktisch nicht bewohnbar gewesen sei, später wegen gesundheitlichen Störungen. Seit dem 1. Januar 2009 habe ihr das EDA auf Grund eines ärztlichen Berichts einen sogenannten "getrennten Wohnsitz" bewilligt, was wegen der Streichung der sie betreffenden Zulagen zu einem massiven Einkommensverlust geführt habe.
3.3 Allein mit diesen Ausführungen ist, wie die Vorinstanz zutreffend erwogen hat, nicht nach dem im Sozialversicherungsprozess geltenden Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 9.5 S. 125f.; <ref-ruling> E. 5.1.2 S. 53, Urteil 9C_488/2008 vom 5. September 2008 E. 6.4) ausgewiesen, dass die Versicherte im massgebenden Zeitraum von Oktober 2005 bis 31. Juli 2009 nicht wie ihr Ehemann in Y._, sondern in der Schweiz Wohnsitz hatte. Insbesondere wurden für sämtliche Vorbringen keinerlei Beweise beigebracht oder in Aussicht gestellt oder auch nur zur Begründung weitere Hinweise gegeben.
3.4 Was die Beschwerdeführerin dagegen vorbringt, ist nicht stichhaltig. So ist klar, dass sie im Fragebogen vom 18. Juni 2004 ihren Wohnsitz ab August 2001 in Z._ bestätigte, war sie doch in dieser Zeit unbestrittenermassen obligatorisch versichert, weil sie und auch ihr Ehemann in der Schweiz weilten. Daraus kann sie nichts zu ihren Gunsten ableiten, weil dies nicht den in Frage stehenden Zeitraum zwischen Oktober 2005 und Juli 2009 betrifft. Das gleiche gilt für die geltend gemachten Postsendungen ab Z._ (Einsprache vom 29. November 2009 und Eingabe vom 2. Dezember 2010), die einen nach dem streitigen Zeitraum liegenden Zeitpunkt betreffen.
Zudem führt die Beschwerdeführerin in ihrer Einsprache vom 29. November 2009 selbst aus, sie sei seit ungefähr einem Jahr aus gesundheitlichen Gründen wieder zurück in der Schweiz, und das EDA sei auf Grund eines ärztlichen Berichts gegenwärtig daran zu prüfen, ob ihr aus gesundheitlichen Gründen ein offiziell getrennter Wohnsitz bewilligt werde. Es trifft damit entgegen den Ausführungen in der Beschwerde gerade nicht zu, dass sie ihren Schweizer Wohnsitz in der fraglichen Zeit klar und uneingeschränkt geltend gemacht hat.
3.5 Entgegen der Auffassung der Beschwerdeführerin waren unter diesen Umständen Vorinstanz und Verwaltung nicht gehalten, weitere Abklärungen bezüglich des Wohnsitzes der Beschwerdeführerin zu treffen.
3.5.1 Zwar ist der Sozialversicherungsprozess vom Untersuchungsgrundsatz beherrscht. Danach hat das Gericht von Amtes wegen für die richtige und vollständige Feststellung des rechtserheblichen Sachverhaltes zu sorgen. Die Verwaltung als verfügende Instanz und - im Beschwerdefall - das Gericht dürfen eine Tatsache nur dann als bewiesen annehmen, wenn sie von ihrem Bestehen überzeugt sind (<ref-ruling> E. 5b S. 360; <ref-ruling> E. 2 S. 195; je mit Hinweisen; vgl. <ref-ruling> E. 3.2 und 3.3 S. 324 f.; SVR 2011 UV Nr. 11 S. 39, 8C_693/2010 E. 10). Der Untersuchungsgrundsatz schliesst die Beweislast im Sinne der Beweisführungslast begriffsnotwendig aus, da es Sache des Sozialversicherungsgerichts (oder der verfügenden Verwaltungsstelle) ist, für die Zusammentragung des Beweismaterials besorgt zu sein. Im Sozialversicherungsprozess tragen mithin die Parteien in der Regel eine Beweislast nur insofern, als im Falle der Beweislosigkeit der Entscheid zu Ungunsten jener Partei ausfällt, die aus dem unbewiesen gebliebenen Sachverhalt Rechte ableiten wollte (<ref-ruling> E. 3b S. 264 mit Hinweisen; Urteil 8C_663/2009 vom 27. April 2010 E. 2.2). Der Untersuchungsgrundsatz wird indes durch die Mitwirkungspflichten der Parteien beschränkt (BGE <ref-ruling> E. 2 S. 195). Dazu gehört in erster Linie die Substanziierungspflicht, welche beinhaltet, dass die wesentlichen Tatsachenbehauptungen und -bestreitungen in den Rechtsschriften enthalten sein müssen (vgl. bereits Urteil des Eidg. Versicherungsgerichts B 61/00 vom 26. September 2001 E. 1a/bb). Die Versicherte hat damit bei der Feststellung des Sachverhalts trotz Geltung des Untersuchungsgrundsatzes (vgl. Art. 43 Abs. 1 resp. <ref-law>) mitzuwirken (Art. 28 Abs. 1 und 2 ATSG).
3.5.2 Vorliegend hat die Beschwerdeführerin weder im Verwaltungs- noch im Verwaltungsgerichtsverfahren Belege für die von ihr ins Feld geführte Behauptung des Wohnsitzes in der Schweiz, der Unmöglichkeit, in der Residenz in Y._ zu wohnen oder betreffend ihre gesundheitlichen Probleme eingereicht, deren Beibringung ihr ohne Weiteres möglich gewesen wäre, noch hat sie diese Behauptungen durch weitere sachdienliche Hinweise untermauert. Mangels rechtsgenüglicher Substanziierung und auf Grund ungenügender Beweisführung bestand deshalb keine Veranlassung für weitere Abklärungen und Nachforschung seitens der Verwaltung oder der Vorinstanz. Es drängten sich entgegen der Auffassung der Beschwerdeführerin weder Befragungen des Ehemannes noch ein Bericht der Einwohnerkontrolle oder die Einholung von Bestätigung von Vereinen auf. Vielmehr wäre die Beschwerdeführerin im Rahmen ihrer Mitwirkungspflicht gehalten gewesen, solches selbst beizubringen, was sie unterlassen hat. Es liegt weder eine unvollständige oder unrichtige Sachverhaltsfeststellung noch eine Verletzung des Untersuchungsgrundsatzes vor. Die Schlussfolgerung der Vorinstanz, wonach die Beschwerdeführerin zwischen Oktober 2005 und 31. Juli 2009 keinen Wohnsitz in der Schweiz gehabt habe, ist im Lichte der gesetzlichen Kognition (vgl. E. 1 hievor) nicht zu beanstanden.
3.5.3 Es erübrigte sich daher entgegen der Auffassung der Beschwerdeführerin für die Vorinstanz auch, die Ausgleichskasse des Kantons Zürich ins Verfahren miteinzubeziehen.
4. Damit blieb der Beschwerdeführerin nur, sich gemäss <ref-law> und <ref-law> bei der AHV zum Beitritt zu melden. Eine solche Beitrittserklärung hat sie aber unbestrittenermassen nicht eingereicht. Zu Recht beruft sich die Beschwerdeführerin diesbezüglich nicht mehr auf den öffentlich-rechtlichen Vertrauensschutz (<ref-ruling>) im Rahmen einer Verletzung der Aufklärungs- und Beratungspflicht nach <ref-law>, musste sie doch bereits bei der ersten Anmeldung im Jahr 2001 klar von einem (vom 1. Januar bis 31. Juli 2001 befristeten) Beitritt ausgehen (woran auch die Anfrage der EAK betreffend IK-Buchungen im Jahr 2004 nichts ändert) und hatte die EAK mittels Infoblatt die betreffenden Amtsstellen, darunter das EDA, rechtzeitig über die gesetzlichen Änderungen informiert.
5. Schliesslich erfolgte das Beitrittsgesuch im Jahre 2009 - wie die Vorinstanz verbindlich (E. 1 hievor) festgestellt hat - im Juli. Es bleibt deshalb kein Raum für eine Anrechnung ab Juni 2009.
6. Bei diesem Ausgang des Verfahrens hat die Beschwerdeführerin die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Juni 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein Franke