Sachverhalt:
A. Die 1971 mit einer Torticollis congenita geborene D._, gelernte Papeteristin und nach einer Umschulung zur Büroangestellten als Sekretärin tätig, zuletzt ab Oktober 2000 bis Ende Oktober 2005 bei der M._ AG, unterzog sich 1991 einer dorsalen Spondylodese (Wirbelsäulenversteifung) vom vierten Brust- bis zum vierten Lendenwirbel sowie einer Acromioplastik wegen Beschwerden der rechten Schulter im Juli 2005. Am 12. Dezember 2005 meldete sie sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht und durchgeführtem Vorbescheidverfahren wies die IV-Stelle des Kantons Zürich mit Verfügung vom 4. Mai 2007 einen Rentenanspruch ab. Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Oktober 2008 gut und wies die Sache zu weiteren Abklärungen betreffend Haltungsmuskulatur Hals/Schultern an die IV-Stelle zurück. Diese holte unter anderem ein Gutachten des Dr. med. J._, Facharzt für Orthopädische Chirurgie vom 15. September 2009 ein und wies das Rentenbegehren mit Verfügung vom 20. September 2010 erneut ab.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Mai 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt D._ beantragen, unter Aufhebung des angefochtenen Entscheides sei die Sache zur erneuten Sachverhaltsabklärung unter Würdigung sämtlicher Befunde an die Vorinstanz, eventualiter an die IV-Stelle zurückzuweisen. Zudem ersucht sie um Gewährung der unentgeltlichen Rechtspflege.

Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
1.2 Die vorinstanzlichen Feststellungen zum Gesundheitszustand d.h. zur Befunderhebung, zur gestützt darauf gestellten Diagnose, zur ärztlichen Stellungnahme zum noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie zur aufgrund der medizinischen Untersuchungen gerichtlich festgestellten Arbeits(un)fähigkeit sind grundsätzlich Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), die das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (<ref-law>) und welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen. Ebenfalls Tatfrage ist die konkrete Beweiswürdigung. Dagegen sind die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfragen (<ref-ruling> E. 3.2 und 4 S. 397 ff.), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>).
Der Verzicht der Vorinstanz auf weitere Abklärungen oder Rückweisung der Sache an die IV-Stelle zu diesem Zwecke (antizipierte Beweiswürdigung; Urteil 9C_561/2007 vom 11. März 2008 E. 5.2.1) im Besonderen verletzt etwa dann Bundesrecht, wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (Urteil 9C_617/2010 vom 10. Februar 2010 E. 3.1 mit Hinweisen). Wird die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt, geht es um eine Rechtsfrage (<ref-ruling> E. 3.2 S. 398). Schliesslich prüft das Bundesgericht die Rüge einer willkürlichen Beweiswürdigung grundsätzlich nur, soweit sie in der Beschwerde präzise vorgebracht und begründet wird. Auf bloss appellatorische Kritik an der vorinstanzlichen Sachverhaltsfeststellung und Beweiswürdigung tritt es nicht ein (<ref-ruling> E. 5.1 S. 356; Urteil 9C_604/2012 vom 16. November 2012 E. 1.1 mit Hinweis).
2. Streitig ist der Anspruch auf eine Invalidenrente. Die Vorinstanz hat die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze zum Anspruch auf eine Invalidenrente (<ref-law>) und die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> [SR 830.1] in Verbindung mit <ref-law>; <ref-ruling> E. 3.4 S. 348; <ref-ruling> E. 1 S. 30; <ref-ruling> E. 2a und b S. 136) sowie zur Aufgabe von Ärztinnen und Ärzten im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261) und zum Beweiswert medizinischer Berichte und Gutachten (<ref-ruling> E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Die Vorinstanz stellte zur Beurteilung der Arbeitsfähigkeit auf das Gutachten des Dr. med. J._ ab, welcher als Diagnose ein chronisches zervikozephales Schmerzsyndrom rechtsbetont mit/bei ausgeprägter muskulärer Dysbalance und Dekonditionierung bei Status nach dorsaler Spondylodese Th4 bis L4 im November 1991 wegen idiopathischer thorakolumbaler Skoliose (ICD-10: M41.2), Status nach Acromioplastik rechts im Juli 2005 und Verdacht auf somatoforme Schmerzstörung aufführte und die Versicherte ab 1. November 2005 in der angestammten Bürotätigkeit, zu der sie umgeschult worden war und die deshalb als ideal angepasst qualifiziert wurde, zu 100% arbeitsfähig erachtete.
Während die Vorinstanz mit Urteil vom 31. Oktober 2008 die Sache noch zur erneuten Abklärung an die IV-Stelle zurückgewiesen hatte, weil Dr. med. S._, Facharzt Orthopädische Chirurgie FMH in seinem Gutachten vom 17. Mai 2006 die von Frau Dr. med. G._, Fachärztin FMH für Innere Medizin, Rheumatologie und Rehabilitation, erwähnte Problematik der insuffizienten Haltemuskulatur nicht genügend berücksichtigt und im von ihm veranlassten Röntgenbild der rechten Schulter das knapp 1 cm lange Knochenfragment übersehen hatte, erachtete sie nunmehr den Sachverhalt hinreichend abgeklärt und das in der Zwischenzeit eingeholte Gutachten des Dr. med. J._ als voll beweiskräftig. Sie erwog einlässlich, weshalb dieses durch die Berichte der Dres. med. G._, O._, Facharzt FHM für Allgemeinmedizin und E._, Leitender Oberarzt Neurochirurgie der Klinik X._, insbesondere mit Blick auf die dort jeweils fehlende Arbeitsfähigkeitseinschätzung nicht in Zweifel gezogen werden könne. Auch die Berichte des Dr. med. R._, Facharzt Orthopädische Chirurgie FMH und des Dr. med. C._, Chefarzt Orthopädie der Klinik X._, welche ausgehend vom gleichen medizinischen Sachverhalt der Versicherten eine Arbeitsunfähigkeit attestierten, vermöchten das Gutachten des Dr. med. J._ nicht zu entkräften.
3.2 Die Beschwerdeführerin rügt zunächst eine Verletzung des Untersuchungsgrundsatzes und macht dabei letztinstanzlich geltend, die Vorinstanz habe wie die IV-Stelle im Rahmen der Diagnose der somatoformen Schmerzstörung die Umstände, welche eine Schmerzbewältigung behindern, nicht abklären lassen. Indes hatte das kantonale Gericht bereits im rückweisenden Urteil vom 31. Oktober 2008 (E. 5.1-5.3) dargelegt, weshalb die Voraussetzungen zur Annahme einer Unzumutbarkeit der willentlichen Schmerzüberwindung nicht gegeben sind. Die Rückweisung erfolgte wegen Abklärungsbedarf der somatischen Leiden, nicht aber wegen Fragen im Zusammenhang mit der Diagnose der Schmerzstörung. Es erübrigt sich daher, weiter darauf einzugehen.
3.3 Die weiteren, Ausführungen erschöpfen sich letztlich in der Rüge der offensichtlich unrichtigen Sachverhaltsfeststellung im Zusammenhang mit der vorinstanzlichen Würdigung der Berichte der Dres. med. E._ und C._. Sie sind jedoch, soweit sie über - im Rahmen von Art. 97 Abs 1 und Art. 105 Abs 2 BGG unzureichende - appellatorische Kritik hinausgehen, nicht stichhaltig:
3.3.1 Soweit die Beschwerdeführerin zunächst vorbringt, es stimme nicht, dass sich Dr. med E._ nicht zur Arbeitsfähigkeit geäussert habe, trifft es zwar zu, dass dieser noch am 2. Oktober 2006 die Arbeitsunfähigkeit auf 100% geschätzt hatte. Mit Schreiben vom 23. Februar 2009 hingegen hielt er - wie die Vorinstanz zutreffend festgestellt hat - ausdrücklich fest, eine Beurteilung der Arbeitsfähigkeit anlässlich der Konsultation vom 16. Dezember 2008, dessen Bericht er beilege, sei nicht erfolgt, weshalb er die diesbezüglichen Fragen nicht detailliert beantworten könne. Wenn das kantonale Gericht in Würdigung dieser Umstände davon ausgeht, dass keine (aktuell massgebende) Arbeitsfähigkeitsschätzung vorliegt, kann von einer qualifiziert unrichtigen Sachverhaltsfeststellung nicht die Rede sein. Demgegenüber ist die beschwerdeführerische Schlussfolgerung, bei einer erneuten Abklärung wäre Dr. med. E._ zum Ergebnis einer 100%igen Arbeitsunfähigkeit gekommen, spekulativ und jedenfalls nicht geeignet, den angefochtenen Entscheid deswegen als bundesrechtswidrig erscheinen zu lassen.
3.3.2 Im Weiteren hat die Vorinstanz beweiswürdigend ausgeführt, dass die von Dr. med. C._ attestierte Arbeitsunfähigkeit von 100% als Sekretärin auch deshalb nicht nachvollziehbar ist, weil bei einer Tätigkeit als Sekretärin die Arme regelmässig auf den Tisch gestützt werden können und somit nicht für längere Zeit angehoben werden müssen. Die detaillierten arbeitsergonomischen Ausführungen, wonach bei einer Sekretärin in richtiger Sitzhaltung die Arme stets angehoben werden müssten, vermögen die Feststellungen und Würdigungen der Vorinstanz keinesfalls als offensichtlich unrichtig zu qualifizieren. Der Verweis auf die allgemeine Lebenserfahrung ist unbehelflich, ist doch gerichtsnotorisch, dass es für die Arbeit an einem Schreibtisch oder weitere Tätigkeiten einer Sekretärin, die auch als Telefonistin und am Empfang tätig ist, verschiedene Varianten der Ausführung gibt, die nicht zuletzt von der Arbeitsweise der jeweiligen Person abhängen und schliesslich bei entsprechenden Beschwerden auch individuell angepasst werden können. Dazu ist die Beschwerdeführerin im Rahmen der Schadenminderungspflicht auch gehalten.
3.4 Sodann ist eine Beweiswürdigung nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der Beschwerdeführerin übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.2.1; <ref-ruling> E. 2.1 S. 9; <ref-ruling> E. 2b). Dies ist insbesondere dann der Fall, wenn das Sachgericht offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche grundlos ausser Acht lässt (vgl. BGE <ref-ruling> E. 2.1; <ref-ruling> E. 4b). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 2.2; <ref-ruling> E. 1.3). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. BGE <ref-ruling> E. 2b). Der angefochtene Entscheid, der sich auf die vom kantonalen Gericht vollständig dargestellte und pflichtgemäss gewürdigte Beweislage stützt und die Schlussfolgerung einlässlich begründet, ist nicht willkürlich. Von einer Verletzung der Begründungspflicht (<ref-law>; <ref-ruling> E. 2b S. 102; <ref-ruling> E. 1a S. 181; SVR 2001 IV Nr. 17 S. 49, I 582/99 E. 2a).
4. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdeführerin grundsätzlich die Gerichtskosten zu tragen (<ref-law>). Ihrem Gesuch um unentgeltliche Rechtspflege kann entsprochen werden, da die hierfür erforderlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG; <ref-ruling> E. 4a S. 202). Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Dr. Peter Reetz wird als unentgeltlicher Anwalt der Beschwerdeführerin bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. März 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Helfenstein