Sachverhalt:
A. Der am 3. Juli 1950 geborene S._ arbeitete seit April 1975 als Hilfsmechaniker und Sandstrahler bei der Firma Q._ AG. Am 14. September 2005 musste er sich einem Stenting bei koronarer Herzkrankheit sowie am 2. November 2005 einer Oberlappenresektion der linken Lunge wegen eines Plattenepithelkarzinoms unterziehen. Am 31. März 2006 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht und durchgeführtem Vorbescheidverfahren sprach die IV-Stelle des Kantons Zürich S._ mit Verfügung vom 27. Juni 2007 eine Viertelsrente basierend auf einem Invaliditätsgrad von 46 % mit Wirkung ab 1. April 2006 zu. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 9. Januar 2008 in dem Sinne gut, dass es die angefochtene Verfügung aufhob und zu weiteren Abklärungen an die IV-Stelle zurückwies, nachdem diese in ihrer Vernehmlassung selbst die Rückweisung beantragt hatte. Daraufhin veranlasste die IV-Stelle weitere Abklärungen, insbesondere ein Gutachten der medizinischen Akademie X._, Spital Z._, vom 17. Juli 2009 und stellte S._ mit Vorbescheid vom 8. Oktober 2009 erneut die Ausrichtung einer Viertelsrente in Aussicht, diesmal mit Wirkung ab September 2006. Auf den Einwand von S._ vom 11. November 2009 unter Beilage eines Arztberichtes des Dr. med. H._ vom 30. Oktober 2009 holte die IV-Stelle eine ergänzende Stellungnahme des medizinischen Akademie X._ vom 10. Februar 2010 ein, worauf die IV-Stelle weitere Abklärungen tätigte. Am 21. Januar 2011 reichte S._ ein Privatgutachten der medizinischen Gutachtenstelle Y._ vom 13. September 2010 ein, worauf die IV-Stelle eine erneute Stellungnahme des medizinischen Akademie X._ vom 21. Februar 2011 sowie weitere Stellungnahmen des Regionalen Ärztlichen Dienstes (RAD) einholte und mit Verfügung vom 4. Juli 2011 am Anspruch auf eine Viertelsrente ab 1. September 2006 festhielt.
B. Die hiegegen erhobene Beschwerde mit dem Antrag auf Ausrichtung einer ganzen Rente und dem Eventualantrag auf weitere Abklärungen wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Mai 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine ganze Rente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von mindestens 70 % zuzusprechen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen zwecks Einholung eines neuen polydisziplinären Gutachtens. Zudem sei ein zweiter Schriftenwechsel durchzuführen.
Das kantonale Sozialversicherungsgericht, die Ausgleichskasse und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG).
1.2 Die vorinstanzlichen Feststellungen zum Gesundheitszustand d.h. zur Befunderhebung, zur gestützt darauf gestellten Diagnose, zur ärztlichen Stellungnahme zum noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie zur aufgrund der medizinischen Untersuchungen gerichtlich festgestellten Arbeits(un)fähigkeit sind grundsätzlich Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), die das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (Art. 105 Abs. 1 BGG) und welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen. Ebenfalls Tatfrage ist die konkrete Beweiswürdigung. Dagegen sind die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfragen (<ref-ruling> E. 3.2 und 4 S. 397 ff.); es ist also vom Bundesgericht frei zu überprüfen, ob das kantonale Gericht eine inhaltsbezogene, umfassende, sorgfältige und objektive Beweiswürdigung vorgenommen hat (Art. 95 lit. a BGG; <ref-ruling> E. 4.1 S. 400; Urteil 9C_566/2008 vom 6. Oktober 2008 E. 4.1) und bei der Sachverhaltsermittlung vom Beweismass der überwiegenden Wahrscheinlichkeit ausgegangen ist (Urteil 9C_752/2008 vom 9. April 2009 E. 2.3.1 und 2.3.2). Gleiches gilt mit Bezug auf die Beachtung der bundesrechtlichen Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (Urteil 9C_833/2007 vom 4. Juli 2008 E. 2.2; zu den Anforderungen vgl. <ref-ruling> E. 3 S. 352 ff.).
Der Verzicht der Vorinstanz auf weitere Abklärungen oder Rückweisung der Sache an die IV-Stelle zu diesem Zwecke (antizipierte Beweiswürdigung; Urteil 9C_561/2007 vom 11. März 2008 E. 5.2.1) im Besonderen verletzt etwa dann Bundesrecht, wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (Urteil 9C_617/2010 vom 10. Februar 2010 E. 3.1 mit Hinweisen).
2. 2.1 Die Vorinstanz hat die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze zum Anspruch auf eine Invalidenrente (Art. 28 Abs. 2 IVG) und die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (Art. 16 ATSG in Verbindung mit Art. 28a Abs. 1 IVG; <ref-ruling> E. 3.4 S. 348; <ref-ruling> E. 1 S. 30; <ref-ruling> E. 2a und b S. 136) sowie zur Aufgabe von Ärztinnen und Ärzten im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261) und zum Beweiswert medizinischer Berichte und Gutachten (<ref-ruling> E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
2.2 Beizufügen ist, dass die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben wird (Art. 17 Abs. 1 ATSG; Art. 88a IVV), wenn sich der Invaliditätsgrad eines Rentenbezügers erheblich ändert. Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen. Insbesondere ist die Rente bei einer wesentlichen Änderung des Gesundheitszustandes oder der erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes revidierbar (<ref-ruling> E. 3 S. 132). Nach der Rechtsprechung sind diese Revisionsbestimmungen bei der rückwirkenden Zusprechung einer abgestuften oder befristeten Rente analog anwendbar, weil noch vor Erlass der ersten Rentenverfügung eine anspruchsbeeinflussende Änderung eingetreten ist mit der Folge, dass dann gleichzeitig die Änderung mitberücksichtigt wird. Wird rückwirkend eine abgestufte oder befristete Rente zugesprochen, sind einerseits der Zeitpunkt des Rentenbeginns und anderseits der in Anwendung der Dreimonatsfrist von Art. 88a IVV festzusetzende Zeitpunkt der Anspruchsänderung die massgebenden Vergleichszeitpunkte (vgl. Urteil 8C_724/2011 vom 24. Juli 2012 E. 2.2 mit weiteren Hinweisen).
3. Zu prüfen ist, ob der Versicherte Anspruch auf eine höhere als die ab September 2006 zugesprochene Viertelsrente hat. Dabei ist streitig, ob zur Beurteilung der Arbeitsfähigkeit auf eines der beiden vorhandenen polydisziplinären Gutachten, das Gutachten der medizinischen Akademie X._ vom 17. Juli 2009 oder das Gutachten der medizinischen Gutachtenstelle Y._ vom 13. September 2010, abgestellt werden kann oder ob der Sachverhalt nach wie vor ungenügend abgeklärt und eine neuerliche polydisziplinäre Begutachtung des Versicherten erforderlich ist.
3.1 Die Vorinstanz erwog, das Gutachten der medizinischen Akademie X._ vom 17. Juli 2009 sei für die Beurteilung der Arbeitsfähigkeit voll beweistauglich. Darin wurden folgende Diagnosen gestellt: Mit Einfluss auf die Arbeitsfähigkeit: 1. NCSLC (nicht-kleinzelliges Bronchialkarzinom) Stadium IB (ICD10: C34.9) ED 11/05 bei Status nach Lobektomie Oberlappen links mit mediastinaler Lymphadenektomie am 2. November 2005, Status nach 4 adjuvanten Chemotherapiezyklen sowie Postthorakotomiesyndrom; 2. COPD (Chronisch obstruktive Lungenerkrankung) Stadium II mit asthmoider Komponente (ICD10: J44.99); 3. Koronare 3-Gefässerkrankung (ICD10: I 25.9) bei Status nach PTCA (Perkutane Transluminale Coronare Angioplastie) mit Stent-Implantation am 14. September 2005 sowie komplettem metabolischem Syndrom, positiver Familienanamnese, 60 py (Nikotinstopp 2004); 4. Diabetes mellitus Typ II (ED 04/2005) (ICD10: E11); 5.Chronisches Lumbovertebralsyndrom (ICD10: M54.5) mit/bei intermittierendem spondylogenem Reizsyndrom beidseits und mehrsegmentalen degenerativen LWS-Veränderungen; 6. Periarthropathia humeroscapularis rechts unklarer Ätiologie (M75.9). Als weitere Diagnosen ohne Einfluss auf die Arbeitsfähigkeit genannt wurden 1. Arterielle Hypertonie; 2. Hypercholesterinämie; 3. Status nach mehrfachen Nasenoperationen, zuletzt 2005 bei rez. Epistaxis; 4. Status nach Appendektomie ca. 1996; 5. Ausgeprägte Benetzungsstörung beidseits bei chronischer Blepharitis posterior bei sehr engen unteren Tränenpünktchen und kantaler Lidlaxizität.
Die Vorinstanz stellte fest, gestützt auf das Gutachten der medizinischen Akademie X._ sei der Beschwerdeführer zwar in der angestammten Tätigkeit als Sandstrahler seit September 2005 nicht mehr, jedoch für alle körperlich einfachen Verweisungstätigkeiten, ohne repetitives Heben von Lasten über 10 kg, ohne Arbeiten in Zwangshaltungen, ohne repetitive Rumpfrotationen, ohne Tätigkeiten über Brusthöhe, ohne Nachtschichtarbeit und ohne Exposition von karzinogenen Substanzen voll arbeitsfähig. Sie erwog, weder die unterlassenen kardiologischen Untersuchungen noch das fehlende pneumologische Teilgutachten oder die formellen Einwände des Beschwerdeführers gegen das Gutachten vermöchten dessen Beweiswert zu schmälern. Demgegenüber überzeuge das Gutachten der medizinischen Gutachtenstelle Y._ vom 13. September 2010 mit der Einschätzung einer Restarbeitsfähigkeit von lediglich 33 % in einer Verweisungstätigkeit nicht. Es erscheine nicht nachvollziehbar, weshalb auch bei einer körperlich leichten Arbeit eine Atemproblematik vorliege und bei einer entsprechenden Körperhaltung und einer wechselbelastenden Tätigkeit übermässige Rückenschmerzen auftreten sollten.
3.2 Der Beschwerdeführer rügt eine fehlerhafte Beweiswürdigung durch die Vorinstanz sowie eine Verletzung des Untersuchungsgrundsatzes, weil die Vorinstanz den rechtserheblichen medizinischen Sachverhalt im Sinne von Art. 97 Abs. 1 BGG offensichtlich unrichtig festgestellt habe. Es fänden sich eine ganze Reihe von Beschwerden, welche klinisch fassbar und bei der Beurteilung der Restarbeitsfähigkeit in einer leidensangepassten Tätigkeit durch die Gutachter der medizinischen Akademie X._ nicht berücksichtigt worden seien. Dass die Untersuchung durch die medizinische Akademie X._ nicht umfassend sei und nicht alle geklagten Beschwerden berücksichtige, habe sich in der Folge durch weitere medizinische Untersuchungen in Disziplinen, welche das Gutachten der medizinischen Akademie X._ nicht in Betracht zog, gezeigt. Die Einschränkung bei leidensbedingter Tätigkeit hätte auch in kardiologischer Hinsicht abgeklärt werden müssen: Das Spital A._ habe am 9. Januar 2009 und 17. März 2010 Untersuchungen durchgeführt; die Vorinstanz könne also nicht ohne Willkür feststellen, kardiologisch sei der Beschwerdeführer durch die medizinische Akademie X._ vollständig abgeklärt worden. Auch sei das Gutachten in materieller Hinsicht nicht schlüssig und nachvollziehbar: Die Gutachter gäben selber zu, dass sie keine zusätzlichen Röntgenbilder angefertigt hätten; dies wiege umso schwerer, da sie selber ausführten, leider lägen keine Bilder vor. Die Vorinstanz unterlasse es in willkürlicher Weise, die Aussage der Gutachter in der Stellungnahme vom 10. Februar 2010, wonach Röntgenbilder medizinisch nicht indiziert gewesen seien, zu hinterfragen. Das MRT der rechten Schulter der Klinik B._ vom 19. November 2008 sei auch nicht berücksichtigt worden. Beim Gutachten der medizinischen Akademie X._ fehle eine pneumologische, kardiologische sowie ophthalmologische Begutachtung. Das Gutachten der medizinischen Gutachtenstelle Y._, bestehend aus einem pneumologischen und einem orthopädischen Teilgutachten mit interdisziplinärer Beurteilung, knüpfe zu Recht an den fehlenden Untersuchungen der medizinischen Akademie X._ an. Es sei nicht ersichtlich, weshalb die Vorinstanz dieses Gutachten nicht als schlüssig erachte. Sie könne keine Argumente vorbringen, weshalb die von den Gutachtern der medizinischen Gutachtenstelle Y._ gestellten Diagnosen nicht zutreffend sein sollten und kritisiere im Rahmen der Beweiswürdigung denn auch lediglich die von den Gutachtern der medizinischen Gutachtenstelle Y._ getroffenen Einschätzungen betreffend die Arbeitsunfähigkeit. Es hätte dem kantonalen Gericht klar sein müssen, dass bei solch widersprüchlichen Einschätzungen betreffend die Restarbeitsfähigkeit eine polydisziplinäre Neubegutachtung hätte durchgeführt werden müssen, zumal das Gutachten der medizinischen Akademie X._ alleine nicht Beweiskraft erlangen könne zur Beurteilung der Restarbeitsfähigkeit.
4. 4.1 Die vom Beschwerdeführer vorgebrachte Kritik, die sich gegen das vorinstanzliche Abstützen auf das Gutachten der medizinischen Akademie X._ richtet, vermag die Betrachtungsweise des kantonalen Gerichts nicht als offensichtlich unrichtig erscheinen lassen. Offensichtliche Unrichtigkeit liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint (vgl. statt vieler Urteil 9C_849/2012 vom 18. März 2013 E. 3.3.1). Wohl wendet der Beschwerdeführer zutreffend ein, dass den Gutachtern der medizinischen Akademie X._ keine Röntgenbilder betreffend die lumbale Situation zur Verfügung standen. Demgegenüber lagen von den MRT/MRI-Untersuchungen vom 24. Juni 2005 und 11. April 2008 die schriftlichen Befunde vor. Die später aufgrund einer Röntgenaufnahme festgestellte leichte Anterolisthese L4/5 wurde im Nachgang vom fallführenden Arzt der medizinischen Akademie X._ miteinbezogen. Ebenso erstaunt, dass der Abbruch der pneumologischen Untersuchung wegen eines drohenden Herzinfarktes erst mit der Stellungnahme der medizinischen Akademie X._ vom 21. Februar 2011 zum Gutachten der medizinischen Gutachtenstelle Y._ aufgrund eines Einwandes des Beschwerdeführers thematisiert wurde und im Gutachten der medizinischen Akademie X._ selber nicht erwähnt ist. Indes liegen dem Gutachten sämtliche Originalwerte der Lungenfunktion und Spiroergometrie bei; aus Letzteren ergibt sich eine leicht eingeschränkte Leistungsfähigkeit. Nachdem verschiedene Untersuchungen eine normale Pumpfunktion des Herzmuskels aufgezeigt haben und ein Fortschreiten der koronaren Herzerkrankung - wie im Übrigen auch ein Rezidiv des Plattenepithelkarzinoms - ausgeschlossen werden konnte, erübrigten sich weitere kardiologische Abklärungen. Insoweit der Beschwerdeführer vorbringt, es sei eine ganze Reihe von Beschwerden nicht berücksichtigt worden, fehlt es an einer Substanziierung des Einwandes. Zudem lässt er in formellrechtlicher Hinsicht ausser Acht, dass die Rechtsprechung gemäss <ref-ruling> auf Gutachten, die noch nach altem Standard in Auftrag gegeben wurden, keine Anwendung findet (vgl. statt vieler 9C_977/2012 vom 28. März 2013 E. 3.1). Schliesslich genügt es nicht, bereits vor Vorinstanz Vorgebrachtes zu wiederholen, ohne auf die diesbezüglichen Erwägungen des kantonalen Gerichts hinreichend einzugehen (vgl. Art. 42 Abs. 2 BGG).
4.2 Das Gutachten der medizinischen Akademie X._ und das Gutachten der medizinischen Gutachtenstelle Y._ stimmen darin überein, dass beim Beschwerdeführer eine ausgeprägte Dekonditionierung vorliegt, die noch einer vielfältigen, intensiven Betreuung und Behandlung bedarf: So wurden im rheumatologischen Fachgutachten des Spitals D._ vom 29. Mai 2009 diverse medizinische Massnahmen empfohlen, um der bestehenden Dekonditionierung entgegenzuwirken. Es sollte nochmals eine intensive Physiotherapie durchgeführt werden, dies vor allem mit aktiven Massnahmen zur segmentalen und generellen Rumpfstabilisierung und auch ein langsam steigerndes, initial niederschwelliges Ausdauertraining. Im orthopädischen Teilgutachten vom 10. September 2010 als Bestandteil der Begutachtung der medizinischen Gutachtenstelle Y._ wird davon ausgegangen, dass der Versicherte nach fünf Jahren Untätigkeit seine stabilisierende lumbale Muskulatur praktisch vollständig verloren habe, die für ihn notwendig war, seine 30-jährige Fabrikarbeit vom Rücken her überhaupt zu ertragen. Durch die kardiale Situation und die dadurch erzwungene Arbeitsunfähigkeit seien die Beschwerden an der Lendenwirbelsäule erst richtig manifest geworden, denn erst die Untätigkeit habe den Versicherten in die heutige Schmerzsituation getrieben. Therapeutisch werde eine stabilisierende kräftigende Therapie der lumbalen Wirbelsäulen- und Bauchmuskulatur empfohlen, womit im besten Fall ein Halten des Status quo und eine mehr oder weniger erträgliche Schmerzsituation herbeigeführt werden könnte.
4.3 Für die Beurteilung des streitigen Anspruchs im hier fraglichen Zeitraum vom 1. September 2006 (Ablauf Wartejahr) bis zum Erlass der angefochtenen und vorinstanzlich bestätigten Verfügung vom 4. Juli 2011 ist bis zum Begutachtungszeitpunkt vom 13. November 2008 im Spital D._ von einer vollständigen Arbeitsfähigkeit in einer körperlich einfachen Verweisungstätigkeit, ohne repetitives Heben von Lasten über 10 kg, ohne Arbeiten in Zwangshaltungen, ohne repetitive Rumpfrotationen, ohne Tätigkeiten über Brusthöhe, ohne Nachtschichtarbeit und ohne Exposition von karzinogenen Substanzen auszugehen. Weil diese Einschätzung auf der Annahme basiert, dass der (erstmals) im Spital D._ festgestellten Dekonditionierung erfolgreich entgegen gewirkt wird, entsprechende medizinisch-rehabilitative Massnahmen jedoch bis heute nicht eingeleitet bzw. durchgeführt wurden - jedenfalls lässt sich den Akten nichts anderes entnehmen -, kann indessen nicht bezüglich des gesamten zu beurteilenden Zeitraums auf die im Gutachten der medizinischen Akademie X._ geschätzte Einschränkung abgestellt werden. Die Einschätzung im Gutachten der medizinischen Gutachtenstelle Y._, auch in einer leichten, angepassten Tätigkeit bestehe nur noch eine Arbeitsfähigkeit von 33 %, beruht dagegen auf dem Status quo der vorhandenen Dekonditionierung. Es rechtfertigt sich somit, die Leistungseinschränkung des Beschwerdeführers ab Feststellung der die Arbeitsfähigkeit (zusätzlich) beeinflussenden - und bisher nicht weiter angegangenen - Dekonditionierung (Begutachtung im Spital D._ vom 13. November 2008) gestützt auf das Gutachten der medizinischen Gutachtenstelle Y._ festzulegen. Rentenwirksam wird dieser Umstand gemäss Art. 88a Abs. 2 IVV nach Ablauf von drei Monaten (vgl. E. 2.2), mithin am 1. März 2009.
4.4 Beim Einkommensvergleich ergibt sich daraus unter Berücksichtigung eines Invalideneinkommens für eine leichte, behinderungsangepasste Tätigkeit von Fr. 20'413.- (ausgehend vom Bruttolohn gemäss der vom Bundesamt für Statistik, BFS, herausgegebenen Schweizerischen Lohnstrukturerhebung, LSE, für das Jahr 2008, Tabelle TA1, für Männer im Anforderungsniveau 4 [einfache und repetitive Tätigkeiten] bei 40 Wochenstunden monatlich Fr. 4'806.-, indexiert [Nominallohnentwicklung 2009: 2.1 %; vgl. BFS, Nominallohnindex 1993-2010, Tabelle T1.93-V, Total] und umgerechnet auf die betriebsübliche wöchentliche Arbeitszeit "Total" von 41.6 Stunden im Jahre 2009 [vgl. Staatssekretariat für Wirtschaft, Die Volkswirtschaft, 12-2012, S. 90 Tabelle B9.2] auf Fr. 5'103.- und jährlich Fr. 61'238.-, davon ein Drittel) sowie eines Valideneinkommens von Fr. 82'293.- (ausgehend vom von der Vorinstanz angenommenen Valideneinkommen von Fr. 80'600.-, aufgerechnet auf die Nominallohnentwicklung 2009 von 2.1 %) ein Invaliditätsgrad von 75 %, ohne dass überhaupt ein leidensbedingter Abzug vorgenommen würde, und damit ein Anspruch auf eine ganze Rente ab 1. März 2009.
5. Der Beschwerdeführer ist bei diesem Ergebnis als teilweise obsiegend zu betrachten. Die Gerichtskosten sind daher anteilsmässig zu verlegen (Art. 66 Abs. 1 BGG). Die Beschwerdegegnerin hat ihm für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung auszurichten (Art. 68 Abs. 1 BGG). Entsprechend dem Ausgang des letztinstanzlichen Prozesses wird das kantonale Gericht über die Kosten- und Entschädigungsfolgen im vorangegangenen Verfahren neu befinden (Art. 67 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird, soweit darauf einzutreten ist, teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 23. Mai 2012 und die Verfügung der IV-Stelle des Kantons Zürich vom 4. Juli 2011 werden insoweit aufgehoben, als damit dem Beschwerdeführer auch nach dem 1. September 2009 nur eine Viertelsrente zuerkannt wird. Es wird festgestellt, dass der Beschwerdeführer ab 1. März 2009 Anspruch auf eine ganze Rente der Invalidenversicherung hat.
2. Die Gerichtskosten von Fr. 500.- werden je zur Hälfte dem Beschwerdeführer und der IV-Stelle des Kantons Zürich auferlegt.
3. Die IV-Stelle des Kantons Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse Swissmem, Zürich, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. April 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Helfenstein