Sachverhalt: A. A.a. Mit Verfügung vom 25. Juni 2001 sprach die IV-Stelle des Kantons Zürich B._ ab dem 1. April 1997 eine halbe Rente zu (bei einem Invaliditätsgrad vom 60 %). Hiegegen liess B._ am 18. Juli 2001 Beschwerde erheben. Am 16. Oktober 2001 hob die IV-Stelle die Rentenzusprechung wiedererwägungsweise auf und forderte am 25. Oktober 2001 zu viel ausgerichtete Leistungen für die Zeit vom 1. April 1997 bis 31. Mai 2001 sowie vom 1. Juni bis 31. Oktober 2001 vom Fürsorgeamt (Fr. 11'209.-) sowie von B._ (Fr. 1'150.-) zurück. Auch gegen die ihn betreffende Verfügung vom 25. Oktober 2001 beschwerte sich B._. Mit Beschluss vom 5. März 2002 erwog das Sozialversicherungsgericht des Kantons Zürich, die Wiederwägungsverfügung vom 16. Oktober 2001 sei lediglich als Antrag zu qualifizieren, weshalb die am 25. Oktober 2001 verfügte Rückforderung als gegenstandslos zu betrachten sei. Es gab B._ mit Blick auf eine drohende reformatio in peius Gelegenheit zum Beschwerderückzug; davon machte er keinen Gebrauch. Mit Entscheid vom 28. Mai 2002 wies das kantonale Gericht die Beschwerde ab, hob die Verfügung vom 25. Juni 2001 auf und stellte fest, es bestehe kein Rentenanspruch. Eine hiegegen erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil I 465/02 vom 9. Januar 2003 teilweise gut, hob den vorinstanzlichen Entscheid auf und stellte fest, B._ habe ab 1. April 1997 Anspruch auf eine halbe Rente der Invalidenversicherung. Am 11. April 2003 verfügte die IV-Stelle entsprechend dem bundesgerichtlichen Urteil. Schon am 18. Februar 2003 hatte B._ um Rentenerhöhung (ganze Invalidenrente ab 25. Juni 2001) ersucht. Die IV-Stelle leitete ein Revisionsverfahren ein, in dessen Rahmen sie ein Gutachten des Dr. med. A._, Facharzt FMH für Rheumatologie und Innere Medizin, vom 14. Januar 2005, einholte. Nach Stellungnahme des Regionalen Ärztlichen Dienstes vom 31. März 2005 verfügte sie - nachdem sie am 24. Mai 2005 auf das Rentenerhöhungsgesuch vom 18. Februar 2003 nicht eingetreten war - am 10. Juni 2005 die Abweisung des Erhöhungsgesuchs und am 5. Juli 2005 die weitere Zusprechung einer halben Rente. Eine hiegegen erhobene Einsprache des B._ wies die IV-Stelle mit Entscheid vom 23. September 2005 ab, die dagegen geführte Beschwerde des B._ wies das kantonale Sozialversicherungsgericht am 24. August 2006 ab. A.b. Am 6. Mai 2008 ersuchte B._ bei der IV-Stelle um Rentenerhöhung und reichte verschiedene Arztberichte ein. Die IV-Stelle führte medizinische Abklärungen durch. Namentlich holte sie Berichte ein des Augenarztes Dr. med. S._ vom 4. Februar 2009, sowie des Dr. med. U._, Chirurgie FMH, speziell Handchirurgie, vom 29. April 2009, und des Dr. med. K._, Facharzt FMH Lungenkrankheiten und Innere Medizin, vom 12. Mai 2009. Mit Vorbescheid vom 17. Juni 2009 stellte sie die Abweisung des Erhöhungsgesuches in Aussicht. Nachdem B._ hiegegen hatte Einwände erheben lassen und weitere ärztliche Berichte bei ihr eingegangen waren, gab die IV-Stelle ein polydisziplinäres Gutachten beim Abklärungszentrum Y._ vom 31. Mai 2010 in Auftrag. Am 19. Januar 2011 verfügte sie die Abweisung des Erhöhungsgesuchs. B. Eine hiegegen erhobene Beschwerde des B._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. September 2012 ab. C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides sowie der Verfügung vom 19. Januar 2011 die rückwirkende Zusprechung der "gesetzlichen Leistungen" beantragen. Eventualiter sei die Sache zur weiteren Abklärung (Anordnung eines Gerichtsgutachtens) an das kantonale Gericht zurückzuweisen, subeventualiter sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. Die IV-Stelle schliesst auf Abweisung der Beschwerde.