Sachverhalt: A. J._, geboren 1962, meldete sich am 26. Februar 2003 wegen einer seit September 2001 rezidivierenden Inguinalhernie links bei der Invalidenversicherung zum Rentenbezug an. Nach erwerblichen und medizinischen Abklärungen - unter anderem der Einholung eines multidisziplinären Gutachtens vom 15. Juli 2005 des Zentrums X._ (nachfolgend: Gutachten des Zentrums X._ 1) - sowie nach einem mehrfach zu beschreitenden Rechtsweg (vgl. dazu Urteil I 575/06 vom 15. Juni 2007) sprach die IV-Stelle des Kantons Zürich dem Versicherten schliesslich mit Verfügung vom 22. Mai und 12. Juni 2008 basierend auf einem Invaliditätsgrad von 40% rückwirkend ab September 2002 eine Viertelsrente zu. Der behandelnde Hausarzt Dr. med. F._ meldete der IV-Stelle gemäss Schreiben vom 2. Februar 2009 eine erhebliche Verschlechterung des Gesundheitszustandes, worauf die Invalidenversicherung ein Revisionsverfahren einleitete. Gestützt auf die Ergebnisse einer erneuten interdisziplinären Begutachtung (das Gutachten des Zentrums X._ 2 datiert vom 16. Juli 2010) hob die IV-Stelle die bisher ausgerichtete Viertelsrente aufgrund eines neu auf 26% ermittelten Invaliditätsgrades auf (Verfügung vom 31. März 2010). B. Das Sozialversicherungsgericht des Kantons Zürich wies die hiegegen erhobene Beschwerde des J._ ab (Entscheid vom 17. August 2012). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt J._ beantragen, die IV-Stelle habe ihm unter Aufhebung des angefochtenen Gerichtsentscheides und der Verfügung vom 31. März 2010 weiterhin eine Invalidenrente auszurichten. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.