Sachverhalt:
A. M._ ist gelernter Autospengler, reiste 1985 von Kroatien in die Schweiz ein, verlor seine letzte Arbeitsstelle als Chauffeur bei anhaltender Arbeitsunfähigkeit per Ende Juli 1993 und meldete sich am 16. September 1994 wegen "seit geraumer Zeit" bestehender Beschwerden ("Magengeschwüre und Bandscheibe L4 und L5") bei der Invalidenversicherung zum Rentenbezug an. Nachdem die IV-Stelle des Kantons Zürich (nachfolgend: IV-Stelle oder Beschwerdegegnerin) mit Verfügung vom 7. Juli 1995 einen Rentenanspruch verneint hatte, liess der Versicherte durch seine Hausärztin Dr. med. R._ im April 1997 eine Verschlechterung seines Gesundheitszustandes geltend machen. Gestützt auf weitere Abklärungen und das Gutachten der Medizinischen Abklärungsstelle (MEDAS) vom 10. November 1998 (nachfolgend: MEDAS-Gutachten) sprach die IV-Stelle M._ mit Verfügung vom 19. Oktober 1999 bei einem Invaliditätsgrad von 50% mit Wirkung ab 1. April 1997 eine halbe Invalidenrente zu. Im Februar 2009 leitete die IV-Stelle von Amtes wegen ein Revisionsverfahren ein. Nach Einholung verschiedener Arztberichte und nachdem das Zentrum X._ die orthopädisch-psychiatrische Expertise vom 17. Juni 2010 (nachfolgend: Gutachten des Zentrums X._) erstattet hatte, ermittelte die IV-Stelle aufgrund geänderter gesundheitlicher Verhältnisse neu einen Invaliditätsgrad von 15%. Demzufolge hob sie die bis dahin ausgerichtete halbe Invalidenrente mit Verfügung vom 29. Dezember 2010 per 31. Januar 2011 auf.
B. Die hiegegen erhobene Beschwerde des M._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 4. April 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ unter Aufhebung des angefochtenen Gerichtsentscheids und der Verfügung der IV-Stelle vom 29. Dezember 2010 die über den 31. Januar 2011 hinaus fortgesetzte Ausrichtung einer mindestens halben Invalidenrente beantragen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Zudem muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein. Für die Sachverhaltsrügen gelten strenge Anforderungen (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 1.4.3 S. 255): Es genügt nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten, vielmehr ist darzulegen, inwiefern die Feststellungen willkürlich sind (vgl. <ref-ruling> E. 1.4.3 S. 255; Urteil 2C_921/2010 vom 23. Juni 2011 E. 2.1).
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>) und der Erwerbsunfähigkeit (<ref-law>), die Ermittlung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>; <ref-ruling> E. 1 S. 30 mit Hinweis) und den Umfang des Rentenanspruchs (<ref-law>) sowie die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> in Verbindung mit <ref-law>) zutreffend dargelegt. Dasselbe gilt für die Voraussetzungen einer Revision der Invalidenrente (<ref-law>; <ref-ruling> E. 3 S. 132), namentlich die zeitlichen Vergleichspunkte (<ref-ruling> E. 5.4 S. 114; <ref-ruling>), die Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) und die Aufgabe des Arztes bei der Ermittlung des Invaliditätsgrades (<ref-ruling> E. 4 S. 99 mit Hinweisen). Darauf wird verwiesen.
Anzufügen bleibt, dass behandelnde Spezialisten sich in erster Linie auf die Behandlung zu konzentrieren haben und bei ihren Berichten die Erfahrungstatsache, wonach diese aufgrund des Vertrauensverhältnisses zu ihren Patienten im Zweifelsfall eher zu deren Gunsten aussagen, zu berücksichtigen ist, so dass im Streitfall eine direkte Leistungszusage einzig gestützt auf die Angaben der behandelnden Ärztinnen und Ärzte kaum je in Frage kommt (<ref-ruling> E. 4.5 S. 470).
3. Der Beschwerdeführer erhebt keine Einwände gegen den Einkommensvergleich gemäss angefochtenem Entscheid, mit welchem die Vorinstanz übereinstimmend mit der IV-Stelle neu einen rentenanspruchsausschliessenden Invaliditätsgrad von 15% ermittelt hat. Strittig und zu prüfen ist demgegenüber, ob das kantonale Gericht mit Blick auf den Gesundheitszustand des Versicherten in offensichtlich unrichtiger Feststellung der entscheidwesentlichen Tatsachen bundesrechtswidrig auf eine anspruchsrelevante Sachverhaltsänderung geschlossen hat. Unbestritten ist, dass die tatsächlichen gesundheitlichen Verhältnisse im Zeitpunkt der gestützt auf das MEDAS-Gutachten erfolgten Rentenzusprache gemäss Verfügung vom 19. Oktober 1999 mit diejenigen im Zeitpunkt der Rentenaufhebung insbesondere aufgrund des mit Gutachten des Zentrums X._ erhobenen Gesundheitszustandes bei Erlass der Verfügung vom 29. Dezember 2010 zu vergleichen sind (vgl. dazu <ref-ruling>).
4. 4.1 Vorweg rügt der Beschwerdeführer, die Vorinstanz habe aktenwidrig festgestellt, "dass der Gesundheitszustand in somatischer Hinsicht seit der ersten Rentenzusprechung im Wesentlichen ohne relevante Veränderungen stationär geblieben sei." Statt dessen sei nach Aktenlage in somatischer Hinsicht von einer starken Verschlechterung des Gesundheitszustandes mit Erhöhung der Leistungsfähigkeitseinschränkung auszugehen.
4.2 Zwar ist der Schlusssatz der Erwägung 6.1 des angefochtenen Entscheids in der Tat missverständlich formuliert. Insgesamt geht jedoch aus Erwägung 6 hinreichend klar hervor, dass das kantonale Gericht in Übereinstimmung mit der IV-Stelle nach umfassender Würdigung der medizinischen Aktenlage insbesondere gestützt auf das Gutachten des Zentrums X._ auf eine anspruchsrelevante Änderung des Gesundheitszustandes mit erhöhter Arbeitsfähigkeit hinsichtlich einer angepassten Tätigkeit schloss. Den Gutachtern des Zentrums X._ ist in diagnostischer Hinsicht nicht entgangen, dass sich die gesundheitlichen Verhältnisse seit der ursprünglichen Rentenzusprache verändert haben. Der Beschwerdeführer vermag diesbezüglich aus dem Vergleich mit den Diagnosen seiner behandelnden Ärzte nichts zu seinen Gunsten abzuleiten, zumal auch gemäss Gutachten des Zentrums X._ unbestritten in somatischer Hinsicht eine Verschlechterung des Gesundheitszustandes eingetreten ist. Demgegenüber konnte aber im Frühsommer 2010 aus psychiatrischer Sicht - im Gegensatz zu den gesundheitlichen Verhältnissen bei Rentenzusprache - keine Diagnose mit Auswirkung auf die Arbeitsfähigkeit mehr erhoben werden.
5. 5.1 Der Versicherte beanstandet, es sei willkürlich "wenn die Vorinstanz einzig gestützt auf das Gutachten des Zentrums X._, insbesondere das Teilgutachten von Dr. med. N._, [festhalte], dass dem Beschwerdeführer trotz der vorerwähnten somatischen Verschlechterung seines Gesundheitszustandes eine leidensangepasste leichte Tätigkeit vollschichtig zumutbar sei". Der Versicherte zeigt nicht in der geforderten Weise (vgl. E. 1.2 hievor) auf, inwiefern die Vorinstanz das Willkürverbot verletzt oder sonst wie den Sachverhalt offensichtlich unrichtig festgestellt habe. Statt dessen begnügt er sich mit dem Hinweis darauf, alle übrigen Ärzte gingen höchstens von einer Teilarbeitsfähigkeit von 50% in angepasster Tätigkeit aus.
5.2 Entgegen dem Beschwerdeführer hat das kantonale Gericht nach eingehender und pflichtgemässer Würdigung der medizinischen Aktenlage - auch der vom Gutachten des Zentrums X._ abweichenden ärztlichen Einschätzungen - mit nachvollziehbarer und überzeugender Begründung, worauf verwiesen wird, ausführlich dargelegt, weshalb die IV-Stelle ohne Bundesrechtsverletzung auf das Gutachten des Zentrums X._ abgestellt und gestützt darauf infolge eines veränderten Gesundheitszustandes hinsichtlich einer leichten leidensadaptierten Tätigkeit auf eine volle Arbeitsfähigkeit geschlossen hat. Laut Angaben der Arbeitgeberin vom 22. Dezember 2003 war ihr nicht bekannt, dass der mit einem 50%-Pensum im Reinigungsdienst beschäftigte Versicherte an einem Gesundheitsschaden leidet. Demnach vermochte er sein entsprechendes Arbeitspensum ohne ersichtliche gesundheitsbedingte Beeinträchtigungen zu absolvieren. Er selbst verneinte am 24. Februar 2009 eine Verschlimmerung seines Gesundheitszustandes. Dass die Arbeitgeberin und/oder die Hausärztin die zuletzt verrichtete Reinigungsarbeit im Gebäudeunterhalt eines Schulhauses als "leichte, wechselbelastende und rückenschonende Tätigkeit" qualifiziert hätte, ist den Akten - entgegen der Behauptung des Beschwerdeführers - nicht zu entnehmen. Die angestammte Arbeit umfasste insbesondere häufiges Staubsaugen, Boden-Aufwischen und Entsorgen. Dabei handelt es sich - anders als von der Hausärztin angeblich vermutet - jedenfalls nicht um die gemäss Gutachten des Zentrums X._ optimal leidensangepassten, körperlich leichten Tätigkeiten, welche wechselbelastend, teils sitzend und teils stehend, ohne häufig inklinierte, reklinierte und rotierte Körperhaltungen sowie ohne das Tragen von mehr als fünf Kilogramm schweren Gewichten auszuüben sind. Die vom Versicherten konsultierten Ärzte, auf deren Arbeitsunfähigkeitsschätzungen sich der Beschwerdeführer beruft, bezogen ihre Einschätzungen allesamt nicht auf eine nach Massgabe des Gutachtens des Zentrums X._ umschriebene Verweisungstätigkeit mit optimal leidensangepasstem Anforderungsprofil. Gegenteilige Behauptungen des Versicherten blieben unbewiesen.
5.3 Dementsprechend erweist sich auch die Kritik am Gutachten des Zentrums X._ als unbegründet. Soweit den geklagten Knie- und Beinbeschwerden im Gutachten keine selbstständige Bedeutung in Bezug auf die Gesundheitsschäden mit Auswirkungen auf die Arbeitsfähigkeit beigemessen wurden, stimmt die von den Experten vertretene Auffassung mit derjenigen der behandelnden Ärzte überein. Das Gutachten des Zentrums X._ erfüllt die praxisgemässen Anforderungen, weshalb Verwaltung und Vorinstanz ohne Bundesrechtsverletzung darauf abgestellt haben. Kommt dem Gutachten des Zentrums X._ volle Beweiskraft zu, beruht die vorinstanzlich bestätigte Auffassung, wonach der Beschwerdeführer zumutbarerweise - trotz seiner gesundheitlichen Beeinträchtigungen - in einer optimal leidensangepassten Tätigkeit eine volles Arbeitspensum erwerblich verwerten könnte, weder auf einer offensichtlich unrichtigen oder unvollständigen Sachverhaltsfeststellung noch auf einer anderweitigen Bundesrechtsverletzung. Die darauf basierende erwerbliche Neuermittlung des Invaliditätsgrades von 15% blieb unbestritten.
6. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Prozessführung und Verbeiständung kann jedoch entsprochen werden (<ref-law>; <ref-ruling> E. 4a S. 202), da die Voraussetzungen hiefür gegeben sind. Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Dr. Kurt Sintzel wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, II. Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. August 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Hochuli