Sachverhalt:
A.
A._, geboren 1969, reiste 1993 vom Kosovo in die Schweiz ein, wo ihm Asyl gewährt wurde. Er ist Vater von fünf Kindern (geboren 1999, 2000, 2004, 2008 und 2010). Ein im Kosovo begonnenes Wirtschaftsstudium brach er nach einem Jahr ab. Er verfügt über keinen Berufsausbildungsabschluss. Von 1995 bis 1997 arbeitete er als Plattenleger und später als Bauarbeiter. Wegen seit 12. August 1999 anhaltender Arbeitsunfähigkeit infolge von Rückenbeschwerden meldete er sich am 23. August 2000 bei der IV-Stelle Schaffhausen zum Rentenbezug an. Bei einem Invaliditätsgrad von 100% bezog er ab 1. August 2000 eine ganze Invalidenrente (Verfügung vom 17. Februar 2003).
Nach revisionsweiser Bestätigung des Rentenanspruchs leitete die IV-Stelle 2012 von Amtes wegen erneut ein Revisionsverfahren ein. Gestützt auf zwei polydisziplinäre Gutachten schloss die IV-Stelle auf eine wesentliche Verbesserung des Gesundheitszustandes und hob die Invalidenrente mit Verfügung vom 3. November 2016 auf.
B.
Die hiegegen erhobene Beschwerde des A._ wies das Obergericht des Kantons Schaffhausen ab (Entscheid vom 28. Dezember 2018).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es sei unter Aufhebung des angefochtenen Gerichtsentscheides festzustellen, dass ihm über den 3. November 2016 hinaus eine ganze Rente der Invalidenversicherung zustehe. Eventualiter sei auf dem Weg der Rückweisung eine neuerliche psychiatrische Begutachtung anzuordnen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Während die IV-Stelle auf Beschwerdeabweisung schliesst, verzichten das Bundesamt für Sozialversicherungen (BSV) und die Vorinstanz auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), dies unter Vorbehalt des qualifizierten Rügeprinzips gemäss <ref-law> (vgl. E. 4.4). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig ist, ob die Vorinstanz zu Recht die Aufhebung der Invalidenrente bestätigt hat.
3.
3.1. Das kantonale Gericht hat die Bestimmungen und Grundsätze über die Erwerbsunfähigkeit (<ref-law>), die Invalidität (<ref-law> in Verbindung mit <ref-law>), den Anspruch auf eine Invalidenrente (<ref-law>) und die Rentenrevision (<ref-law>) zutreffend dargelegt. Richtig sind auch die Ausführungen zum zeitlichen Ausgangspunkt für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades (<ref-ruling> E. 3 S. 132 f.) und die zeitliche Grenze der richterlichen Überprüfungsbefugnis (<ref-ruling> E. 2.1 i.f. S. 411 mit Hinweis). Gleiches gilt für die bei der freien Beweiswürdigung (<ref-law>) und der Beurteilung des Beweiswerts eines ärztlichen Berichts oder Gutachtens zu beachtenden Regeln (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
3.2. Hervorzuheben ist, dass nach der Rechtsprechung bei psychischen Leiden unabhängig von der diagnostischen Einordnung auf objektivierter Beurteilungsgrundlage zu prüfen ist, ob eine rechtlich relevante Arbeits- und Erwerbsunfähigkeit nachzuweisen sei (<ref-ruling> E. 4.5.2 S. 416). Bei der Frage der funktionellen Auswirkungen einer Störung haben sich sowohl die medizinischen Sachverständigen als auch die Organe der Rechtsanwendung bei ihrer Einschätzung des Leistungsvermögens an den normativen Vorgaben zu orientieren (<ref-ruling> E. 4.3 S. 53 f.; <ref-ruling> E. 6 S. 427).
4.
4.1. Der Beschwerdeführer lässt sich seit 2005 fachärztlich-psychiatrisch behandeln. Nach Abschluss des Schriftenwechsels liess er im vorinstanzlichen Verfahren den Bericht vom 10. Juni 2018 des med. pract. B._, Facharzt für Kinder- und Jugendpsychiatrie und Psychotherapie FMH, einreichen, zu welchem er sich nach einem Therapeutenwechsel ab November 2017 in psychiatrische Behandlung begab. Dieser Arzt stellte als erster und bis dahin einziger Psychiater eine "traumatherapeutische Arbeitshypothese" auf, wonach die Leiden des Versicherten in einem Zusammenhang mit dessen Kriegstraumatisierung während der Unabhängigkeitsbewegung im Balkankonflikt stünden.
4.2. Der Bericht des med. pract. B._ datiert mehr als eineinhalb Jahre nach der hier strittigen - am 3. November 2016 verfügten - Rentenaufhebung, weshalb ihn das kantonale Gericht praxisgemäss ausser Acht liess. Dies ist nicht zu beanstanden. Für die richterliche Überprüfungsbefugnis (vgl. E. 3.1 hievor) ist der Gesundheitszustand massgebend, wie er sich bis zum Erlass der Verfügung vom 3. November 2016 präsentierte (vgl. SVR 2018 IV Nr. 10 S. 32, 8C_35/2017 E. 3.1, mit Hinweis auf <ref-ruling> E. 3.1.1 S. 220). Zudem liegt entgegen dem Beschwerdeführer keine unvollständige Sachverhaltsabklärung im Sinne einer Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1 resp. <ref-law>) vor. Denn nicht nur im Rahmen einer psychiatrischen Exploration, sondern auch innerhalb einer psychiatrischen Behandlung ist es Sache der versicherten Person, bedeutsame biografische Umstände in der persönlichen Lebensgeschichte offen zu legen (Urteil 8C_671/2014 vom 19. März 2015 E. 4.2.2). Weder macht der Versicherte geltend noch finden sich in den Akten (insbesondere auch nicht im Bericht des med. pract. B._) Anhaltspunkte dafür, dass die langjährige Behandlung des Psychiaters med. pract. C._ seit 2006 oder die psychiatrischen Begutachtungen von 2013 und 2016 nicht lege artis durchgeführt worden wären.
4.3. Nach umfassender Würdigung der medizinischen Aktenlage hat das kantonale Gericht mit ausführlicher und überzeugender Begründung, worauf verwiesen wird (<ref-law>), zutreffend erkannt, dass den beiden Administrativexpertisen von 2013 und 2016 für die Feststellung des rechtserheblichen Sachverhalts hinsichtlich einer revisionsrechtlich relevanten Verbesserung des Gesundheitszustandes Beweiskraft zukommt. Entgegen dem Beschwerdeführer beruht die Feststellung einer anspruchserheblichen Verbesserung des Gesundheitszustandes nicht auf einer fehlerhaften gerichtlichen "Interpretation" der medizinischen Unterlagen. Vielmehr basiert der angefochtene Entscheid direkt auf den polydisziplinären Gutachten der Medizinischen Abklärungsstelle (Medas) Ostschweiz vom 14. August 2013 (nachfolgend: Medas-Gutachten) und der Swiss Medical Assessment- and Business-Center (SMAB) AG vom 22. April 2016 (nachfolgend: SMAB-Gutachten). Aus psychiatrischer Sicht hat sich der Gesundheitszustand demnach "deutlich verbessert". Im Gegensatz zum Verlaufsbericht des behandelnden Psychiaters med. pract. C._ vom 24. November 2012 stufte der psychiatrische Gutachter Dr. med. D._ anlässlich der Medas-Exploration sowohl die Panikstörung als auch die depressive Störung als weitgehend remittiert ein. In Bezug auf ein Vollzeitpensum ging er demnach noch von einer Leistungseinbusse in angepasster Tätigkeit von 20-30% aus. Drei Jahre später beschrieb der psychiatrische SMAB-Gutachter Dr. med. E._ Anhaltspunkte für eine deutliche Selbstlimitierung und eine vollständig fehlende Veränderungsmotivation. Die durchaus vorhandenen Ressourcen, der fehlende soziale Rückzug aus allen Lebensbereichen und die hinlänglich erhaltenen psychischen Grundfunktionen liessen Dr. med. E._ 2016 darauf schliessen, dass die nunmehr fast vollständig remittierte depressive Störung und die remittierte Angststörung im Vergleich zu den Befunden anlässlich der Medas-Begutachtung aus psychiatrischer Sicht keine Einschränkung der Arbeitsfähigkeit mehr begründeten. Offensichtlich präsentierte sich den Medas- und SMAB-Gutachtern anlässlich der entsprechenden Explorationen ein anderes Bild vom Versicherten als es der behandelnde med. pract. C._ noch in seinem Verlaufsbericht vom 24. November 2012 beschrieben hatte. Vor diesem Hintergrund ist auch die abweichende Einstufung der Befunde des Dr. med E._ (SMAB-Psychiater) aus dem Jahre 2016 nach den praxisgemässen Vorgaben (E. 3.2 i.f.) im Vergleich zu den Befunden des Dr. med. D._ (Medas-Psychiater) nicht zu beanstanden.
4.4. Soweit Verwaltung und Vorinstanz in antizipierter Beweiswürdigung einen Bedarf an weiteren Abklärungen verneinten, kann einzig Willkür gerügt werden (<ref-ruling> E. 5.3 S. 236 f. mit Hinweisen; Urteil 1C_135/2013 vom 16. Dezember 2013 E. 2; vgl. auch Urteil 8C_316/2017 vom 20. Juni 2017 E. 2.3.4 mit Hinweis). Inwiefern die vorinstanzliche Beweiswürdigung das Willkürverbot (<ref-law>) verletzt, macht der Beschwerdeführer nicht in einer dem qualifizierten Rügeprinzip genügenden Weise (vgl. <ref-ruling> E. 1.3 S. 30 mit Hinweisen) geltend. Mit Blick auf seine Vorbringen finden sich keine Anhaltspunkte für eine offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellungen beziehungsweise eine diesbezügliche Rechtsverletzung.
5.
Da die Beschwerde offensichtlich unbegründet ist (<ref-law>), wird sie im vereinfachten Verfahren mit summarischer Begründung und unter Hinweis auf den angefochtenen Entscheid (<ref-law>) erledigt.
6.
6.1. Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (<ref-law>).
6.2. Da die Beschwerde offensichtlich unbegründet ist (E. 5), ist sie als aussichtslos im Sinne von <ref-law> zu bezeichnen (vgl. dazu Thomas Geiser, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N. 22 i.f. zu <ref-law>; Urteil 8C_772/2018 vom 19. März 2019 E. 8.2). Das Gesuch um unentgeltliche Rechtspflege ist demnach abzuweisen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Mai 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Hochuli