Sachverhalt:
A.
A._, geboren 1982, arbeitete zuletzt bis zum 1. November 2013 als selbstständiger Landschaftsgärtner. Am 12. Juni 2015 meldete er sich wegen eines seit der Kindheit bestehenden Aufmerksamkeitsdefizitsyndroms (ADS) bei der Invalidenversicherung zum Leistungsbezug an. Nach medizinischen und erwerblichen Abklärungen verneinte die IV-Stelle Schaffhausen einen Leistungsanspruch (Verfügung vom 19. März 2018).
B.
Die hiegegen erhobene Beschwerde des A._ wies das Obergericht des Kantons Schaffhausen ab (Entscheid vom 23. August 2019).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, ihm sei unter Aufhebung des angefochtenen Entscheides eine ganze Invalidenrente zuzusprechen. Eventualiter sei die Sache zur weiteren Abklärung an die Beschwerdegegnerin zurückzuweisen. Zudem sei ihm für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege und Verbeiständung zu gewähren.
Während die IV-Stelle auf Beschwerdeabweisung schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
2.
Strittig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die von der IV-Stelle am 19. März 2018 verfügte Verneinung eines Anspruchs auf Leistungen der Invalidenversicherung bestätigte.
3.
Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>) sowie den im Sozialversicherungsprozess geltenden Untersuchungsgrundsatz (<ref-law>; vgl. dazu <ref-ruling> E. 3.2 S. 429 f. mit Hinweisen) zutreffend dargelegt. Gleiches gilt für die Ausführungen zu den beweisrechtlichen Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) sowie zum Beweiswert eines Administrativgutachtens nach <ref-law> (<ref-ruling> E. 4.4 S. 470) und eines Parteigutachtens (BGE <ref-ruling> E. 3b/dd S. 353; Urteil 8C_909/2017 vom 26. Juni 2018 E. 4 mit Hinweisen). Darauf wird verwiesen.
4.
4.1. Der Abklärungsbericht vom 22. Juni 2018 zu den konsiliarischen Untersuchungen vom 15. und 22. Mai 2018 im Institut B._ und der Austrittsbericht der Klinik C._ AG vom 18. März 2019 datieren nach Erlass der strittigen Verfügung der IV-Stelle vom 19. März 2018. Beide Berichte nehmen weder auf das von der Beschwerdegegnerin bei der Academy of Swiss Insurance Medicine, Universitätsspital Basel (asim), bestellte psychiatrisch-neuropsychologische Gutachten vom 7. Dezember 2016 (nachfolgend: asim-Gutachten) noch auf die Stellungnahmen des Regionalen Ärztlichen Dienstes vom 22. März 2017 und 1. März 2018 der Psychiater Dres. med. D._ und E._ Bezug. Das kantonale Gericht hat die beiden nach Verfügungserlass erstellten Berichte praxisgemäss (vgl. <ref-ruling> E. 1b S. 366) zu Recht nicht berücksichtigt. Sie liessen betreffend des hier in zeitlicher Hinsicht massgebenden Sachverhalts keine Rückschlüsse zu. Der Beschwerdeführer legt nicht dar und es ist nicht ersichtlich, inwiefern die Vorinstanz dadurch den Untersuchungsgrundsatz verletzt haben soll.
4.2. Das kantonale Gericht hat nach eingehender Beweiswürdigung dem asim-Gutachten bundesrechtskonform volle Beweiskraft zuerkannt und folglich eine anspruchsbegründende gesundheitsbedingte Einschränkung der Leistungsfähigkeit verneint. Dabei hat es der Erfahrungstatsache Rechnung getragen, dass behandelnde Haus- und Fachärzte (SVR 2017 IV Nr. 7 S. 19, 9C_793/2015 E. 4.1; 2016 IV Nr. 41 S. 131, 8C_676/2015 E. 6.2; 2008 IV Nr. 15 S. 43, I 514/06 E. 2.1; Urteil 8C_229/2019 vom 5. Juli 2019 E. 5.1 mit Hinweisen) mitunter im Hinblick auf ihre Vertrauensstellung im Zweifelsfall eher zu Gunsten ihrer Patienten aussagen (<ref-ruling> E. 4.5 S. 470; <ref-ruling> E. 3b/cc S. 353).
4.3. Was der Versicherte im Übrigen gegen die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts betreffend Gesundheitszustand und Arbeitsfähigkeit (vgl. zur diesbezüglich eingeschränkten Überprüfungsbefugnis des Bundesgerichts <ref-ruling> E. 3.2 S. 398 mit Hinweisen) vorbringt, ist unbegründet. Soweit er unter Berufung auf die nach Verfügungserlass erstellten Berichte "neue Aspekte" geltend macht, welche angeblich die Beweiskraft der hier massgebenden Aktenlage in Frage stellen, bleibt es beim angefochtenen Entscheid, wonach die neuen Berichte im vorliegenden Verfahren nicht zu berücksichtigen sind (E. 4.1 hievor). Inwiefern die vorinstanzliche Sachverhaltsfeststellung offensichtlich unrichtig (E. 1.2 hievor) oder sonstwie bundesrechtswidrig sei, legt der Beschwerdeführer nicht dar und ist nicht ersichtlich.
4.4. Steht zusammenfassend fest, dass das kantonale Gericht einen - hier zur Diskussion stehenden psychischen - Gesundheitsschaden mit Auswirkung auf die Arbeitsfähigkeit bundesrechtskonform verneint hat, ist die Bestätigung der Verfügung der IV-Stelle vom 19. März 2018 gemäss angefochtenem Entscheid nicht zu beanstanden. Die im Übrigen hiegegen erhobenen Einwände des Versicherten ändern nichts daran.
5.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>). Die unentgeltliche Rechtspflege und Verbeiständung können ihm wegen Aussichtslosigkeit der Beschwerde nicht gewährt werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Januar 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Hochuli