Sachverhalt:
A.
A.a. A._, geboren 1962, betrieb seit November 2002 selbstständigerwerbend das Ristorante B._. Am 4. März 2012 erlitt er als Beifahrer anlässlich eines Verkehrsunfalles unter anderem eine Commotio cerebri und eine Distorsion der Halswirbelsäule (HWS). Wegen seither anhaltender Beschwerden meldete er sich am 10. Oktober 2012 bei der Invalidenversicherung zum Leistungsbezug an. Ab 16. April 2012 liess er sich auch psychiatrisch behandeln. Im Auftrag des zuständigen Unfalltaggeldversicherers erstattete die SMAB AG in St. Gallen am 30. Januar 2013 ein neurologisch-psychiatrisches Gutachten (nachfolgend: SMAB-Gutachten 1). Nach zusätzlichen medizinischen und erwerblichen Abklärungen sowie dem Erstgespräch Frühintegration vom 10. Dezember 2012 sprach die IV-Stelle des Kantons Aargau (nachfolgend: IV-Stelle oder Beschwerdegegnerin) dem Versicherten Beratung und Unterstützung bei der beruflichen Integration zu. Basierend auf den Ergebnissen des Abschlussberichts Integration vom 28. März 2014 lehnte die IV-Stelle einen weiteren Anspruch auf berufliche Massnahmen ab und stellte hinsichtlich anderer Leistungen einen separaten Entscheid in Aussicht (Verfügung vom 4. Juni 2014). Nach ergänzenden beruflichen und medizinischen Abklärungen verneinte sie unter anderem gestützt auf das von ihr eingeholte polydisziplinäre Gutachten der Medexperts AG in St. Gallen vom 10. August 2016 (nachfolgend: Medexperts-Gutachten) einen Rentenanspruch (Verfügung vom 2. August 2017). Auf Beschwerde des A._ hin hob das Versicherungsgericht des Kantons Aargau die Verfügung vom 2. August 2017 auf. Es wies die Sache zur weiteren Abklärung im Sinne der Erwägungen - insbesondere zur Klärung des Verlaufs der medizinisch ausgewiesenen Leistungsfähigkeitseinschränkungen in Bezug auf die verschiedenen Aufgaben des konkreten Anforderungsprofils der angestammten Tätigkeit - und Neuverfügung an die IV-Stelle zurück (Entscheid vom 16. März 2018).
A.b. Gestützt auf die Ergebnisse einer neuen polydisziplinären Expertise der SMAB AG in St. Gallen vom 18. April 2019 (nachfolgend: SMAB-Gutachten 2) verneinte die IV-Stelle mangels einer länger anhaltenden, medizinisch-begründbaren Einschränkung der Arbeitsfähigkeit erneut einen Rentenanspruch (Verfügung vom 26. Juli 2019).
B.
Die hiegegen erhobene Beschwerde des A._ wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 3. Juni 2020).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ im Wesentlichen beantragen, der angefochtene Entscheid sei aufzuheben. Die IV-Stelle habe ihm basierend auf einem Invaliditätsgrad von mindestens 60% eine Invalidenrente auszurichten. Eventualiter sei die Angelegenheit an die Vorinstanz, subeventualiter an die Beschwerdegegnerin zurückzuweisen mit der Anordnung, den Beschwerdeführer im Rahmen eines polydisziplinären Obergutachtens neu untersuchen und beurteilen zu lassen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichten sowohl die Vorinstanz als auch das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), dies unter Vorbehalt des qualifizierten Rügeprinzips gemäss <ref-law>. Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum sowie der konkreten Beweiswürdigung handelt es sich um für das Bundesgericht grundsätzlich verbindliche Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.; Urteil 8C_758/2019 vom 19. Mai 2020 E. 1.2). Dagegen sind frei überprüfbare Rechtsfragen die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, <ref-law>) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Ebenfalls als Rechtsfrage frei überprüfbar ist, ob und in welchem Umfang die ärztlichen Feststellungen anhand der rechtserheblichen Indikatoren auf Arbeitsunfähigkeit schliessen lassen (<ref-ruling> E. 7 S. 309).
2.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die von der Beschwerdegegnerin am 26. Juli 2019 verfügte Rentenablehnung bestätigte.
3.
3.1. Das kantonale Gericht hat die gesetzlichen Bestimmungen und die von der Rechtsprechung dazu entwickelten Grundsätze zum Rentenanspruch (<ref-law>), zum massgebenden Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 6 S. 221) sowie zum Beweiswert ärztlicher Unterlagen (<ref-ruling> E. 5.1 S. 232, <ref-ruling> E. 3 S. 352 f.) zutreffend dargelegt. Darauf wird verwiesen.
3.2. Zu ergänzen ist, dass das Gericht den von Versicherungsträgern im Verfahren nach <ref-law> eingeholten, den Anforderungen der Rechtsprechung entsprechenden Gutachten externer Spezialärzte vollen Beweiswert zuerkennen darf, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 4.4 S. 470 mit Hinweisen).
4.
4.1. Die Vorinstanz bejahte die Beweiskraft des SMAB-Gutachtens 2 und verneinte konkrete Indizien, welche gegen die Zuverlässigkeit dieser Expertise sprächen. Der Beschwerdeführer sei aus orthopädischer Sicht in der angestammten Tätigkeit maximal bis September 2013 zu 35% bzw. bis August 2016 zu 20% eingeschränkt gewesen.
4.2. Der Beschwerdeführer rügt, das kantonale Gericht habe bei der Sachverhaltsfeststellung und Würdigung der Gutachten unter dem Aspekt von <ref-law> den Untersuchungsgrundsatz (<ref-law>) und das Willkürverbot (<ref-law>) verletzt. Nicht nur der Unfalltaggeldversicherer, sondern auch der anlässlich der zweiten SMAB-Exploration federführende Orthopäde Dr. med. C._ seien explizit von einer bis eineinhalb Jahre nach dem Unfall anhaltenden 35%-igen Arbeitsfähigkeit - nicht Arbeitsunfähigkeit - ausgegangen. Sinngemäss Übereinstimmendes sei den Berichten der Reha D._ vom 4. März 2014 und des Hausarztes Dr. med. E._ zu entnehmen. Retrospektiv stellten die SMAB-Gutachter anlässlich der zweiten Exploration im Januar/Februar 2019 die Ergebnisse des Medexperts-Gutachten vom 10. August 2016 nicht in Frage. Demnach sei der Beschwerdeführer in der angestammten Tätigkeit infolge der damals anhaltenden, skelettal-bedingten Einschränkungen der Belastbarkeit noch zu 20% arbeitsunfähig gewesen bei voller Arbeitsfähigkeit in einer leidenangepassten Beschäftigung. Die Einschränkungen gemäss Medexperts-Gutachten hätten die SMAB-Gutachter anlässlich der zweiten Exploration im Januar/Februar 2019 nicht mehr bestätigen können. Die vorinstanzliche Sachverhaltsfeststellung zum retrospektiven Verlauf der Arbeitsunfähigkeit sei aktenwidrig. Der angefochtene Entscheid verletze das Willkürverbot und sei folglich aufzuheben.
4.3. Laut angefochtenem Entscheid hat der Beschwerdeführer am 4. März 2012 unter anderem eine HWS-Distorsion Grad II/III nach der Québec Task Force (QTF) Klassifikation (vgl. dazu RKUV 2005 Nr. U 550 S. 242, U 287/04 E. 6.2 mit Hinweisen; Urteil 8C_221/2017 vom 6. November 2017 E. 5.1) erlitten. Unter ausdrücklicher Bezugnahme auf das SMAB-Gutachten 1 führte die Vorinstanz aus, am 4. März 2012 sei es über die rein muskuloskelettalen Befunde an der HWS hinaus zu einer Kontusion mit deckplattennaher ossärer Läsion C7 im anterioren Anteil einhergehend mit einem im MRI nachgewiesenen Knochenmarködem gekommen. Diese Befunde würden die Zuerkennung einer erlittenen schwerwiegenden HWS-Distorsion QTF II/III rechtfertigen. Auf Grund dieser Verletzung sei der Beschwerdeführer "bis zum 4. September 2013 zu 35% in seiner Arbeitsfähigkeit eingeschränkt" geblieben (angefochtener Entscheid S. 6). Tatsächlich findet sich jedoch an der zitierten Stelle (SMAB-Gutachten 1, S. 11) die Aussage, infolge des Schweregrades der erlittenen HWS-Verletzung sei bis zum 4. September 2013 mit "einer auf 35% reduzierten Arbeitsfähigkeit" zu rechnen. Der an dieses Zitat anschliessende Satz (SMAB-Gutachten 1, S. 11) könnte zwar isoliert betrachtet im Sinne der vorinstanzlichen Sachverhaltsfeststellung interpretiert werden. Doch sind die Angaben zur Arbeitsfähigkeit bzw. Arbeitsunfähigkeit insgesamt widersprüchlich und bedürfen der Klärung. Das kantonale Gericht verletzte den Untersuchungsgrundsatz (<ref-law>), indem es die widersprüchlichen Einschätzungen der Arbeitsfähigkeit nicht durch ergänzende medizinische Abklärungen präzisieren liess und statt dessen auf eine singuläre und missverständliche Formulierung einer Arbeitsfähigkeitsschätzung abstellte.
4.4. Die Beschwerde ist somit begründet. Die vorinstanzlichen Sachverhaltsfeststellungen zum Verlauf und Ausmass der Arbeitsunfähigkeit in den ersten Jahren nach dem Unfallereignis beruhen auf widersprüchlichen und missverständlichen medizinischen Beurteilungen. Gleiches gilt für die von der IV-Stelle mit Verfügung vom 26. Juli 2019 vertretene Auffassung, wonach der Beschwerdeführer seit dem Unfall "maximal vorübergehend eine skelettal bedingte Arbeitsunfähigkeit von 20% in der bisherigen Tätigkeit" hinzunehmen gehabt habe. Abweichend vom angefochtenen Entscheid ist auch der Konsensbeurteilung des SMAB-Gutachtens 2 keine schlüssige Beantwortung der Frage nach dem zeitlichen Verlauf der Entwicklung der Arbeitsfähigkeit in der bisherigen Tätigkeit aus interdisziplinärer Sicht zu entnehmen. Insbesondere fehlt es mit Blick auf den retrospektiven Verlauf an einer hinreichend zuverlässigen Differenzierung in Bezug auf die angestammte und eine leidensangepasste Tätigkeit. Das kantonale Gericht wird den rechtserheblichen Sachverhalt ergänzend abklären lassen und hienach über die Beschwerde neu entscheiden.
5.
Die Rückweisung der Sache an die Vorinstanz zu weiterer Abklärung und neuem Entscheid mit noch offenem Ausgang gilt für die Frage der Auferlegung der Gerichtskosten und den Anspruch auf Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG, unabhängig davon, ob sie überhaupt beantragt oder ob das entsprechende Begehren im Haupt- oder Eventualantrag gestellt wird (<ref-ruling> E. 7.1 S. 271; Urteil 9C_408/2020 vom 20. August 2020 E. 5). Folglich sind die Gerichtskosten der unterliegenden Beschwerdegegnerin aufzuerlegen (<ref-law>), die dem Beschwerdeführer überdies eine angemessene Parteientschädigung zu entrichten hat (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Versicherungsgerichts des Kantons Aargau vom 3. Juni 2020 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. November 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Hochuli