Sachverhalt:
A.
A.a. A._, geboren 1954, war zuletzt seit 1993 als Tanklastwagenchauffeur bei seiner eigenen Firma "B._ AG" erwerbstätig. Am 25. Juni 2007 meldete er sich wegen seit Januar 2007 anhaltender Arbeitsunfähigkeit bei der Invalidenversicherung zum Leistungsbezug an. Nach erwerblichen und medizinischen Abklärungen, insbesondere gestützt auf das polydisziplinäre Gutachten der Medizinischen Abklärungsstelle (MEDAS) Zentralschweiz, vom 8. Juli 2008 (nachfolgend: MEDAS-Gutachten), ermittelte die IV-Stelle des Kantons St. Gallen (nachfolgend: IV-Stelle oder Beschwerdeführerin) einen Invaliditätsgrad von 26 %. Folglich verneinte sie einen Rentenanspruch (Verfügung vom 9. Oktober 2009). Auf Beschwerde von A._ hin hielt das Versicherungsgericht des Kantons St. Gallen (nachfolgend: Versicherungsgericht oder Vorinstanz) das MEDAS-Gutachten zwar für überzeugend, jedoch nicht für hinreichend umfassend. Es hob daher die Verfügung vom 9. Oktober 2009 auf und wies die Sache zur ergänzenden medizinischen Abklärung an die IV-Stelle zurück (Entscheid vom 15. Dezember 2011).
A.b. Gestützt auf das zweite, von der IV-Stelle bei der Firma "Aerztliches Begutachtungsinstitut GmbH" in Basel in Auftrag gegebene polydisziplinäre Gutachten vom 7. März 2013 (nachfolgend: ABI-Gutachten) ermittelte die Verwaltung einen Invaliditätsgrad von 47 %. In der Folge sprach sie dem Versicherten mit Wirkung ab 1. September 2012 eine Viertelsrente zu (Verfügung vom 27. November 2013).
B.
Die hiegegen erhobene Beschwerde des A._ hiess das Versicherungsgericht wiederum teilweise gut. Es hob die Verfügung vom 27. November 2013 auf und sprach dem Versicherten bereits ab 1. Januar 2008 eine Viertelsrente und ab 1. Dezember 2011 eine halbe Invalidenrente zu (Entscheid vom 7. Juni 2016).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle die Aufhebung des angefochtenen Gerichtsentscheides und die Zusprechung einer Viertelsrente erst ab 1. September 2011. Zudem sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Während A._ und die Vorinstanz auf Abweisung der Beschwerde schliessen, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.
Die Instruktionsrichterin hat der Beschwerde am 13. September 2016 die aufschiebende Wirkung zuerkannt.
Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (BGE 138 I 274 E. 1.6 S. 280 mit Hinweisen; Urteil 8C_930/2014 vom 20. April 2015 E. 1).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
2.1. Fest steht, dass der Versicherte vor 2007 während mehr als zehn Jahren einziger Verwaltungsrat mit Einzelzeichnungsberechtigung und Chauffeur seiner Firma war. Deshalb stuften ihn Verwaltung und Vorinstanz praxisgemäss zu Recht wirtschaftlich als selbstständig erwerbend ein (vgl. Urteil 9C_453/2014 vom 17. Februar 2015 E. 4.1 mit Hinweisen). Unbestritten ist sodann, dass er ab Januar 2007 in der angestammten Tätigkeit als selbstständig erwerbender Tanklastwagenchauffeur voll arbeitsunfähig blieb, jedoch in einer leidensangepassten Tätigkeit ab Mai 2008 zu 100 % und ab September 2011 zu 70 % arbeitsfähig war.
2.2. Strittig sind demgegenüber die vorinstanzliche Bestimmung der Vergleichseinkommen im Rahmen des Einkommensvergleichs nach Art. 16 ATSG (vgl. dazu nachfolgend E. 4 bis 6) sowie Beginn und Verlauf des Anspruchs auf eine Invalidenrente (E. 7).
3.
3.1. Für die Bestimmung des Invaliditätsgrades wird das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre (Art. 16 ATSG). Der Einkommensvergleich hat in der Regel in der Weise zu erfolgen, dass die beiden hypothetischen Erwerbseinkommen ziffernmässig möglichst genau ermittelt und einander gegenübergestellt werden, worauf sich aus der Einkommensdifferenz der Invaliditätsgrad bestimmen lässt (Urteil 9C_644/2015 vom 3. Mai 2016 E. 4.2 mit Hinweisen).
3.2.
3.2.1. Für die Ermittlung des Valideneinkommens ist entscheidend, was die versicherte Person im massgebenden Zeitpunkt aufgrund ihrer beruflichen Fähigkeiten und persönlichen Umstände nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdienen würde. Die Einkommensermittlung hat so konkret wie möglich zu erfolgen. Da nach empirischer Feststellung in der Regel die bisherige Tätigkeit im Gesundheitsfall weitergeführt worden wäre, ist Anknüpfungspunkt für die Bestimmung des Valideneinkommens grundsätzlich der letzte vor Eintritt der Gesundheitsschädigung erzielte, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepasste Verdienst (BGE 134 V 322 E. 4.1 S. 325, 129 V 222 E. 4.3.1 S. 224 mit Hinweisen).
3.2.2. Das Valideneinkommen von Selbstständigerwerbenden kann grundsätzlich aufgrund der Einträge im individuellen Konto (IK) bestimmt werden (Urteil 8C_567/2013 vom 30. Dezember 2013 E. 2.2.2 mit Hinweisen). Weist das bis Eintritt der Invalidität erzielte Einkommen starke und verhältnismässig kurzfristig in Erscheinung getretene Schwankungen auf, ist dabei auf den während einer längeren Zeitspanne erzielten Durchschnittsverdienst abzustellen (ZAK 1985 S. 464 E. 2c, I 370/84; vgl. auch AHI 1999 S. 237 E. 3b, I 377/98, mit Hinweisen; Urteil I 316/04 vom 23. Dezember 2004 E. 5.1.1). Die bundesgerichtliche Rechtsprechung schliesst jedoch nicht aus, dass auch bei Erwerbstätigen unter Umständen nicht auf das zuletzt erzielte Einkommen abgestellt wird. Das trifft namentlich bei selbstständig Erwerbenden dann zu, wenn aufgrund der Umstände mit überwiegender Wahrscheinlichkeit anzunehmen ist, dass der Versicherte im Gesundheitsfall seine nicht einträgliche selbstständige Tätigkeit aufgegeben und eine besser entlöhnte andere Tätigkeit angenommen hätte, oder dann, wenn die vor der Gesundheitsbeeinträchtigung ausgeübte selbstständige Tätigkeit wegen ihrer kurzen Dauer keine genügende Grundlage für die Bestimmung des Valideneinkommens darstellt, zumal in den ersten Jahren nach Aufnahme der selbstständigen Erwerbstätigkeit üblicherweise aus verschiedenen Gründen (hohe Abschreibungsquote auf Neuinvestitionen etc.) die Betriebsgewinne gering sind (Urteil 8C_567/2013 vom 30. Dezember 2013 E. 2.2.2).
3.3. Für die Festsetzung des Invalideneinkommens ist nach der Rechtsprechung primär von der beruflich-erwerblichen Situation auszugehen, in welcher die versicherte Person konkret steht. Übt sie nach Eintritt der Invalidität eine Erwerbstätigkeit aus, bei der - kumulativ - besonders stabile Arbeitsverhältnisse gegeben sind und anzunehmen ist, dass sie die ihr verbleibende Arbeitsfähigkeit in zumutbarer Weise voll ausschöpft, und erscheint zudem das Einkommen aus der Arbeitsleistung als angemessen und nicht als Soziallohn, gilt grundsätzlich der tatsächlich erzielte Verdienst als Invalidenlohn. Ist kein solches tatsächlich erzieltes Erwerbseinkommen gegeben, namentlich, weil die versicherte Person nach Eintritt des Gesundheitsschadens keine oder jedenfalls keine ihr an sich zumutbare neue Erwerbstätigkeit aufgenommen hat, so können nach der Rechtsprechung entweder Tabellenlöhne gemäss den vom Bundesamt für Statistik periodisch herausgegebenen Lohnstrukturerhebungen (LSE) oder die DAP-Zahlen herangezogen werden (BGE 129 V 472 E. 4.2.1 S. 475 mit Hinweisen).
4.
Zunächst rügt die Beschwerdeführerin, das kantonale Gericht habe das Valideneinkommen unter Verletzung der einschlägigen bundesrechtlichen Grundsätze (E. 3.2 hievor) abweichend von den massgebenden Einkommensverhältnissen gemäss IK-Einträgen ermittelt.
4.1. Laut Anmeldung zum Leistungsbezug vom 25. Juni 2007 (nachfolgend: IV-Anmeldung) machte der Versicherte schon damals geltend, er habe von 1989 bis Januar 2007 einen monatlichen Bruttolohn von Fr. 6'825.- (x 13 pro Jahr; also jährlich Fr. 88'725.-) verdient. Die IV-Stelle setzte demgegenüber das Valideneinkommen bereits im ersten Rechtsgang basierend auf dem seit der Firmengründung (1993) höchsten AHV-beitragspflichtigen Lohn von Fr. 81'900.- fest. Auf dieser Jahreslohnsumme entrichtete der Beschwerdegegner gemäss IK-Einträgen in den Jahren 2004 bis 2006 die entsprechenden Sozialversicherungsbeiträge. Dieses dem Einkommensvergleich zu Grunde gelegte Valideneinkommen war damals weder von Seiten des Versicherten noch von der Vorinstanz gemäss Rückweisungsentscheid vom 15. Dezember 2011 beanstandet worden. Laut angefochtenem Entscheid vertritt das kantonale Gericht nunmehr die Auffassung, IK-Einträge, Buchhaltungs- und Steuerunterlagen würden bei wirtschaftlich Selbstständigerwerbenden oft nicht das reale, sondern ein beitrags- und steuerrechtlich optimiertes Einkommen zeigen. Ob die IK-Einträge oder die Angaben in den Buchhaltungsunterlagen aussagekräftiger seien, könne nach Aktenlage nicht beantwortet werden. Weil der Beschwerdegegner in der IV-Anmeldung nochmals einen anderen Betrag - abweichend von den IK-Einträgen und den Buchhaltungsunterlagen - deklariert habe, müsse es sich dabei überwiegend wahrscheinlich um denjenigen Betrag handeln, den der Versicherte real als Lohn für seine Arbeit erhalten habe. Dieser Betrag weise von allen aktenkundig angegebenen Beträgen "die höchste Überzeugungskraft auf". Deswegen sei das Valideneinkommen auf Fr. 88'725.- festzusetzen.
4.2. Dagegen wendet die IV-Stelle ein, es sei eine frei überprüfbare Rechtsfrage, ob das Valideneinkommen nach dem praxisgemässen Regelfall basierend auf den IK-Einträgen (SVR 2010 IV Nr. 26 S. 79, 8C_9/2009 E. 3.3; Urteil 9C_852/2015 vom 12. Januar 2016 E. 3.1 mit Hinweisen), oder aber im Ausnahmefall mangels aussagekräftiger IK-Einträge unter Berücksichtigung anderer Faktoren zu bestimmen sei. Der Beschwerdeführerin ist darin beizupflichten, dass die gemäss Art. 25 Abs. 1 IVV vorgeschriebene Parallelisierung der invalidenversicherungsrechtlich massgebenden hypothetischen Vergleichseinkommen mit den AHV-rechtlich beitragspflichtigen Einkommen es grundsätzlich ausschliesst, bei der Ermittlung des Valideneinkommens insbesondere von Selbstständigerwerbenden anstelle von IK-Einträgen auf Steuerunterlagen abzustellen und weitere (AHV-beitragsrechtlich nicht abgerechnete) mutmassliche Einkommen zu berücksichtigen (Urteil des Eidg. Versicherungsgerichts [EVG; heute: sozialrechtliche Abteilungen des Bundesgerichts] I 297/02 vom 28. April 2003 E. 3.2.4). Abweichend von der massgebenden Rechtsprechung (vgl. BGE 135 V 58 E. 3.4.6 S. 64 mit Hinweisen) liess sich die Vorinstanz von sachlich nicht einschlägigen Argumenten leiten, indem sie ohne hinreichende Gründe von den zuverlässigen Angaben gemäss den konstanten IK-Einträgen der Jahre 2004 bis 2006 abwich. Nach Aktenlage bestand entgegen dem angefochtenen Entscheid keinerlei Veranlassung, den "objektiven Wert der Arbeit des [Versicherten]" abweichend vom sozialversicherungsrechtlich ausschlaggebenden Einkommen (vgl. Art. 25 Abs. 1 IVV) gemäss IK-Einträgen auf der Grundlage der LSE-Tabellenlöhne losgelöst von den tatsächlichen Verhältnissen im Bereich "zwischen 69'655.- und 93'157.- Franken" anzusetzen. Zudem ist nicht nachvollziehbar, weshalb das kantonale Gericht dem in der IV-Anmeldung vom Beschwerdegegner geltend gemachten Einkommen von Fr. 6'825.- (x 13 pro Jahr) "höchste Überzeugungskraft" zubilligte, obwohl der Versicherte offensichtlich gemäss IK-Einträgen während der selbstständigen Erwerbstätigkeit unter seiner eigenen Firma seit 1993 niemals ein so hohes Einkommen zu erzielen vermochte.
4.3. Finden sich keine Gründe, weshalb das Valideneinkommen unter den gegebenen Umständen abweichend von den in den Jahren 2004 bis 2006 ausgewiesenen IK-Einträgen zu bestimmen wäre, bleibt es bei dem von der Beschwerdeführerin ermittelten Valideneinkommen von Fr. 81'900.-, welches dem Einkommensvergleich zu Grunde zu legen ist.
5.
Weiter beanstandet die IV-Stelle, die Vorinstanz habe Bundesrecht verletzt, indem sie beim Invalideneinkommen einen Tabellenlohnabzug von 10 % berücksichtigt habe. Ob ein Abzug im Sinne von BGE 126 V 75 vorzunehmen sei oder nicht, sei als Rechtsfrage vom Bundesgericht frei überprüfbar (vgl. BGE 132 V 393 E. 3.3 S. 399).
5.1. Unbestritten ist, dass das Invalideneinkommen basierend auf den LSE-Tabellenlöhnen zu bestimmen und für das Jahr 2006 in Bezug auf eine leidensangepasste Tätigkeit von einem durchschnittlichen Hilfsarbeiterlohn von Fr. 59'197.- auszugehen ist. Zudem steht fest, dass der Versicherte in einer leidensadaptierten Tätigkeit gemäss voll beweiskräftigem ABI-Gutachten, welches laut angefochtenem Entscheid nun auch "den Folgen der chronischen Diarrhoe ausreichend Berücksichtigung geschenkt" hat, invaliditätsbedingt zu 30 % eingeschränkt ist.
5.2. Die Vorinstanz hielt dennoch - über die invaliditätsbedingte Einschränkung hinaus - einen Tabellenlohnabzug von 10 % für gerechtfertigt. Dies mit der Begründung, ein neuer Arbeitgeber müsse für den Versicherten überdurchschnittlich hohe Sozialversicherungsbeiträge entrichten. Die Arbeitsunterbrüche infolge der Diarrhoe würden einen wirtschaftlich denkenden Arbeitgeber veranlassen, den Lohn weiter zu reduzieren. Und schliesslich habe ein wirtschaftlich denkender Arbeitgeber mit überdurchschnittlich vielen Krankheitsabsenzen zu rechnen, was ebenfalls für ein unterdurchschnittliches Invalideneinkommen spreche.
5.3.
5.3.1. Demgegenüber macht die Beschwerdeführerin zu Recht geltend, die Polymorbidität, welcher das ABI-Gutachten bereits durch umfassende Beurteilung sämtlicher gesundheitsbedingter Einschränkungen der Leistungsfähigkeit angemessen Rechnung getragen habe (vgl. hievor E. 5.1 i.f.), dürfe praxisgemäss nicht doppelt berücksichtigt werden (vgl. Urteile 9C_437/2015 vom 30. November 2015 E. 2.4 und 9C_366/2015 vom 22. September 2015 E. 4.3.1). Die Vorinstanz verletzt damit Bundesrecht zumal im angefochtenen Entscheid auch nicht annähernd dargelegt wird, weshalb die bundesgerichtliche Rechtsprechung zu ändern wäre.
5.3.2. Da Hilfsarbeiten (vgl. E. 5.1 hievor) auf dem hypothetisch ausgeglichenen Arbeitsmarkt (Art. 16 ATSG) altersunabhängig nachgefragt werden (vgl. statt vieler Urteile 8C_469/2016 vom 7. September 2016 E. 4.3.3, 9C_380/2015 vom 17. November 2015 E. 3.2.4 und 8C_672/2013 vom 20. Februar 2014 E. 3.3 mit Hinweisen), wirkt sich der Faktor Alter nicht (zwingend) lohnsenkend, sondern im hier relevanten Anforderungsniveau 4 sogar lohnerhöhend (Urteil 9C_380/2015 vom 17. November 2015 E. 3.2.4 i.f. mit Hinweis) aus. Mit der Beschwerdeführerin besteht hier praxisgemäss keine Veranlassung, dem Alter des Versicherten bei der Ermittlung des Invalideneinkommens durch Berücksichtigung eines Tabellenlohnabzuges Rechnung zu tragen.
5.3.3. In Bezug auf die vorinstanzlich im Übrigen berücksichtigten und von der IV-Stelle ebenfalls bestrittenen Abzugsgründe von angeblich überdurchschnittlich vielen Krankheitsabsenzen und überdurchschnittlich hohen Sozialversicherungsbeiträgen verzichtet das kantonale Gericht auf eine nachvollziehbare Begründung. Weder mit Blick auf die geltend gemachten Ursachen noch hinsichtlich deren behauptete Auswirkungen legt die Vorinstanz dar, worauf sie ihre Auffassung abstützt. Zudem weist die IV-Stelle zutreffend darauf hin, dass praxisgemäss weder das Risiko überdurchschnittlicher Krankheitsabsenzen noch der sonstige Bedarf nach besonderer Rücksichtnahme seitens des Arbeitgebers als abzugsrelevante Umstände zu berücksichtigen sind (Urteil 9C_380/2015 vom 17. November 2015 E. 3.2.1 mit Hinweisen).
5.3.4. Nach dem Gesagten ist der Beschwerdeführerin beizupflichten, wonach die von der Vorinstanz im angefochtenen Entscheid genannten Umstände nach der Rechtsprechung des Bundesgerichts keinen Abzug vom Tabellenlohn rechtfertigen. Die vorinstanzliche Bemessung des Invaliditätsgrades verletzt demnach Bundesrecht.
6.
Aus dem Vergleich des massgebenden Valideneinkommens von Fr. 81'900.- mit dem trotz gesundheitlicher Einschränkungen auf dem ausgeglichenen Arbeitsmarkt zumutbaren Invalideneinkommen von Fr. 41'438.- (= Fr. 59'197.- x 0,7) resultiert eine invaliditätsbedingte Erwerbseinbusse von Fr. 40'462.- (= Fr. 81'900.- - Fr. 41'438.-), welche einem Invaliditätsgrad von gerundet 49 % (= {Fr. 40'462.- / Fr. 81'900.-} x 100) entspricht. Auf Grund der Bindungswirkung an die Begehren der Parteien (Art. 107 Abs. 1 BGG) hat der Beschwerdegegner somit - spätestens - ab 1. September 2011 Anspruch auf eine Viertelsrente (vgl. Art. 28 Abs. 2 IVG) der Invalidenversicherung.
7.
7.1. Nachfolgend bleibt zu prüfen, ob der Versicherte - abweichend vom angefochtenen Entscheid - nicht schon ab 1. Januar 2008, sondern gemäss Antrag der Beschwerde führenden IV-Stelle erst ab 1. September 2011 einen Rentenanspruch hat.
7.2. Auszugehen ist von der ausdrücklichen Sachverhaltsanerkennung der Beschwerdeführerin laut vorinstanzlicher Tatsachenfeststellung (vgl. E. 2.1 hievor). Demnach steht unbestritten fest, dass der Beschwerdegegner ab Januar 2007 und bis über Januar 2008 hinaus in seiner angestammten Tätigkeit vollständig arbeitsunfähig war. Die IV-Stelle legt nicht dar, inwiefern der mit angefochtenem Entscheid per 1. Januar 2008 verfügte Rentenbeginn bundesrechtswidrig sei. Ebenso findet sich in der Beschwerde keine nachvollziehbare Begründung dafür, weshalb die vorinstanzliche Zusprache einer Viertelsrente mit Wirkung ab 1. Januar 2008 seit der MEDAS-Begutachtung im Mai 2008 bundesrechtswidrig geworden sei. Weshalb der zuvor selbstständig erwerbstätig gewesene Versicherte bei anhaltender vollständiger Arbeitsunfähigkeit in Bezug auf seine angestammte Tätigkeit ab Mai 2008 infolge der seither als zumutbar erachteten leichten wechselbelastenden Tätigkeit unverzüglich keine Erwerbseinbusse mehr hinzunehmen hatte, zeigt die Beschwerdeführerin nicht auf. Im Übrigen lag die Arbeitsunfähigkeit laut unbestritten beweiskräftigem ABI-Gutachten zumindest aus rheumatologischer Sicht mit grosser Wahrscheinlichkeit bereits seit 2007 unverändert bei 30 %. Denn aus dem ABI-Gutachten ergeben sich keine nachvollziehbaren Hinweise darauf, dass sich die rheumatologischen Befunde seit 2007 wesentlich verändert hätten.
7.3. Legt die Beschwerdeführerin nicht dar und ist unter dem Blickwinkel der eingeschränkten Kognition (E. 1 hievor) nicht ohne Weiteres ersichtlich, dass sich der Invaliditätsgrad auf Grund einer erheblichen Veränderung der erwerblichen oder gesundheitlichen Verhältnisse 2008 in anspruchsrelevanter Weise verändert hat, bleibt es bei der gemäss angefochtenem Entscheid mit Wirkung ab 1. Januar 2008 zugesprochenen Viertelsrente. Soweit die IV-Stelle demgegenüber einen Rentenbeginn erst ab 1. September 2011 geltend machte, ist die Beschwerde unbegründet und folglich abzuweisen.
8.
Die Parteien haben die Gerichtskosten nach Massgabe ihres Unterliegens zu tragen (Art. 66 Abs. 1 BGG). Die Beschwerdeführerin obsiegt im Hauptpunkt (Rentenanspruch) und unterliegt nur hinsichtlich des Rentenbeginns. Es rechtfertigt sich daher, ihr einen Viertel der Gerichtskosten zu überbinden (Art. 66 Abs. 1 Satz 1 BGG). Ferner hat sie dem anwaltlich vertretenen Beschwerdegegner eine reduzierte Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 7. Juni 2016 und die Verfügung der IV-Stelle des Kantons St. Gallen vom 27. November 2013 werden aufgehoben. Der Beschwerdegegner hat mit Wirkung ab 1. Januar 2008 Anspruch auf eine Viertelsrente der Invalidenversicherung. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden zu Fr. 200.- der Beschwerdeführerin und zu Fr. 600.- dem Beschwerdegegner auferlegt.
3.
Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 700.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
5.
Dieses Urteil wird den Parteien, der ASGA Pensionskasse, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Oktober 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Hochuli