Sachverhalt:
A.
A.a. A._, geboren 1963, meldete sich im August 1992 zum Leistungsbezug bei der Invalidenversicherung an. Sein Gesuch wurde am 31. Januar 1994 abgewiesen, was vom Versicherungsgericht des Kantons St. Gallen am 24. November 1994 bestätigt wurde. Im März 1995 meldete sich A._ erneut zum Leistungsbezug an. In der Folge absolvierte er eine Umschulung, die er im Januar 2000 erfolgreich abschloss. Danach arbeitete er an verschiedenen Stellen und bezog Arbeitslosentaggelder. Ab 3. März 2004 war er bei der B._ AG angestellt.
A.b. Ende 2006 meldete sich A._ unter Verweis auf den Unfall vom 11. November 2005, bei dem er mit seinem Auto in einen Baum fuhr, wiederum bei der Invalidenversicherung zum Leistungsbezug an. Die Schweizerische Unfallversicherungsanstalt (Suva) sprach ihm gestützt auf einen Vergleich am 7. März 2013 eine Rente bei einem Invaliditätsgrad von 30 % ab 1. April 2011 zu. Am 27. August 2013 lehnte die IV-Stelle des Kantons St. Gallen den Anspruch auf eine Invalidenrente infolge eines Invaliditätsgrades von 30 % ab. In teilweiser Gutheissung der dagegen erhobenen Beschwerde hob das Versicherungsgericht am 25. Januar 2016 die Verfügung vom 27. August 2013 auf und wies die Sache zu weiteren Abklärungen an die IV-Stelle zurück. Dabei hielt es fest, A._ sei mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit ab 1. November 2006 in einer angepassten Tätigkeit voll arbeitsfähig gewesen, es sei jedoch abzuklären, ob er im weiteren Verlauf aus psychischen Gründen in seiner Leistungsfähigkeit eingeschränkt gewesen sei. Unter Berücksichtigung weiterer ärztlicher Berichte, darunter jene des behandelnden Dr. med. C._, Facharzt für Psychiatrie und Psychotherapie, Klinik D._, vom 28. Juni 2016 und vom 3. April 2017 sowie das Gutachten des Prof. Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie, vom 12. Januar 2017 und dessen Stellungnahme vom 31. August 2017, verneinte die IV-Stelle am 11. September 2017 einen Leistungsanspruch.
B.
Das Versicherungsgericht des Kantons St. Gallen wies die dagegen erhobene Beschwerde mit Entscheid vom 17. September 2019 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei der vorinstanzliche Entscheid abzuändern und ihm spätestens ab Juli 2013 mindestens eine halbe Invalidenrente zuzusprechen. Eventualiter sei der vorinstanzliche Entscheid aufzuheben und zur Einholung eines neuen polydisziplinären Gutachtens an die Vorinstanz zurückzuweisen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 141 V 234 E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18 mit Hinweisen).
1.3. Die Feststellungen zum Gesundheitszustand einer versicherten Person und der daraus resultierenden Arbeits (un) fähigkeit, die das Sozialversicherungsgericht gestützt auf medizinische Untersuchungen trifft, sind tatsächlicher Natur und vom Bundesgericht nur beschränkt überprüfbar. Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage (BGE 132 V 393 E. 3.2 S. 397 ff.). Ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vom Tabellenlohn vorzunehmen ist, stellt eine vom Bundesgericht frei überprüfbare Rechtsfrage dar (BGE 137 V 71 E. 5.1 S. 72). Dagegen ist die Höhe des (im konkreten Fall grundsätzlich angezeigten) Abzugs eine Ermessensfrage, die letztinstanzlich nur bei Ermessensüberschreitung, -missbrauch oder -unterschreitung seitens der Vorinstanz korrigierbar ist (BGE 143 V 295 E. 2.4 S. 297; Urteil 8C_378/2019 vom 18. Dezember 2019 E. 4.1 mit Hinweis, zur amtlichen Publikation vorgesehen).
2.
Streitig ist, ob die Vorinstanz zu Recht den Anspruch auf eine Invalidenrente verneint hat.
3.
Die Vorinstanz hat die Bestimmungen über die Begriffe der Erwerbsunfähigkeit (Art. 7 ATSG) und der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG) sowie die beweisrechtlichen Anforderungen an einen ärztlichen Bericht (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352) zutreffend dargelegt. Dasselbe gilt für den Anspruch auf eine Invalidenrente (Art. 28 Abs. 2 IVG) und die Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (Art. 28a Abs. 1 IVG in Verbindung mit Art. 16 ATSG). Darauf wird verwiesen.
4.
Die Vorinstanz hat gestützt auf das Gutachten des Prof. Dr. med. E._ vom 12. Januar 2017 festgestellt, beim Versicherten sei eine sonstige rezidivierende depressive Störung leichtgradigen Ausmasses (ICD-10: F33.8) zu diagnostizieren. Angesichts des von Dr. med. C._ als unverändert beschriebenen Gesundheitszustandes schloss sie darauf, dass in der Zeit von April 2011 bis April 2013 lediglich eine leichtgradige depressive Episode vorgelegen habe, und ging auch für die Zeit nach April 2013 von einer leichtgradigen depressiven Störung aus. Die von Prof. Dr. med. E._ attestierte Arbeitsunfähigkeit von 20 bis 30 % ab April 2013 erscheine angesichts der gestellten Diagnose und der daraus resultierenden Einschränkungen als zu hoch. Sofern bei Zugrundelegen des nach der Rechtsprechung massgebenden Mittelwertes von 25 % bei der Arbeitsunfähigkeit und Durchführung eines "vorläufigen" Einkommensvergleichs ein Invaliditätsgrad von unter 40 % resultiere, könne auf zusätzliche Sachverhaltsabklärungen verzichtet werden. Weiter stellte das kantonale Gericht fest, aus somatischer und neuropsychologischer Sicht bestehe bei einer adaptierten Tätigkeit ab 1. November 2006 durchgehend eine zumutbare Arbeitsfähigkeit von 100 %, da keine Indizien für eine Verschlechterung seit dem für den Entscheid vom 25. Januar 2016 massgebenden Sachverhalt bestehen würden. In der Folge ermittelte es das massgebliche Valideneinkommen von Fr. 62'589.- angesichts des beruflichen Werdeganges gestützt auf den beim letzten Arbeitgeber konkret erzielten Lohn, da das von der Suva berechnete Valideneinkommen von Fr. 72'200.- zu hoch sei. Dies ergebe unter Berücksichtigung der Nominallohnentwicklung für 2006 ein Valideneinkommen von Fr. 63'359.- und für 2011 von Fr. 67'148.-. Beim Invalideneinkommen stützte sich die Vorinstanz auf die Lohnstrukturerhebung des Bundesamtes für Statistik, da dem Versicherten einzig eine Invalidenkarriere als Hilfsarbeiter offen stehe, und berechnete ein Invalideneinkommen von Fr. 59'197.- für 2006 resp. unter Berücksichtigung einer zumutbaren Arbeitsfähigkeit von 75 % und eines leidensbedingten Abzugs von 10 % infolge eingeschränkter Flexibilität im Vergleich zu einem gesunden Arbeitnehmer ein solches von Fr. 41'790.- für 2011. Damit resultiere bei einem Einkommensvergleich für das Jahr 2006 ein Invaliditätsgrad von 7 % und für das Jahr 2011 von 38 %.
5.
Was der Versicherte dagegen vorbringt, vermag zu keinem anderen Ergebnis zu führen.
5.1. Soweit er sich zu den vorinstanzlichen Erwägungen bezüglich der Feststellung der zumutbaren Arbeitsfähigkeit gestützt auf die ärztlichen Beurteilungen äussert, ergibt sich zu dieser Tatfrage keine rechtsgenügliche Rüge, so dass darauf nicht weiter einzugehen ist (E. 1.2 und 1.3). Vielmehr ist im Folgenden von der vorinstanzlich festgestellten zumutbaren vollen Arbeitsfähigkeit von 1. November 2006 bis 31. März 2011 sowie von einer zumutbaren Arbeitsfähigkeit von 75 % ab April 2011 auszugehen. Damit ist auch der Antrag auf Rückweisung zur Einholung eines polydisziplinären Gutachtens unbegründet.
5.2. Der Versicherte beanstandet weiter den vorinstanzlichen Einkommensvergleich. Diesbezüglich macht er per April 2011 ein Valideneinkommen von Fr. 69'550.- (aufgerechnet per 2014 von Fr. 72'022.-) und unter Berücksichtigung eines leidensbedingten Abzugs von 20 % wegen Teilzeitarbeit und weiteren Umständen ein Invalideneinkommen von Fr. 37'146.40 geltend.
5.2.1. Bezüglich des Valideneinkommens setzt sich der Versicherte mit der vorinstanzlichen Begründung, weshalb nicht auf das höhere von der Suva ermittelte Valideneinkommen abgestellt werden könne, nicht auseinander. Das kantonale Gericht hat für das invalidenversicherungsrechtliche Verfahren auf das vom Arbeitgeber gegenüber der IV-Stelle am 1. Februar 2007 angegebene zuletzt erzielte Einkommen abgestellt und dieses für 2011 gestützt auf die statistische Nominallohnentwicklung aufgerechnet, nicht aber auf die gegenüber der Suva nebst dem zuletzt erzielten Verdienst für die Zeit nach 2006 angegebene mutmassliche Lohnentwicklung. Es ist nicht ersichtlich, inwiefern dieses vorinstanzliche Vorgehen willkürlich oder in anderer Weise bundesrechtswidrig sein soll, zumal die Zahlen im massgebenden Zeitpunkt des erstmaligen Einkommensvergleichs (2006) identisch sind.
5.2.2. Bezüglich des Invalideneinkommens erhebt der Versicherte keine Einwände gegen die gestützt auf die Lohnstrukturerhebung (LSE) des Bundesamtes für Statistik erhobenen Durchschnittswerte für Hilfsarbeitertätigkeiten. Er beanstandet jedoch den vorinstanzlich gewährten leidensbedingten Abzug von 10 % und verlangt einen solchen von 25 %. Dabei macht er insbesondere einen Abzug von mindestens 10 % für den Umstand der Teilzeittätigkeit geltend und verweist darauf, dass dieser statistisch gesehen bereits 8 % ausmache.
Bei der Höhe des Abzugs handelt es sich um eine Ermessensfrage (E. 1.3), so dass lediglich zu prüfen ist, ob die Vorinstanz ihr Ermessen in rechtsfehlerhafter Weise ausgeübt hat. Dabei ist zu berücksichtigen, dass praxisgemäss keine separat quantifizierten Abzüge je für die massgeblichen Kriterien vorzunehmen und diese zu addieren sind, sondern der Abzug gesamthaft unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen zu schätzen ist (BGE 126 V 75 E. 5b/bb S. 80). Weiter ist nicht zwingend ein Abzug vorzunehmen, wenn die angepasste Tätigkeit nur noch teilzeitlich zumutbar ist (Urteil 8C_610/2019 vom 20. November 2019 E. 4.2.3). Auch stellt nicht jede statistische Abweichung bereits eine zu berücksichtigende überproportionale Lohndifferenz dar (vgl. etwa Urteile 8C_610/2019 vom 20. November 2019 E. 4.2.3 oder 8C_543/2019 vom 25. Oktober 2019 E. 5.5, je mit weiteren Hinweisen). Der Versicherte legt nicht dar, auf welche statistischen Daten er den geltend gemachten um 8 % niedrigeren Lohn abstützt. Aus der Tabelle T18 der LSE ergibt sich jedenfalls für die hier interessierenden Jahre kein tieferes Einkommen für Männer in einem Arbeitspensum von 75 bis 89 % ohne Kaderfunktion gegenüber Männern in einem Arbeitspensum von 90 % oder mehr ohne Kaderfunktion. Mit der Gewährung eines leidensbedingten Abzugs von 10 % hat die Vorinstanz ihr Ermessen nicht rechtsfehlerhaft ausgeübt.
Soweit der Versicherte rügt, es sei von einer zumutbaren Tätigkeit in einem 70 %-Pensum auszugehen, kann er nicht gehört werden. Denn dies ist eine Tatfrage, die vom Bundesgericht angesichts seiner Rügen nicht weiter zu überprüfen ist (vgl. E. 5.1). Zudem entspricht die Berücksichtigung des Mittelwertes der angegeben Arbeitsunfähigkeit von 20 bis 30 % der bundesgerichtlichen Praxis (in BGE 137 V 71 nicht, jedoch in SVR 2011 IV Nr. 69 S. 207 sowie in Pra 2011 Nr. 91 S. 651 publ. E. 4.2 des Urteils 9C_280/2010).
5.3. Nach dem Gesagten hat die Vorinstanz den Anspruch auf eine Invalidenrente zu Recht verneint.
6.
Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, Abteilung II, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Februar 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold