Sachverhalt:
A.
H._ (geboren 1957) meldete sich am 20. Oktober 2008 bei der Invalidenversicherung an und beantragte Massnahmen für die berufliche Eingliederung. Er war seit 1. März 2004 als Hauswart bei der P._ AG im Umfang von 15% und ab 12. November 2001 bis 31. Dezember 2005 bei der B._ AG und ab 1. Juni 2006 bis 31. Januar 2009 bei der O._ AG als Lieferwagen-Chauffeur tätig gewesen. Dr. med. et phil-nat. S._, damals Assistenzarzt in der Abteilung für Gastroenterologie des Universitätsspitals X._, diagnostizierte am 11. Februar 2009 mit Auswirkung auf die Arbeitsfähigkeit eine seit Juli 2008 bestehende Colitis ulcerosa sowie ohne Auswirkung auf die Arbeitsfähigkeit eine seit Dezember 2008 bestehende chronische Gastritis. Am 17. September 2010 beauftragte die IV-Stelle Basel das Institut Y._ mit der Erstellung eines Gutachtens. Dieses wurde, unterzeichnet von med. pract. C._, Arbeitsmedizin FMH, am 15. Juli 2011 erstattet, wobei keine Diagnose mit Einfluss auf die Arbeitsfähigkeit, jedoch verschiedene Diagnosen ohne Einfluss auf die Arbeitsfähigkeit, festgestellt wurden. Die Konklusion des Gutachtens wurde im Rahmen einer interdisziplinären Konsens-Konferenz am 4. Juli 2011 mit med. pract. C._, Dr. med. B._, Oberärztin Rheumatologie, Innere Medizin FMH, Dr. med. P._, Assistenzarzt Psychosomatik sowie Dr. med. et. phil.-nat. S._, Oberarzt Gastroenterologie, erarbeitet. Im aktuell beschwerdearmen Intervall der Colitis bestünden keine Einschränkungen der Arbeitsfähigkeit. Für körperlich leichte bis mittelschwere Tätigkeiten sei H._ ohne Einschränkung arbeitsfähig. Günstig wäre ein ungehinderter Zugang zu einer Toilette. Vermieden werden sollten Tätigkeiten mit häufigen Überkopfarbeiten, Arbeiten im Hocken oder Knien. Mit Vorbescheid vom 13. Dezember 2011 stellte die IV-Stelle Basel die Ablehnung eines Rentenanspruches in Aussicht. Dagegen wurde am 26. Januar 2012 Einwand erhoben. Obwohl am 30. Januar 2012 Nachfrist für eine Verbesserung der Stellungnahme bis 15. Februar 2012 eingeräumt wurde, verfügte die IV-Stelle Basel bereits am 15. Februar 2012 die Abweisung eines IV-Rentenanspruches.
B.
Am 20. März 2012 liess H._ gegen die Verfügung der IV-Stelle Basel-Stadt vom 15. Februar 2012 Beschwerde erheben und dabei die Aufhebung der Verfügung der IV-Stelle Basel-Stadt und die Ausrichtung nach Massgabe der bestehenden Erwerbsunfähigkeit und Invalidität einer Invalidenrente ab wann rechtens beantragen. Das Sozialversicherungsgericht Basel-Stadt wies nach Durchführung einer mündlichen, öffentlichen Verhandlung mit Entscheid vom 15. Oktober 2012 die Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt H._ die Aufhebung des vorinstanzlichen Entscheids vom 15. Oktober 2012 und der Verfügung der IV-Stelle Basel-Stadt vom 15. Februar 2012 beantragen. Es seien ihm nach Massgabe der bestehenden Erwerbsunfähigkeit und Invalidität im Umfang von 100% in der Zeit vom 1. Mai 2009 bis Dezember 2010 und ab 1. Januar 2011 von mindestens 51% die gesetzlichen Leistungen inkl. qualifizierte berufliche Integrationsmassnahmen (inkl. Umschulung auf eine angepasste Tätigkeit) zuzusprechen.
Das kantonale Gericht verzichtet auf eine Vernehmlassung. Die IV-Stelle des Kantons Basel-Stadt beantragt die Gutheissung der Beschwerde, unter Aufhebung des Entscheids der Vorinstanz vom 15. Oktober 2012 und ihrer Verfügung vom 15. Februar 2012 und Rückweisung der Sache an sie zu weiteren Abklärungen. Der Beschwerdeführer hat sich am 15. Februar 2013 nochmals geäussert. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann eine - für den Ausgang des Verfahrens entscheidende (vgl. Art. 97 Abs. 1 BGG) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Im Übrigen wendet es das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.2 S. 252 mit Hinweisen). Es prüft allerdings - unter Beachtung der allgemeinen Begründungspflicht in Beschwerdeverfahren (Art. 42 Abs. 1 und 2 BGG) - nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden Fragen zu untersuchen, auch wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 1.4.1 S. 254).
2.
Der Beschwerdeführer verlangt erstmals im bundesgerichtlichen Verfahren "qualifizierte berufliche Integrationsmassnahmen (inklusive Umschulung auf eine angepasste Tätigkeit) ". Vorab ist festzustellen, dass Integrationsmassnahmen und Massnahmen beruflicher Art Eingliederungsmassnahmen darstellen. Somit handelt es sich bei den Integrationsmassnahmen nicht um einen Oberbegriff, zu welchen auch die Massnahmen beruflicher Art gehören würden (vgl. die Titel II bis und III in "C. Eingliederungsmassnahmen und Taggelder" Art. 8 ff. IVG). Überdies hat der Beschwerdeführer diese Begehren im Verfahren bei der Vorinstanz nicht gestellt, so dass diese im vorliegenden Verfahren ohnehin unzulässig sind (Art. 99 Abs. 2 BGG) und darauf nicht eingetreten werden kann.
3.
3.1. Für Sachverständige gelten grundsätzlich die gleichen Ausstands- und Ablehnungsgründe, wie sie für Richter vorgesehen sind. Danach ist Befangenheit anzunehmen, wenn Umstände vorliegen, die in objektiver Weise und nicht bloss aufgrund des subjektiven Empfindens der Partei geeignet sind, Misstrauen in die Unparteilichkeit und Unvoreingenommenheit der sachverständigen Person zu erwecken (<ref-ruling> E. 7.1 S. 109 mit Hinweis). Im Hinblick auf die erhebliche Bedeutung, welche medizinischen Gutachten im Sozialversicherungsrecht zukommt, ist an die Unparteilichkeit der begutachtenden Ärzte ein strenger Massstab anzulegen (<ref-ruling> E. 7.1 S. 110; <ref-ruling> E. 3b in fine S. 367 mit Hinweisen).
3.2. Dr. S._ war bereits seit 9. Juni 2008 behandelnder Arzt des Beschwerdeführers und wirkte an der am 15. Juli 2011 erstellten Begutachtung des Instituts Y._ mit.
Nach im Schrifttum vertretener Auffassung sollten behandelnde Ärzte nicht als Gutachter betraut werden, da sowohl Befangenheit gegenüber dem eigenen Patienten wie auch dem eigenen Behandlungsergebnis nicht von vornherein ausgeschlossen werden kann (vgl. GABRIELA RIEMER-KAFKA [Hrsg.], Versicherungsmedizinische Gutachten, 2. Aufl. 2012, S. 35). Die therapeutische und gutachterliche Tätigkeit des Arztes führt zu einer doppelten Rollenverteilung, weil einerseits der Arzt dem Wohle seines Patienten verpflichtet ist, andernteils aber auch seinem Auftraggeber gegenüber zur grösstmöglichen Objektivität. Damit wird der Versicherte gleichzeitig Patient und Explorand, was zu Zielkonflikten führen kann. Daher sollten als Gutachter die behandelnden Ärzte grundsätzlich nicht betraut werden (Ulrich Meyer, in: Hermann Fredenhagen, Das ärztliche Gutachten, 4. Aufl. 2003, S. 22). In Beachtung der ärztlichen Sorgfaltspflicht hat der mit einem Gutachten beauftragte behandelnde Arzt auf diese Konstellation rechtzeitig hinzuweisen. Andererseits hat der Versicherte die Pflicht, einen Ausstandsgrund sofort zu rügen (vgl. <ref-ruling> und 117 Ia 322 in Bezug auf Gerichtsmitglieder), was hier nicht bereits im Einwandverfahren, sondern erst im erstinstanzlichen Beschwerdeverfahren erfolgt ist. Zu diesem Spannungsfeld kommt noch die Frage hinzu, ob bei einer interdisziplinären Begutachtung mit Konsensfindung im Kollegium - wie hier -, wo der einzelne Gutachter eher im Hintergrund steht, die gleichen Anforderungen wie in Bezug auf eine Einzelbegutachtung (vgl. auch Urteil 8C_444/2008 vom 23. Dezember 2008 E. 4.3.1) gelten. Ob und unter welchen Voraussetzungen der behandelnde Arzt als Gutachter tätig werden darf und ob der Beschwerdeführer den Ausstand rechtzeitig gerügt hat, kann indessen aus nachfolgenden Gründen offenbleiben.
3.3. Sowohl der Beschwerdeführer in der Eingabe vom 15. Februar 2013 wie auch die IV-Stelle beantragen übereinstimmend eine neue polydisziplinäre Begutachtung. Nach Auffassung der IV-Stelle bestehen erhebliche Zweifel an der Schlüssigkeit des Gutachtens des Instituts Y._, insbesondere auch hinsichtlich der Zumutbarkeitsbeurteilung aus gastroenterologischer und gesamtmedizinischer Sicht. Dem übereinstimmenden Antrag beider Parteien ist zu entsprechen. Die polydisziplinäre Begutachtung ist daher zu wiederholen.
3.4. Die Beschwerdegegnerin beantragt eine Rückweisung an sich (und nicht an die Vorinstanz). Der Beschwerdeführer hat dagegen nicht opponiert, sondern stellt übereinstimmende Parteistandpunkte und übereinstimmende Parteianträge fest. Dem Begehren an eine Rückweisung an die Beschwerdegegnerin zur Vornahme von weiteren Abklärungen in Form einer polydisziplinären Begutachtung und anschliessend erneuter Verfügung über die Ansprüche des Beschwerdeführers ist daher in der gegebenen Konstellation zu entsprechen (vgl. dazu auch das Urteil 8C_592/2012 vom 23. November 2012 = SVR 2013 UV Nr. 9 E. 6.5).
4.
Bei diesem Ausgang des Verfahrens hat die IV-Stelle die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird, soweit auf sie eingetreten werden kann, in dem Sinne gutgeheissen, dass der Entscheid des Sozialversicherungsgericht des Kantons Basel-Stadt vom 15. Oktober 2012 und die Verwaltungsverfügung vom 15. Februar 2012 aufgehoben werden und die Sache an die IV-Stelle Basel-Stadt zurückgewiesen wird, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über die Ansprüche des Beschwerdeführers neu verfüge.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3.
Die IV-Stelle Basel-Stadt hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Das Sozialversicherungsgericht des Kantons Basel-Stadt hat die Gerichtskosten und die Parteientschädigung für das vorangegangene Verfahren neu festzusetzen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. Juni 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Nussbaumer