Sachverhalt: A. A._, geboren 1997, leidet an einer Stoffwechselstörung (Carnitin-Aufnahmestörung) und wurde von seinen Eltern erstmals im Januar 2004 bei der Invalidenversicherung angemeldet. Die IV-Stelle Solothurn gewährte Kostengutsprache für medizinische Massnahmen zur Behandlung des Geburtsgebrechens Nr. 453 sowie heilpädagogische Früherziehung. Im Jahr 2014 traten als Folge der gesundheitlichen Störung auch psychische Beschwerden auf, die stationär behandelt werden mussten. A._ beendete die obligatorische Schulzeit in einer Privatschule. Am 13. Juli 2015 übernahm die IV-Stelle die Kosten für die erstmalige berufliche Ausbildung zum Pferdewart mit eidgenössischem Berufsattest (EBA) sowie für betreutes Wohnen während dieser Zeit in der WG I._ in U._. Die zweijährige Lehre auf dem Hof B._ schloss A._ im Juli 2017 erfolgreich ab. In der Folge begann er jedoch eine neue Ausbildung zum Polymechaniker und ersuchte um Kostengutsprache durch die Invalidenversicherung. Er machte geltend, dass er im Beruf als Pferdewart körperlich überfordert sei und zudem an einer Allergie leide. Die IV-Stelle beschaffte sich Berichte des Spitals C._ Bern, wo der Versicherte seit seiner Kindheit betreut wurde, vom 29. Dezember 2016 sowie der behandelnden Psychotherapeutin des Kinder- und Jugendpsychiatrischen Dienstes (KJPD) D._, Frau dipl. Psych. E._, vom 23. März 2017. Sie veranlasste eine Evaluation der funktionellen Leistungsfähigkeit (EFL) im Spital F._ (Bericht vom 1. Juli 2017) und liess den Versicherten dort auch allergologisch abklären (Berichte des leitenden Arztes Innere Medizin/Pneumologie, Dr. med. G._, vom 7. August sowie vom 19. und 26. Oktober 2017). Mit Verfügung vom 20. Juni 2018 lehnte die IV-Stelle einen Anspruch auf weitere berufliche Massnahmen sowie auf eine Invalidenrente ab. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 19. September 2019 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien ihm berufliche Eingliederungsmassnahmen, eventualiter mindestens eine Viertelsrente zuzusprechen. Subeventualiter sei die Sache zu weiteren medizinischen und beruflichen Abklärungen an die Vorinstanz zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung.