Sachverhalt:
A.
A._ seit August 2009 arbeitslos, meldete sich am 14. September 2012 mit Hinweis auf Depressionen, Panikattacken und Nervenkrankheit bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Solothurn traf medizinische Abklärungen und zog die Akten der Arbeitslosenversicherung bei. Sie veranlasste vom 28. Januar bis 28. Juni 2013 ein Belastbarkeitstraining bei der B._ GmbH, welches die Werkstätte aufgrund der gesundheitlichen Situation von A._ am 11. Juni 2013 vorzeitig abbrach.
Die IV-Stelle unterbreitete den medizinischen Sachverhalt dem Regionalen Ärztlichen Dienst (RAD; Dr. med. C._, Facharzt Allgemeine Medizin FMH) und ordnete auf dessen Beurteilung vom 13. November 2013 hin eine psychiatrische Begutachtung bei Dr. med. D._, Facharzt Psychiatrie und Psychotherapie FMH, an (Expertise vom 9. Mai 2014). Nach Eingang einer Stellungnahme des behandelnden Psychiaters Dr. med. E._, Facharzt Psychiatrie und Psychotherapie FMH, und F._, Psychologe FSP/MSc ETH, vom 12. Juni 2014 sowie einer weiteren Beurteilung des Dr. med. D._ vom 18. August 2014, verneinte die IV-Stelle den Anspruch auf berufliche Massnahmen und eine Rente, da keine Invalidität im Sinne des Gesetzes vorliege (Verfügung vom 2. März 2015).
B.
Die dagegen erhobene Beschwerde des A._ wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 3. März 2016 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung der Verfügung vom 2. März 2015 und des Entscheides vom 3. März 2016. Die IV-Stelle sei zu verpflichten, ihm eine Rente auszurichten. Eventualiter sei die Sache an die IV-Stelle zurückzuweisen und diese sei zu verpflichten, erneut medizinische Abklärungen, namentlich eine verwaltungsexterne unabhängige Begutachtung - insbesondere unter Einbezug der Fachrichtungen Psychiatrie, Neuropsychologie und Neurologie - zur Klärung des Sachverhalts, durchzuführen. Subeventualiter sei die IV-Stelle zu verpflichten, dem Beschwerdeführer berufliche Massnahmen, insbesondere im Sinne von erneuten Eingliederungsmassnahmen, zu gewähren.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236).
2.
Streitig und zu prüfen ist der Anspruch des Beschwerdeführers auf eine Rente der Invalidenversicherung, wobei insbesondere in Frage steht, ob der medizinische Sachverhalt rechtsgenüglich abgeklärt und die vorinstanzliche Beweiswürdigung bundesrechtskonform ist.
2.1. Die Vorinstanz hat dem Gutachten des Dr. med. D._ vom 9. Mai 2014 vollen Beweiswert zugesprochen. Die Beschwerdegegnerin habe bei der Prüfung des Leistungsanspruchs zu Recht darauf abgestellt. Weitere medizinische Abklärungen würden sich damit erübrigen. Es liege keine invaliditätsbegründende psychische Störung vor, womit kein Anspruch auf Leistungen bestehe.
2.2. Der Beschwerdeführer erhebt folgende Rügen: "1. Verletzung des Grundsatzes betreffend Beweiswert eines Gutachtens durch nichtbeweisoffene Begutachtung und Vorbefasstheit; 2. Verletzung des Grundsatzes der freien richterlichen Beweiswürdigung durch willkürliches Abstellen auf das Gutachten von Dr. med. D._ vom 9. Mai 2014, trotz offensichtlicher Unzulänglichkeiten und Vorlage anders ausfallender qualifizierter ärztlicher Einschätzungen; 3. Fehlerhaftes Abstellen auf eine nicht leitliniengetreue Begutachtung; 4. Verletzung des Untersuchungsgrundsatzes gemäss Art. 43 und 44 ATSG."
3.
3.1.
3.1.1. Mit diesen Rügen und den ihnen zugrunde gelegten Vorbringen verkennt der Beschwerdeführer im Ansatz die ständige Rechtsprechung zur anerkannten Verschiedenheit von Behandlungs- und Begutachtungsauftrag (<ref-ruling> E. 1.2.4 S. 224; <ref-ruling> E. 4 S. 175; Urteil 9C_615/2015 vom 12. Januar 2016 E. 6.2 mit Hinweis auf I 514/06 vom 25. Mai 2007 E. 2.2.1, in: SVR 2008 IV Nr. 15 S. 43). Die behandelnden Ärzte haben sich in erster Linie auf die Behandlung der versicherten Personen zu konzentrieren. Deren Berichte verfolgen nicht den Zweck einer den abschliessenden Entscheid über die Versicherungsansprüche erlaubenden objektiven Beurteilung des Gesundheitszustandes und erfüllen deshalb kaum je die materiellen Anforderungen an ein Gutachten gemäss <ref-ruling> E. 3a S. 352 (<ref-ruling> E. 4.5 S. 470). Wohl kann die einen längeren Zeitraum abdeckende und umfassende Behandlung oft wertvolle Erkenntnisse zeitigen; doch lässt es die unterschiedliche Natur von Behandlungsauftrag der therapeutisch tätigen (Fach-) Person einerseits und Begutachtungsauftrag des amtlich bestellten fachmedizinischen Experten anderseits nicht zu, ein Administrativgutachten stets in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte zu anderslautenden Einschätzungen gelangen. Vorbehalten bleiben Fälle, in denen sich eine abweichende Beurteilung aufdrängt, weil diese wichtige Aspekte benennen, die bei der Begutachtung unerkannt oder ungewürdigt geblieben sind (bereits zitiertes Urteil I 514/06 E. 2.2.1; Urteil 8C_325/2015 vom 21. Juli 2015 E. 4.4 mit Hinweisen; 8C_677/2014 vom 29. Oktober 2014 E. 7.2).
3.1.2. Das kantonale Gericht erwog, es lägen keine Aspekte vor, die bei der Begutachtung durch Dr. med. D._ unerkannt oder ungewürdigt geblieben seien. Sämtliche behandelnden Ärzte hätten sich einzig auf die subjektiven Angaben des Beschwerdeführers gestützt und daraus ihre Diagnosen abgeleitet. Diese seien jedoch nicht differenziert beschrieben. Es würden keine objektiven Kriterien genannt, die eine vom versicherungspsychiatrischen Gutachten abweichende Beurteilung aufdrängten. Die Vorinstanz übernahm die Einschätzung des Dr. med. D._ und erachtete dessen Ausführungen als nachvollziehbar. Sie wies darauf hin, dass sich der Gutachter ausführlich mit der Diskrepanz zwischen seiner Beurteilung und jener der behandelnden Ärzte befasst und plausibel dargelegt habe, weshalb er in Bezug auf die Diagnose und die Folgenabschätzung zu einer entgegenstehenden Ansicht gelangt sei. Von einer willkürlichen oder sonstwie rechtswidrigen Feststellung des Sachverhalts sowie von einer Verletzung des rechtlichen Gehörs (<ref-law>) kann im Lichte der genannten Rechtsprechung (E. 3.1.1 hievor) keine Rede sein. Ebenso unbegründet ist die Rüge, die Begutachtung durch Dr. med. D._ sei nicht ergebnisoffen und unbefangen erfolgt, da er den Vorakten keinen Beweiswert beigemessen habe, weil diese von behandelnden Ärzten stammten. Die Vorinstanz wies - wie soeben dargelegt - darauf hin, dass sich der Gutachter ausführlich mit der Diskrepanz zwischen seiner Beurteilung und jener der behandelnden Ärzte befasst habe. Auf Befangenheit des Gutachters kann im Übrigen nicht allein aufgrund seiner teilweise kritischen Äusserungen zu behandelnden Ärzten geschlossen werden (vgl. Urteil 8C_578/2014 vom 17. Oktober 2014 E. 4.3 a.E.).
3.2. Der Versicherte nimmt Bezug auf die "Qualitätsleitlinien für psychiatrische Gutachten in der Eidgenössischen Invalidenversicherung" der Schweizerischen Gesellschaft für Psychiatrie und Psychotherapie (SGPP) vom Februar 2012 (zugänglich unter http://www.psychiatrie.ch) und bemängelt, der Gutachter habe keinerlei testdiagnostische Verfahren durchgeführt. Die Rechtsprechung hat die Qualitätsleitlinien als anerkannten Standard für eine sachgerechte und rechtsgleiche (versicherungs-) psychiatrische Begutachtung bezeichnet. Sie verstehen sich als Empfehlung, von welcher im begründeten Einzelfall abgewichen werden kann; dem Rechtsanwender sollen sie bei der Beurteilung der Gutachtensqualität nützlich sein (<ref-ruling> E. 3.2.2 S. 262 mit Hinweisen). Einem testmässigen Erfassen der Psychopathologie im Rahmen der psychiatrischen Exploration kann generell nur ergänzende Funktion beigemessen werden, während die klinische Untersuchung mit Anamneseerhebung, Symptomerfassung und Verhaltensbeobachtung ausschlaggebend bleibt (Urteil I 391/06 vom 9. August 2006 E. 3.2.2, in: SVR 2001 IV Nr. 10 S. 28; 9C_344/2013 vom 16. Oktober 2013 E. 3.1.5 mit Hinweisen). Es liegt im Ermessen der medizinischen Fachperson, ob sie psychologische Tests durchführen will (Urteil 8C_628/2014 vom 22. Dezember 2014 E. 3.4 mit Hinweisen). Aus diesen Gründen ist es dem Beweiswert des Gutachtens von Dr. med. D._ nicht abträglich, dass dieses nicht mit Testresultaten unterlegt wurde. Der pauschale und nicht weiter begründete Hinweis des Beschwerdeführers auf die Rechtsprechung des Bundesgerichts betreffend psychosomatische Leiden (<ref-ruling>) vermag daran nichts zu ändern.
3.3. Weiter rügt der Versicherte eine Verletzung des Untersuchungsgrundsatzes, da keine neuropsychologischen sowie neurologischen Untersuchungen stattgefunden hätten und die medizinische Aktenlage somit unvollständig sei. Die Beschwerdegegnerin unterbreitete den medizinischen Sachverhalt dem RAD-Arzt Dr. med. C._, welcher keine Hinweise für eine somatische Einschränkung erkannte und eine Begutachtung in dieser Hinsicht als nicht erforderlich erachtete (zur Funktion interner RAD-Berichte vgl. <ref-ruling> E. 5.1 S. 64 f. mit Hinweis auf Urteil 8C_756/2008 vom 4. Juni 2009 E. 4.4, in: SVR 2009 IV Nr. 50 S. 153). Dass die Beschwerdegegnerin in der Folge in somatischer Hinsicht kein Gutachten veranlasste, stellt keine Verletzung des Untersuchungsgrundsatzes dar (Art. 43 Abs. 1 und Art. 61 lit. c ATSG). Ebenso liegt im vorinstanzlichen Verzicht auf weitere Abklärungen keine Verletzung des Untersuchungsgrundsatzes. Denn sind formell einwandfreie und materiell schlüssige (das heisst beweistaugliche und beweiskräftige) medizinische Entscheidungsgrundlagen des Versicherungsträgers (Administrativgutachten) vorhanden, so besteht nach der Rechtsprechung kein Anspruch auf eine gerichtliche Expertise. Gemäss der Rechtsauffassung, wie sie in der gesetzlichen Ordnung über die Amtsermittlungspflicht des Sozialversicherungsträgers zum Ausdruck kommt, wird Beweis über sozialversicherungsrechtliche Ansprüche schwergewichtig auf der Stufe des Administrativverfahrens geführt, nicht im gerichtlichen Prozess (<ref-ruling> E. 2.2.2 S. 232 f. mit Hinweis auf <ref-ruling> und 135 V 465 E. 4 S. 467; vgl. der hiezu ergangene Nichteintretensentscheid Spycher gegen Schweiz des Europäischen Gerichtshofs für Menschenrechte vom 17. November 2015).
3.4. Die Kritik am Gutachten des Dr. med. D._ vom 9. Mai 2014 sowie an seiner Stellungnahme vom 18. August 2014 ist somit nicht stichhaltig und das kantonale Gericht durfte diesem bundesrechtskonform Beweiskraft zumessen. Die darauf gestützten Feststellungen zum Gesundheitszustand sind nicht offensichtlich unrichtig oder Ergebnis einer unhaltbaren Beweiswürdigung. Nachdem der rechtserhebliche Sachverhalt rechtsgenüglich abgeklärt worden ist, durfte die Vorinstanz ohne Verletzung des Untersuchungsgrundsatzes auf die Anordnung weiterer Beweismassnahmen in antizipierter Beweiswürdigung verzichten (vgl. <ref-ruling> E. 4b S. 94, 122 V 157 E. 1d S. 162).
3.5. Der Beschwerdeführer macht im Weiteren geltend, ihm seien berufliche Massnahmen zu gewähren. Das kantonale Gericht hat unter Verweis auf das Gutachten des Dr. med. D._, auf das Belastbarkeitstraining in der B._ GmbH sowie auf den Abschlussbericht der IV-Stelle betreffend Eingliederung vom 18. Juli 2013 entschieden, dass der Versicherte subjektiv überzeugt sei, auf dem ersten Arbeitsmarkt nicht mehr arbeiten zu können. Bei einer Erhöhung der Arbeitszeit während des Belastbarkeitstrainings von täglich zwei auf zweieinhalb Stunden sei offensichtlich eine Überforderung und sodann eine Krankschreibung des Beschwerdeführers eingetreten. Damit fehle es an der subjektiven Eingliederungsfähigkeit. Der Versicherte zeigt nicht auf, dass die für das Bundesgericht verbindlichen (vgl. E. 1.1 hievor) vorinstanzlichen Feststellungen zum fehlenden subjektiven Eingliederungswillen offensichtlich unrichtig oder rechtsfehlerhaft sind. Er verweist einzig darauf, es habe sich während der durchgeführten Wiedereingliederungsmassnahme gezeigt, dass er nicht in der Lage gewesen sei, seine Arbeitsfähigkeit auf mehr als zweieinhalb Stunden pro Tag zu steigern und stellt der vorinstanzlichen Beweiswürdigung seine eigene gegenüber, was nicht genügt (vgl. <ref-ruling> E. 5.1 S. 356). Fehlt es an der subjektiven Eingliederungsfähigkeit, besteht kein Anspruch auf berufliche Massnahmen (Urteil 9C_474/2013 vom 20. Februar 2014 E. 6.3).
3.6. Damit bleibt es beim angefochtenen Entscheid. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. August 2016
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Die Gerichtsschreiberin: Huber