Sachverhalt:
A.
A.a. Der 1956 geborene A._ hatte sich am 25. September 2012 unter Hinweis auf Panikattacken und Angstzustände erstmals bei der Invalidenversicherung zum Leistungsbezug angemeldet. Da er vor Ablauf des Wartejahres wieder vollständig arbeitsfähig war, verneinte die IV-Stelle des Kantons Aargau den Anspruch auf eine Invalidenrente und stellte dabei auf einen Invaliditätsgrad von 32 % ab (Verfügung vom 28. Januar 2013).
A.b. Am 11. Juni 2013 meldete sich A._ wegen Depressionen sowie Angst- und Panikattacken erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle gewährte gemäss Mitteilung vom 16. Mai 2014 berufliche Massnahmen in Form eines Aufbautrainings und holte nach deren Abbruch ein Gutachten bei Dr. med. B._, Facharzt für Psychiatrie und Psychotherapie FMH, spez. Konsiliar- und Liaisonpsychiatrie FMH, vom 9. Juli 2015 ein. Am 15. Dezember 2015 forderte sie A._ auf, sich einer regelmässigen psychiatrisch-psychotherapeutischen Behandlung (inklusive medikamentöser Therapie mit Antidepressiva) zu unterziehen. In der Folge lehnte sie eine Rente ab, da keine gesundheitliche Beeinträchtigung vorliege, welche die Arbeitsfähigkeit dauerhaft einschränken würde (Verfügung vom 8. Juli 2016), und verneinte einen Anspruch auf berufliche Massnahmen (Verfügung vom 26. September 2016). In teilweiser Gutheissung der Beschwerden gegen die zwei Verfügungen hob das Versicherungsgericht des Kantons Aargau beide Verwaltungsakte auf und wies die Sache je zur Vornahme weiterer Abklärungen im Sinne der Erwägungen sowie zum anschliessenden Erlass einer Verfügung an die IV-Stelle zurück (Entscheide vom 5. Januar und 16. Februar 2017).
Nach zusätzlichen Abklärungen, insbesondere Veranlassung eines weiteren psychiatrischen Gutachtens des Dr. med. B._ vom 8. Dezember 2017, sowie nach Durchführung des Vorbescheidverfahrens lehnte die IV-Stelle einen Anspruch auf Rente und berufliche Massnahmen wiederum ab (Verfügung vom 30. April 2018).
B.
Das Versicherungsgericht des Kantons Aargau wies die von A._ dagegen erhobene Beschwerde ab (Dispositiv-Ziffer 1) und auferlegte ihm die Verfahrenskosten in der Höhe von Fr. 800.- (Dispositiv-Ziffer 2; Entscheid vom 26. März 2019).
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung der Dispositiv-Ziffern 1 und 2 des kantonalen Gerichtsentscheids vom 26. März 2019 seien ihm ab 10. Juni 2014 bis mindestens Dezember 2017 eine ganze und ab Januar 2018 mindestens eine halbe Rente zuzusprechen; eventuell sei die Sache zur Ergänzung des Sachverhalts und neuer Entscheidfällung an das kantonale Gericht zurückzuweisen; zudem sei festzustellen, dass ihm seit Anmeldung des Anspruchs, spätestens aber seit dem ursprünglich positiven Leistungs-Vorbescheid vom 15. Dezember 2015 geeignete berufliche Integrationsmassnahmen zustehen würden und es seien solche endlich anzuordnen.
Die IV-Stelle schliesst ohne weitere Ausführungen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie - mit der Verwaltung - einen Anspruch des Versicherten auf Rente und berufliche Massnahmen verneinte.
3.
Die für die Beurteilung massgeblichen Rechtsgrundlagen wurden im angefochtenen Entscheid zutreffend wiedergegeben. Es betrifft dies namentlich die Bestimmungen und Grundsätze zum Begriff der Invalidität (<ref-law>), zu den Voraussetzungen des Anspruchs auf eine Invalidenrente (<ref-law>) und auf Eingliederungsmassnahmen (<ref-law>), zur Beurteilung der Invalidität bei psychischen Erkrankungen (<ref-ruling>; <ref-ruling> und 418), zum massgebenden Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 6 S. 221) und zum Beweiswert sowie zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 2.2.2 S. 126 f.; <ref-ruling> E. 6.2.2 S. 269; <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3 S. 352 mit Hinweisen). Darauf wird verwiesen.
4.
Die Vorinstanz mass dem Gutachten des Dr. med. B._ vom 8. Dezember 2017, worin eine rezidivierende depressive Störung, gegenwärtig leichte Episode (bestehend seit Juli 2011, aktuelle Episode seit Januar 2014), und eine Panikstörung (bestehend seit Juli 2011) diagnostiziert wird, volle Beweiskraft bei. Gestützt auf die Standardindikatoren nach <ref-ruling> seien jedoch eine gesundheitliche Beeinträchtigung von erheblichem Schweregrad und die geltend gemachten funktionellen Auswirkungen der medizinisch festgestellten psychischen Beeinträchtigungen nicht objektiv, kohärent und widerspruchsfrei mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit nachgewiesen. Gestützt auf die beweiskräftige Expertise, jedoch in Abweichung von deren Arbeitsfähigkeitsbeurteilung (maximal 25%ige Einschränkung der Arbeitsfähigkeit spätestens ab Gutachtenszeitpunkt), sei von einer 100%igen Arbeitsfähigkeit sowohl in der angestammten als auch in einer angepassten Beschäftigung auszugehen. Da Dr. med. B._ bereits seit Januar 2014 eine leichte Episode der rezidivierenden depressiven Störung festgestellt habe, gelte diese Einschätzung auch für die Zeit vor Ablauf des Wartejahres am 19. März 2014. Mangels einer durchschnittlich mindestens 40%igen Arbeitsunfähigkeit während eines Jahres ohne wesentlichen Unterbruch seien damit die materiellen Rentenanspruchsvoraussetzungen nicht erfüllt. Da der Beschwerdeführer nicht in seiner Arbeitsfähigkeit eingeschränkt sei, bestehe weder ein invalidisierender Gesundheitsschaden noch eine drohende Invalidität. Ein Anspruch auf berufliche Massnahmen sei folglich von der IV-Stelle ebenfalls zu Recht verneint worden.
5.
Die vom Beschwerdeführer dagegen erhobenen Einwände führen zu keinem anderen Ergebnis.
5.1. Soweit er rügt, Grundlage für die Beurteilung der Arbeitsunfähigkeit bis und mit Juli 2015 müsse das erste Gutachten des Dr. med. B._ vom 9. Juli 2015 bilden, das fälschlicherweise von IV-Stelle und kantonalem Gericht unerwähnt gelassen worden sei, kann ihm nicht gefolgt werden. Denn er übersieht, dass das kantonale Gericht die Sache betreffend Rente (Entscheid vom 5. Januar 2017) und berufliche Massnahmen (Entscheid vom 16. Februar 2017) an die Verwaltung zurückgewiesen hatte, da die medizinische Aktenlage - und damit auch das Gutachten vom 9. Juli 2015 - eine abschliessende Beurteilung hinsichtlich des Gesundheitszustandes und der Auswirkungen auf die Erwerbsfähigkeit eben gerade nicht zugelassen hatte. Dass und weshalb diese Beurteilung in tatsächlicher Hinsicht offensichtlich unrichtig oder aber bundesrechtswidrig gewesen wäre, ist weder dargetan noch ohne Weiteres ersichtlich.
5.2. Weiter bringt der Versicherte vor, das kantonale Gericht habe seine Abklärungspflichten und die Beweiswürdigungsregeln verletzt. Es sei zwingend zumindest der Schluss zu ziehen, dass sein erlebter Leidensdruck mindestens in dem Mass bestehe, wie er im Gutachten quantifiziert werde. Eine zusätzliche "Reduktion" (der gutachterlichen Arbeitsfähigkeitsschätzung) durch die Gerichtsinstanz "über die Beurteilung des Arztes hinaus", ohne nachvollziehbare Widerlegung der medizinischen Ausführungen, sei ausgeschlossen. Bis Dezember 2017 sei von einem 70%igen und ab Januar 2018 von einem über 45%igen Invaliditätsgrad auszugehen.
5.2.1. Nach der Rechtsprechung ist bei psychischen Leiden unabhängig von der diagnostischen Einordnung auf objektivierter Beurteilungsgrundlage zu prüfen, ob eine rechtlich relevante Arbeits- und Erwerbsunfähigkeit nachzuweisen ist (BGE <ref-ruling> E. 4.5.2 S. 416). Entgegen der Ansicht des Beschwerdeführers hat die Vorinstanz weder den Untersuchungsgrundsatz noch die Beweiswürdigungsregeln verletzt, indem sie nicht auf die Folgenabschätzung durch Dr. med. B._ abgestellt hat. Da es in erster Linie auf den Schweregrad der psychischen Symptomatik sowie die damit verbundenen Funktionseinschränkungen ankommt, konnte das kantonale Gericht auf die vom Versicherten verlangte Einholung ergänzender Angaben beim Gutachter verzichten. Denn bei der Frage der funktionellen Auswirkungen einer Störung haben sich sowohl die medizinischen Sachverständigen als auch die Organe der Rechtsanwendung bei ihrer Einschätzung des Leistungsvermögens an den normativen Vorgaben zu orientieren. Nach <ref-ruling> kann der Beweis für eine lang andauernde und erhebliche gesundheitsbedingte Arbeitsunfähigkeit nur dann als geleistet betrachtet werden, wenn die Prüfung der massgeblichen Beweisthemen im Rahmen einer umfassenden Betrachtung ein stimmiges Gesamtbild einer Einschränkung in allen Lebensbereichen (Konsistenz) für die Bejahung einer Arbeitsunfähigkeit zeigt. Fehlt es daran, ist der Beweis nicht geleistet und nicht zu erbringen, was sich nach den Regeln über die (materielle) Beweislast zuungunsten der rentenansprechenden Person auswirkt (zum Ganzen vgl. <ref-ruling> E. 4.3 S. 53 f. mit Hinweis auf <ref-ruling> E. 6 S. 427; ferner bereits <ref-ruling> E. 5.2.2, 6 und 7 S. 307 ff. sowie <ref-ruling> E. 4.5.2, je mit Hinweisen).
5.2.2. Der Beschwerdeführer vermag nicht darzulegen, inwiefern die Erwägungen im angefochtenen Entscheid Bundesrecht verletzen. Das Bundesgericht hat den angefochtenen Entscheid nur dahingehend zu prüfen, ob die Vorinstanz in Anwendung der normativen Vorgaben die Rechtsprechung umgesetzt und im Rahmen der Beweiswürdigung eine nicht offensichtlich unrichtige, unvollständige oder bundesrechtswidrige Sachverhaltsfeststellung vorgenommen hat. In dieser Hinsicht gibt der angefochtene Entscheid zu keinen Beanstandungen Anlass. Das kantonale Gericht hat anhand der medizinischen Indikatorenprüfung schlüssig die massgeblichen Beweisthemen im Rahmen einer umfassenden Betrachtung eines stimmigen Gesamtbildes abgehandelt und geschlossen, dass aus juristischer Sicht der medizinisch attestierten Arbeitsunfähigkeit nicht gefolgt werden kann (<ref-ruling> E. 5.2. S. 306 f. und <ref-ruling>). Demnach stellt es keine Rechtsverletzung dar, wenn es der vom psychiatrischen Gutachter festgestellten (maximal) 25%igen Arbeitsunfähigkeit die rechtliche Relevanz abgesprochen und festgestellt hat, es liege kein invalidisierender Gesundheitsschaden vor (vgl. zum Ganzen <ref-ruling> E. 6.1 S. 57 f.).
5.3. Auf die übrige, vorwiegend appellatorische Kritik am angefochtenen Entscheid ist nicht weiter einzugehen.
6.
Nach dem Gesagten nahm die Vorinstanz die Indikatorenprüfung korrekt vor, weshalb sie ohne Verletzung von Bundesrecht eine relevante psychisch bedingte Arbeits- und Erwerbsunfähigkeit im Rechtssinn verneinen durfte. Weiterungen zur Invaliditätsbemessung und zur im angefochtenen Entscheid bestätigten Ablehnung beruflicher Massnahmen erübrigen sich demnach.
7.
Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, 4. Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. August 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Berger Götz