Sachverhalt:
A.
Der 1958 geborene H._ ist gelernter Mechaniker und Maltherapeut. Vom 1. Juni 2001 bis 31. Oktober 2008 war er für die A._ GmbH als Betreuer und Maltherapeut in einem 80%igen Pensum tätig, wobei der letzte effektive Arbeitstag der 3. November 2007 war. Daneben arbeitete er als selbstständig erwerbender Mechaniker. Am 9. März 2009 meldete er sich unter Hinweis auf eine seit dem Jahr 1971 bestehende Angsterkrankung zum Bezug von Leistungen bei der Invalidenversicherung an. Nach Abklärung der gesundheitlichen und erwerblichen Situation sowie nach Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle Bern einen Anspruch auf Leistungen unter Hinweis auf das Fehlen eines invalidisierenden Gesundheitszustandes (Verfügung vom 10. November 2009). Das Verwaltungsgericht des Kantons Bern wies die dagegen erhobene Beschwerde ab und überwies die Akten an die IV-Stelle zur Prüfung der Auswirkungen der nach Erlass der angefochtenen Verfügung eingetretenen veränderten Verhältnisse (Entscheid vom 17. Juni 2010). Auf Beschwerde hin, mit welcher H._ hatte beantragen lassen, es sei festzustellen, dass er in rentenbegründendem Ausmass invalid sei und Anspruch auf eine Invalidenrente habe, bestätigte das Bundesgericht den kantonalen Gerichtsentscheid mit Urteil 8C_654/2010 vom 30. September 2010.
In der Folge teilte die IV-Stelle H._ mit Vorbescheid vom 24. November 2010 mit, dass sie mangels Erkennbarkeit einer Veränderung der tatsächlichen Verhältnisse nicht auf die Neuanmeldung einzutreten gedenke. Nachdem dieser Einwände dagegen erhoben hatte, holte sie das Gutachten des Dr. med. S._, Spezialarzt für Psychiatrie und Psychotherapie FMH, vom 4. August 2011 ein. Im Rahmen des neuen Vorbescheidverfahrens forderte sie eine Stellungnahme des Dr. med. S._ (vom 6. November 2011) zu den erhobenen Einwendungen des H._. In der Folge lehnte sie eine Leistungspflicht ab mit der Begründung, es bestehe zeitlich und leistungsmässig eine volle Arbeits- und Erwerbsfähigkeit (Verfügung vom 4. Januar 2012).
B.
Das Verwaltungsgericht des Kantons Bern wies die gegen die Verfügung vom 4. Januar 2012 erhobene Beschwerde ab (Entscheid vom 7. Mai 2013).
C.
H._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und stellt das Rechtsbegehren, es sei festzustellen, dass er in rentenbegründendem Ausmass invalid sei und die IV-Stelle sei entsprechend für die Zeit der (gesundheitlichen) Verschlechterung von Januar 2010 bis April 2013 zur Ausrichtung einer Invalidenrente zu verpflichten; eventualiter sei festzustellen, dass er für die Zeit seiner Aufenthalte in der Klinik X._ und im Wohn- und Pflegeheim Y._ vom 10. Mai 2010 bis 30. Juni 2011 invalid gewesen sei und die IV-Stelle sei bezüglich dieses Zeitraums zur Ausrichtung einer Invalidenrente zu verpflichten; zudem seien die Kosten der Umschulung, die ab April 2013 zu einer 40%igen Erwerbstätigkeit geführt habe, zu übernehmen, und für die Dauer der Ausbildung - in Abstimmung mit dem Antrag auf eine Invalidenrente - ein Taggeld auszurichten. Der Eingabe liegt eine Teilnahmebestätigung der B._ GmbH, Deutschland, vom 10. Juni 2012 für die Weiterbildung D._ (durchgeführt vom 6. bis 10. Juni 2012) und ein Diplom "medizinisch-theoretische Grundausbildung" der Schule C._ vom 18. Januar 2013 bei.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - vorinstanzliche Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Es wendet das Recht von Amtes wegen an (<ref-law>), prüft indessen - unter Beachtung der allgemeinen Begründungspflicht im Beschwerdeverfahren (Art. 42 Abs. 1 und 2 BGG) - grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2. Der aufgrund medizinischer Untersuchungen gerichtlich festgestellte Gesundheitszustand und die damit einhergehende Arbeitsfähigkeit betreffen eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsverletzungen sind demgegenüber die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> f. E. 5.1 mit Hinweis). Die Rüge einer rechtsfehlerhaften Sachverhaltsfeststellung darf sich grundsätzlich nicht darauf beschränken, den bestrittenen Feststellungen des kantonalen Gerichts den nach eigener Auffassung richtigen Sachverhalt gegenüberzustellen oder die eigene Beweiswürdigung zu erläutern. Vielmehr ist hinreichend genau anzugeben, inwiefern die vorinstanzlichen Feststellungen rechtswidrig oder mit einem klaren Mangel behaftet sind. Eine diesen Anforderungen nicht genügende (appellatorische) Kritik ist unzulässig (Urteil 9C_569/2008 vom 1. Oktober 2008 E. 1.2 mit Hinweisen). Die konkrete Beweiswürdigung ist wie die darauf beruhende Sachverhaltsfeststellung ebenfalls nur unter diesem eingeschränkten Blickwinkel überprüfbar (Urteil 8C_4/2013 vom 16. April 2013 E. 1.2 mit Hinweisen).
2.
Streitig und zu prüfen ist, ob die IV-Stelle einen Rentenanspruch auf die (implizite) Neuanmeldung hin zu Recht verneint hat. Soweit der Versicherte darüber hinaus die Übernahme von Umschulungskosten und die Ausrichtung von Taggeldern beantragt, kann auf die Beschwerde schon deshalb nicht eingetreten werden, weil er dieses Rechtsbegehren in der Beschwerdeschrift nicht begründet (vgl. im Übrigen auch <ref-law>). Die - wohl in diesem Zusammenhang - vor Bundesgericht erstmals beigebrachten Unterlagen (Teilnahmebestätigung vom 10. Juni 2012 an der Weiterbildung D._; Diplom "medizinisch-theoretische Grundausbildung" vom 18. Januar 2013) sind von vornherein unbeachtlich, da nicht der Entscheid des kantonalen Gerichts zu deren Einreichung Anlass gegeben hat (<ref-law>).
3.
Die Vorinstanz hat die Bestimmungen und Grundsätze zu den Begriffen der Invalidität (<ref-law> in Verbindung mit <ref-law>) und der Erwerbsunfähigkeit (<ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law>), zu den bei der Neuanmeldung analog zur Rentenrevision (<ref-law>; Art. 87 Abs. 3 und 4 IVV in der bis 31. Dezember 2011 gültig gewesenen Fassung, bzw. Art. 87 Abs. 2 und 3 IVV in der seit 1. Januar 2012 in Kraft stehenden Fassung; <ref-ruling>; vgl. auch <ref-ruling> E. 3 S. 132 f.; Urteil 9C_904/2009 vom 7. Juni 2010 E. 3.2, in: SVR 2011 IV Nr. 2 S. 7) anwendbaren Grundsätzen, namentlich zu den Vergleichszeitpunkten (<ref-ruling> E. 5.4 S. 114; <ref-ruling>), zur Aufgabe der Ärzte bei der Ermittlung des Invaliditätsgrades (<ref-ruling> E. 4 S. 99 mit Hinweisen) sowie zum Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
4.
4.1. In Würdigung der medizinischen Unterlagen, namentlich des Gutachtens des Dr. med. S._ vom 4. August 2011 gelangte die Vorinstanz zum Schluss, im Vergleichszeitraum seit der letzten rentenablehnenden Verfügung vom 10. November 2009 bis zur vorliegend angefochtenen Verfügung vom 4. Januar 2012 sei keine dauerhafte Veränderung des Gesundheitszustandes bzw. der Arbeitsfähigkeit eingetreten, welche geeignet wäre, den Invaliditätsgrad und damit einen allfälligen Rentenanspruch zu beeinflussen. Dr. med. S._ lege überzeugend dar, dass es sich beim neurotischen Beschwerdebild nach wie vor um das gleiche Leiden handle, welches die Arbeits- und Leistungsfähigkeit im Erwerbsleben schon zur Zeit des Verwaltungsaktes vom 10. November 2009 nicht eingeschränkt habe. Die im Frühling/Frühsommer 2010 eingetretene gesundheitliche Verschlechterung sei vorübergehender Natur gewesen. Es sei dem Beschwerdeführer nach wie vor zumutbar, unter Aufbietung allen guten Willens weiterhin eine Therapie zur Überwindung des Arbeitsweges zu absolvieren und zur Verwertung seiner Arbeitsfähigkeit eine geeignete Arbeitsstelle in der näheren Umgebung seines Wohnortes zu finden.
4.2.
4.2.1. Soweit die Ausführungen des Versicherten in einer Wiederholung der schon im kantonalen Verfahren vorgetragenen Argumentation bestehen, reicht dies für eine rechtsgenügliche Beschwerdebegründung, welche eine Bezugnahme auf die vorinstanzlichen Erwägungen mit klarer Darlegung der beanstandeten Aspekte erfordert (vgl. Urteil 8C_811/2010 vom 14. März 2011 E. 1.2), nicht aus.
4.2.2. Entgegen der Ansicht des Beschwerdeführers steht im vorliegenden Verfahren nicht der Vergleichszeitraum vom 9. März 2009 (Anmeldung zum Bezug von Leistungen der Invalidenversicherung) bis 12. Mai 2011 zur Debatte. Von Belang ist, ob in der Zeit zwischen 10. November 2009 (erste ablehnende Verfügung) und 4. Januar 2012 (zweite ablehnende Verfügung) eine gesundheitliche Verschlechterung eingetreten ist, welche sich auf die Arbeitsfähigkeit auswirkt (E. 3 hiervor).
4.2.2.1. In der Verfügung vom 10. November 2009 hatte die Verwaltung namentlich auf die Einschätzung des ehemals behandelnden Dr. med. O._, Facharzt für Psychiatrie und Psychotherapie FMH, vom 20. Mai 2009 abgestellt. Nach seiner Schilderung fühlte sich der Beschwerdeführer aufgrund der dominierenden Angst- und Panikstörung schon damals nur sicher, wenn in einigen Minuten Entfernung eine Person seines Vertrauens ansprechbar war. Dies war in seinem Wohnquartier, aber auch bei seinem letzten Arbeitgeber im Wohnheim garantiert. Dieselbe Sicherheit hätte gemäss den Angaben des Psychiaters auch bei einem allfälligen neuen Arbeitgeber durch Vorgesetzte oder andere Vertrauenspersonen sowie durch die Nähe eines Arztes, einer psychiatrischen Ambulanz oder einer ähnlichen Institution gewährleistet werden können.
4.2.2.2. Soweit der Beschwerdeführer sinngemäss geltend macht, aus dem Einweisungszeugnis des Dr. med. K._, Facharzt für Psychiatrie und Psychotherapie FMH, und des L._, Fachpsychologe für Psychotherapie, vom 28. April 2010, dem Austrittsbericht der Klinik X._ vom 20. Juli 2010 und der Stellungnahme des Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie FMH, Regionaler Ärztlicher Dienst (nachfolgend: RAD), vom 10. Januar 2011 sei eine anhaltende Verschlechterung des Gesundheitszustandes abzuleiten, kann ihm nicht gefolgt werden. In diesem Zusammenhang ist die am 20. Mai 2009 von Dr. med. O._ geschilderte Ausprägung der Angst- und Panikstörung - entgegen der Ansicht des Versicherten - durchaus relevant, weil der Verwaltungsakt vom 10. November 2009 auf dieser Einschätzung basierte (E. 4.2.2.1 hiervor). Deshalb hat sie als Vergleichsbasis zu gelten. Mit einem "falschen chronologischen Ablauf" in der Darstellung der medizinischen Unterlagen durch die Vorinstanz (Beschwerde, Ziffer 3) hat die späte Erwähnung des Berichts im angefochtenen Gerichtsentscheid somit nichts zu tun und eine Fehlbeurteilung ist daraus mitnichten entstanden. Die ab 3. Juli 2009 behandelnden Fachpersonen Dr. med. K._ und L._ berichteten am 28. April 2010, der Versicherte wünsche eine stationäre Behandlung, um sein Leben aus diesem Setting heraus neu einrichten zu können, nachdem dessen Partnerin sich dazu entschieden habe, per Juli 2010 wegzuziehen. Sie gingen damals mit Blick auf die Trennung von einer akut verstärkten Angstproblematik aus. Im Austrittsbericht der Klinik X._ vom 20. Juli 2010 wurden als aktuelle Belastungsfaktoren die Trennung von der Partnerin, die Kündigung der Wohnung und die Arbeitslosigkeit genannt. Als Diagnosen wurden unter anderem eine rezidivierende depressive Störung, gegenwärtig mittelgradige Episode, und eine Persönlichkeitsstörung angegeben. Eine Arbeitsfähigkeit sei bei Austritt noch nicht vorhanden gewesen, weshalb eine Arbeitsunfähigkeitsbescheinigung bis zum 17. Juli 2010 ausgestellt worden sei. Bezüglich der depressiven Symptomatik sei es zu einer Teilremission gekommen, die Angstsymptomatik sei weitgehend geblieben und das Vermeidungsverhalten habe leicht reduziert werden können. Dr. med. E._ führte am 10. Januar 2011 aus, es sei eine Verschlechterung des Gesundheitszustandes eingetreten, und hielt dafür, Art und Umfang seien gutachterlich festzustellen. Zu diesem Zweck veranlasste die IV-Stelle das psychiatrische Gutachten des Dr. med. S._ vom 4. August 2011. Darin gelangte der Experte zum Schluss, der Beschwerdeführer leide unter einer Angstneurose mit Panik und einer ängstlich vermeidenden Persönlichkeitsstörung (ICD-10 F41.0 und F60.6); es bestehe eine "zeitlich volle" Arbeitsfähigkeit ohne Leistungsverminderung. Der Gesundheitszustand habe sich eher verbessert.
4.2.2.3. Es trifft nicht zu, dass sich Dr. med. S._ in seiner Stellungnahme vom 6. November 2011 in einen Widerspruch zu seinem Gutachten setzte. Soweit er eine effektive Verschlechterung des Gesundheitszustandes beschrieb, bezog er sich explizit auf die Entwicklung (anstehender Auszug der Partnerin aus der gemeinsamen Wohnung) vor Einweisung in die Klinik X._ (vom 10. Mai 2010) und betonte, dass er die im Austrittsbericht der Klinik diagnostizierte mittelgradige depressive Episode nicht übersehen habe. Wesentlich sei, dass er bei seiner Untersuchung keine depressive Störung mehr habe feststellen können. Auch der Vorwurf, die vom früheren Rechtsvertreter des Versicherten eingeholte Stellungnahme des Dr. med. T._, Facharzt für Psychiatrie und Psychotherapie FMH und des D._, Dipl. klin. Psychologe, Psychoanalytiker und Psychotherapeut SGP, vom 4. Februar 2012 habe keine hinreichende Beachtung gefunden, ist unbegründet. Die Vorinstanz musste aus der darin enthaltenen, unzutreffenden Kritik am Gutachten des Dr. med. S._ keine anderen Schlüsse ziehen. So entbehrt unter anderem die Behauptung, Dr. med. S._ habe neben einer 100%igen Arbeitsfähigkeit gleichzeitig auch eine 100%ige Arbeitsunfähigkeit attestiert, jeder Grundlage, da es sich beim angesprochenen Attest um die Wiedergabe der früheren Einschätzung anderer Ärzte handelt.
4.2.2.4. Der Versicherte verkennt, dass eine vorübergehende Verschlechterung seines Gesundheitszustandes allseits anerkannt ist. Fälschlicherweise geht er davon aus, Dr. med. S._ habe den Zeitraum nach dem Klinikeintritt ab 10. Mai 2010 als massgebend erachtet und dabei eine marginale Verbesserung während des stationären Aufenthalts als Verbesserung des Gesundheitszustandes seit dem 9. März 2009 (Erstanmeldung bei der Invalidenversicherung) ausgegeben. Als Vergleichszeitpunkte nahm der Experte korrekt den "früheren Entscheid (..) der IV", also das Datum des Verwaltungsaktes vom 10. November 2009 (welcher auf der Einschätzung des Dr. med. O._ vom 20. Mai 2009 basierte) und die Daten seiner Untersuchungen (12., 20. und 27. Mai 2011) an. Eine erneute gesundheitliche Verschlechterung nach der Begutachtung bis zum Erlass der zweiten ablehnenden Verfügung vom 4. Januar 2012 wurde vom Versicherten nicht geltend gemacht.
4.2.3. Der Beschwerdeführer rügt weiter, Dr. med. S._ habe anlässlich seiner Untersuchungen nicht gewusst, dass er starke Beruhigungsmittel eingenommen habe, um überhaupt zur Begutachtung gehen zu können, weshalb dessen Einschätzung auf einem Irrtum beruhe. Beim im Vordergrund stehenden Beschwerdebild der Angstsymptomatik in Verbindung mit einer Persönlichkeitsstörung konnte diese Medikation aber offenbar keine Rolle spielen, denn der psychiatrische Experte stützte sein Attest einer vollen Arbeitsfähigkeit auf den Umstand, dass der Versicherte einen "relativ unproblematischen Alltag führte" (Stellungnahme des Dr. med. S._ vom 6. November 2011). Dies leitete er massgeblich aus den Schilderungen des Beschwerdeführers zu dessen verschiedenen Aktivitäten in der unmittelbaren Vergangenheit vor seinen Untersuchungen ab (neue Beziehung zu einer Frau, Beschäftigung im Garten, Vorstandsarbeit in einem Verein etc.). Konzentrationsstörungen verneinte der Untersucher im Übrigen explizit. Deshalb stellte sich die Frage, ob die Unkonzentriertheit Folge einer depressiven Erkrankung oder eine Nebenwirkung der Medikamente sein könnte, gar nicht. Der Beschwerdeführer behauptet in diesem Zusammenhang denn auch nicht, dass die depressive Symptomatik sich erneut verstärkt hätte.
4.2.4. In der Beschwerde wird vielmehr vorgebracht, die Vorinstanz verwechsle das invalidisierende "Hauptsymptom" (Panikstörung und Agoraphobie), welches sich nicht wesentlich verbessert habe, mit dem die Erwerbsfähigkeit nach wie vor nicht in entscheidendem Ausmass beeinträchtigenden "Nebensymptom" (remittierte Depression). Der Versicherte verkennt, dass der - unbestrittenen - vorübergehenden Verschlechterung, welche sich unter anderem durch das Auftreten einer mittelschweren depressiven Episode manifestierte, keine invalidisierende Wirkung zukommt. Es ist allerdings verständlich, dass er unter Hinweis darauf, dass er nicht mehr allein wohnen könne, von einer konstanten Verschlechterung seines Gesundheitszustandes ausgeht. Allerdings ist die stillschweigende Annahme der Vorinstanz, dass sich diese (weitergehende) Einschränkung in seinem Lebensalltag nicht auf die Arbeitsfähigkeit auszuwirken vermöge, mit Blick auf das Gutachten des Dr. med. S._ nicht willkürlich. Im Übrigen stellte weder Verwaltung noch Vorinstanz in Frage, dass der Beschwerdeführer krank ist und Pflege in Anspruch nimmt. Dem steht aber der Schluss nicht entgegen, dass sich die gesundheitlichen Einschränkungen unter den von Dr. med. O._ am 20. Mai 2009 beschriebenen Voraussetzungen (Vertrauenspersonen oder bestimmte Institutionen in der Nähe des Arbeitsplatzes, bestimmte Vorkehren zur Bewältigung des Arbeitsweges) zur massgebenden Zeit vom 4. Januar 2012 (wie auch schon am 10. November 2009 und damit im Vergleich unverändert) nicht auf die Leistungsfähigkeit im Erwerb auswirkten.
4.2.5. Zusammenfassend genügt das psychiatrische Gutachten des Dr. med. S._ vom 4. August 2011 den an medizinische Beurteilungen des Gesundheitszustandes einer versicherten Person und an Einschätzungen des trotz Beeinträchtigung verbliebenen Leistungsvermögens zu stellenden beweisrechtlichen Anforderungen, sodass es angesichts der dem Bundesgericht zustehenden eingeschränkten Kognitionsbefugnis (E. 1.1 hiervor) keinen ernsthaften Anlass bietet, das im Wesentlichen darauf basierende Ergebnis der vorinstanzlichen Beweiswürdigung in Frage zu stellen. Die Vorbringen in der Beschwerdeschrift lassen keine Unrichtigkeit der vorinstanzlichen Feststellungen tatbeständlicher Art, welche sich als offensichtlich qualifizieren liesse, und auch keine Bundesrechtswidrigkeit erkennen. Eine willkürliche Beweiswürdigung liegt nicht vor.
4.3. Es bleibt anzumerken, dass es dem Versicherten freisteht, die Invalidenversicherung zur Hilfe bei der Arbeitssuche aufzufordern.
5.
Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Die Gerichtskosten sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. August 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Berger Götz