Sachverhalt:
A.
Mit Verfügung vom 16. August 2012 - letztinstanzlich bestätigt mit Urteil des Bundesgerichts vom 3. Juli 2014 (Verfahren 8C_384/2014) - hob die IV-Stelle des Kantons Zürich den seit 1. Februar 2000 laufenden Anspruch auf eine ganze Invalidenrente des 1954 geborenen A._ rückwirkend per Ende Juni 2009 auf. Während des gegen diese Verfügung erhobenen Rechtsmittelverfahrens meldete sich der Versicherte am 4. März 2014 erneut zum Bezug einer Rente an. Er begründete sein Gesuch mit einem Bericht des Dr. med. B._, Facharzt für Kardiologie und Innere Medizin FMH, vom 15. Februar 2014. Mit Verfügung vom 18. November 2014 trat die IV-Stelle auf das Leistungsbegehren nicht ein.
B.
Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 22. März 2016 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Entscheides sei die IV-Stelle anzuweisen, auf die Neuanmeldung einzutreten und einen Anspruch auf Leistungen der Invalidenversicherung materiell zu prüfen.
Es wird kein Schriftenwechsel durchgeführt.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2.
2.1. Die Vorinstanz hat die gesetzlichen Grundlagen (Art. 87 Abs. 2 und 3 IVV) und die Grundsätze (<ref-ruling> E. 5.2.5 S. 68 f.; <ref-ruling> E. 2b S. 114; 262 E. 3 S. 264; Urteile 8C_844/2012 vom 5. Juni 2013 E. 2.3 und 8C_196/2088 vom 5. Juni 2008) für das Eintreten auf eine Neuanmeldung nach vorangegangener rechtskräftiger Rentenaufhebung zutreffend dargelegt. Darauf wird verwiesen.
2.2. Die zeitliche Vergleichsbasis für die Frage, ob eine rentenrelevante Veränderung des Sachverhalts glaubhaft ist, bildet der Zeitpunkt der letzten umfassenden materiellen Prüfung. Der Vergleichszeitraum erstreckt sich grundsätzlich bis zur Prüfung und Beurteilung des Gesuchs, d.h. bis zum Erlass der Verfügung betreffend die Neuanmeldung. Für die beschwerdeweise Überprüfung einer Nichteintretensverfügung ist somit der Sachverhalt, wie er sich der Verwaltung bot, resp. die Aktenlage bei Erlass dieser Verfügung massgeblich (<ref-ruling> E. 5.2.5 S. 68 f.; Urteil 9C_683/2013 vom 2. April 2014 E. 3.3.1).
Es ist folglich zu prüfen, ob der Versicherte für den Zeitraum vom 16. August 2012 bis zum 18. November 2014 eine anspruchsbeeinflussende Tatsachenänderung glaubhaft gemacht hat.
2.3. Ob das kantonale Gericht das richtige Beweismass (Glaubhaftmachung) angewandt hat, ist eine vom Bundesgericht frei zu prüfende Rechtsfrage. Demgegenüber beschlägt die Bewertung der dem Gericht vorgelegten Beweismittel die Beweiswürdigung, die vom Bundesgericht nur unter dem eingeschränkten Gesichtspunkt von <ref-law> geprüft wird (<ref-ruling> E. 5.2.5 S. 68 f.; Urteile 8C_183/2016 vom 9. Mai 2016 E. 2.1, 9C_683/2013 vom 2. April 2014).
3.
3.1. Das kantonale Gericht hat verbindlich (E. 1 und 2.3 hievor) festgestellt, die Verfügung vom 16. August 2012 beruhe auf der Expertise des Ärztlichen Begutachtungsinstitutes Basel (ABI) vom 29. November 2011, worin für körperlich leichte und mittelschwer belastende Tätigkeiten eine volle Arbeitsfähigkeit attestiert worden ist. Es ist der Auffassung, dem Versicherten sei es nicht gelungen, eine anspruchsrelevante gesundheitliche Verschlechterung bis zum Erlass der Nichteintretensverfügung vom 18. November 2014 glaubhaft zu machen. Folglich hat es diese bestätigt.
3.2. Beschwerdeweise wird geltend gemacht, die Vorinstanz habe nicht berücksichtigt, dass Dr. med. B._ in seinem Bericht vom 15. Februar 2014 auf eine neuropsychologische Beeinträchtigung infolge der vielen Operationen am Herz hingewiesen und eine Vermittelbarkeit des Versicherten ausdrücklich verneint habe. Das kantonale Gericht habe zu Unrecht den Bericht der Neuropsychologin Dr. phil. C._ vom 6. Januar 2015 nicht in seinen Entscheid miteinbezogen und bei der Prüfung der Glaubhaftmachung einer anspruchsrelevanten gesundheitlichen Verschlechterung einen zu strengen Massstab angesetzt.
4.
4.1. In Würdigung des im Rahmen der Neuanmeldung vom 4. März 2014 eingereichten medizinischen Berichtes des Dr. med. B._ vom 15. Februar 2014 verneinte das kantonale Gericht die Glaubhaftmachung einer gesundheitlichen Verschlechterung. Es legte im Wesentlichen dar, eine Progredienz der koronaren Herzkrankheit sei zwar glaubhaft gemacht, nicht hingegen eine Verschlechterung der Arbeitsfähigkeit. Der Arzt verneine nicht die Zumutbarkeit einer Erwerbstätigkeit, sondern zweifle an der Vermittelbarkeit des Beschwerdeführers. Der Arzt berücksichtige dabei invaliditätsfremde Faktoren wie Alter und Ausbildung. Das lasse nicht auf eine für den Invaliditätsgrad relevante Veränderung schliessen. Auch die geltend gemachte Beeinträchtigung durch die Einnahme eines bestimmten Medikamentes weise nicht auf veränderte Verhältnisse hin, habe dieses doch bereits im Vergleichszeitpunkt zur aktuellen Medikation des Versicherten gehört.
4.2. Dass diese Sachverhaltsfeststellungen offensichtlich unrichtig sein oder auf einer Rechtsverletzung beruhen sollen, ist nicht ersichtlich. Sie bleiben daher für das Bundesgericht verbindlich (E. 1). Dies gilt auch für den daraus gezogenen Schluss, mit den vorliegend zu beachtenden medizinischen Akten sei keine rentenbeeinflussende Verschlechterung des Gesundheitszustands glaubhaft gemacht worden. Es ist auch nicht ersichtlich, inwiefern das kantonale Gericht in seiner Beurteilung zu hohe Anforderungen an die Glaubhaftmachung einer gesundheitlichen Verschlechterung gestellt haben könnte. Der Beschwerdeführer begründet diesen Vorwurf denn auch hauptsächlich damit, es lägen rund zweieinhalb Jahre zwischen der Rentenaufhebungsverfügung und dem Nichteintreten auf die Neuanmeldung. Das ist seines Erachtens eine lange Zeit, weshalb keine zu hohen Anforderungen gestellt werden dürften. Zudem hätten die Ausführungen im Bericht des Dr. med. B._ die IV-Stelle zumindest veranlassen müssen, weitere Abklärungen zu treffen. Dabei übersieht er, dass im Rahmen der Neuanmeldung der Untersuchungsgrundsatz eingeschränkt ist (<ref-ruling> E. 5.2.5 S. 68). Bieten die einer Neuanmeldung zu Grunde liegenden Aktenstücke - wie vorliegend - keinen klaren Hinweis für einen Eintretenstatbestand, ist es nicht Sache der Verwaltung oder des Gerichts, von Amtes wegen für die richtige und vollständige Abklärung des rechtserheblichen Sachverhaltes zu sorgen oder den Gesuchsteller aufzufordern, entsprechend Belege beizubringen.
4.3. Schliesslich hat das kantonale Gericht entgegen den Ausführungen in der Beschwerde auch zu Recht den Bericht der Dr. phil. C._ von der D._ AG vom 6. Januar 2015 nicht in seine Beurteilung miteinbezogen. Streitgegenstand ist, ob die Verwaltung zu Recht nicht auf die Neuanmeldung eingetreten ist. Damit versteht sich von selbst, dass Aktenstücke, die erst nach Erlass der Eintretensverfügung entstanden sind, nicht dazu beitragen können, einen bestimmten Sachverhalt im Zeitpunkt des Entscheides über das Eintreten auf eine Neuanmeldung glaubhafter zu machen. Für die beschwerdeweise Überprüfung einer Nichteintretensverfügung ist somit der Sachverhalt, wie er sich der Verwaltung bot, resp. die Aktenlage bei Erlass dieser Verfügung massgeblich (<ref-ruling> E. 5.2.5 S. 68 f.; Urteil 9C_683/2013 vom 2. April 2014 E. 3.3.1).
4.4. Zusammenfassend hat es beim angefochtenen Entscheid sein Bewenden.
5.
Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. Juni 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer