Sachverhalt:
A.
A._ arbeitete seit ... 1979 bei der Genossenschaft B._ als Bereichsleiter Gastronomie. Im Dezember 2008 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in beruflicher und medizinischer Hinsicht und beruflichen Massnahmen (Arbeitstraining, Arbeitsversuch in der Küche des Altersheims C._) holte die IV-Stelle des Kantons Zürich bei Dr. med. D._, Fachärztin für Psychiatrie und Psychotherapie FMH, ein psychiatrisches Gutachten vom 30. November 2010 ein. Mit Vorbescheid vom 31. Januar 2011 stellte sie die Zusprache einer Viertelsrente ab 1. Juni 2011 in Aussicht und wies den Versicherten im Sinne seiner Schadenminderungspflicht an, eine Psychotherapie zu besuchen. Nach erfolgtem Einwand sprach sie ihm mit Verfügung vom 16. Mai 2011 ab 1. Juni 2011 eine Viertelsrente zu.
B.
Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich, nachdem es A._ unter Androhung einer reformatio in peius Gelegenheit zur Stellungnahme zur möglichen Schlechterstellung und zum Beschwerderückzug gegeben hatte, mit Entscheid vom 14. November 2012 ab und hob die Verfügung der IV-Stelle vom 16. Mai 2011 auf mit der Feststellung, dass der Beschwerdeführer keinen Rentenanspruch hat.
C.
In Gutheissung der dagegen erhobenen Beschwerde hob die II. sozialrechtliche Abteilung des Bundesgerichts mit Urteil vom 19. Dezember 2013 (9C_4/2013) den vorinstanzlichen Entscheid vom 14. November 2012 auf und wies die Sache zu neuer Entscheidung im Sinne der Erwägungen an das Sozialversicherungsgericht des Kantons Zürich zurück.
D.
Mit Entscheid vom 7. Februar 2014 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde wiederum ab und hob die angefochtene Verfügung vom 16. Mai 2011 mit der Feststellung auf, dass der Beschwerdeführer keinen Rentenanspruch hat.
E.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, in Aufhebung des vorinstanzlichen Entscheides sei ihm ab 1. Juni 2010 eine halbe, eventualiter eine Viertelsrente der Invalidenversicherung zuzusprechen. Subeventuell sei das kantonale Gericht anzuweisen, damit diese - nach Durchführung eines neuen Einkommensvergleiches - über seinen Rentenanspruch erneut entscheide.
Die IV-Stelle des Kantons Zürich schliesst auf Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Von diesen tatsächlichen Feststellungen kann es nur abweichen, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
2.
2.1. Vor Bundesgericht ist im Rahmen der Bemessung des Invaliditätsgrades in materieller Hinsicht neben der Höhe des Validenlohns nur noch das Einkommen strittig, das der Versicherte trotz seiner gesundheitlichen Beeinträchtigungen zumutbarerweise verdienen könnte (Invalideneinkommen). Dabei ist zu prüfen, ob das kantonale Gericht ohne Verletzung von Bundesrecht bei der Ermittlung des Invalideneinkommens auf die Durchschnittslöhne gemäss Tabelle TA1 (monatlicher Bruttolohn [Zentralwert] nach Wirtschaftsabteilungen, Anforderungsniveau des Arbeitsplatzes und Geschlecht - Privater Sektor) der vom Bundesamt für Statistik alle zwei Jahre erstellten Schweizerischen Lohnstrukturerhebung (LSE) abstellen und einen Abzug vom Tabellenlohn (<ref-ruling>) verneinen durfte. Der Beschwerdeführer verlangt einen Abzug von 15 %.
2.2. Ob und in welcher Höhe statistische Tabellenlöhne herabzusetzen sind, hängt von sämtlichen persönlichen und beruflichen Umständen des Einzelfalles ab, die nach pflichtgemässem Ermessen gesamthaft zu schätzen sind. Relevante Merkmale sind leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad (<ref-ruling> E. 5b/bb S. 80). Ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vom hypothetischen Invalideneinkommen vorzunehmen ist, beschlägt eine Rechtsfrage. Demgegenüber stellt die Höhe des Abzuges eine typische Ermessensfrage dar, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, d.h. bei Ermessensüberschreitung, -missbrauch oder -unterschreitung (<ref-ruling> E. 5.1 S. 72 f. mit Hinweis auf <ref-ruling> E. 3.3 in fine S. 399).
3.
3.1. Die IV-Stelle ging im Vorbescheid vom 31. Januar 2011 davon aus, der Beschwerdeführer sei seit Juni 2010 (Beginn der einjährigen Wartezeit) in seiner Arbeitsfähigkeit anhaltend in der angestammten Tätigkeit als Koch in leitender Stellung erheblich eingeschränkt. Ohne gesundheitliche Einschränkung könne er in der angestammten Tätigkeit unter Berücksichtigung der Nominallohnentwicklung ein Jahreseinkommen von Fr. 97'802.90 erzielen. Für die Ermittlung des Invalideneinkommens ging die IV-Stelle gestützt auf die Tabellenlöhne (LSE 208 TA1 Niveau 4) für das Jahr 2011 von einem Einkommen von Fr. 63'990.90 aus. Da zusätzlich Zeit- und Termindruck vermieden werden soll und aufgrund des Alters gewährte sie dem Versicherten einen Abzug vom Tabellenlohn von 10 % und setzte das Invalideneinkommen auf Fr. 57'591.81 fest. Dementsprechend ermittelte sie einen Invaliditätsgrad von 41 %.
3.2. Das kantonale Gericht nahm für den Einkommensvergleich an, der Beschwerdeführer hätte im Jahr 2009 als Bereichsleiter Gastronomie ein Einkommen von Fr. 93'821.- erzielt. In Anpassung an die Nominallohnentwicklung ergebe dies für das Jahr 2010 ein Valideneinkommen von Fr. 94'280.55. Hinsichtlich der Arbeitsfähigkeit seit Eintritt des Gesundheitsschadens erwog das kantonale Gericht, dem Beschwerdeführer seien aus medizinischer Sicht sämtliche (Hilfs-) Tätigkeiten ohne vorausgesetzte Berufs- und Fachkenntnisse zumutbar. Entsprechend sei zur Bestimmung des Invalideneinkommens vom nicht nach Branchen differenzierten standardisierten monatlichen Bruttolohn (inklusive 13. Monatslohn, basierend auf einer wöchentlichen Arbeitszeit von 40 Stunden) für männliche Arbeitskräfte an Arbeitsplätzen des niedrigsten Anforderungsniveaus (Kategorie 4) von Fr. 4'901.- auszugehen (Tabelle TA1, LSE 2010 S. 26). Aufgerechnet auf die durchschnittliche betriebsübliche Arbeitszeit von 41,6 Stunden pro Woche im Jahr 2010 ergebe dies ein Jahreseinkommen von Fr. 61'164.50. Entgegen der Auffassung der IV-Stelle sei allerdings kein Abzug vom Tabellenlohn zu berücksichtigen, da im Zusammenhang mit der Verrichtung von einfachen Tätigkeiten keine lohnmindernden Faktoren ersichtlich seien, zumal sich der Aufenthaltsstatus des Beschwerdeführers und seine Kenntnisse der hiesigen Landessprache erhöhend, sein fortgeschrittenes Alter und die fehlenden Dienstjahre nur wenig auf die Entlöhnung an Arbeitsplätzen des niedrigsten Anforderungsniveaus auswirkten. Bei einem Invalideneinkommen von Fr. 61'164.50 resultiere im Vergleich zum Validenlohn von Fr. 94'280.55 eine Erwerbseinbusse von Fr. 33'116.05, was einem rentenausschliessenden Invaliditätsgrad von gerundet 35 % entspreche.
3.3. Der Beschwerdeführer bemängelt beim vorinstanzlichen Einkommensvergleich zunächst, dass das kantonale Gericht beim Validenlohn übersehen habe, dass er neben seinem Grundlohn (2009 von jährlich Fr. 93'821.-) Anspruch auf Zuschläge gehabt habe, u.a. für Abendarbeit sowie für Nacht- und Sonntagsarbeit. Zudem hätten sich die Mitarbeitenden gratis in den betriebseigenen Restaurants verpflegen können. Allein die Zuschläge hätten im Jahr 2006 Fr. 6'562.40 und 2007 Fr. 5'945.20 betragen. Durchschnittlich habe er somit vor seiner Erkrankung zusätzlich zum Grundlohn rund Fr. 6'252.- jährlich an Zuschlägen verdient. Das massgebliche Valideneinkommen sei damit effektiv sogar deutlich höher anzusetzen als noch in der IV-Verfügung vom 16. Mai 2011 angenommen, nämlich auf Fr. 100'532.- (Grundlohn 2010 Fr. 94'280.55 plus Zuschläge von Fr. 6'252.- jährlich). Beim Invalideneinkommen sei die Vorinstanz von den Angaben des Bundesgerichtsurteils vom 19. Dezember 2013 abgewichen, indem sie bei der Berechnung des massgeblichen Invalideneinkommens von der LSE-Tabelle TA1 Anforderungsniveau 4 ausgehe und nicht vom erzielbaren Einkommen als Koch. Werde das vom Beschwerdeführer erzielbare Einkommen als Koch der Berechnung zugrunde gelegt, hätte nur ein Einsatzeinkommen von Fr. 55'748.- resultiert. Männer im Gastgewerbe verdienten gemäss LSE-Tabelle 2010 TA1 auch im Anforderungsniveau 3 (Berufs- und Fachkenntnisse vorausgesetzt) lediglich Fr. 4'467.- bzw. ausgehend von einer Wochenarbeitszeit von 41,6 Stunden Fr. 55'718.15 jährlich, was deutlich unter dem Durchschnittswert liege, den Arbeitnehmende in den übrigen Branchen verdienen könnten, selbst wenn sie über keinerlei Berufsausbildung verfügten. Er habe Anspruch darauf, eine zumutbare Arbeit in seinem erlernten Beruf zu suchen und müsse nicht auf anderweitige Hilfsarbeitertätigkeiten ausweichen, zumal er seit 1972 durchwegs nur als Koch gearbeitet habe. Die Verneinung des Abzugs vom Tabellenlohn durch die Vorinstanz sei insofern aktenwidrig, als im Gutachten der Dr. med. D._ vom 30. November 2010 ausdrücklich festgehalten werde, der Beschwerdeführer könne keine intellektuelle Tätigkeit ausführen und keine Tätigkeiten, welche unter Zeit- und Leistungsdruck stünden. Beide Einschränkungen wirkten sich klar lohnmindernd aus. Die LSE-Tabellen beruhten auf Durchschnittseinkommen der Gesamtbevölkerung in der Schweiz. Inwiefern sich deshalb der Umstand, dass der Beschwerdeführer die Landessprache beherrsche, lohnerhöhend auf das gemäss LSE-Tabellen erzielbare Erwerbseinkommen auswirken solle, sei unhaltbar. Unter Berücksichtigung der gemäss Gutachten der Dr. med. D._ festgestellten Einschränkungen in der Verwertbarkeit der Arbeitsleistungen sowie seines Alters stelle der von der IV-Stelle in ihrer Verfügung vom 16. November 2011 vorgenommene Abzug von 10 % das absolute Minimum dar. Wolle man sogar, wie dies die Vorinstanz tue, dem Beschwerdeführer zumuten, die Gastronomiebranche zu verlassen und sich im Alter von 58 Jahren eine anderweitige Hilfsarbeiterstelle auf dem freien Arbeitsmarkt zu suchen, würden sich Alter und fehlende Berufserfahrung zusätzlich negativ auf die Verdienstaussichten auswirken, sodass ein Abzug von 15 % angebracht sei.
4.
Das Bundesgericht hat im Urteil 9C_4/2013 vom 19. Dezember 2013 (E. 3) ausgeführt, der Beschwerdeführer könne nicht mehr als leitender Koch erwerbstätig sein, hingegen sei ihm die erlernte Tätigkeit als nicht leitender Koch in vollem Umfang zumutbar. Damit hat es nicht verbindlich festgelegt, dem Einkommensvergleich sei ausschliesslich das Einkommen als Koch zugrunde zu legen. Der Beizug des Tabellenlohnes eines einzelnen Sektors oder gar einer bestimmten Branche kann zwar praxisgemäss ausnahmsweise gerechtfertigt sein, um der im Einzelfall zumutbaren erwerblichen Verwertung der verbleibenden Arbeitsfähigkeit Rechnung zu tragen, namentlich bei Personen, die vor der Gesundheitsschädigung lange Zeit im betreffenden Bereich tätig gewesen waren und bei denen eine Arbeit in anderen Bereichen kaum in Frage kommt (Urteil 9C_667/2013 vom 29. April 2014 E. 5.3; Urteil 9C_237/2007 vom 24. August 2007 E. 5.1, nicht publ. in: <ref-ruling>, aber in: SVR 2008 IV Nr. 20 S. 63). Im vorliegenden Fall war der Beschwerdeführer zwar immer im erlernten Berufsbereich tätig, doch versah er als Bereichsleiter Gastronomie schon längere Zeit eine leitende Position, was auch im überdurchschnittlichen Validenlohn zum Ausdruck kommt. Wird noch die volle Arbeitsfähigkeit in einer leidensangepassten Tätigkeit berücksichtigt, so lässt es sich aus bundesrechtlicher Sicht nicht beanstanden, dass das kantonale Gericht vom Anforderungsniveau 4 für einfache Hilfsarbeiten ausgegangen ist. Der vom kantonalen Gericht auf Fr. 61'164.50 festgelegte Invalidenlohn ist daher rechtmässig.
Was die Frage des Abzugs vom Tabellenlohn betrifft, so ist im Rahmen von Hilfsarbeitertätigkeiten zu berücksichtigen, dass der Beschwerdeführer seit ... einzig in seinem erlernten Berufsbereich gearbeitet hatte, sich im vorgerückten Alter befindet und gemäss der gutachterlichen Einschätzung vorzugsweise ohne Zeit- und Leistungsdruck arbeiten sollte. Diese Umstände rechtfertigen entgegen der Auffassung der Vorinstanz einen Abzug vom Tabellenlohn von 10 %, wie ihn bereits die IV-Stelle in ihrer Verfügung vorgenommen hat. Daraus ergibt sich ein Invalideneinkommen von Fr. 55'048.05 (10 % = Fr. 6'116.45). Bei einem Invalideneinkommen von Fr. 55'048.05 resultiert ein Invaliditätsgrad, der über 40 % liegt, aber nicht mindestens 50 % erreicht, selbst wenn man mit dem Beschwerdeführer von seiner Berechnung des Valideneinkommens ausgeht. Es kann demzufolge neben den formellen Rügen offenbleiben, wie es sich mit den geltend gemachten Lohnzuschlägen verhält. Die Verfügung der IV-Stelle vom 16. Mai 2011 ist daher rechtmässig mit der Folge, dass der Beschwerdeführer ab 1. Juni 2011 Anspruch auf eine Viertelsrente hat.
5.
Die unterliegende IV-Stelle hat die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu entrichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 7. Februar 2014 aufgehoben mit der Feststellung, dass der Beschwerdeführer ab 1. Juni 2011 Anspruch auf eine Viertelsrente der Invalidenversicherung hat. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der IV-Stelle des Kantons Zürich auferlegt.
3.
Die Beschwerdegegnerin hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'800.- zu bezahlen.
4.
Das Sozialversicherungsgericht des Kantons Zürich hat die Gerichtskosten und die Parteientschädigung für das vorangegangene Verfahren neu festzusetzen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. September 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Nussbaumer