Sachverhalt:
A.
Der 1949 geborene A._, zuletzt als Büromaschinen-Servicetechniker in einem Pensum von 80 % und als Hauswart im Umfang von 20 % tätig, erhielt von der IV-Stelle des Kantons Zürich mit Verfügung vom 7. November 2013 eine Viertelsrente ab 1. Juni 2013 zugesprochen.
B.
Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde des A._ mit Entscheid vom 18. September 2015 ab. Entsprechend dem von der IV-Stelle in der Vernehmlassung gestellten Antrag auf eine reformatio in peius hob es die Verfügung vom 7. November 2013 auf und stellte fest, es bestehe kein Anspruch auf eine Invalidenrente.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt unter Aufhebung des vorinstanzlichen Entscheides sowie der Verfügung vom 7. November 2013 die Zusprechung einer ganzen Rente ab dem 1. Juni 2013.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2. Tatsächlicher Natur und somit nur eingeschränkt überprüfbar sind die Feststellungen zum Gesundheitszustand einer versicherten Person und der daraus resultierenden Arbeits (un) fähigkeit, die das Sozialversicherungsgericht gestützt auf medizinische Untersuchungen trifft (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsfrage ist, nach welchen Gesichtspunkten die Entscheidung über die Verwertbarkeit der Restarbeitsfähigkeit erfolgt (Urteil 9C_190/2009 vom 11. Mai 2009 E. 3.3).
2.
2.1. Der Beschwerdeführer bringt unter Verweis auf E. 5.6 des Urteils H 161/06 vom 6. August 2007 (nicht publiziert in <ref-ruling>) vor, eine reformatio in peius sei nur mit grösster Zurückhaltung anzuwenden. Von diesem Grundsatz sei das kantonale Sozialversicherungsgericht abgewichen. In ihrer Verfügung vom 7. November 2013 sei die IV-Stelle von einer gesundheitlich bedingten Auflösung des Arbeitsverhältnisses ausgegangen. Erst im vorinstanzlichen Verfahren habe sie vorgebracht, die Kündigung sei aus betriebsinternen Gründen erfolgt, weshalb für die Ermittlung des Valideneinkommens auf die Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) abgestellt werden müsse. Dieses Verhalten verdiene keinen Rechtsschutz.
2.2. Die IV-Stelle berechnete den Invaliditätsgrad von 41 % aufgrund der tatsächlichen Verhältnisse bei Rentenbeginn am 1. Juni 2013 (vgl. <ref-ruling> E. 3b/aa S. 76). Dies ergab ein Valideneinkommen von Fr. 83'325.- (Fr. 68'901.- [80 % Servicetechniker] + Fr. 14'424.- [20 % Hauswart]). Da der Beschwerdeführer weiterhin zu 50 % in seinem angestammten Beruf entsprechend der ärztlich attestierten Arbeitsfähigkeit tätig war, rechnete sie für das Invalideneinkommen Fr. 48'875.- (Fr. 34'450.- [50 % von Fr. 68'901.-] + Fr. 14'424.- [Nebenerwerb]) an. Indessen hatte der Beschwerdeführer das Arbeitsverhältnis als Servicetechniker am 26. März 2013 per 30. Juni 2013 gekündigt. Ungeachtet des Grundes für diesen Schritt war das Invalideneinkommen somit ab 1. Juli 2013 auf statistischer Grundlage festzulegen (vgl. dazu <ref-ruling> E. 2.3 S. 593 f.; Urteil 9C_394/2015 vom 27. Oktober 2015 E. 3.1.3). Dasselbe hat für Juni 2013 zu gelten, da der Beschwerdeführer seine Restarbeitsfähigkeit am alten Arbeitsplatz nicht voll ausgeschöpft hatte (vgl. Urteil 8C_448/2015 vom 29. Dezember 2014 E. 4.2). Leidensadaptiert wäre ihm nebst seiner Tätigkeit als Hauswart (20 %) ein Pensum von 80 % zuzumuten gewesen. Damit hätte er, wie das kantonale Sozialversicherungsgericht feststellte, anstelle des tatsächlichen Verdienstes von insgesamt Fr. 48'875.- ein Einkommen von Fr. 64'699.15 erzielen können, was - insoweit unbestritten - keinen rentenrelevanten Invaliditätsgrad ergab, unabhängig davon, ob das Valideneinkommen ebenfalls auf tabellarischer Grundlage zu ermitteln war oder nicht (vgl. auch nachstehende E. 3). Damit sind die Voraussetzungen nach Art. 61 lit. d ATSG erfüllt und die Vorinstanz durfte zu Ungunsten des Beschwerdeführers einen Rentenanspruch ab 1. Juni 2013 verneinen.
3.
Weiter rügt der Beschwerdeführer eine willkürliche Sachverhaltsfeststellung, indem die Vorinstanz von einer nicht gesundheitlich bedingten Kündigung ausgegangen sei. Diese Frage kann indessen mit Blick auf E. 5.3.3 i.V.m. E. 5.3.1 des angefochtenen Entscheids offengelassen werden. Das kantonale Sozialversicherungsgericht berechnete den Invaliditätsgrad im Sinne einer Eventualbegründung für den Fall, dass die Kündigung aus gesundheitlichen Gründen erfolgt wäre und das Valideneinkommen dementsprechend dem tatsächlich erzielten Lohn vor Eintritt des Gesundheitsschadens entsprechen würde. Im Ergebnis resultierte ab 1. Juni 2013 auch diesfalls kein Invaliditätsgrad von mindestens 40 %. Weiterungen hierzu erübrigen sich.
4.
Schliesslich bestreitet der Beschwerdeführer die Verwertbarkeit seiner Resterwerbsfähigkeit. Zur Begründung führt er im Wesentlichen sein Alter und die kurze verbliebene Einarbeitungszeit an.
4.1.
4.1.1. Der Einfluss des Lebensalters auf die Möglichkeit, das verbliebene Leistungsvermögen auf dem ausgeglichenen Arbeitsmarkt zu verwerten, lässt sich nicht nach einer allgemeinen Regel bemessen, sondern hängt von den Umständen des Einzelfalls ab. Massgebend können die Art und Beschaffenheit des Gesundheitsschadens und seiner Folgen, der absehbare Umstellungs- und Einarbeitungsaufwand und in diesem Zusammenhang auch Persönlichkeitsstruktur, vorhandene Begabungen und Fertigkeiten, Ausbildung, beruflicher Werdegang oder Anwendbarkeit von Berufserfahrung aus dem angestammten Bereich sein (<ref-ruling> E. 3.1 S. 460; Urteile 9C_153/2011 vom 22. März 2012 E. 3.1; 9C_918/2008 vom 28. Mai 2009 E. 4.2.2 mit Hinweisen). Somit hängt die Verwertbarkeit nicht zuletzt davon ab, welcher Zeitraum der versicherten Person für eine berufliche Tätigkeit und vor allem auch für einen allfälligen Berufswechsel noch zur Verfügung steht (<ref-ruling> E. 3.2 S. 460).
4.1.2. Das Bundesgericht hat etwa bei einem 62 3/4-jährigen Versicherten, welcher nur noch vorwiegend sitzende oder wechselbelastende Arbeiten ausführen konnte, an den oberen Extremitäten aber nicht beeinträchtigt war und somit feinmotorische Tätigkeiten trotz fehlender diesbezüglicher Erfahrung in Form von Sortier- und Überwachungsarbeiten möglich waren, die Verwertbarkeit bejaht (Urteil 8C_345/2013 vom 10. September 2013 E. 4.3.3). Auch bei einem 61 Jahre alten Versicherten, der leichte Tätigkeiten nur noch vorwiegend sitzend aber vollzeitlich verrichten konnte und in seiner Feinmotorik nicht beeinträchtigt war, erachtete es die Chancen auf eine Anstellung als intakt (Urteil 8C_330/2015 vom 19. August 2015 E. 3.2).
Demgegenüber verneinte das Bundesgericht die Verwertbarkeit der Restarbeitsfähigkeit eines 64 1/2-jährigen Versicherten, der zwar noch leichte, in Wechselpositionen ausführbare Tätigkeiten ohne Heben schwerer Lasten ausführen konnte, aber für feinmotorische Arbeiten keine Fertigkeiten und keinerlei berufliche Erfahrungen mitbrachte (Urteil 9C_979/2009 vom 10. Februar 2010 E. 4 und 5). Als unverwertbar erachtet wurde auch die 50%ige, durch verschiedene Auflagen zusätzlich limitierte Leistungsfähigkeit eines knapp 64-jährigen Versicherten mit multiplen, die Arbeitsfähigkeit einschränkenden Beschwerden (Urteil des Eidg. Versicherungsgerichts I 401/01 vom 4. April 2002 E. 4c und d), ebenso die 50%ige Arbeitsfähigkeit einer im 64. Altersjahr und rund zehn Monate vor dem Erreichen des AHV-Alters stehenden Versicherten (Urteil 9C_153/2011 vom 22. März 2012 E. 3.3). Einem im demselben Altersjahr stehenden Versicherten (acht Monate vor der Pensionierung), der neun Jahre ohne Arbeit war und seit mehr als fünf Jahren eine Teilrente bezog und daneben noch zu 50 % arbeitsfähig war, sprach das Bundesgericht ebenfalls die Verwertbarkeit der Restarbeitsfähigkeit ab (Urteil 9C_145/2011 vom 30. Mai 2011 E. 3.4).
4.2. Die Vorinstanz hat für das Bundesgericht grundsätzlich verbindlich (vgl. E. 1.1 hievor) festgestellt, der Versicherte sei im massgeblichen Zeitpunkt 63.5 Jahre alt gewesen. Ferner sei er in einer angepassten Tätigkeit zu 100 % arbeitsfähig, wobei das Belastungsprofil nur in sehr geringem Masse eingeschränkt sei, soll er doch lediglich ein Heben von Lasten über 10 kg vermeiden und eher sitzende Arbeiten verrichten. Zudem spreche der Beschwerdeführer sowohl italienisch als auch deutsch. In seinem angestammten Beruf als Servicetechniker für Büromaschinen habe er im Aussendienst gearbeitet, wobei er nebst technischen Kenntnissen auch den Umgang mit Kunden erlernt habe. Daneben sei der Versicherte in einem Pensum von 20 % als Hauswart tätig und somit nie vom Arbeitsmarkt abwesend gewesen. Gestützt darauf kam das kantonale Sozialversicherungsgericht zum Schluss, dass der Beschwerdeführer seine Restarbeitsfähigkeit auf dem Weg der Selbsteingliederung verwerten könne.
4.3. Es trifft zwar zu, dass der Beschwerdeführer nicht leicht vermittelbar war und ihm - ab feststehender Zumutbarkeit der (Teil-) Erwerbstätigkeit (vgl. <ref-ruling> E. 3.3 S. 462) - lediglich noch 1 1/2 Jahre bis zum Erreichen des AHV-Alters verblieben. Indessen ist zu berücksichtigen, dass er in einer leidensadaptierten Tätigkeit vollschichtig arbeitsfähig war und nur leichte zusätzliche Einschränkungen hatte (Heben nicht über 10 kg und vorwiegend sitzende Arbeiten). Insbesondere war er feinmotorisch nicht beeinträchtigt. Angesichts des erworbenen Handelsdiploms, seiner Sprachkenntnisse sowie der Berufserfahrung hätte er nebst Sortier- und Überwachungsaufgaben auch einfache Bürotätigkeiten ausführen können. Im Lichte der Rechtsprechung (vgl. E. 4.1 hievor) und angesichts der relativ hohen Hürden betreffend die Unverwertbarkeit der Restarbeitsfähigkeit auch älterer Menschen verletzte die Vorinstanz kein Bundesrecht, wenn sie einen invalidenversicherungsrechtlich erheblich erschwerten Zugang des Beschwerdeführers zum Arbeitsmarkt verneinte. Die Beschwerde ist unbegründet.
5.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Dezember 2015
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Der Gerichtsschreiber: Trütsch