Sachverhalt:
A.
Der 1953 geborene M._ ist diplomierter Pflegefachmann. Er war zuletzt ab August 2003 als Krankenpfleger auf einer privaten Dialysestation tätig. Am 15. Januar 2007 prallte in einem Kreisel ein Personenwagen in das Hinterrad des von M._ gelenkten Fahrrads. M._ stürzte und zog sich Verletzungen zu. Im Juni 2008 meldete er sich unter Hinweis auf verschiedene, seit dem Unfall bestehende gesundheitliche Beschwerden (insbesondere kognitive Defizite) bei der Invalidenversicherung zum Rentenbezug an. Im Februar 2009 kündigte der Arbeitgeber das Anstellungsverhältnis. Die IV-Stelle zog die Akten des für den Unfall zuständigen obligatorischen Unfallversicherers bei und holte, nebst weiteren Arztberichten, ein polydisziplinäres medizinisches Gutachten des Medizinischen Zentrums X._ vom 12. Dezember 2010 (mit Ergänzung vom 18. April 2011) ein. Mit Verfügung vom 4. Juli 2007 (recte: 2011) verneinte sie einen Rentenanspruch, da keine Invalidität bestehe.
B.
Die vom Versicherten hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. März 2013 ab.
C.
M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des vorinstanzlichen Entscheides sei die Verwaltung zu verpflichten, eine ganze Invalidenrente auszurichten; eventuell sei ein gerichtliches Gutachten zur Abklärung der Arbeitsfähigkeit in Auftrag zu geben.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Demgegenüber zählt die unvollständige Feststellung rechtserheblicher Tatsachen zu den Rechtsverletzungen im Sinne von <ref-law> (<ref-ruling> E. 1.4 S. 68 mit Hinweis).
2.
Mit der Beschwerde werden neu zwei Fotografien aufgelegt. Diese können, da nicht erst der angefochtene Entscheid Anlass zu ihrer Einreichung gegeben hat, als unzulässige neue Beweismittel nicht berücksichtigt werden (<ref-law>).
3.
Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente. Dieser setzt eine Invalidität von mindestens 40 % voraus (<ref-law>). Invalidität ist die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit (<ref-law>). Erwerbsunfähigkeit ist der durch Beeinträchtigung der körperlichen, geistigen oder psychischen Gesundheit verursachte und nach zumutbarer Behandlung und Eingliederung verbleibende ganze oder teilweise Verlust der Erwerbsmöglichkeiten auf dem in Betracht kommenden ausgeglichenen Arbeitsmarkt (<ref-law>). Für die Beurteilung des Vorliegens einer Erwerbsunfähigkeit sind ausschliesslich die Folgen der gesundheitlichen Beeinträchtigung zu berücksichtigen. Eine Erwerbsunfähigkeit liegt zudem nur vor, wenn sie aus objektiver Sicht nicht überwindbar ist (<ref-law>). Die Invalidität (<ref-law>) kann Folge von Geburtsgebrechen, Krankheit oder Unfall sein (<ref-law>).
4.
Als gegebenenfalls rentenbegründende Beschwerden stehen neuropsychologische Funktionsstörungen resp. kognitive Defizite zur Diskussion.
4.1. Das kantonale Gericht hat im Wesentlichen erwogen, entsprechende Beschwerden seien im Rahmen klinischer Untersuchungen dokumentiert und auch durch drittanamnestische Angaben in den medizinischen Akten bestätigt worden. Die Neuropsychologin Frau Dr. phil. W._ betrachte diese Defizite als authentisch. Demgegenüber seien die Gutachter des Medizinischen Zentrums X._ der Auffassung, es handle sich um eine bewusstseinsnahe, demonstrative Darbietung von Einschränkungen und Beschwerden. Aufgrund der neuropsychologischen Befunde lasse sich weder das eine noch das andere ausschliessen. Welche Auffassung zutreffe, könne indessen offen bleiben. Denn ein Schädel-Hirntrauma oder eine andere unfallbedingte organische Schädigung lasse sich neurologisch-fachärztlich nicht objektivieren und eine Krankheit oder ein Geburtsgebrechen werde nicht diagnostiziert. Eine invalidisierende Gesundheitsschädigung sei nur möglich, aber, weil eine nicht invalidisierende psychogene Ursache der Beschwerden genauso gut möglich sei, nicht überwiegend wahrscheinlich.
4.2. Der Beschwerdeführer macht namentlich geltend, die Vorinstanz habe den Sachverhalt unvollständig festgestellt. Die neuropsychologischen Funktionsstörungen seien gemäss verschiedenen medizinischen Akten verifiziert worden und auch organisch begründbar. Das Gutachten des Medizinischen Zentrums X._ sei aus verschiedenen Gründen nicht beweiswertig.
4.3. In den medizinischen Akten finden sich zur Frage neuropsychologischer Defizite im Wesentlichen folgende Aussagen:
4.3.1. Der Hausarzt überwies den Beschwerdeführer am 9. Februar 2007 mit Hinweis u.a. auf rechtsseitige Kopfschmerzen an den Neurologen Dr. med. R._. Dieser diagnostizierte im Bericht vom 19. Februar 2007 ein posttraumatisches cervico-cephales Schmerzsyndrom bei Status nach Velounfall mit commotio cerebri. Dr. med. R._ erwähnte dabei auch, dass der Beschwerdeführer über Nacken- und Kopfschmerzen sowie Konzentrations- und Gedächtnisschwierigkeiten klage. Im Bericht vom 9. Januar 2008 diagnostizierte der Neurologe einen Status nach Velounfall mit commotio cerebri, posttraumatischem cervico-cephalem Schmerzsyndrom sowie dringendem Verdacht auf minimale Hirnschädigung mit Anosmie, leichter peripherer Facialisparese links, leichter motorischer Störung der rechten Hand sowie Verdacht auf neuropsychologische Defekte. Dr. med. R._ veranlasste eine Untersuchung bei der Neuropsychologin Dr. med. W._. Diese schloss im Bericht vom 17. März 2008 gestützt auf die von ihr durchgeführten Testungen auf eine leichte bis mittelschwere neuropsychologische Funktionsstörung nach commotio cerebri anlässlich Velounfall. Der Versicherte arbeite seit April 2007 wieder zu 75 %. Das Leistungsvermögen entspreche noch bei weitem nicht dem vor dem Unfall. Wegen ständiger Erschöpfung habe eine erneute Rückstufung auf 50 % stattgefunden. Die neuropsychologische Funktionsstörung nahm der Hausarzt in seinen Berichten vom 3. April und 2. Juli 2007 auf. Der Beschwerdeführer sei derzeit zu 50 % tätig, wobei die Arbeit durch Entgegenkommen des Arbeitgebers bereits behinderungsangepasst sei. Dr. med. R._ erachtete gemäss Bericht vom 3. Juli 2008 13 - 14 Arbeitsstunden pro Woche als zumutbar.
4.3.2. Im polydisziplinären medizinischen Gutachten des Begutachtungsinstituts Z._ vom 26. März 2009, welches der für den Unfall vom 15. Januar 2007 zuständige Unfallversicherer eingeholt hat, wird festgehalten, in der neuropsychologischen Untersuchung hätten sich klinisch wie auch testpsychologisch erhebliche Auffälligkeiten ergeben. Es bestehe aber bis dato kein objektiver Anhaltspunkt dafür, dass durch den Unfall vom 15. Januar 2007 eine Hirnschädigung eingetreten sei. Viele Faktoren sprächen für eine psychische Fehlverarbeitung.
Hiezu ist zu erwähnen, dass nach der Begutachtung am Begutachtungsinstitut Z._ die Frage aufgeworfen wurde, ob gegen den neuropsychologischen Experten ein Ausstandsgrund bestehe. Diese Frage bildete im Verfahren betreffend Leistungen der Unfallversicherung Gegenstand eines bundesgerichtlichen Rückweisungsentscheids (Urteil 8C_781/2010 vom 15. März 2011). Das Ergebnis dieser Rückweisung an das kantonale Gericht ist nicht aktenkundig.
4.3.3. Der zuständige Krankentaggeldversicherer holte ein neurologisches Gutachten des Dr. med. S._ vom 19. Oktober 2009 und ein psychiatrisches Gutachten des Dr. med. B._ vom 12. Januar 2010 ein. Der Neurologe äusserte sich dahingehend, im Vordergrund stünden Störungen der kognitiven Funktionen: verminderte Kognitionsfähigkeit, Beeinträchtigung der geteilten Aufmerksamkeit, verlangsamte kognitive Verarbeitungsgeschwindigkeit und damit ein reduziertes Arbeitstempo sowie verminderte Umstellungsfähigkeit. Die kognitive und physische Belastbarkeit sei reduziert. Ferner bestehe eine verlangsamte Informationsaufnahme und -verarbeitung. Eine umfassende neuropsychologische Exploration habe auf eine leichte bis mittelschwere kognitive Funktionsstörung hingewiesen. Es handle sich um Dysfunktionen in den frontalen Strukturen. Die deutliche Minderung der intellektuellen Fähigkeiten behindere den Versicherten in allen Aktivitäten, insbesondere bei der Ausübung seines Berufs als Krankenpfleger. Die Wiederaufnahme dieser Tätigkeit sei, namentlich aufgrund der deutlichen Beeinträchtigung der kognitiven Funktionen, nicht möglich. Gleiches gelte zur Zeit auch für die Aufnahme einer anderen Tätigkeit. Vor allem die kognitive Verlangsamung, die Ermüdung und die erschwerte geteilte Aufmerksamkeit reduzierten das Leistungsvermögen stark. Dr. med. B._ äusserte sich in der Expertise vom 12. Januar 2010 dahingehend, die neurologische Einschätzung der Dres. med. S._ und R._ überzeuge. Der Psychiater gelangte sodann zum Ergebnis, die neurokognitive Problematik stehe eindeutig im Vordergrund und müsse in einen Zusammenhang mit einem organischen Psychosyndrom nach Schädel-Hirntrauma gebracht werden. Eine psychogene Ursache dieser kognitiven Beeinträchtigungen sei unwahrscheinlich. In Übereinstimmung mit Dr. med. S._ sei als undenkbar zu betrachten, dass der Beschwerdeführer mit der deutlichen Einschränkung der neurokognitiven Funktionen den Beruf eines Krankenpflegers weiter ausüben könne. In Anbetracht der neuropsychologischen Beeinträchtigung bestünden auch grosse Zweifel daran, ob der Versicherte einen anderen Beruf ausüben könnte.
4.3.4. Im polydisziplinären (u.a. neurologisch, neuropsychologisch und psychiatrisch) Gutachten des Medizinischen Zentrums X._ vom 12. Dezember 2010 gelangten die Experten zum Ergebnis, die beklagten Konzentrationsstörungen, die Ermüdbarkeit und die Vergesslichkeit seien somatisch-neurologisch in keiner Weise zu erklären. Dementsprechend seien die diesbezüglich geklagten Symptome und der hier erhobene Befund am ehesten im Sinne einer bewusstseinsnahen demonstrativen Darbietung von Einschränkungen und Beschwerden zu interpretieren. Eine neurologisch bedingte Arbeitsunfähigkeit sei nicht zu begründen. Die neuropsychologische Expertin schloss auf ein Aggravationsverhalten des Beschwerdeführers bei den Testungen. Die Ergebnisse der Leistungstests könnten daher inhaltlich nicht ausgewertet werden. Sie lieferten wegen mangelnder Mitarbeit keine verwertbaren neuropsychologischen Befunde, da sie wahrscheinlich nicht das effektiv vorhandene kognitive Leistungsniveau abbildeten. Unter diesen Umständen bestehe anderseits auch das Risiko, dass tatsächliche und spezifische kognitive Defizite differentialdiagnostisch nicht festgestellt werden könnten. Der psychiatrische Gutachter äusserte sich dahingehend, das Störungsbild lasse sich mit keiner psychiatrischen Erkrankung erklären. Eine psychisch bedingte Einschränkung der Arbeitsfähigkeit lasse sich somit nicht begründen.
4.3.5. Im Bericht vom 17. März 2011 setzte sich Frau Dr. phil. W._ kritisch mit der neuropsychologischen Begutachtung am Medizinischen Zentrum X._ auseinander. Diese genüge nicht den entsprechenden fachlichen Anforderungen. Beanstandet wird sodann, dass zwar auf das Risiko hingewiesen worden sei, tatsächliche und spezifische Defizite hätten nicht festgestellt werden können. Trotzdem werde in der Schlussbeurteilung des Hauptgutachtens dieses formulierte Risiko nicht erwähnt und es werde von nicht-authentischen Störungen ausgegangen.
4.3.6. Die Gutachten S._ und B._ sowie der Bericht W._ vom 17. März 2011 lagen den Experten des Medizinischen Zentrums X._ bei der Begutachtung noch nicht vor. Nach Einsicht in diese medizinischen Akten nahmen der internistische Experte und die psychiatrische Gutachterin mit Schreiben vom 18. April 2011 dazu Stellung. Sie hielten am Gutachten vom 12. Dezember 2010 fest.
4.3.7. Im vorinstanzlichen Verfahren wurde der Bericht von Frau Dr. phil. W._ vom 17. April 2012 aufgelegt. Darin wird festgehalten, die aktuellste Kontrolltestung habe gegenüber 2008 das gleiche Leistungsprofil mit einigen leichten Verbesserungen ergeben. Trotz letzteren treffe die Diagnose einer leichten bis mittelschweren neuropsychologischen Funktionsstörung aber nach wie vor zu.
4.3.8. Zu erwähnen bleibt, dass der frühere Arbeitgeber, selber Arzt, am 14. Februar 2010 bestätigte, der Beschwerdeführer sei bis Juli 2009 bei ihm tätig gewesen. Dieser habe nach dem Unfall von 2007 nie mehr die geforderte Leistung erbringen können. Im Jahr 2008 sei das Pensum auf 37.5 % reduziert worden. Im Januar 2009 habe er als Arbeitgeber dem Versicherten nahe legen müssen, sich voll krank schreiben zu lassen.
4.4. Die Beurteilung sozialversicherungsrechtlicher Leistungsansprüche bedarf verlässlicher medizinischer Entscheidsgrundlagen (<ref-ruling> E. 5.1 S. 232). Bei der Beurteilung, ob Anspruch auf eine Invalidenrente besteht, sollen diese dem Versicherungsträger und im Beschwerdefall dem Gericht ermöglichen, zu beurteilen, inwieweit die Arbeitsfähigkeit gesundheitsbedingt beeinträchtigt ist und welche Tätigkeiten noch zumutbar sind (vgl. <ref-ruling> E. 4 S. 99 f. mit Hinweisen; Urteil 8C_661/2012 vom 15. Februar 2013 E. 5.1).
Nach dem zuvor Gesagten liegen von neurologischer, neuropsychologischer und psychiatrischer Seite stark divergierende Aussagen dazu vor, ob authentische neuropsychologische Funktionsstörungen bestehen, welcher Diagnose diese gegebenenfalls zugeordnet werden können und ob sie die Arbeitsfähigkeit beeinträchtigen. Ein entscheidender Gesichtspunkt ist, ob die Funktionsstörungen tatsächlich bestehen oder vorgetäuscht werden. Das kantonale Gericht hat diese, in den medizinischen Akten kontrovers beantwortete Frage offen gelassen und sich darauf beschränkt, gestützt auf die Gutachter des Medizinischen Zentrums X._ eine unfallbedingte organische Schädigung und eine invalidisierende psychische Erkrankung auszuschliessen. Damit ist es nicht getan, zumal die Invalidenversicherung als finale Versicherung auch unfallfremde Beeinträchtigungen zu berücksichtigen hat. Hinzu kommt, dass den Experten des Medizinischen Zentrums X._ bei der Erstellung des Gutachtens vom 12. Oktober 2010 die Expertisen S._ vom 19. Oktober 2009 und B._ vom 12. Januar 2010 sowie der Bericht W._ vom 11. März 2011 noch nicht vorlagen. Zwar erfolgte hiezu noch eine Stellungnahme des Medizinischen Zentrum X._ vom 18. April 2011. Diese wurde aber offensichtlich lediglich vom Internisten und von der Psychiaterin verfasst. Es fehlt namentlich eine Auseinandersetzung aus neurologischer und neuropsychologischer Sicht mit den besagten medizinischen Akten. Damit ist der rechtserhebliche Sachverhalt in medizinischer Sicht unvollständig festgestellt. Es ist ein neurologisches/neuropsychologisches Gutachten einzuholen. Den Experten soll anheim gestellt bleiben, zusätzlich eine psychiatrische Fachperson beizuziehen, sofern sie dies als erforderlich erachten. Die Sache wird für die Einholung dieses Gutachtens und zum neuen Entscheid über die Beschwerde an die Vorinstanz zurückgewiesen.
5.
Als unterliegende Partei hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 18. März 2013 aufgehoben. Die Sache wird zur ergänzenden Abklärung und neuen Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. November 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz