Sachverhalt: A. Der 1958 geborene H._ bezog gestützt auf die Verfügung der IV-Stelle des Kantons Zürich vom 12. Juni 2001 aufgrund eines psychischen Leidens ab Februar 1999 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente (nebst Zusatz- und Kinderrenten) der Invalidenversicherung. Im Rahmen eines im Juli 2009 eingeleiteten Revisionsverfahrens holte die IV-Stelle ein medizinisches Gutachten des ärztlichen Abklärungszentrums X._ vom 26. April 2010 ein. Mit Schreiben vom 20. Mai 2010 teilte die Verwaltung H._ mit, sie beabsichtige die weitere Ausrichtung einer ganzen Rente. Der Versicherte werde aber im Rahmen seiner Schadenminderungspflicht aufgefordert, sich zur Verbesserung der Arbeitsfähigkeit einer - von den Experten des ärztlichen Abklärungszentrums X._ empfohlenen - intensiven, engmaschigen, psychiatrischen Behandlung mit Anbindung an eine Tagesklinik oder eine vollstationäre Behandlung zu unterziehen. Sollte er dies nicht tun, was mit amtlicher Revision per 2011 überprüft werde, werde der Rentenanspruch so beurteilt, wie wenn die Behandlung stattgefunden hätte. Das könnte zur Einstellung oder Kürzung der Rente nach Art. 21 Abs. 4 ATSG führen. Am 24. Mai 2010 teilte die IV-Stelle H._ mit, die bisherige Rente werde weiter ausgerichtet. Im Jahr 2011 leitete die Verwaltung ein Revisionsverfahren ein und traf Abklärungen insbesondere auch dazu, ob die angewiesene Behandlung stattgefunden habe. Sie gelangte zum Ergebnis, dies treffe nicht zu. Der Rentenanspruch sei demnach wie angekündigt neu zu beurteilen. Bei dem resultierenden Invaliditätsgrad von nurmehr 55 % bestehe noch Anspruch auf eine halbe Invalidenrente. Die bisherige ganze Rente werde per 1. März 2012 entsprechend herabgesetzt (Verfügung vom 26. Januar 2012). B. Die von H._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 26. November 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt H._ beantragen, der vorinstanzliche Entscheid sei aufzuheben und die IV-Stelle sei anzuweisen, ab 1. März 2012 bei einem Invaliditätsgrad von 100 % weiterhin ganze Invalidenrenten zuzusprechen.