Sachverhalt:
A. A.a Der 1964 geborene, zuletzt bis März 2003 als Gartenbauarbeiter tätig gewesene S._ meldete sich im September 2003 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte ein MEDAS-Gutachten vom 4. Oktober 2004 ein. Mit Verfügung vom 2. Dezember 2004 und Einspracheentscheid vom 24. Januar 2005 verneinte sie einen Rentenanspruch mit der Begründung, der Invaliditätsgrad betrage lediglich 38 %. Das wurde vom Sozialversicherungsgericht des Kantons Zürich mit rechtskräftigem Entscheid vom 21. September 2005 bestätigt.
A.b Im Juli 2008 ersuchte S._ unter Hinweis auf eine gesundheitliche Verschlechterung erneut um eine Invalidenrente. Die IV-Stelle des Kantons Zürich trat auf die Neuanmeldung ein und holte nebst weiteren Arztberichten ein polydisziplinäres medizinisches Gutachten des Instituts X._ vom 19. September 2009 ein. Der Versicherte legte die von ihm veranlasste interdisziplinäre Expertise des Instituts Y._, vom 9. Februar 2011 auf. Mit Verfügung vom 15. April 2011 verneinte die IV-Stelle erneut einen Rentenanspruch, da der Invaliditätsgrad unter 40 % liege.
B. Die von S._ hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. Januar 2013 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ die Aufhebung des kantonalen Entscheids beantragen und sein vorinstanzliches Begehren auf Zusprechung einer ganzen Invalidenrente ab 1. Juli 2009 erneuern.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Das kantonale Gericht hat im angefochtenen Entscheid, auf den verwiesen wird, die Bestimmungen und Grundsätze zum nach dem Grad der Invalidität abgestuften Anspruch auf eine Invalidenrente, insbesondere auch bei psychischen Leiden, zutreffend dargelegt. Dasselbe gilt hinsichtlich der Voraussetzungen für die Zusprechung einer Invalidenrente im Rahmen einer Neuanmeldung nach vorgängiger rechtskräftiger Verneinung eines Rentenanspruchs. Danach ist, analog zur Rentenrevision (Art. 17 Abs. 1 ATSG), eine anspruchsrelevante Änderung der tatsächlichen Verhältnisse erforderlich. Ob eine solche Änderung eingetreten ist, beurteilt sich durch Vergleich des Sachverhalts im Zeitpunkt der letzten, auf einer materiellen Prüfung beruhenden, rechtskräftigen Verfügung, mit welcher eine Rente verweigert wurde, resp. des diese Verfügung bestätigenden Einspracheentscheids, mit dem Sachverhalt zur Zeit der auf die Neuanmeldung hin ergangenen Verfügung (BGE 133 V 108; 130 V 71).
3. Streitig und zu prüfen ist, ob sich in der Zeit zwischen dem Einspracheentscheid vom 24. Januar 2005 und der Verfügung vom 15. April 2011 eine anspruchsrelevante Änderung der tatsächlichen Verhältnisse ergeben hat. Als solche Änderung steht eine Verschlechterung des Gesundheitszustandes und damit verbunden der Arbeits- und Erwerbsfähigkeit zur Diskussion.
3.1 Die Vorinstanz hat erkannt, im Einspracheentscheid vom 24. Januar 2005 sei ein Rentenanspruch gestützt auf die Diagnose eines chronischen lumbovertebralen bis lumbospondylogenen Syndroms und auf eine attestierte Arbeitsfähigkeit von 100 % in einer leidensangepassten Tätigkeit gemäss MEDAS-Gutachten vom 4. Oktober 2004 verneint worden. Die in der MEDAS-Expertise ebenfalls diagnostizierte leichte depressive Episode habe sich nicht auf die Arbeitsfähigkeit ausgewirkt. Aktuell bestehe aus rheumatologischer und neurologischer Sicht nach wie vor eine 100 %ige Arbeitsfähigkeit in einer leidensangepassten Tätigkeit. Zu prüfen sei, ob sich seit dem Einspracheentscheid vom 24. Januar 2005 in psychischer Hinsicht eine Veränderung ergeben habe und deswegen nunmehr ein Rentenanspruch zu bejahen sei. Dabei könne als erstes festgestellt werden, dass auffällige akzentuierte Persönlichkeitszüge vorlägen, welche indessen die Arbeitsfähigkeit nicht beeinträchtigten.
Diese Erwägungen sind nicht umstritten.
3.2 Das kantonale Gericht hat sodann eine die Arbeitsfähigkeit einschränkende depressive Störung verneint. Diese Beurteilung beruht auf einer sorgfältigen Würdigung der medizinischen Akten. Die Vorinstanz hat einlässlich dargelegt, weshalb sie diesbezüglich das Gutachten des Instituts X._ vom 19. September 2009, in welchem eine solche Störung verneint wird, für überzeugend erachtet. Sie hat sich auch mit den übrigen medizinischen Akten auseinandergesetzt und begründet, weshalb sie sich, soweit diese eine abweichende Auffassung enthalten, dadurch nicht zu einer anderen Betrachtungsweise veranlasst sieht.
In der Beschwerde wird nichts vorgebracht, was diese Sachverhaltsfeststellungen als offensichtlich unrichtig oder in anderer Weise rechtswidrig erscheinen liesse. Daran ändern auch die Interpretationen einzelner Passagen in medizinischen Akten und in den vorinstanzlichen Erwägungen nichts. Das Abstellen auf die Expertise des Instituts X._ ist nachvollziehbar begründet und im Rahmen der eingeschränkten Kognition nicht zu beanstanden.
3.3 Die Vorinstanz ist im Weiteren zum Ergebnis gelangt, die umstrittene Frage, ob eine somatoforme Schmerzstörung vorliege, müsse nicht abschliessend beantwortet werden. Denn jedenfalls wären die Voraussetzungen nicht erfüllt, um diese als invalidisierend betrachten zu können.
3.3.1 Nach der Rechtsprechung begründet eine diagnostizierte anhaltende somatoforme Schmerzstörung, wie jede andere psychische Beeinträchtigung, als solche noch keine Invalidität. Vielmehr besteht eine Vermutung, dass die somatoforme Schmerzstörung oder ihre Folgen mit einer zumutbaren Willensanstrengung überwindbar sind. Bestimmte Umstände, welche die Schmerzbewältigung intensiv und konstant behindern, können den Wiedereinstieg in den Arbeitsprozess unzumutbar machen, weil die versicherte Person alsdann nicht über die für den Umgang mit den Schmerzen notwendigen Ressourcen verfügt. Ob ein solcher Ausnahmefall vorliegt, entscheidet sich im Einzelfall anhand verschiedener Kriterien. Im Vordergrund steht die Feststellung einer psychischen Komorbidität von erheblicher Schwere, Ausprägung und Dauer. Massgebend sein können auch weitere Faktoren, so: chronische körperliche Begleiterkrankungen; ein mehrjähriger, chronifizierter Krankheitsverlauf mit unveränderter oder progredienter Symptomatik ohne länger dauernde Rückbildung; ein sozialer Rückzug in allen Belangen des Lebens; ein verfestigter, therapeutisch nicht mehr beeinflussbarer innerseelischer Verlauf einer an sich missglückten, psychisch aber entlastenden Konfliktbewältigung (primärer Krankheitsgewinn; "Flucht in die Krankheit"); das Scheitern einer konsequent durchgeführten ambulanten oder stationären Behandlung (auch mit unterschiedlichem therapeutischem Ansatz) trotz kooperativer Haltung der versicherten Person. Je mehr dieser Kriterien zutreffen und je ausgeprägter sich die entsprechenden Befunde darstellen, desto eher sind - ausnahmsweise - die Voraussetzungen für eine zumutbare Willensanstrengung zu verneinen (BGE 130 V 352; 131 V 49).
Bei der bundesgerichtlichen Beurteilung, ob die Vorinstanz eine invalidisierende Schmerzstörung zu Recht verneint hat, gilt kognitionsrechtlich Folgendes: Zu den vom Bundesgericht nur eingeschränkt überprüfbaren Tatsachenfeststellungen zählt zunächst, ob eine anhaltende somatoforme Schmerzstörung (oder ein damit vergleichbarer syndromaler Zustand) vorliegt, und bejahendenfalls sodann, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern. Als Rechtsfrage frei überprüfbar ist, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (BGE 137 V 64 E. 1.2 S. 66 mit Hinweis).
3.3.2 Gemäss dem angefochtenen Entscheid liegen von den relevanten Kriterien nur die des chronifizierten Krankheitsverlaufs und des sozialen Rückzug vor.
Die Verneinung der übrigen Kriterien wird im angefochtenen Entscheid überzeugend begründet. Hervorzuheben ist, dass wie dargelegt keine wesentliche depressive Erkrankung vorliegt und eine solche daher entgegen der in der Beschwerde vertretenen Auffassung auch nicht zur Begründung des Kriteriums der psychischen Komorbidität herangezogen werden könnte. Die vom Versicherten geltend gemachten Kriterien der körperlichen Begleiterkrankungen, der Konfliktbewältigung und der gescheiterten Behandlung hat das kantonale Gericht ebenfalls, unter Berücksichtigung auch des aktenkundigen Verhaltens des Beschwerdeführers, in nicht offensichtlich unrichtiger Weise für nicht erfüllt erachtet. Die Vorbringen des Versicherten rechtfertigen keine andere Betrachtungsweise.
3.3.3 Die Vorinstanz hat sodann erkannt, demnach seien die relevanten Kriterien nicht in genügender Weise gegeben, um eine Schmerzstörung gegebenenfalls als unüberwindbar zu betrachten. Diese Würdigung ist nicht zu beanstanden. Es liegt somit keine invalidisierende Schmerzstörung vor.
3.4 Zusammenfassend gelangte das kantonale Gericht zum Ergebnis, es liege somit auch in psychischer Hinsicht keine rentenrelevante Verschlechterung des Gesundheitszustandes vor. Die IV-Stelle habe einen Rentenanspruch daher zu Recht verneint.
Diese Beurteilung ist nach dem Gesagten rechtmässig. Das führt zur Abweisung der Beschwerde.
4. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Mai 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz