Sachverhalt:
A. Der 1966 geborene, zuletzt als Betriebsangestellter Fahrzeugreinigung bei einem Eisenbahnunternehmen tätig gewesene M._ meldete sich im Oktober 2007 unter Hinweis auf seit 2006 bestehende "Depressionen, Rückenschmerzen, Knieschmerzen, Probleme mit dem Blut, chronische Analfissuren" bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich zog u.a. Berichte der behandelnden Ärzte und des Arbeitgebers bei. Zudem holte sie ein erstes polydisziplinäres medizinisches Gutachten des Instituts B._ vom 2. Juni 2008 und eine psychiatrische Expertise des Dr. med. S._, vom 30. Juli 2009 ein. Im Fortgang des Verfahrens sah sich die Verwaltung sodann veranlasst, das Institut B._ mit einem Verlaufsgutachten zu beauftragen, welches am 21. Februar 2011 (mit Ergänzung vom 1. Juni 2011) erstattet wurde. Mit Verfügungen vom 8. und 20. Juli 2011 sprach die IV-Stelle dem Versicherten rückwirkend ab 1. Februar 2008 bei einem Invaliditätsgrad von 45 % eine Viertelsrente (nebst zwei Kinderrenten) zu.
B. M._ führte Beschwerde auf Zusprechung einer unbefristeten ganzen Rente ab 1. Februar 2008. Er legte hiebei u.a. ein von ihm eingeholtes psychiatrisches Gutachten des Dr. med. A._, vom 24. August 2011 auf. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 29. März 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ die Aufhebung des kantonalen Entscheids beantragen und sein vorinstanzliches Leistungsbegehren erneuern.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2.2.1 S. 389 mit Hinweisen; Urteil 8C_934/2008 vom 17. März 2009 E. 1 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: SVR 2009 UV Nr. 35 S. 120).
2. Streitig und zu prüfen ist, ob der Beschwerdeführer Anspruch auf eine ganze Invalidenrente anstelle der von der Verwaltung zugesprochenen und im angefochtenen Entscheid bestätigten Viertelsrente hat.
Das kantonale Gericht hat im angefochtenen Entscheid, auf den verwiesen wird, die Bestimmungen zu den Begriffen Invalidität (<ref-law> in Verbindung mit <ref-law>) und Erwerbsunfähigkeit (<ref-law> in der seit 1. Januar 2008 geltenden Fassung), zum nach dem Grad der Invalidität abgestuften Anspruch auf eine Invalidenrente (<ref-law> in der bis Ende 2007 in Kraft gestandenen Fassung, seit Anfang 2008: <ref-law>) sowie zur Ermittlung des Invaliditätsgrades mittels Einkommensvergleich (<ref-law> in Verbindung mit <ref-law> in der bis Ende 2007 in Kraft gestandenen Fassung, seit Anfang 2008: <ref-law>) zutreffend dargelegt. Gleiches gilt für die Rechtsprechung zur Aufgabe von Arzt oder Ärztin bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261; vgl. auch <ref-ruling> E. 4 S. 99 f.) sowie zu den Anforderungen an beweiswertige ärztliche Berichte und Gutachten (<ref-ruling> E. 3 S. 352 ff.; vgl. auch <ref-ruling> E. 5.1 S. 232).
3. Die Vorinstanz ist zum Ergebnis gelangt, aus orthopädisch-rheumatologischer und psychiatrischer Sicht könne dem Versicherten die angestammte Tätigkeit nicht mehr zugemutet werden. In einer behinderungsangepassten Tätigkeit hingegen bestehe eine 70%ige Arbeitsfähigkeit.
Dass sich aufgrund somatischer Befunde keine höhergradige Arbeitsunfähigkeit begründen lässt, ist nicht umstritten. Hingegen macht der Versicherte geltend, aus psychischen Gründen gänzlich arbeitsunfähig zu sein.
3.1 Es besteht insofern Einigkeit unter den beteiligten Fachärzten, dass aus psychiatrischer Sicht im Wesentlichen eine rezidivierende Störung im Sinne von depressiven Episoden vorliegt (Gutachten des Instituts B._ vom 2. Juni 2008 und 21. Februar 2011 mit Ergänzungen vom 1. Juni und 21. Dezember 2011; Gutachten S._ vom 30. Juli 2009; Berichte Medizinisches Zentrum X._ u.a. vom 19. Juli 2010; Gutachten A._ vom 24. August 2011).
Hingegen differieren die fachärztlichen Meinungen dazu, ob im für die Invaliditätsbestimmung massgeblichen Zeitraum von einer schweren (Gutachten S._ und A._; Berichte Medizinisches Zentrum X._) oder nur von einer leichten bis mittelgradigen depressiven Episode (beide Expertisen des Instituts B._), mit entsprechend unterschiedlichen Auswirkungen auf die Arbeitsfähigkeit (völlige Arbeitsunfähigkeit resp. 70 % Arbeitsfähigkeit in angepassten Tätigkeiten), auszugehen ist.
3.2 Das kantonale Gericht hat erkannt, es sei, auch bezüglich Schweregrad der psychischen Störung und deren Auswirkungen auf die Arbeitsfähigkeit, auf die Gutachten des Instituts B._ abzustellen. Diese erfüllten in allen Teilen die Anforderungen an beweiswertige medizinische Expertisen und seien überzeugender als die weiteren, auf eine schwerere psychische Störung und entsprechend auf eine volle Arbeitsunfähigkeit lautenden ärztlichen Berichte und Gutachten.
3.2.1 Im Rahmen der Invaliditätsbemessung betreffen die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose und die ärztliche Stellungnahme zum noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die auf Grund der medizinischen Untersuchungen gerichtlich konstatierte Arbeits(un)fähigkeit Tatfragen (<ref-ruling> E. 3.2 S. 398). Die vorinstanzlichen Erkenntnisse hiezu sind einer letztinstanzlichen Berichtigung oder Ergänzung mithin nur bei offensichtlicher Unrichtigkeit oder sonstiger Rechtsverletzung nach <ref-law> zugänglich (E. 1 hievor).
3.2.2 Das kantonale Gericht hat gestützt auf eine einlässliche Auseinandersetzung mit den medizinischen Akten nachvollziehbar dargelegt, weshalb es zum Ergebnis gelangt ist, es sei auf die als beweiswertig zu betrachtende Einschätzung der Gutachter des Instituts B._ abzustellen.
Die Vorbringen in der Beschwerde sind nicht geeignet, diese Beweiswürdigung als offensichtlich oder sonst wie rechtswidrig erscheinen zu lassen. Alleine der Umstand, dass auch abweichende fachärztliche Stellungnahmen vorliegen, genügt hiefür nicht, selbst wenn diese ihrerseits den Anforderungen an beweiswertige Gutachten und Arztberichte grundsätzlich zu genügen vermöchten. Daran vermag auch nichts zu ändern, wenn die psychiatrischen Fachärzte teils unterschiedliche Untersuchungsmethoden angewendet und sich teils kritisch gegenüber der jeweils anderen Meinung geäussert haben. Dass die erneute psychiatrische Abklärung wieder beim Institut B._ in Auftrag gegeben und dort vom gleichen Experten durchgeführt wurde, führt zu keinem anderen Ergebnis, zumal die zweite Expertise ausdrücklich als Verlaufsgutachten qualifiziert wurde und die Einholung eines solchen bei der gegebenen medizinischen Aktenlage durchaus Sinn machte. Soweit geltend gemacht wird, in der Expertise A._ vom 24. August 2011 werde eine seit der ersten Begutachtung des Instituts B._ eingetretene Verschlechterung des psychischen Gesundheitszustandes bestätigt, ist festzuhalten, dass die zweite Begutachtung durch das Institut B._ eine solche Verschlechterung nicht bestätigen konnte. Die weiteren medizinischen Akten wie auch die Bestätigung der Ehefrau des Versicherten vom 14. Februar 2012 rechtfertigen ebenfalls keine andere Betrachtungsweise. Das gilt auch für den Bericht des Spitals Y._ über die im Jahr 2008 durchgeführte stationäre Behandlung, zumal diese in erster Linie der Therapie somatischer Beschwerden diente und die von den Spitalärzten aus psychiatrischer Sicht bestätigte hälftige Arbeitsunfähigkeit u.a. darin begründet lag, dass der Versicherte nicht bereit war, sich einer weiteren medikamentösen Behandlung der psychischen Beschwerden zu unterziehen. RAD-Psychiater Prof. Dr. med. G._ schliesslich bestätigte zwar am 2. Dezember 2009 eine volle Arbeitsunfähigkeit. Er stützte sich dabei aber nicht auf eine eigene Exploration des Versicherten, sondern auf die bis dahin vorgelegenen medizinischen Akten. Diese hat das kantonale Gericht, unter Berücksichtigung auch des in der Folge erstellten zweiten Gutachtens des Instituts B._ in einer gesamthaft nicht zu beanstandenden Weise gewürdigt. Entgegen der in der Beschwerde vertretenen Auffassung enthält der angefochtene Entscheid auch eine rechtsgenügliche Begründung. Daran ändert nichts, dass sich die Vorinstanz hiebei nicht zu jeder einzelnen ärztlichen Aussage geäussert hat.
4. Ausgehend von der dargelegten Beurteilung der Restarbeitsfähigkeit hat das kantonale Gericht einen Einkommensvergleich vorgenommen. Es hat das im Gesundheitsfall mutmasslich realisierte Einkommen (Valideneinkommen) auf Fr. 70'517.- und das trotz der gesundheitsbedingten Beeinträchtigung zumutbarerweise noch erzielbare Einkommen (Invalideneinkommen) gestützt auf Tabellenlöhne auf Fr. 37'787.- festgelegt. Das ist nicht umstritten und gibt keinen Anlass zu Weiterungen. Die Gegenüberstellung der Einkommen ergibt eine Erwerbseinbusse von Fr. 32'730.-, entsprechend einem Invaliditätsgrad von (gerundet) 46 %. Damit besteht Anspruch auf die von der Verwaltung zugesprochene und von der Vorinstanz bestätigte Viertelsrente (<ref-law>). Dies führt zur Abweisung der Beschwerde.
5. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. September 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz