Sachverhalt:
A. Der 1949 geborene M._ war ab dem 26. Juni 1978 bei der Klinik X._ als Diensthandwerker angestellt. Die Klinik X._ kündigte das Arbeitsverhältnis auf den 30. September 1995. Am 28. Februar 1996 meldete sich M._ wegen eines Rückenleidens zum Bezug von Leistungen bei der Invalidenversicherung an. Mit Verfügung vom 5. März 1997 verneinte die IV-Stelle des Kantons Zürich einen Anspruch auf Versicherungsleistungen. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 9. Juni 1999 ab. Der Versicherte beantragte am 7. September 2001 bei der IV-Stelle eine Neubeurteilung der Sache. Die IV-Stelle des Kantons Zürich sprach am 4. April 2003 rückwirkend ab 1. Juli 2002 verfügungsweise eine ganze Invalidenrente zu.
Das Gesuch vom 20. Oktober 2004 um Ausrichtung reglementarischer Leistungen aus beruflicher Vorsorge beschied die Beamtenversicherungskasse des Kantons Zürich (BVK) mit Schreiben vom 10. März 2005 wegen Fehlens der Versicherteneigenschaft abschlägig.
B. Am 24. Januar 2006 liess M._ gegen die BVK Klage einreichen und beantragen, es sei rückwirkend ab dem 1. Juli 2002 eine ganze Invalidenrente zuzüglich Verzugszinsen ab Klageerhebung auszurichten. Das Sozialversicherungsgericht des Kantons Zürich wies die Klage mit Entscheid vom 31. Oktober 2007 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ das vorinstanzlich gestellte Rechtsbegehren erneuern.
Die BVK schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. 2.1 Nach Art. 23 BVG, in Kraft gestanden bis 31. Dezember 2004, haben Anspruch auf Invalidenleistungen Personen, die im Sinne der IV zu mindestens 50 Prozent invalid sind und bei Eintritt der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat, versichert waren. Laut dem am 1. Januar 2005 in Kraft getretenen Art. 23 lit. a BVG besteht bereits bei einer Invalidität von mindestens 40 Prozent Anspruch auf Invalidenleistungen. Gemäss Art. 26 Abs. 1 BVG gelten für den Beginn des Anspruchs auf Invalidenleistungen sinngemäss die entsprechenden Bestimmungen des Bundesgesetzes vom 19. Juli 1959 über die Invalidenversicherung (<ref-law>).
2.2 Der Anspruch auf Invalidenleistungen der (obligatorischen) beruflichen Vorsorge setzt weiter einen engen sachlichen und zeitlichen Zusammenhang zwischen der während der Dauer des Vorsorgeverhältnisses (einschliesslich der Nachdeckungsfrist nach Art. 10 Abs. 3 BVG) bestandenen Arbeitsunfähigkeit und der allenfalls erst später eingetretenen Invalidität voraus (<ref-ruling> E. 4.1 in fine S. 275). Der Gesundheitsschaden, der zur Arbeitsunfähigkeit geführt hat, muss von der Art her im Wesentlichen derselbe sein, der der Erwerbsunfähigkeit zu Grunde liegt.
2.2.1 Die Annahme eines engen zeitlichen Zusammenhangs setzt voraus, dass die versicherte Person nach Eintritt der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat, nicht während längerer Zeit wieder arbeitsfähig war. Bei der Prüfung dieser Frage sind die gesamten Umstände des konkreten Einzelfalles zu berücksichtigen, namentlich die Art des Gesundheitsschadens, dessen prognostische Beurteilung durch den Arzt sowie die Beweggründe, welche die versicherte Person zur Wiederaufnahme oder Nichtwiederaufnahme der Arbeit veranlasst haben. Zu den für die Beurteilung des zeitlichen Konnexes relevanten Umständen zählen auch die in der Arbeitswelt nach aussen in Erscheinung tretenden Verhältnisse, wie etwa die Tatsache, dass ein Versicherter über längere Zeit hinweg als voll vermittlungsfähiger Stellensuchender Taggelder der Arbeitslosenversicherung bezieht (Urteile B 100/02 vom 26. Mai 2003, E. 4.1, und B 18/06 vom 18. Oktober 2006, E. 4.2.1 in fine mit Hinweisen).
2.2.2 Das Bundesgericht hat vor kurzem in Präzisierung der Rechtsprechung entschieden, dass für den Eintritt der Arbeitsunfähigkeit im Sinne von Art. 23 lit. a BVG die Einbusse an funktionellem Leistungsvermögen im bisherigen Beruf massgeblich ist. Der zeitliche Zusammenhang zur später eingetretenen Invalidität als weitere Voraussetzung für den Anspruch auf Invalidenleistungen der damaligen Vorsorgeeinrichtung beurteilt sich hingegen nach der Arbeitsunfähigkeit respektive Arbeitsfähigkeit in einer der gesundheitlichen Beeinträchtigung angepassten zumutbaren Tätigkeit. Diese Beschäftigungen müssen jedoch bezogen auf die angestammte Arbeit die Erzielung eines rentenausschliessenden Einkommens erlauben (<ref-ruling> E. 5.3 S. 27).
3. Wie die Vorinstanz unter Hinweis auf die Rechtsprechung zutreffend dargelegt hat, ist im hier zu beurteilenden Fall frei und ohne Bindung an die Invalidenversicherung zu prüfen, ob die Invalidität, welche zur Zusprechung einer ganzen Invalidenrente ab 1. Juli 2002 führte, in einem engen sachlichen und zeitlichen Zusammenhang mit einer während der Dauer der Versicherung bei der BVK eingetretenen Arbeitsunfähigkeit steht. Letztes hat das kantonale Gericht in für das Bundesgericht verbindlicher Weise verneint (E. 1).
3.1 Die Vorinstanz führte aus, die Arbeitsfähigkeit sei wegen der Rückenbeschwerden bereits vor Antritt der Arbeitsstelle in der Klinik X._ insofern beeinträchtigt gewesen, als der Beschwerdeführer den Maurerberuf habe aufgeben müssen und gezwungen gewesen sei, eine leichtere Tätigkeit anzunehmen. Zudem sei eine im August 1995 bestehende und damit die Kündigungsfrist verlängernde Arbeitsunfähigkeit nicht nachgewiesen. Insgesamt sei der Eintritt einer Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt habe, während der Dauer des bei der BVK bestehenden Versicherungsschutzes nicht erstellt. Diese Sachverhaltsfeststellung ist nicht offensichtlich unrichtig (E. 1). Selbst wenn die in den Jahren 1995 und 1996 ärztlicherseits attestierte Arbeitsunfähigkeit zumindest teilweise in die Zeit vor der Auflösung des Arbeitsverhältnisses fallen würde, so wäre - wie zu zeigen sein wird - jedenfalls die zeitliche Konnexität zwischen der damaligen Arbeitsunfähigkeit und der später eingetretenen Invalidität unterbrochen worden.
3.2 Nach den Feststellungen der Vorinstanz schlossen die Dres. med. B._ und P._, Klinik Y._, gemäss Bericht vom 17. April 1996 auf eine volle Arbeitsfähigkeit in einer für die Wirbelsäulenbelastung leichten Tätigkeit. Sodann stellte das kantonale Gericht fest, dass die vom 18. November bis zum 13. Dezember 1996 in der Abklärungs- und Ausbildungsstätte Z._ vorgenommenen medizinischen und beruflichen Abklärungen eine uneingeschränkte Arbeitsfähigkeit in einer leichten, rückenschonenden Beschäftigung mit der Möglichkeit zur Wechselbelastung und dem Heben von Lasten nicht über 15 kg ergeben haben. Im vorinstanzlichen Entscheid wird ferner darauf hingewiesen, der Beschwerdeführer habe ab dem 4. Mai 1998 bis November 1999 unter anderem als Maschinenführer gearbeitet. Gemäss Gutachten des Dr. med. L._, Spezialarzt für Chirurgie und Neurochirurgie, vom 20. Dezember 2000 bestehe eine volle Arbeitsfähigkeit in einer körperlich leichten Beschäftigung. Der Beschwerde lässt sich nichts entnehmen, was diese Feststellungen als im Sinne von <ref-law> rechtsfehlerhaft erscheinen liesse (E. 1).
3.3 Vor dem Hintergrund der vorinstanzlichen Feststellungen bestand aus medizinischer Sicht ab dem Frühjahr 1996 bis zumindest Ende 1999 eine volle Arbeitsfähigkeit in einer körperlich wenig belastenden Tätigkeit. Die IV-Stelle erkannte bereits mit Verfügung vom 5. März 1997 (bestätigt am 9. Juni 1999 durch das Sozialversicherungsgericht des Kantons Zürich), dass der Versicherte in der Lage sei, ein rentenausschliessendes Einkommen zu erzielen. Daran hielt sie jeweils mit in Rechtskraft erwachsenen Verfügungen vom 15. Januar und 17. Mai 2001 fest. Nachdem für die Unterbrechung der zeitlichen Konnexität rechtsprechungsgemäss Zeiten der Arbeitsfähigkeit in einer leidensangepassten Beschäftigung zu berücksichtigen sind, sofern dabei ein rentenausschliessendes Einkommen erzielt werden kann (vgl. E. 2.2.2 hievor), beträgt die Zeitspanne zwischen dem Beginn der Arbeitsfähigkeit in einer zumutbaren Beschäftigung gemäss Einschätzung der Klinik Y._ vom 17. April 1996 und dem Eintritt der Arbeitsunfähigkeit, welche der Rentenzusprechung der Invalidenversicherung zu Grunde liegt, etwas mehr als fünf Jahre. Während dieser Zeit war es dem Beschwerdeführer zumutbar, seine Arbeits- und Erwerbsfähigkeit auf dem allgemeinen Arbeitsmarkt rentenausschliessend zu verwerten. Bei dieser Sachlage ist der zeitliche Zusammenhang zwischen der 1995/96 ausgewiesenen Arbeitsunfähigkeit und der erst Jahre später eingetretenen Invalidität nicht gegeben. Ob eine sachliche Konnexität zu bejahen ist, kann unter diesen Umständen offen gelassen werden. Ein berufsvorsorgerechtlicher Anspruch auf eine Invalidenrente gegenüber der BVK besteht so oder anders nicht.
4. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 65 Abs. 4 lit. a, Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. April 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
i.V. Lustenberger Ettlin