Sachverhalt:
A. Am 2. März 2006 meldete sich der 1945 geborene und seit 1979 als Bauarbeiter tätige K._ wegen Rückenbeschwerden bei der IV-Stelle des Kantons Zürich zum Bezug von Leistungen an. Diese holte Berichte von Ärzten und Arbeitgebern des Versicherten sowie des IV-Berufsberaters ein. Mit Vorbescheid vom 31. August 2006 und Verfügung vom 26. Oktober 2006 lehnte sie den Anspruch auf eine Invalidenrente mangels eines leistungsbegründenden Invaliditätsgrades ab, den sie unter Berücksichtigung eines leidensbedingten Abzuges von 15 % auf 18 % festlegte.
B. Die dagegen von K._ erhobene Beschwerde mit dem Antrag, die IV-Stelle sei unter Aufhebung der angefochtenen Verfügung zu verpflichten, den Grad der verbliebenen Arbeitsfähigkeit und den Umfang des noch erzielbaren Verdienstes neu festzusetzen und eine Rente von mindestens 50 % zuzusprechen, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Oktober 2007 ab.
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und die Sache zu neuer Entscheidung an die Verwaltung zurückzuweisen; ferner beantragt er die unentgeltliche Rechtspflege.
Die Verwaltung schliesst auf Abweisung der Beschwerde; Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. <ref-ruling> zur auch unter der Herrschaft des BGG gültigen Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung [<ref-law>] für die Ermittlung des Invaliditätsgrades nach <ref-law>).
1.2 Streitig und zu prüfen ist der Anspruch auf Invalidenrente. Feststellungen der Vorinstanz hinsichtlich Eintritt, Grad, Dauer und Prognose der Arbeitsunfähigkeit betreffen Tatfragen, soweit sie auf der Würdigung konkreter Umstände beruhen, und sind daher lediglich unter eingeschränktem Blickwinkel überprüfbar (<ref-law> sowie Art. 105 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 3.2 S. 397 f.).
2. Der Beschwerdeführer rügt eine Verletzung des Untersuchungsgrundsatzes (Art. 43 und 61 lit. c ATSG), indem die Vorinstanz wie schon die IV-Stelle bei lückenhafter medizinischer Aktenlage, ohne die erforderlichen Abklärungen getätigt oder veranlasst zu haben, davon ausgegangen sei, er könne eine leidensangepasste Tätigkeit zu 100 % ausüben und dadurch ein rentenausschliessendes Einkommen erzielen.
2.1 Verwaltung und Vorinstanz haben bei der Beurteilung des Gesundheitszustandes und der Arbeitsfähigkeit im Wesentlichen auf die Berichte der Klinik X._ vom 1./9. und 8. Juni 2006 abgestellt, worin die Ärzte zum Ergebnis gekommen sind, dem Beschwerdeführer sei bei Vermeiden von repetitiven Arbeiten und Heben von Lasten die Ausübung leichter bis mittelschwerer Tätigkeiten noch möglich. Den Umstand, dass sich die Rapporte zum zeitlichen Umfang der Arbeitsfähigkeit in einer solchen Tätigkeit nicht äussern, deutete die Vorinstanz dahin gehend, es sei damit eine volle Arbeitsfähigkeit attestiert worden.
Da die IV-Stelle auch den Umfang der Arbeitsfähigkeit in einer leidensangepassten Tätigkeit von Amtes wegen festzustellen hat (<ref-law>; Art. 57 Abs. 1 lit. b und d IVG), fragte sie in dem der Klinik X._ unterbreiteten Formular ausdrücklich: "Wie beurteilen Sie die Arbeitsfähigkeit des Versicherten a) bis heute und b) auf längere Sicht? In welchem Rahmen und Umfang ist eventuell die Ausübung einer anderen (welcher?) besser geeigneten Erwerbstätigkeit zumutbar?". Die Ärzte der Klinik X._ haben in den Berichten vom 1. und 8. Juni 2006 diese Fragen nicht vollständig beantwortet, und die IV-Stelle hat es unterlassen nachzufragen. Die vorinstanzliche Sachverhaltsfeststellung, die Ärzte hätten im Bericht vom 1. Juni 2006 auf eine zumutbare Verweisungstätigkeit von 100 % geschlossen ist aktenwidrig, weil sich eine solche Schlussfolgerung aus der Aussage, unter einschränkenden Rahmenbedingungen seien nur noch leichte bis höchstens mittelschwere Arbeiten zumutbar, weder ausdrücklich noch sinngemäss ergibt.
2.2 Die Beschwerde ist nach dem Gesagten insofern begründet, als angesichts der im entscheidwesentlichen Punkt unpräzisen und mit einem erheblichen Mangel behafteten Angaben der Klinik X._ die Vorinstanz auf einer unvollständig erhobenen Sachverhaltsgrundlage ihr Urteil gefällt hat, was eine Aktenergänzung gebietet. Bei dieser Gelegenheit hat die IV-Stelle zu berücksichtigen, dass der Schmerztherapeut Prof. Dr. med. A._, Facharzt FMH für Anästhesiologie, Praxis für Schmerztherapie, sich in seinem Bericht vom 21. November 2006 bei weitgehend übereinstimmender Diagnose und für den gleichen Zeitraum lediglich auf eine 50-prozentige Arbeitsfähigkeit in einer leidensangepassten Tätigkeit festgelegt hat. Prof. Dr. med. A._ hat u.a. eine "Kissing Spine L3-L5" diagnostiziert; gemäss Roche Lexikon Medizin, 5. Auflage 2003, handelt es sich bei diesem (Baastrup)-Syndrom um durch Hyperlordose ausgelöste Neugelenkbildungen (Nearthrosen) zwischen den sich berührenden ("kissing spine") und sich gegenseitig abschleifenden Dornfortsätzen der LWS, welche zu örtlichem Druckschmerz, Kreuzschmerzen und Bewegungseinschränkungen der Wirbelsäule führen. Da im Bericht der Klinik X._ vom 8. Juni 2006 auf der Höhe L3/4 keine Beeinträchtigung diagnostiziert worden ist, könnte sich hier allenfalls ein zusätzliches Element ergeben, das im Hinblick auf die offene Frage nach dem Umfang der Arbeitsfähigkeit zu berücksichtigen ist.
3. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Dessen Gesuch um unentgeltliche Rechtspflege ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Oktober 2007 und die Verfügung der IV-Stelle des Kantons Zürich vom 26. Oktober 2006 werden aufgehoben. Die Sache wird an die IV-Stelle des Kantons Zürich zurückgewiesen, damit sie nach ergänzenden Abklärungen über den Anspruch auf Invalidenrente neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2500.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Schweizerischen Baumeisterverbandes und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. April 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz