Sachverhalt: A. Am 2. März 2006 meldete sich der 1945 geborene und seit 1979 als Bauarbeiter tätige K._ wegen Rückenbeschwerden bei der IV-Stelle des Kantons Zürich zum Bezug von Leistungen an. Diese holte Berichte von Ärzten und Arbeitgebern des Versicherten sowie des IV-Berufsberaters ein. Mit Vorbescheid vom 31. August 2006 und Verfügung vom 26. Oktober 2006 lehnte sie den Anspruch auf eine Invalidenrente mangels eines leistungsbegründenden Invaliditätsgrades ab, den sie unter Berücksichtigung eines leidensbedingten Abzuges von 15 % auf 18 % festlegte. B. Die dagegen von K._ erhobene Beschwerde mit dem Antrag, die IV-Stelle sei unter Aufhebung der angefochtenen Verfügung zu verpflichten, den Grad der verbliebenen Arbeitsfähigkeit und den Umfang des noch erzielbaren Verdienstes neu festzusetzen und eine Rente von mindestens 50 % zuzusprechen, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Oktober 2007 ab. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und die Sache zu neuer Entscheidung an die Verwaltung zurückzuweisen; ferner beantragt er die unentgeltliche Rechtspflege. Die Verwaltung schliesst auf Abweisung der Beschwerde; Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung.