Sachverhalt:
A. Der 1963 geborene V._ verunfallte am 4. Mai 2002 als Lenker eines vor einem Rotlicht angehaltenen Personenwagens bei einer Auffahrkollision. Am 29. Januar 2003 meldete er sich unter Hinweis auf ein bei dem Unfall erlittenes Schleudertrauma der Halswirbelsäule bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich klärte den medizinischen und erwerblichen Sachverhalt ab. Nach Einholung eines Gutachtens der Medizinischen Abklärungsstelle (MEDAS) des Spitals X._ (vom 18. Juli 2006) und nach durchgeführtem Vorbescheidverfahren verneinte sie mit Verfügung vom 3. März 2007 bei einem Invaliditätsgrad von 30 % den Anspruch auf eine Invalidenrente.
B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 26. Januar 2009 ab.
C. V._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten; er beantragt Aufhebung des vorinstanzlichen Entscheides sowie Zusprechung einer Invalidenrente auf der Grundlage eines Invaliditätsgrades von mindestens 40 %; zudem ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle beantragt Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht, wozu auch die unvollständige Tatsachenermittlung zählt.
1.2 Feststellungen der Vorinstanz hinsichtlich des Grades der Arbeitsunfähigkeit betreffen Tatfragen, soweit sie auf der Würdigung konkreter Umstände beruhen, und sind daher lediglich unter eingeschränktem Blickwinkel überprüfbar (<ref-ruling> E. 3.2 S. 397 f.). Bei der Bestimmung der für die Bemessung des Invaliditätsgrades massgebenden hypothetischen Einkommen ist als Rechtsfrage frei überprüfbar, ob sie auf der Grundlage statistischer Durchschnittslöhne zu ermitteln sind, und welches die massgebliche Tabelle ist (vgl. <ref-ruling> E. 3.3 S. 399). Frei überprüfbare Rechtsfrage ist auch die getroffene Wahl der massgeblichen Stufe (Anforderungsniveau 1+2, 3 oder 4) beim statistischen Lohnvergleich auf der Grundlage der Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) (SVR 2008 IV Nr. 4 S. 9 [Urteil I 732/06 vom 2. Mai 2007, E. 4.2.2]). Die Frage, ob ein leidensbedingter Abzug nach Massgabe der Grundsätze von <ref-ruling> vorzunehmen sei, ist rechtlicher Natur, die Bestimmung eines solchen Abzuges dagegen Ermessensfrage, die im Gegensatz zum früheren Recht (vgl. Art. 104 lit. c OG) nicht zu prüfen ist (Art. 95 und 97 BGG). Gerügt werden kann die Höhe des Abzuges nur im Hinblick auf Ermessensüberschreitung oder -missbrauch als Formen rechtsfehlerhafter (<ref-law>) Ermessensbetätigung (<ref-ruling> E. 3.3 S. 399).
2. Streitig ist der Anspruch auf eine Invalidenrente. Das kantonale Gericht hat die für die Beurteilung einschlägigen rechtlichen Grundlagen zutreffend dargelegt.
3. 3.1 Die Vorinstanz ist nach umfassender Feststellung und Würdigung des medizinischen Sachverhaltes zum Schluss gekommen, gestützt auf das Gutachten der MEDAS vom 18. Juli 2006 sei davon auszugehen, dass der Beschwerdeführer in einer seinen Wirbelsäulenbeschwerden gerecht werdenden, mit geringem Zeitdruck einhergehenden und keine hohen Anforderungen an das Umstellungsvermögen stellenden Tätigkeit wieder zu 90 % arbeitsfähig ist, wobei im Rahmen der Reintegration in den Arbeitsprozess während der Einstiegsphase ein erhöhter Pausenbedarf zu berücksichtigen ist. Der Beschwerdeführer rügt, im Gutachten sei "aus psychiatrischer Sicht in einer den somatischen Leiden Rechnung tragenden Tätigkeit eine 80-90%ige Arbeitsfähigkeit" angegeben, wovon die Vorinstanz zunächst auch richtig ausgegangen sei. Die zusammenfassende Feststellung einer Arbeitsfähigkeit von 90 % sei aktenwidrig und damit offensichtlich unrichtig.
3.2 Die gutachterliche Einschätzung einer aus psychiatrischer Sicht in einer den somatischen Beschwerden angepassten Tätigkeit bestehenden Arbeitsfähigkeit von "80 % bis 90 %" lässt ohne nähere Angaben darauf schliessen, dass eine Arbeitsunfähigkeit von 10 % tendenziell als zu niedrig, von 20 % dagegen als eher zu hoch angesehen wird. Es rechtfertigt sich, für die Invaliditätsbemessung den Mittelwert (85 %) heranzuziehen. Dieses Vorgehen vermeidet Rechtsungleichheiten, die sich einstellen können, wenn der eine Gutachter die an sich gleiche Beurteilung in einem einzigen Wert, der andere aber in einer mehr oder weniger grossen Spannbreite ausdrückt. Ob ein Mittelwert zu berücksichtigen ist, ist als Rechtsfrage durch das Bundesgericht frei überprüfbar. Es hat wie zuvor das Eidgenössische Versicherungsgericht (EVG) in vergleichbaren Konstellationen regelmässig auf den Mittelwert abgestellt (s. zuletzt Urteil 8C_234/2009 vom 28. April 2009 E. 3.1 mit Hinweis auf Urteil 9C_626/2007 vom 28. Dezember 2007 E. 3.2; EVG-Urteile I 822/04 vom 21. April 2005 E. 4.4; I 378/02 vom 15. Januar 2004 E. 4.1; I 734/02 vom 5. Juni 2003 E. 4.3.2; I 328/02 vom 3. März 2003 E. 4.2; I 266/01 vom 19. August 2002 E. 3.2; I 314/00 vom 7. Mai 2001 E. 2b).
4. Was die vom Beschwerdeführer geforderte Erhöhung des leidensbedingten Abzuges auf 25 % betrifft, ist oben dargelegt (E. 1.2), dass die Bestimmung dieses Abzugs eine letztinstanzlich nicht zu prüfende Ermessensfrage ist: Die Höhe kann nur im Hinblick auf Ermessensüberschreitung oder -missbrauch als Formen rechtsfehlerhafter Ermessensbetätigung gerügt werden. Solches wird nicht geltend gemacht und liegt auch nicht vor. Der Abzug hat nicht automatisch zu erfolgen, sondern dann, wenn Anhaltspunkte dafür bestehen, dass die versicherte Person wegen eines oder mehrerer Merkmale (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) die verbliebene Arbeitsfähigkeit nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann. Wenn der Beschwerdeführer sich darauf beruft, dass sein erhöhter Pausenbedarf sich auf die Lohnhöhe wie ein Teilzeitpensum auswirke, verkennt er, dass das kantonale Gericht genau mit dieser Überlegung den von der Verwaltung auf 15 % festgesetzten Abzug bestätigt hat. Die restlichen Merkmale (Alter, Dienstalter, Nationalität/Aufenthaltskategorie) fallen hier fraglos nicht ins Gewicht, wie die Vorinstanz mit Recht festgestellt hat.
5. Bei einem neu auf 85 % festgesetzten Grad der Arbeitsfähigkeit und dem auf 15 % belassenen leidensbedingten Abzug erhöht sich der Invaliditätsgrad des Beschwerdeführers auf 39 %: Hypothetisches Vollzeit-Invalideneinkommen von Fr. 57'804.- x 0,85 [Leistungseinbusse 15 %] x 0,85 [leidensbedingter Abzug 15 %] = Bereinigtes Invalideneinkommen von Fr. 41'763.39 = Invaliditätsgrad von 39,22 % [bei einem Valideneinkommen von Fr. 68'717.-]. Nach der Rechtsprechung (<ref-ruling> E. 3 S. 122 f.) kann dieser Wert nicht auf 40 % aufgerundet werden und verschafft darum keinen Anspruch auf eine (Viertels-)Rente.
6. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege wird entsprochen (<ref-law>; <ref-ruling> E. 4a S. 202). Er hat der Gerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Dominique Chopard, Zürich, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. August 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Borella Schmutz