Sachverhalt:
A. Der 1954 geborene G._ meldete sich am 2. Mai 2000 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau holte Auskünfte bei früheren Arbeitgebern sowie medizinische Berichte ein. Mit Verfügung vom 25. September 2001 lehnte die IV-Stelle das Leistungsbegehren bei einem Invaliditätsgrad von 10 % ab. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 26. November 2002 ab. Mit Verwaltungsgerichtsbeschwerde liess G._ beantragen, der vorinstanzliche Entscheid sei aufzuheben und es sei ihm mit Wirkung ab 1. Juli 2000 eine ganze, eventuell eine halbe Invalidenrente zuzusprechen; eventualiter sei eine umfassende interdisziplinäre medizinische Begutachtung zu veranlassen. Das Eidgenössische Versicherungsgericht hob den kantonalen Entscheid in teilweiser Gutheissung der Beschwerde auf und wies die Sache an das Aargauische Versicherungsgericht zurück, damit es eine interdisziplinäre medizinische Begutachtung anordne und hernach erneut über den Leistungsanspruch entscheide (Urteil I 41/03 vom 8. April 2003).
B. Mit Beschluss vom 10. Juni 2003 wies das Versicherungsgericht des Kantons Aargau die Sache zur Einholung eines interdisziplinären Gutachtens und zum neuen Entscheid im Sinne der Erwägungen im Urteil des Eidgenössischen Versicherungsgerichts an die IV-Stelle zurück und schrieb das Beschwerdeverfahren als erledigt von der Kontrolle ab. Der Beschluss blieb unangefochten.
C. Am 30./31. Mai 2005 wurde G._ in der MEDAS der Klinik X._ untersucht und begutachtet. Die Ärzte attestierten ihm ab zirka Frühjahr 2002 aus gesamtmedizinischer Sicht eine mindestens 50-prozentige Arbeitsfähigkeit bei einer leichten Tätigkeit mit Gewichtslimiten von bis zu 10 Kilogramm und eine 60-prozentige Arbeitsfähigkeit bei einer sehr leichten Tätigkeit (Gutachten vom 11. November 2005).
D. Mit Verfügung vom 16. Februar 2006 und Einspracheentscheid vom 22. Mai 2006 wies die IV-Stelle des Kantons Aargau das Leistungsbegehren bei einem Invaliditätsgrad von 27 % erneut ab.
E. Das Versicherungsgericht des Kantons Aargau hiess die dagegen erhobene Beschwerde mit Entscheid vom 3. Juli 2007 teilweise gut und sprach G._ bei einem Invaliditätsgrad von 46 % ab 1. Mai 2006 eine Viertelsrente zu.
F. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt G._ beantragen, es sei ihm in teilweiser Abänderung von Dispositiv-Ziff. 1 des angefochtenen Entscheides mit Wirkung ab 1. Juni 2000 eine ganze und mit Wirkung ab 1. Januar 2004 eine Dreiviertelsrente zuzusprechen; ferner beantragt er die unentgeltliche Rechtspflege.
Die IV-Stelle beantragt Abweisung der Beschwerde, Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. <ref-ruling> zur auch unter der Herrschaft des BGG gültigen Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung [<ref-law>] für die Ermittlung des Invaliditätsgrades nach <ref-law>).
1.2 Streitig und zu prüfen ist der Invaliditätsgrad und in diesem Zusammenhang die Frage, in welchem Umfang der Beschwerdeführer gesundheitsbedingt arbeits- bzw. erwerbsunfähig ist. Feststellungen der Vorinstanz hinsichtlich des Grades der Arbeitsunfähigkeit betreffen Tatfragen, soweit sie auf der Würdigung konkreter Umstände beruhen, und sind daher lediglich unter eingeschränktem Blickwinkel überprüfbar (<ref-law> sowie Art. 105 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 3.2 S. 397 f.). Frei überprüfbare Rechtsfrage (<ref-law>) ist demgegenüber, ob eine allfällige Unrichtigkeit der Sachverhaltsfeststellung offensichtlich und demgemäss die Bindungswirkung aufgehoben ist.
2. In der Sache bringt der Beschwerdeführer vor, das kantonale Gericht habe die Rentenhöhe und den Zeitpunkt des Anspruchsbeginns nicht richtig festgelegt.
3. Bezüglich des Grades der Arbeitsfähigkeit - zumindest ab dem Zeitpunkt der MEDAS-Begutachtung im Mai 2005 (vgl. dazu unten E. 5) - wurde die Aktenlage von der Vorinstanz pflichtgemäss gewürdigt; sie hat mit einlässlicher und nachvollziehbarer Begründung erkannt, dass der Sachverhalt vollständig abgeklärt ist und dem Beschwerdeführer leidensangepasste Tätigkeiten im Rahmen eines Pensums von 60 % zugemutet werden können. Diese Tatsachenentscheidung ist für das Bundesgericht verbindlich. Insbesondere erscheint der Umfang der erhaltenen Leistungsfähigkeit nicht als offensichtlich falsch festgestellt, hat doch der begutachtende Psychiater an der Schlusskonferenz der MEDAS-Ärzte teilgenommen und das Ergebnis aus gesamtmedizinischer Sicht geteilt; im Gutachten wird denn auch betont, es sei von einer mindestens 50-prozentigen Arbeitsfähigkeit bei einer leichten Tätigkeit ohne Einschränkung (ausser Gewichtslimite bis zu 10 kg) beziehungsweise einer 60-prozentigen bei eingeschränktem Anforderungsprofil (Gewichtslimite 3 kg) auszugehen. Der von der Vorinstanz für jenen Zeitpunkt bezeichnete Grad der Arbeitsfähigkeit von 60 % ist demnach nicht als bundesrechtswidrig festgestellt zu beanstanden.
4. Auch der von Vorinstanz und Verwaltung gewährte leidensbedingte Abzug von 10 % vom hypothetischen Invalideneinkommen ist nicht zu beanstanden. Die Frage, ob ein solcher Abzug nach Massgabe der Grundsätze von <ref-ruling> vorzunehmen ist, ist rechtlicher Natur, seine Bestimmung dagegen Ermessensfrage, die vom Bundesgericht nicht zu prüfen ist (Art. 95 und 97 BGG). Gerügt werden kann nur die Höhe des Abzuges im Hinblick auf Ermessensüberschreitung oder missbrauch als Formen rechtsfehlerhafter (<ref-law>) Ermessensbetätigung (<ref-ruling> E. 3.3 S. 399). Eine solche ist hier in Anbetracht der ausführlichen Begründung der Vorinstanz nicht gegeben.
5. Zu beantworten bleibt die Frage des Anspruchsbeginns.
5.1 Gemäss der Vorinstanz begann das Wartejahr nach <ref-law> im Zeitpunkt der MEDAS-Begutachtung im Mai 2005 zu laufen. Sie begründet es damit, der Beschwerdeführer sei damals im rheumatologischen Bereich 60 % arbeitsunfähig [korrekt: arbeitsfähig] gewesen. Was den Beginn einer medizinisch bedingten Arbeitsunfähigkeit betreffe, vermöge die Einschätzung der Gutachter nicht zu überzeugen, wonach ab zirka Frühling 2002 von einer Arbeitsfähigkeit [korrekt: 50- bis 60-prozentigen Arbeitsfähigkeit] in einer leidensangepassten Tätigkeit auszugehen sei: Der Beginn der erwähnten Arbeitsfähigkeit sei nur durch spekulative Annahmen und Überlegungen festgelegt worden, was dem erforderlichen Beweisgrad der überwiegenden Wahrscheinlichkeit keinesfalls zu genügen vermöge. Die Beweislosigkeit hinsichtlich des Beginns der Arbeitsunfähigkeit wirke sich zu Lasten des Beschwerdeführers aus.
5.2 Dazu ist zunächst anzumerken, dass der in diesem Zusammenhang gemachte vorinstanzliche Verweis auf das letztinstanzliche Urteil I 242/04 vom 28. Juli 2005 nicht schlüssig ist, da dieses einen Sachverhalt betraf, bei dem es um die Schwierigkeiten der rückwirkenden Festsetzung der Arbeitsunfähigkeit über eine Zeitdauer von sechs Jahren ging, in welcher der Versicherte weder bei Ärzten eines psychiatrischen Dienstes noch bei einem Facharzt in psychiatrischer Behandlung stand. Hier ist dies nicht der Fall: Wie im MEDAS-Gutachten (Ziff. 6.1.3 S. 23 f.) dargelegt, liegen Berichte der Klinik Y._ vom 25. Juli 2000 und des Rheumatologen Dr. med. M._ vom 7. Dezember 2001 bei den Akten, in denen aus fachspezifischer Sicht zunächst von einer 100-prozentigen Arbeitsfähigkeit in einer leichten leidensangepassten Tätigkeit ausgegangen wird, was auch aus gesamtmedizinischer Sicht der Fall war, ging doch ebenfalls der Psychiater Dr. med. L._ im Bericht vom 5. März 2001 davon aus. Im weiteren Verlauf diagnostizierte der Dr. med. L._ nachfolgende Psychiater Dr. med. S._ aber in Berichten vom 22. März 2002 und 20. Dezember 2002 eine Depression und Schmerzverarbeitungsstörung und attestierte eine Arbeitsunfähigkeit von 50 %. Die MEDAS-Ärzte kamen gestützt auf diesen Ablauf zum Schluss, der Beginn der mindestens 50-prozentigen Arbeitsfähigkeit in einer leichten (respektive 60-prozentigen Arbeitsfähigkeit in einer sehr leichten) Tätigkeit sei auf das Frühjahr 2002 festzusetzen, und sie dauere bis zum Gutachtenszeitpunkt an. Wenn sie präzisierten, die Festlegung des Datums Frühling 2002 sei zwar arbiträr, die vorliegenden Berichte könnten aber nicht ohne weiteres ignoriert werden, auch wenn sie in gewissen Punkten nicht stringent nachvollziehbar seien, ist daraus nicht abzuleiten, dass es sich bis zum Zeitpunkt der Begutachtung als unmöglich erwiesen habe, auf dem Wege der Beweiserhebung einen zumindest überwiegend wahrscheinlichen Sachverhalt zu ermitteln.
Zwar ist der vorinstanzliche Vorwurf nicht aus der Luft gegriffen, der Beschwerdeführer sei seiner Mitwirkungspflicht nicht immer optimal nachgekommen; aber dies rechtfertigt nicht den Schluss, er habe konsequenterweise die Folgen der Beweislosigkeit zu tragen. Zunächst ist hier zu berücksichtigen, dass die Vorinstanz den im ersten Verfahren vom Beschwerdeführer gestellten Eventualantrag nach einer umfassenden interdisziplinären Begutachtung abgelehnt hat. Zudem wandte sich der Beschwerdeführer bereits kurz nach dem vorinstanzlichen Rücküberweisungsbeschluss vom 10. Juni 2003 am 16. September 2003 schriftlich an die IV-Stelle und ersuchte unter Hinweis auf seine schwierige finanzielle und aufenthaltsrechtliche Situation darum, die Begutachtung so rasch als möglich in Auftrag zu geben.
Aus dem Gutachten geht gerade auch in Anbetracht der nach der ICD-Klassifikation gestellten Diagnosen ("schwergradige depressive Episode mit psychotischen Symptomen, Panikstörung, chronisches lumbovertebrales Schmerzsyndrom, chronisches zervikovertebragenes Schmerzsyndrom, beginnende Coxarthrosen beidseits Schmerzen") hervor, dass die Arbeitsfähigkeit im Moment der Untersuchung bereits seit längerer Zeit in anspruchserheblichem Ausmass eingeschränkt war, was die Experten auch ausdrücklich bestätigt haben. Wenn die Vorinstanz das Wartejahr erst ab dem Zeitpunkt der Begutachtung laufen lassen will, setzt sie sich in einen unüberbrückbaren Widerspruch zu der von sämtlichen (behandelnden und begutachtenden) Ärzten rapportierten medizinischen Sachlage. Ihre Sachverhaltswürdigung ist in diesem Punkt offensichtlich unrichtig und bindet das Bundesgericht deshalb nicht. Der Einschätzung der MEDAS-Experten folgend ist die Beschwerde in dem Sinne gutzuheissen, dass das Wartejahr bereits ab dem im Gutachten genannten Zeitpunkt "Frühjahr 2002" zu laufen begann und der Rentenanspruch somit ein Jahr später am 1. März 2003 entstand.
6. Dieses Resultat ist als teilweises Obsiegen zu betrachten, weshalb dem Beschwerdeführer für das Verfahren vor Bundesgericht eine (reduzierte) Parteientschädigung zusteht (<ref-law>) und die Gerichtskosten den Parteien anteilsmässig auferlegt werden (<ref-law>). Die Voraussetzungen für die Gewährung der unentgeltlichen Rechtspflege sind erfüllt.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Versicherungsgerichts des Kantons Aargau vom 3. Juli 2007 insoweit abgeändert, als der Beschwerdeführer ab dem 1. März 2003 Anspruch auf eine Viertelsrente hat. Im Übrigen wird die Beschwerde abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Von den Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer Fr. 300.- und der Beschwerdegegnerin Fr. 200.- auferlegt. Der Anteil des Beschwerdeführers wird vorläufig auf die Gerichtskasse genommen.
4. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1000.- zu entschädigen.
5. Rechtsanwältin Petra Oehmke Schiess, Affoltern am Albis, wird als unentgeltliche Anwältin des Beschwerdeführers bestellt, und es wird ihr für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1500.- ausgerichtet.
6. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Ausgleichskasse des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. Juli 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer i. V. Traub