Sachverhalt:
A. M._, geboren 1952, arbeitete als Maler. Im Januar 2001 erlitt er einen Hirninfarkt und war in der Folge während dreier Monate arbeitsunfähig. Bei einem Arbeitsunfall am 4. April 2002 verletzte er sich an der linken Schulter. Die SUVA erbrachte die gesetzlichen Leistungen. Am 10. April 2003 meldete er sich zum Bezug von Leistungen der Invalidenversicherung an. Mit Vorbescheid vom 18. Juni 2007 teilte ihm die IV-Stelle Basel-Stadt mit, bei einem Invaliditätsgrad von 100 % werde ab April 2003 eine ganze und bei einem solchen von 64 % ab September 2004 eine Dreiviertels-Invalidenrente ausgerichtet. Sie stützte sich dabei auf medizinische Abklärungen und kreisärztliche Berichte der SUVA sowie auf das von ihr in Auftrag gegebene Gutachten des Dr. med. F._, FMH Psychiatrie und Psychotherapie, vom 11. Juni 2007. Auf Einwände des Versicherten hin erliess sie am 22. und 27. Dezember 2007 entsprechende Verfügungen.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 24. September 2008 ab.
C. M._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihm "ab August 2004" eine ganze Invalidenrente auszurichten; eventualiter sei die Sache zur Abklärung und Neubeurteilung an die IV-Stelle zurückzuweisen; ferner beantragt er die unentgeltliche Rechtspflege.
Mit Verfügung vom 25. März 2009 weist das Bundesgericht das Gesuch um unentgeltliche Rechtspflege ab.
Die IV-Stelle beantragt Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Die gesetzliche Kognitionsbeschränkung gilt namentlich für die Einschätzung der gesundheitlichen und leistungsmässigen Verhältnisse (<ref-law>), wie sie sich bei der revisionsweisen Anpassung einer Invalidenrente nach <ref-law> wegen Tatsachenänderungen (Gesundheitszustand, Arbeits- und Erwerbsunfähigkeit usw.) im revisions- oder neuanmeldungsrechtlich massgeblichen Vergleichszeitraum (<ref-ruling>; Urteil I 692/06 vom 19. Dezember 2006, E. 3.1) entwickelt haben. Dies gilt auch im Falle einer rückwirkenden Zusprechung einer befristeten und/oder abgestuften Invalidenrente.
2. Streitig ist, ob der Beschwerdeführer auch ab 1. September 2004 Anrecht auf eine rückwirkend zugesprochene ganze Invalidenrente hatte. Das kantonale Gericht hat die zur Beurteilung dieser Frage einschlägigen Rechtsgrundlagen zutreffend dargelegt. Es hat in E. 3 sinngemäss eine anspruchserhebliche Verbesserung des Gesundheitszustandes bejaht und hierzu Feststellungen getroffen, die für das Bundesgericht grundsätzlich verbindlich sind.
3. Aufgrund des im Januar 2001 erlittenen Hirninfarkts entwickelte sich beim Beschwerdeführer eine inkomplette homonyme Hemianopsie links. Im April 2002 ereignete sich ein Arbeitsunfall mit Verletzung der linken Schulter. Am 14. Januar 2008 diagnostizierten die Ärzte des Zentrums X._ eine Periarthropathie humero-scapularis links, einen Status nach arthroskopischer Acromionplastik und Schultermobilisation, Kapselschrumpfung und Schulteramyothrophie, eine agitierte depressive Reaktion im Rahmen einer Anpassungsstörung an der Grenze zu einer leichten Majordepression, ein Carpaltunnelsyndrom links, den Verdacht auf Läsion von C8-Fasern links, ein Schlafapnoesyndrom, ein chronisches Zervikalsyndrom mit intermittierender radikulärer Reizsymptomatik im HWK5/6-Bereich bei Foraminalstenosen unterer zervikaler Bandscheibensegmente sowie chronische Schulter-Armschmerzen links. Der Sachverhalt ist soweit unbestritten; umstritten sind die Auswirkungen dieser Leiden auf die Arbeits- und Erwerbsfähigkeit.
4. Der Beschwerdeführer rügt, es seien zusätzlich zu den Untersuchungen der SUVA keine medizinischen Abklärungen der Folgen der vielfältigen unfallfremden Beeinträchtigungen veranlasst worden. Damit sei die Abklärungspflicht nach <ref-law> verletzt. Die Vorinstanz habe die nicht auf den Unfall zurückzuführenden somatischen Beeinträchtigungen ausgeklammert; sie habe so auf einen offensichtlich unzureichend abgeklärten Sachverhalt abgestellt und die vorhandenen Beweismittel nicht pflichtgemäss gewürdigt.
4.1 Es trifft zu, dass die Vorinstanz in somatischer Hinsicht nur auf den Bericht des SUVA-Kreisarztes abgestellt und die unfallfremden somatischen Aspekte nicht ausdrücklich gewürdigt hat. Die unfallfremden Beeinträchtigungen sind allerdings aufgrund der Akten nicht sehr bedeutend: Die Infarktfolgen sind nach dreimonatiger Arbeitsunfähigkeit abgeklungen, konnte der Beschwerdeführer doch nachher seine bisherige Tätigkeit als Maler wieder zu 100 % ausüben. Auch wenn es sich dabei um keine unfallversicherungsrechtliche Angelegenheit gehandelt hat, wären bei Vorliegen von sichtbaren Folgen des Infarkts entsprechende Hinweise gemacht worden. Das Carpaltunnelsyndrom links ist insofern berücksichtigt, als eine relevante Armleistung wegen der unfallbedingten Schulterverletzung links ohnehin nicht mehr zugemutet wird. Der im Bericht des Zentrums X._ vom 27. April 2007 geäusserte Verdacht auf Plexusläsion wurde in der Folge von der Invalidenversicherung abgeklärt und hat keinen pathologischen Befund ergeben (Berichte der Klinik O._ vom 24. Mai und 7. Juni 2007; Stellungnahme RAD vom 21. September 2007). Erstmals im Bericht des Zentrums X._ vom 14. Januar 2008 wird ein Zervikalsyndrom erwähnt, das aber nicht näher diskutiert wird.
4.2 Verwaltung und Vorinstanz stützten sich vorab auf das psychiatrische Administrativgutachten des Dr. med. F._ ab; dessen Folgerung einer 50%igen Einschränkung der Arbeitsfähigkeit aufgrund einer mittelschweren depressiven Störung hat die Vorinstanz als nachvollziehbar bezeichnet. Der Psychiater schliesst eine organische Ursache der kognitiven Defizite mit sehr grosser Wahrscheinlichkeit aus, weil die leichten Konzentrations- und Merkfähigkeitsstörungen wechselnd vorhanden seien, was der Explorand klar zu verstehen gegeben habe. So würden die Störungen auch davon abhängen, ob er gut oder schlecht schlafe. Eine Besserung der depressiven Störung habe in der Arbeitsabklärung beobachtet werden können.
4.3 Wenn der psychiatrische Gutachter in Kenntnis des Umstandes, dass eine neuropsychologische Untersuchung empfohlen, aber bisher nicht durchgeführt wurde, die Aussage macht, die kognitiven Defizite seien "mit sehr grosser Wahrscheinlichkeit" allein im Rahmen der Depression zu interpretieren, ist es nicht offensichtlich unrichtig, wenn die Vorinstanz darauf abstellt. Die medizinischen Sachverhaltsfeststellungen sind auch insgesamt weder unvollständig noch offensichtlich unrichtig. Der Vorwurf ist unbegründet, die Vorinstanz habe die entgegenstehenden Meinungen zum (möglichen) Grund der kognitiven Beschwerden nicht umfassend kritisch gewürdigt und abgewogen.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. September 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz