Sachverhalt:
A. B._, geboren 1958, meldete sich im Oktober 2006 zum Bezug von Leistungen der Invalidenversicherung an. Er war bei der Firma X._ seit 1. Juni 1982 bis zur Beendigung des Arbeitsverhältnisses am 31. Dezember 2006 als Schichtführer/Manager angestellt; der letzte effektive Arbeitstag war der 3. April 2006. Dr. med. W._ (Facharzt für Innere Medizin FMH, spez. Lungenkrankheiten) attestierte am 2. August 2006 eine Arbeitsunfähigkeit von 100 % seit 4. April 2006, wobei er ein lumbospondylogenes Reizsyndrom rechts mehr als links, ein lumbospondylogenes Cervicalsyndrom sowie eine mittelschwere bis schwere Depression diagnostizierte. Die B._ seit August 2006 behandelnde Frau Dr. med. I._ (Psychiatrie, Psychotherapie FMH) sah die depressive Störung im Rahmen einer posttraumatischen Belastungsstörung und stellte eine erhebliche Chronifizierungsgefahr fest. Der Versicherte verfüge jedoch über Ressourcen: Intelligenz, sprachlicher Ausdruck, familiärer Rückhalt bei Ehefrau (Arztbericht vom 21. November 2006). Die IV-Stelle Basel-Stadt liess B._ durch die Dres. med. U._ (Rheumatologie FMH) und A._ (Psychiatrie und Psychotherapie FMH) begutachten (Gutachten vom 5. resp. 27. Dezember 2007). In der im psychiatrischen Gutachten festgehaltenen bidisziplinären Gesamtbeurteilung wurde festgestellt, dass sich aus rein rheumatologischer Sicht keine Krankheit mit Einschränkung der Arbeitsfähigkeit diagnostizieren lasse. Aus psychiatrischer Sicht könne die Arbeitsfähigkeit sowohl in der zuletzt ausgeübten wie auch in einer alternativen Tätigkeit seit April 2006 als zu höchstens 20 % eingeschränkt beurteilt werden. Eine zusätzliche Verminderung der Leistungsfähigkeit bestehe nicht; es seien jedoch keine nicht-rückenadaptierten, ständig mittelschweren oder schweren Arbeiten zumutbar. Mit Schreiben vom 18. Juli 2008 nahm Dr. med. A._ zu den von Frau Dr. med. I._ und lic. phil. H._ (Psychotherapeut SPV) verfassten Einwendungen vom 20. März 2008 Stellung. Mit Verfügung vom 5. November 2008 verneinte die IV-Stelle Basel-Stadt einen Anspruch des B._ auf eine Invalidenrente.
B. B._ erhob gegen die Verfügung vom 5. November 2008 beim Sozialversicherungsgericht des Kantons Basel-Stadt Beschwerde. Im Rahmen dieses Verfahrens wurde ein durch Frau D._ (Fachärztin für Psychiatrie und Psychotherapie) erstelltes Aktengutachten vom 15. Dezember 2008 eingereicht. In teilweiser Gutheissung der Beschwerde wurde mit Entscheid vom 20. August 2009 die Verfügung vom 5. November 2008 aufgehoben und die IV-Stelle Basel-Stadt verpflichtet, B._ ab 1. April 2007 eine Viertelsrente auszurichten. Überdies wurde B._ eine Parteientschädigung von Fr. 2'800.-- zuzüglich Fr. 212.80 Mehrwertsteuer zugesprochen.
C. Sowohl die IV-Stelle Basel-Stadt wie auch B._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten. Die Verwaltung beantragt die Aufhebung des Entscheids vom 20. August 2009, während der Versicherte darüber hinaus verlangt, die Verfügung vom 5. November 2008 sei aufzuheben, die Sache sei zur Vornahme weiterer Abklärungen zurückzuweisen und die Verwaltung habe ihre gesetzlichen Leistungen zu erbringen; eventualiter sei eine Invalidenrente von mindestens 50 % zuzusprechen.
Beide Beschwerdeführer fordern jeweils die Abweisung der Beschwerde der Gegenpartei. Das kantonale Gericht verzichtet auf eine Vernehmlassung. Das Bundesamt für Sozialversicherungen (BSV) verlangt die Gutheissung der Beschwerde der IV-Stelle Basel-Stadt und die Abweisung jener des Versicherten.
D. Mit Verfügung vom 21. Januar 2010 hat der Instruktionsrichter der Beschwerde der IV-Stelle Basel-Stadt die aufschiebende Wirkung zuerkannt.
Erwägungen:
1. Da den beiden Beschwerden derselbe Sachverhalt zu Grunde liegt und ein auf einem gleichartigen tatsächlichen und rechtlichen Grund beruhender Anspruch Streitgegenstand bildet, rechtfertigt es sich, die beiden Verfahren zu vereinigen und in einem einzigen Urteil zu erledigen (Philipp Gelzer, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, N. 10 zu Art. 71 BGG sowie Urteil 8C_557+581/2007 vom 4. Juni 2008 E. 1 mit weiteren Verweisen).
2. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 130 III 136 E. 1.4 S. 140). Gemäss Art. 42 Abs. 2 BGG ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (Art. 108 Abs. 1 lit. b BGG). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
3. Der Beschwerdeführer reicht erstmals letztinstanzlich eine Bestätigung der Zürich Versicherungsgesellschaft vom 18. März 2008 über die Taggeldzahlungen im Jahr 2007 ein. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt, was von der beschwerdeführenden Partei näher darzulegen ist (Art. 99 Abs. 1 BGG; BGE 135 V 194 E. 2 f. S. 196 ff.; Urteil 8C_826/2008 vom 2. April 2009 E. 3). Dieser Grundsatz gilt in allen Verfahren, so auch hier, wo das Bundesgericht unter Vorbehalt von Art. 105 Abs. 2 BGG an den von der Vorinstanz festgestellten Sachverhalt gebunden ist. Vom Beschwerdeführer wird vorliegend keine Konstellation gemäss Art. 99 Abs. 1 BGG geltend gemacht, weshalb dieses neue Beweismittel unzulässig ist (vgl. dazu auch Urteile 8C_514/2008 vom 31. März 2009 E. 3 und 8C_490/2009 vom 23. Oktober 2009 E. 4). Überdies wäre, selbst wenn sie als zulässig erachtet würde, die Bestätigung über Taggeldzahlungen für das konkrete Verfahren nicht massgebend, da eine von einem privaten Kollektiv-Taggeldversicherer angenommene Arbeitsunfähigkeit keine bindende Wirkung für die Invalidenversicherung haben kann, die das Mass der Arbeitsunfähigkeit durch Gutachter abklären liess.
4. 4.1 Der Versicherte stellt die Aussagekraft des psychiatrischen Gutachtens des Dr. med. A._ und die daraus abgeleiteten Schlüsse betreffend Arbeits- und Erwerbsunfähigkeit in Frage. Bei der auf ein eingeholtes Gutachten gestützten Bestimmung der Arbeitsfähigkeit im angestammten Beruf und in einer adaptierten Tätigkeit handelt es sich praxisgemäss um eine Sachverhaltsfeststellung und nicht um eine Rechtsfrage (BGE 132 V 393 E. 3.2 S. 397 unten f.). Es ist nicht erkennbar, dass die Vorinstanz, die insbesondere die Einschätzung des Dr. med. A._ als zuverlässig und schlüssig betrachtet hat, den Sachverhalt offensichtlich unrichtig festgestellt oder dabei eine Rechtsverletzung begangen hat. Vielmehr hat sie ausführlich dargelegt, warum die Aussagekraft des umstrittenen Gutachtens gegeben ist. Sie hat sich dabei mit der von der behandelnden Psychiaterin, dem Psychotherapeuten und der privaten Aktengutachterin, Fachärztin D._, am Gutachten des Dr. med. A._ angebrachten Kritik auseinandergesetzt. Tatsächlich übt der Beschwerdeführer in unzulässiger Weise rein appellatorische Kritik an den Feststellungen der Vorinstanz betreffend die Würdigung der medizinischen Unterlagen, was im Rahmen von Art. 105 Abs. 1 und Abs. 2 BGG nicht genügt. Das Gutachten des Dr. med. A._ erfüllt die von Lehre und Rechtsprechung entwickelten Anforderungen an eine Expertise (BGE 125 V 351 E. 3a, b/aa und b/bb S. 352 f.; vgl. dazu auch Ueli Kieser, ATSG-Kommentar, 2. Auflage 2009, N. 32 zu Art. 44 ATSG). Angesichts des Umfanges des Gutachtens wie auch insbesondere der vom Beschwerdeführer dort wiedergegebenen subjektiven Angaben kann nicht auf eine zu kurze Konsultationszeit geschlossen werden. Die Vorinstanz hat überzeugend dargelegt, dass der diesbezügliche Einwand des Beschwerdeführers nicht zutrifft. Daher kann auch auf die von diesem verlangte Befragung des Übersetzers als Zeugen verzichtet werden. Die Kritik, das Gutachten des Dr. med. A._ sei minimalistisch und unausgewogen, ist daher nicht zu hören.
4.2 Vom Versicherten wird als Auslöser seiner Beschwerden eine posttraumatische Belastungsstörung behauptet, obwohl dies sowohl von Dr. med. A._ wie auch von der vom Leistungsansprecher selber beigezogenen Aktengutachterin D._ negiert wird. Tatsächlich sind Ereignisse, die beim Beschwerdeführer eine posttraumatische Belastungsstörung hätten auslösen können, nicht auszumachen. Eine solche wird nur dann als invalidisierend anerkannt, wenn sie nach einem traumatisierenden Ereignis von aussergewöhnlicher Schwere auftritt (vgl. das Urteil I 203/06 vom 28. Dezember 2006 E.4.4 mit Hinweisen). Einerseits betrafen die beiden vom Beschwerdeführer angerufenen Ereignisse im Jahr 2004 nicht ihn persönlich und andererseits konnte er bis zum 4. April 2006 auch weiterhin - mit Ausnahme vom 31. Januar bis 14. Februar 2006 wegen Sinusitis - seiner Arbeit nachgehen. Selbst wenn die Vorfälle als traumatisierend betrachtet würden, so ist nach der Lebenserfahrung anzunehmen, dass nach einigen Wochen oder Monaten die Traumatisierung überwunden wird und sich nicht mehr invalidisierend auswirkt (vgl. Urteil U 593/06 vom 14. April 2008 E. 3.2).
4.3 Der Beschwerdeführer verkennt auch, wenn er den Erkenntnissen des Gutachters Dr. med. A._ die Aussagen der behandelnden Psychiaterin und des Psychotherapeuten gegenüberstellt, den Unterschied zwischen Behandlungsauftrag einerseits und Begutachtungsauftrag andererseits (vgl. dazu das Urteil 9C_842/2009 vom 17. November 2009 E. 2.2 mit Hinweisen).
Das kantonale Gericht hat daher für die Beurteilung der Arbeitsfähigkeit im angestammten Bereich wie auch bei einer adaptierten Tätigkeit zu Recht auf die Erkenntnisse der Gutachter Dres. med. U._ und A._ abgestellt. Somit kann aus rheumatologischer Sicht in der angestammten Tätigkeit nicht von einer Einschränkung der Arbeitsfähigkeit ausgegangen werden. Bei einer adaptierten Beschäftigung liegt lediglich eine geringfügige Einschränkung dergestalt vor, dass dem Beschwerdeführer keine nicht-rückenadaptierten, ständig mittelschweren oder schweren Arbeiten zumutbar sind. Aus psychiatrischer Sicht ist in der angestammten wie auch auch in einer alternativen Tätigkeit seit April 2006 eine Einschränkung von höchstens 20 % anzunehmen.
5. Da lediglich eine Einschränkung der Arbeitsfähigkeit von höchstens 20 % besteht, stellt sich, wie von der IV-Stelle in der von ihr eingereichten und vom BSV unterstützten Beschwerde geltend gemacht wird, die Frage, ob damit überhaupt ein Rentenanspruch entstehen konnte.
5.1 Das Begehren um Ausrichtung von Leistungen der Invalidenversicherung wurde am 2. Oktober 2006 eingereicht. Wenn ein Rentenanspruch und somit auch der Versicherungsfall schon für die Zeit vor dem 1. Januar 2008 behauptet wird, ist zur Überprüfung dieser Frage das bis 31. Dezember 2007 geltende Recht (aIVG) anzuwenden und die Änderungen der 5. IV-Revision (Änderung des IVG vom 6. Oktober 2006, in Kraft seit 1. Januar 2008) noch nicht zu berücksichtigen (vgl. dazu auch das Rundschreiben Nr. 253 des BSV vom 12. Dezember 2007). Immerhin ist festzustellen, dass für die Frage, wann ein Wartejahr zu laufen beginnt, respektive wann es absolviert ist, die ab 1. Januar 2008 geltenden Bestimmungen des IVG aufgrund der 5. IV-Revision keine materielle Änderung gebracht haben. Was die Bestimmung des Invaliditätsgrades betrifft, so ist ohnehin Art. 16 ATSG heranzuziehen, der in diesem Zusammenhang keine Modifikation erfuhr. Auch der für die Bestimmung der Erwerbsunfähigkeit massgebende Art. 7 ATSG hält in der ab 1. Januar 2008 geänderten Form lediglich die schon bis zu jenem Zeitpunkt erfolgte höchstrichterliche Rechtsprechung fest (vgl. BGE 135 V 215 E. 7.3 S. 230 f.)
5.2 Gemäss Art. 29 Abs. 1 lit. b aIVG entstand der Rentenanspruch frühestens zu dem Zeitpunkt, in dem der Versicherte während eines Jahres ohne wesentlichen Unterbruch durchschnittlich mindestens zu 40 % arbeitsunfähig gewesen war. Die Rentenhöhe ist sowohl vom Ausmass der nach Ablauf der Wartezeit weiterhin bestehenden Erwerbsunfähigkeit als auch vom durchschnittlichen Grad der Arbeitsunfähigkeit während des vorangegangenen Jahres abhängig. Denn eine ganze Rente fällt erst in Betracht, wenn der Versicherte während eines Jahres durchschnittlich mindestens zu 70 % arbeitsunfähig gewesen und weiterhin wenigstens im gleichen Umfang invalid im Sinne von Art. 8 ATSG ist (vgl. Urteil I 392/02 vom 23. Oktober 2003 E. 4.2.1 mit Hinweis). Für die Viertels-, halbe und Dreiviertelsrente gelten entsprechende Anforderungen. Die durchschnittliche Beeinträchtigung der Arbeitsfähigkeit während eines Jahres und die nach Ablauf der Wartezeit bestehende Erwerbsunfähigkeit müssen somit kumulativ und in der für die einzelnen Rentenabstufungen erforderlichen Mindesthöhe (vgl. Art. 28 Abs. 1 aIVG) gegeben sein, damit eine Rente im entsprechenden Umfang zugesprochen werden kann (BGE 121 V 264 E. 6b/cc S. 274; 105 V 156 E. 2c/d S. 161 f.; Ulrich Meyer-Blaser, Bundesgesetz über die Invalidenversicherung, 1997, S. 236 f.; vgl. dazu auch das Urteil 9C_718/2008 vom 2. Dezember 2008 E. 4.1.1).
5.3 Der Auffassung der IV-Stelle Basel-Stadt und des BSV, wonach bei einer Einschränkung der Arbeitsfähigkeit von lediglich 20 % (E. 4.3) aufgrund der angeführten Vorschrift von Art. 29 Abs. 1 lit. b aIVG ein Rentenanspruch nicht hat entstehen können, ist beizupflichten. Der Versicherte räumt in seiner Beschwerde vom 19. Oktober 2009 selber ein, dass sich die körperlichen Gebrechen in der angestammten Tätigkeit kaum ausgewirkt hätten. Im Übrigen bewirkte auch die mit einem vom 21. März bis 8. Mai 2007 dauernden stationären Klinikaufenthalt verbundene, vorübergehende vollständige Arbeitsunfähigkeit kein Absolvieren des Wartejahres, da dafür die Einschränkung von 100 % während mindestens 3 Monaten hätte gegeben sein müssen (vgl. für die entsprechend Berechnung Anhang II zum Kreisschreiben des BSV über die Invalidität und Hilflosigkeit).
5.4 Da die Voraussetzungen gemäss Art. 29 Abs. 1 lit. b aIVG nicht gegeben sind, bleibt zu prüfen, ob der Beschwerdeführer im Sinne von Art. 29 Abs. 1 lit. a aIVG mindestens zu 40% bleibend erwerbsunfähig geworden ist. Das Eidg. Versicherungsgericht hat den Begriff der bleibenden Erwerbsunfähigkeit nach Art. 29 aIVG seit je und in konstanter Rechtsprechung restriktiv umschrieben. Danach ist eine bleibende Erwerbsunfähigkeit anzunehmen, wenn ein weitgehend stabilisierter, im wesentlichen irreversibler Gesundheitsschaden vorliegt, welcher die Erwerbsfähigkeit voraussichtlich dauernd in rentenbegründendem Masse beeinträchtigen wird. Als relativ stabilisiert kann ein ausgesprochen labil gewesenes Leiden nur dann betrachtet werden, wenn sich sein Charakter deutlich in der Weise geändert hat, dass vorausgesehen werden kann, in absehbarer Zeit werde keine praktisch erhebliche Wandlung mehr erfolgen (BGE 119 V 98 E. 4a s. 102; Urteil 8C_551/2008 vom 13. November 2008 E. 3.1; Ulrich Meyer-Blaser, a.a.O., S. 232 f.). Diese Voraussetzungen können beim Beschwerdeführer, dessen Einschränkung in der Arbeitsfähigkeit primär psychisch bedingt ist, nicht als gegeben angenommen werden. Es ist weder zu erwarten, dass der Gesundheitsschaden irreversibel ist, noch erscheint er als mindestens relativ stabilisiert, was für die Annahme einer bleibenden Erwerbsunfähigkeit kumulativ gegeben sein müsste (vgl. Ulrich Meyer-Blaser, a.a.O., S. 233). Die Voraussetzungen von Art. 29 Abs. 1 lit. a aIVG sind somit ebenfalls nicht erfüllt. Auch hat sich ab 1. Januar 2008 die rechtliche Situation nicht zugunsten des Beschwerdeführers verändert; denn im Zuge der 5. IV-Revision fiel die Bestimmung von Art. 29 Abs. 1 lit. a aIVG weg und jene von Art. 29 Abs. 1 lit. b aIVG wurde in Art. 28 Abs. 1 lit. b IVG übernommen. Damit ist kein Rentenanspruch des Beschwerdeführers gegeben.
6. Schliesslich ergibt sich, selbst wenn die Voraussetzungen von Art. 29 aIVG erfüllt wären, kein rentenbegründender Invaliditätsgrad gemäss Art. 28 Abs. 1 aIVG.
6.1 Die Vorinstanz hat für die Bestimmung des Invalideneinkommens auf Tabellenlöhne abgestellt. Dies ist korrekt, da nicht ersichtlich ist, dass der Beschwerdeführer seit der Auflösung des Arbeitsverhältnisses auf den 31. Dezember 2006 einer Erwerbstätigkeit nachging.
6.2 Die Verwendung der Tabelle TA7 der Schweizerischen Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) 2006, wie von der Vorinstanz vorgenommen, ist zulässig, weil der Beschwerdeführer einerseits über die Niederlassungsbewilligung verfügt und andererseits sich bereits seit 1981 in der Schweiz aufhält, weshalb ihm grundsätzlich Tätigkeiten im privaten und öffentlichen Sektor offenstehen (vgl. RKUV 2000 U 405 S.399, U 66/00 E.3b).
6.3 Fraglich ist, welches Anforderungsniveau der Tabelle TA7 der LSE 2006 massgebend sein soll. Wie die Wahl der Tabelle bei statistischem Lohnvergleich als solche ist auch die Bestimmung der massgeblichen Stufe eine frei überprüfbare Rechtsfrage (SVR 2008 IV Nr. 4 S. 9, I 732/06 E.4.2.2; Urteil 9C_678/2008 vom 29. Januar 2009 E. 3.2). Die Vorinstanz hat das Anforderungsniveau 4 herangezogen, weil der Beschwerdeführer seit 1983 nur bei einem einzigen Arbeitgeber tätig gewesen sei und dort auch seinen beruflichen Aufstieg vollzogen habe. Dies rechtfertigt indessen nicht, im Rahmen der Bestimmung des Invalideneinkommens nur einfache und repetitive Tätigkeiten als zumutbar anzunehmen. Eine solche Betrachtungsweise führte zu einer Ungleichbehandlung im Vergleich mit jenen Arbeitnehmern, die im Laufe ihrer Erwerbstätigkeit den Arbeitgeber gewechselt haben und nun in einem höheren Anforderungsniveau einzustufen wären. So wurde im Urteil 8C_704/2009 vom 27. Januar 2010 bei einem Arbeitnehmer, der sich vom Maurerlehrling bis zum Leiter der Abteilung Reparatur- und Spezialarbeiten hochgearbeitet hatte, zwar nicht auf die Tabelle TA1_b, aber immerhin auf die Tabelle TA1 der LSE und dabei auf das "Anforderungsniveau 1 und 2" abgestellt, obwohl der betroffene Versicherte über 40 Jahre im gleichen Betrieb tätig gewesen war (Urteil 8C_704/2009 vom 27. Januar 2010 E.4.2.1.2). Gemäss dem vom Beschwerdeführer selber vorgelegten Arbeitszeugnis vom 11. Oktober 2006 gehörte zu seinen Aufgaben die Schichtführung, das heisst die Aufsicht über 10-20 Kassen- oder Küchenmitarbeiter, die Kontrolle der Arbeitsabläufe und Motivation der Mitarbeiter, die Gewährleistung eines einwandfreien Kundenservices, die Produktionskontrolle und Qualitätsgarantie, die aktive Mithilfe bei grossem Kundenandrang, die Überwachung des Restaurants, das Training des Personals, die Abwicklung des Bestellwesens für die Restaurantprodukte sowie die Kassen- und Safeabrechnung. Bei einer solchen Tätigkeit, die während mehrerer Jahre ausgeübt wurde - wobei die selbständige Schichtführung bereits ab Mai 1984 erfolgte - ist zumindest vom Anforderungsniveau 3, was Berufs- und Fachkenntnisse voraussetzt, auszugehen.
6.4 Bei Heranziehen des Anforderungsniveaus 3 der Tabelle TA7 der LSE 2006 resultiert unter Berücksichtigung der Einschränkung in einer adaptierten Tätigkeit von 20 % und des von der Vorinstanz zutreffend angenommenen Leidensabzuges von 10 % (der ohnehin als Schätzung der bundesgerichtlichen Überprüfung im Wesentlichen nur auf Ermessensmissbrauch zugänglich ist, vgl. BGE 132 V 393 E. 3.3 in fine S. 400) sowie der durchschnittlichen Wochenarbeitszeit von 41.7 Stunden ein Invalideneinkommen von Fr. 51'142.90 (Fr. 5'678.- x 12 x 41.7 : 40 x 0.8 x 0.9). Die Vorinstanz hat das Valideneinkommen auf Fr. 82'940.- beziffert, was von keiner Partei bestritten wird. Damit resultiert eine Einschränkung des Erwerbseinkommens von 31'797.10 und somit ein (abgerundeter) Invaliditätsgrad von 38 %, was einen Rentenanspruch ausschliesst (Art. 28 Abs. 1 aIVG).
7. Der Beschwerdeführer hat auf Grund seines gesamthaften Unterliegens im vereinigten Verfahren Gerichtskosten von insgesamt Fr. 1'000.- zu tragen (Art. 66 Abs. 1 BGG). Die IV-Stelle Basel-Stadt hat als obsiegender Sozialversicherer keinen Anspruch auf Parteientschädigung (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 9C_882/2009 und 9C_887/2009 werden vereinigt.
2. Die Beschwerde der IV-Stelle Basel-Stadt wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichtes des Kantons Basel-Stadt vom 20. August 2009 wird aufgehoben.
3. Die Beschwerde des Versicherten wird abgewiesen.
4. Der Versicherte hat die Gerichtskosten von Fr. 1'000.-- zu bezahlen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. April 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann