Sachverhalt:
A. Der 1955 geborene H._ meldete sich am 18. August 2005 bei der Invalidenversicherung zum Leistungsbezug an. Gegen die einen Anspruch verneinende Verfügung der IV-Stelle Basel-Stadt vom 30. Januar 2007 erhob er Beschwerde, welche das Sozialversicherungsgericht Basel-Stadt mit Rückweisungsentscheid vom 13. September 2007 guthiess. Nach Vornahme weiterer Abklärungen sprach die IV-Stelle H._ mit Verfügung vom 7. Juli 2009 ab 1. März 2009 eine ganze Rente basierend auf einem Invaliditätsgrad von 78 % zu.
B. Am 14. September 2009 liess H._ Beschwerde erheben und beantragen, der Beginn des Anspruchs auf eine Invalidenrente sei unter Aufhebung der Verfügung der IV-Stelle neu festzusetzen, und zwar auf den 1. August 2004 für eine Viertelsrente resp. auf den 1. September 2007 für eine ganze Rente. Das Sozialversicherungsgericht Basel-Stadt wies die Beschwerde mit Entscheid vom 10. Dezember 2009 ab.
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und in Erneuerung der vor Vorinstanz gestellten Begehren beantragen, der Entscheid vom 10. Dezember 2009 sei aufzuheben; eventualiter sei die Sache zwecks Vornahme zusätzlicher medizinischer Abklärungen an die Vorinstanz oder die Verwaltung zurückzuweisen. Ferner lässt er um unentgeltliche Rechtspflege ersuchen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140).
2. Anspruch auf eine ganze Rente besteht, wenn die versicherte Person zu mindestens 70 %, auf eine Dreiviertelsrente, wenn sie zu mindestens 60 %, auf eine halbe, wenn sie zu mindestens 50 % und auf eine Viertelsrente, wenn sie zu mindestens 40 % invalid ist (<ref-law> resp. <ref-law> in der bis 31. Dezember 2007 geltenden Fassung). Der Rentenanspruch entsteht frühestens im Zeitpunkt, in welchem der Versicherte während eines Jahres ohne wesentlichen Unterbruch durchschnittlich mindestens zu 40 % arbeitsunfähig (<ref-law>) gewesen ist (<ref-law> resp. bis zum 31. Dezember 2007 <ref-law>). Wesentlich ist ein Unterbruch der Arbeitsunfähigkeit, wenn die versicherte Person an mindestens 30 aufeinanderfolgenden Tagen voll arbeitsfähig war (<ref-law>). Arbeitsunfähigkeit ist gemäss <ref-law> die durch eine Beeinträchtigung der körperlichen, geistigen oder psychischen Gesundheit bedingte, volle oder teilweise Unfähigkeit, im bisherigen - resp. bei langer Dauer auch in einem anderen - Beruf oder Aufgabenbereich zumutbare Arbeit zu leisten.
3. In der Auffassung, aus rheumatologischer Sicht bestehe keine Arbeitsunfähigkeit und aus psychiatrischer eine solche von 70 % ab März 2008, hat die Vorinstanz den von der Verwaltung anerkannten Anspruch auf eine ganze Invalidenrente ab 1. März 2009 bestätigt. Streitig und zu prüfen ist, ob der Beschwerdeführer bereits in der Zeit davor Anspruch auf eine (Teil-)Rente gehabt hat.
4. 4.1 Es steht fest und ist unbestritten, dass der Versicherte seit 2003 in der Ausübung der bisherigen Tätigkeit eingeschränkt, indessen hinsichtlich seiner rheumatologischen resp. angiologischen Leiden für eine angepasste Tätigkeit zu 100 % arbeitsfähig ist.
4. 4.1 Es steht fest und ist unbestritten, dass der Versicherte seit 2003 in der Ausübung der bisherigen Tätigkeit eingeschränkt, indessen hinsichtlich seiner rheumatologischen resp. angiologischen Leiden für eine angepasste Tätigkeit zu 100 % arbeitsfähig ist.
4.2 4.2.1 In Bezug auf die psychischen Beeinträchtigungen ist das kantonale Gericht der Meinung von Dr. med. P._, Facharzt für Psychiatrie und Psychotherapie FMH, gefolgt, welcher in seinem den Anforderungen an den Beweiswert (<ref-ruling> E. 3a S. 352) genügenden Gutachten vom 24. Oktober 2008 die Arbeitsunfähigkeit des Beschwerdeführers mit mindestens 70 % bezifferte und deren Beginn auf den 20. März 2008 festsetzte, was dem Zeitpunkt der Wiederaufnahme der Behandlung entspricht. Entgegen dem Beschwerdeführer ist nicht ersichtlich, dass Dr. med. P._ frühere ärztliche Einschätzungen unzureichend berücksichtigt hätte. Namentlich liess er die von der Hausärztin gestellte Diagnose einer seit 2003 bestehenden Depression sowie die Ausführungen des im Nachgang zu einer stationären Behandlung in der Psychiatrischen Universitätsklinik X._ vom 17. September 2006 bis 25. Oktober 2006 verfassten Austrittsberichts vom 15. Januar 2007 in seine Beurteilung einfliessen. Nicht ersichtlich ist zwar, ob Dr. med. P._ sein Gutachten in Kenntnis des Schreibens des Dr. med. L._ vom 5. Februar 2007 verfasst hat, was aber irrelevant ist angesichts der Tatsache, dass jener die darin mit 100 % seit 27. September 2006 bezifferte Arbeitsunfähigkeit im Bericht vom 21. April 2008 als mit Datum vom 3. August 2007 beendet erachtete. Das im vorinstanzlichen Verfahren beigebrachte Schreiben des Dr. med. L._ vom 3. Oktober 2009, in welchem dieser erstmals auch für die vom 3. August 2007 bis 20. März 2008 dauernde Behandlungslücke eine Arbeitsunfähigkeit bescheinigt, vermag den Beweiswert des Gutachtens von Dr. med. P._ ebenfalls nicht zu schmälern, zumal diesem auch die von Dr. med. L._ beachteten Umstände bekannt waren und es die Erfahrungstatsache zu berücksichtigen gilt, wonach Berichte behandelnder Haus- und Fachärzte unter Vorbehalt von deren auftragsrechtlichen Stellung zum Patienten zu würdigen sind (vgl. <ref-ruling> E. 3b/cc S. 353).
4.2.2 Es ist nicht zu beanstanden, dass das kantonale Gericht unter Berücksichtigung der stationären psychiatrischen Behandlung (17. September 2006 bis 25. Oktober 2006), in deren Folge dem Beschwerdeführer durch Dr. med. L._ während der Dauer von rund neun Monaten - und somit weniger als einem Jahr (vgl. E. 2) - eine vollständige Arbeitsunfähigkeit attestiert worden ist, in Bezug auf die psychischen Beeinträchtigungen den Beginn der relevanten Arbeitsunfähigkeit gestützt auf das Gutachten des Dr. med. P._ auf den 20. März 2008 festgesetzt hat. Nach dem Gesagten durfte die Vorinstanz in pflichtgemässer antizipierender Beweiswürdigung (<ref-ruling> E. 1d S. 162) auf die Anordnung weiterer fachmedizinischer Abklärungen verzichten.
5. 5.1 In der gegen die Verfügung vom 30. Januar 2007 geführten Beschwerde rügte der Versicherte den von der Verwaltung für die Festsetzung des Invalideneinkommens gewährten Leidensabzug von 5 % als zu gering. Das kantonale Gericht äusserte sich dazu weder im Entscheid vom 13. September 2007 noch in jenem vom 10. Dezember 2009.
5.2 Ob und in welchem Ausmass Tabellenlöhne herabzusetzen sind, ist von sämtlichen persönlichen und beruflichen Umständen des konkreten Einzelfalls (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) abhängig. Der Einfluss sämtlicher Merkmale auf das Invalideneinkommen ist nach pflichtgemässem Ermessen gesamthaft zu schätzen, wobei der Abzug auf höchstens 25 % zu begrenzen ist (Urteil 9C_650/2008 vom 25. November 2008 E. 5.3 mit Hinweisen). Rechtsprechungsgemäss ist ein Abzug auf dem Invalideneinkommen insbesondere dann zu gewähren, wenn eine versicherte Person selbst im Rahmen körperlich leichter Hilfsarbeitertätigkeit in ihrer Leistungsfähigkeit eingeschränkt ist (<ref-ruling> E. 5a/bb S. 78). Sind hingegen leichte bis mittelschwere Arbeiten zumutbar, ist allein deswegen auch bei eingeschränkter Leistungsfähigkeit noch kein Abzug gerechtfertigt (Urteile 8C_559/2008 vom 15. Dezember 2008 E. 4; 9C_343/2008 vom 21. August 2008 E. 3.2; 8C_765/2007 vom 11. Juli 2008 E. 4.3.2), weil der Tabellenlohn im Anforderungsniveau 4 bereits eine Vielzahl von leichten und mittelschweren Tätigkeiten umfasst (Urteil 9C_72/2009 vom 30. März 2009 E. 3.4).
5.3 Bereits die IV-Stelle hat in ihrer Verfügung vom 30. Januar 2007 im Einklang mit der Rechtsprechung (SZS 2009 S. 136, 9C_382/2007 E. 6.1 und 6.3; AHI 1999 S. 237, I 377/98 E. 4c) festgehalten, dass in Bezug auf Hilfsarbeiten auf dem massgebenden ausgeglichenen Arbeitsmarkt (<ref-law>) das Alter des Versicherten nicht lohnsenkend ins Gewicht fällt. Ebenso trifft zu, dass ein Abzug wegen der Nationalität des Beschwerdeführers (er besitzt das Schweizer Bürgerrecht) nicht angebracht ist; die Manifestation einer fremden Herkunft im Namen ist dabei irrelevant (vgl. SZS 2009 S. 136, 9C_382/2007 E. 6.4). Betreffend die Beschränkung auf rückenadaptierte Tätigkeiten hat die Verwaltung festgehalten, dass ein Leidensabzug von 5 % getätigt werden könne, wenngleich dem Versicherten weiterhin ein breites Spektrum an beruflichen Möglichkeiten offen stehe. Der Beschwerdeführer war in der relevanten Zeit für Schontätigkeiten, wie sie ihm vom damaligen Arbeitgeber zugewiesen worden sind, voll arbeitsfähig. Einzig für wirbelsäulenbelastende Tätigkeiten (Heben über 12 kg mit repetitivem Bücken) musste er laut Gutachten von Dr. med. B._, Facharzt für Rheumatologie FMH MBSR, vom 22. Mai 2006 dispensiert werden, was aber die Zumutbarkeit leichter bis mittelschwerer (adaptierter) Arbeiten nicht ausschliesst. Zwar hat die Vorinstanz in diesem Zusammenhang den Anspruch auf rechtliches Gehör verletzt, weil sie sich trotz Vorbringen in der Beschwerde mit der Frage des Abzugs vom Tabellenlohn nicht auseinandergesetzt hat. Da ein zur Begründung des Rentenanspruchs erforderlicher Abzug von mindestens 20 % indes offensichtlich ausscheidet, kann von einer Rückweisung der Sache an das kantonale Gericht abgesehen werden (vgl. Art. 97 Abs. 1 in fine BGG).
5.4 Somit steht fest, dass der Rentenanspruch erst im Zusammenhang mit der psychischen Beeinträchtigung entstand. Auf die Rüge, dass auch diesbezüglich kein Abzug vorgenommen wurde, ist nicht weiter einzugehen, bezieht der Versicherte doch eine ganze Rente (vgl. <ref-law>).
5.5 In Bezug auf den Beginn der Wartezeit ist die Arbeitsunfähigkeit in der früheren Tätigkeit nicht relevant (<ref-law>, vgl. E. 2), zumal der Beschwerdeführer trotz gesundheitlicher Beeinträchtigungen während mehreren Jahren in adaptierten Tätigkeiten voll arbeitsfähig war.
6. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Advokat Dr. Andreas Bernoulli, Basel, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. Juli 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann