Sachverhalt:
A. V._ (geb. 1971) war, ohne zuvor eine Berufslehre absolviert zu haben, von April 1988 bis zur Kündigung des Arbeitsverhältnisses durch den Arbeitgeber auf Ende Oktober 2006, in der Malerei der Firma Q._ angestellt. Wegen Rückenbeschwerden meldete er sich im September 2006 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Luzern klärte die gesundheitlichen und erwerblichen Verhältnisse sowie die beruflichen Eingliederungsmöglichkeiten ab. Namentlich liess sie den Versicherten im Ärztlichen Begutachtungsinstitut (ABI) untersuchen. Gestützt auf die Expertise des ABI vom 31. März 2009 stellte sie mit Vorbescheid vom 20. Mai 2009 die Ablehnung der Invalidenrente in Aussicht. Aufgrund der vom Rechtsvertreter des Versicherten unter Hinweis auf die Stellungnahme des behandelnden Psychiaters Dr. med. F._ vom 14. Mai 2009 erhobene Kritik am Gutachten, holte die IV-Stelle beim psychiatrischen Teilgutachter Dr. med. G._ dessen ergänzende Stellungnahme vom 2. Juli 2009 ein. Mit Verfügung vom 23. Juli 2009 lehnte sie den Rentenanspruch bei einem Invaliditätsgrad von 15 Prozent ab. Bereits mit Verfügung vom 5. Februar 2009 hatte sie das Gesuch um unentgeltliche Verbeiständung im Abklärungsverfahren abgewiesen.
B. V._ reichte gegen die Verfügungen vom 5. Februar 2009 und vom 23. Juli 2009 beim Verwaltungsgericht des Kantons Luzern Beschwerde ein. Dieses vereinigte die Verfahren und wies die Beschwerden mit Entscheid vom 18. März 2010 ab.
C. V._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, die Sache sei, unter Aufhebung des kantonalen Gerichtsentscheids, an die Vorinstanz zurückzuweisen, damit sie zur Klärung des somatischen und psychischen Gesundheitszustandes ein interdisziplinäres Gutachten einhole; überdies sei die IV-Stelle zu verpflichten, für das Verwaltungsverfahren die unentgeltliche Verbeiständung zu gewähren und die Honorarnote des Dr. med. F._ für die Stellungnahme zum psychiatrischen Teilgutachten des ABI im Umfang von Fr. 827.50 zu bezahlen. Eventualiter sei dem Versicherten für das letztinstanzliche Verfahren die unentgeltliche Rechtspflege zu gewähren. Zudem gab er den Bericht von Prof. Dr. med. M._ vom 18. März 2010 zu den Akten.
Während kantonales Gericht und Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichten, schliesst die IV-Stelle auf Abweisung der Beschwerde, soweit darauf einzutreten ist.
D. Mit Verfügung des Präsidenten der I. sozialrechtlichen Abteilung des Bundesgerichts vom 29. Oktober 2010 wurde die IV-Stelle eingeladen, dem Bundesgericht sämtliche den Beschwerdeführer betreffenden Akten, insbesondere auch die Auftragserteilung an das ABI vom 24. September 2008 und den Fragenkatalog zum Gutachtensauftrag einzureichen, was diese mit begleitender Stellungnahme vom 10. November 2010 tat.
Der Beschwerdeführer nahm dazu mit Schreiben vom 29. November 2010 Stellung. Gleichzeitig gab er den Austrittsbericht der Chirurgischen Klinik des Spitals X._ vom 16. September 2010, den Operationsbericht vom 17. September 2010 und den Austrittsbericht vom 22. November 2010 zu den Akten.

Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls darauf nicht eingetreten wird (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255; zur Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung vgl. <ref-ruling>).
2. Im angefochtenen Entscheid finden sich, in Ergänzung zur Verfügung vom 23. Juli 2009, die Rechtsgrundlagen in materiell- und formellrechtlicher Hinsicht, namentlich zur Bedeutung und zum Beweiswert ärztlicher Berichte und Gutachten sowie zur Beweiswürdigung (<ref-ruling> E. 4 S. 99 f. mit Hinweisen; <ref-ruling> E. 3 S. 352 ff.) zutreffend dargelegt. Darauf wird verwiesen.
3. Das kantonale Gericht hat als Ergebnis seiner Würdigung der medizinischen Unterlagen (Art. 61 lit. c in fine ATSG; SR 830.1) - insbesondere der Begutachtung des ABI, welcher es vollen Beweiswert zuerkannte - festgehalten, dass der Beschwerdeführer für leidensangepasste Tätigkeiten eine zumutbare Arbeits- und Leistungsfähigkeit von 100 Prozent aufweist. Davon ausgehend hat die Vorinstanz in einem in der letztinstanzlichen Beschwerde nicht in Frage gestellten Einkommensvergleich bei einem Valideneinkommen von Fr. 56'876.- und einem Invalideneinkommen von Fr. 48'069.- auf einen Invaliditätsgrad von 15 Prozent geschlossen, welcher keinen Anspruch auf Invalidenrente begründet (<ref-law>).
4. 4.1 Der Beschwerdeführer rügt in verschiedener Hinsicht den Beweiswert des ABI-Gutachtens. Im Urteil 9C_400/2010 vom 9. September 2010 E. 4 hat das Bundesgericht die grundsätzliche Beweistauglichkeit der MEDAS-Expertisen mit Blick auf das von PROF. DR. IUR. JÖRG PAUL MÜLLER und DR. IUR. JOHANNES REICH verfasste "Rechtsgutachten zur Vereinbarkeit der bundesgerichtlichen Rechtsprechung zur medizinischen Begutachtung durch Medizinische Abklärungsstellen betreffend Ansprüche auf Leistungen der Invalidenversicherung mit Art. 6 der Konvention vom 4. November 1950 zum Schutze der Menschenrechte und Grundfreiheiten" vom 11. Februar 2010 bestätigt. Bei formell einwandfreien und materiell schlüssigen medizinischen Entscheidungsgrundlagen des Versicherungsträgers besteht nach der Rechtsprechung kein Anspruch auf eine gerichtliche Expertise (<ref-ruling> E. 4 S. 467).
4.2 Weder die nicht spezifisch auf den vorliegenden Fall bezogene Kritik am ABI als gewinnorientierte Gesellschaft und dessen umfangreiche Tätigkeit für die IV-Stellen, noch der pauschale Verweis auf das erwähnte Rechtsgutachten MÜLLER/REICH geben Anlass, das Abstellen auf das ABI-Gutachten als bundesrechtswidrig zu betrachten. Soweit der Beschwerdeführer im letztinstanzlichen Verfahren erstmals die Mitwirkung des Institutsleiters Dr. med. L._, FMH Innere Medizin, beanstandet, gilt es darauf hinzuweisen, dass das gegen den Gutachter eröffnete Strafverfahren nicht dazu führen kann, nunmehr alle ABI-Gutachten pauschal als unglaubwürdig zu betrachten. Überdies ist kein konkreter Anhaltspunkt ersichtlich, der auf Voreingenommenheit oder Befangenheit des Dr. med. L._ oder Verfälschung der Abklärungsergebnisse durch diesen Arzt im vorliegenden Verfahren schliessen lässt, zumal in der Schlussbeurteilung die von den Teilgutachtern Dres. med. H._ und G._ attestierte volle Arbeitsfähigkeit für körperlich leichte bis mittelschwere Tätigkeiten in wechselnder Position aus orthopädischer und psychiatrischer Sicht unverändert übernommen wurde und diese das Ergebnis der Gesamtbeurteilung unterschriftlich bestätigt haben. Der Beschwerdeführer hat denn auch davon abgesehen, den Facharzt als befangen abzulehnen.
5. 5.1 Der Beschwerdeführer macht weiter eine Verletzung des rechtlichen Gehörs im Sinne von <ref-law> durch die IV-Stelle und das Verwaltungsgericht geltend. Eine solche sieht er im Umstand begründet, dass ihm trotz Gesuch um Aktenedition Expertenauftrag und Fragenkatalog an das ABI unter Hinweis auf <ref-ruling> im Administrativ- wie auch im Gerichtsverfahren vorenthalten worden seien. Damit bleibe unklar, ob dem ABI die für die Entscheidfindung relevante Frage nach der zumutbaren Willensanstrengung unterbreitet und ob dieses auf die Wahrheitspflicht sowie die Straffolgen eines falschen ärztlichen Gutachtens hingewiesen worden sei.
5.2 Im sozialversicherungsrechtlichen Abklärungsverfahren obliegt die Leitung des Verfahrens dem Versicherungsträger (Grundsatz des Amtsbetriebes); dieser hat einen Sozialversicherungsfall hoheitlich zu bearbeiten (<ref-law>) und mit dem Erlass einer materiellen Verfügung zu erledigen (<ref-law>). Partizipatorische, auf Mitwirkung im Rahmen der Gutachtensbestellung abzielende Verfahrensrechte stehen dabei in einem Spannungsverhältnis zum Gebot des raschen und einfachen Verfahrens (<ref-law>). Anzustreben ist ein vernünftiges Verhältnis zwischen den Mitwirkungsrechten im Verwaltungsverfahren und dem Ziel einer raschen und korrekten Abklärung (vgl. <ref-ruling> E. 6.5 S. 109). Aus diesen Grundsätzen zog das Bundesgericht in <ref-ruling> E. 7.4 S. 449 den Schluss, <ref-law> sei für das Sozialversicherungsverfahren mit Bezug auf die Parteirechte hinsichtlich der Fragen an die Sachverständigen abschliessend, weshalb die weitergehende Regelung von <ref-law> in Verbindung mit <ref-law> keine Anwendung finde. Die Rechte der versicherten Person würden insofern gewahrt bleiben, als sie sich im Rahmen des rechtlichen Gehörs zum Beweisergebnis wird äussern und erhebliche Beweisanträge wird vorbringen können. Diese Rechtsprechung hat das Bundesgericht in <ref-ruling> E. 5.2 S. 115 bestätigt und <ref-ruling> E. 7 S. 375 dahingehend präzisiert, dass der Versicherungsträger dann, wenn er der Gutachtensperson Erläuterungs- oder Ergänzungsfragen zu stellen gedenkt, die versicherte Person darüber zu informieren und ihr eine Kopie des Gutachtens zuzustellen hat (<ref-ruling> E. 5.4 S. 116).
5.3 Nach <ref-law> sind für jedes Sozialversicherungsverfahren alle Unterlagen, die massgeblich sein können, vom Versicherungsträger systematisch zu erfassen. Zu den zu erfassenden Akten gehören insbesondere auch der Briefverkehr zwischen dem Versicherungsträger und den im Einzelfall angefragten Auskunftspersonen und Experten (Urteil 8C_63/2009 vom 25. Januar 2010 E. 2). Sofern überwiegende Privatinteressen gewahrt bleiben, steht der versicherten Person gemäss <ref-law> die Akteneinsicht für die sie betreffenden Daten zu.
Mit Schreiben vom 22. Januar 2009 teilte die IV-Stelle dem Rechtsvertreter des Versicherten unter Hinweis auf <ref-ruling> mit, der Auftrag an das ABI und die dieser Institution gestellten Fragen würden sich nicht in den Akten befinden.
5.4 Um den Sachverhalt feststellen und die Beweise frei würdigen zu können, müssen dem Gericht sämtliche Akten vorliegen, damit es entscheiden kann, welche Unterlagen für die Beurteilung des streitigen Falles wesentlich und welche nicht wesentlich sind. Es liegt demnach nicht im Belieben des Versicherungsträgers, im Beschwerdeverfahren nur jene Akten einzureichen, welche er als notwendig und für die Beurteilung des Falles entscheidend betrachtet. Andernfalls würden die in <ref-law> statuierten Verfahrensvorschriften (Untersuchungsgrundsatz, Grundsatz der freien Beweiswürdigung) ihres Gehalts entleert (Urteil 8C_620/2008 vom 5. Februar 2009 E. 2.2). Im Streitfall sind beim kantonalen Gericht und hernach beim Bundesgericht die gesamten Akten einzureichen (Urteil 8C_63/2009 vom 25. Januar 2010 E. 2; vgl. auch <ref-ruling> E. 3.1 S. 196).
5.4.1 Das kantonale Gericht hat den Antrag des Beschwerdeführers abgewiesen, die vollständigen Verwaltungsakten - insbesondere den Gutachterauftrag an das ABI und die dieser Gesellschaft gestellten Expertenfragen - zu edieren, da diesem aufgrund der Akteneinsicht vom 22. Januar 2009 die massgebenden Unterlagen zur Verfügung gestanden hätten. Wie der Beschwerdeführer zu Recht einwendet, hat das kantonale Gericht zum gerügten Fehlen von Expertenauftrag und Gutachterfragen in den Akten der IV-Stelle keine Feststellungen getroffen. Es hat auch nicht begründet, weshalb dem Versicherten kein umfassendes Recht auf Akteneinsicht zustehen sollte.
5.4.2 Nach der Rechtsprechung kann die Einsicht in die Akten, die für ein bestimmtes Verfahren erstellt oder beigezogen wurden, nicht mit der Begründung verweigert werden, die fraglichen Akten seien für den Verfahrensausgang belanglos. Es muss vielmehr dem Betroffenen selber überlassen sein, die Relevanz der Akten zu beurteilen (<ref-ruling> E. 3.2 S. 389; Urteil 9C_1001/2009 vom 15. April 2010 E. 4.1). Mit ihrem Vorgehen haben Beschwerdegegnerin und Vorinstanz das rechtliche Gehör und den Untersuchungsgrundsatz verletzt.
5.4.2 Nach der Rechtsprechung kann die Einsicht in die Akten, die für ein bestimmtes Verfahren erstellt oder beigezogen wurden, nicht mit der Begründung verweigert werden, die fraglichen Akten seien für den Verfahrensausgang belanglos. Es muss vielmehr dem Betroffenen selber überlassen sein, die Relevanz der Akten zu beurteilen (<ref-ruling> E. 3.2 S. 389; Urteil 9C_1001/2009 vom 15. April 2010 E. 4.1). Mit ihrem Vorgehen haben Beschwerdegegnerin und Vorinstanz das rechtliche Gehör und den Untersuchungsgrundsatz verletzt.
5.5 5.5.1 Im Zusammenhang mit der Auftragserteilung an das ABI stellt sich die letztinstanzlich frei überprüfbare Rechtsfrage, ob diese einen Hinweis auf die Strafandrohung gemäss Art. 307 in Verbindung mit <ref-law> hätte enthalten müssen. Dies ist zu verneinen. Anders als die vom Gericht ernannten medizinischen Sachverständigen fallen die von der IV-Stelle bestellten Gutachter nicht unter diese Strafnorm. Auch unabhängig von einem speziellen Hinweis für jeden Begutachtungsauftrag obliegen sie jedoch der Pflicht, nach bestem Wissen und Gewissen zu amten.
5.5.2 Mit Bezug auf den dem ABI von der IV-Stelle unterbreiteten Fragenkatalog rügt der Beschwerdeführer das Fehlen der den Gutachtern bei Vorliegen einer somatoformen Schmerzstörung zu unterbreitenden Frage nach der Zumutbarkeit einer willentlichen Schmerzüberwindung. Im Standardkatalog wurden die Gutachter unter der Rubrik "Objektive Befunde" aufgefordert, bei somatoformen Störungen eine genaue Symptom- bzw. Schmerzanalyse vorzunehmen. Entscheidend in diesem Zusammenhang ist die - letztinstanzlich frei überprüfbare - Rechtsfrage, ob die Gutachter bei ihrer ärztlich-medizinischen Stellungnahme zur Arbeitsfähigkeit den normativen Leitlinien gemäss der mit <ref-ruling> eingeleiteten Rechtsprechung hinreichend Rechnung getragen haben. Danach gelten anhaltende somatoforme Schmerzstörungen in der Regel als nicht in rentenbegründendem Ausmass invalidisierend, sondern nur ausnahmsweise, bei Hinzutreten näher umschriebener qualifizierender Voraussetzungen. Es müssen Beeinträchtigungen im Sinne des rechtsprechungsgemässen Kriterienkatalogs vorliegen, welche einer adäquaten Schmerzbewältigung objektiv entgegenstehen. Die entsprechenden Feststellungen sind tatsächlicher Natur und unterliegen daher letztinstanzlich der eingeschränkten Überprüfungsbefugnis gemäss <ref-law>. Als Rechtsfrage frei überprüfbar ist hingegen, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (Urteil 9C_662/2009 vom 17. August 2010 E. 1.2, Zusammenfassung des Urteils in: SZS 2010 S. 520).
5.5.3 Nach dem Gesagten ist somit für die Beweistauglichkeit des ABI-Gutachtens nicht die konkrete Fragestellung massgebend, sondern ob sich gestützt darauf schlüssig beurteilen lässt, ob mit Blick auf die diagnostizierte somatoforme Schmerzstörung eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern und daher den Wiedereinstieg in den Arbeitsprozess als unzumutbar erscheinen lassen.
5.6 Die Verweigerung des rechtlichen Gehörs führt daher im vorliegenden Fall nicht zur Gutheissung der Beschwerde. Der bereits im Verwaltungsverfahren begangene Fehler ist jedoch beim Entscheid über die Kostenfolgen zu berücksichtigen.
6. 6.1 Hinsichtlich der aus körperlicher Sicht bestehenden Arbeitsfähigkeit stellte die Vorinstanz fest, der gemäss orthopädischem Teilgutachten des ABI an einem chronischen lumbovertebralen Schmerzsyndrom ohne radikuläre Symptomatik bei Diskushernie L5/S1 paramedian rechts und Einriss des Anulus fibrosus L4/5 ohne klinisch und MR-tomographisch erkennbare Neurokompression leidende Beschwerdeführer vermöge aufgrund der strukturellen Alterationen an der unteren Wirbelsäule seine bisherige Tätigkeit als Industrielackierer und Verpacker in der Maschinenindustrie nicht mehr auszuüben. In einer körperlich leichten bis mittelschweren Tätigkeit mit der Möglichkeit zum Positionswechsel und ohne Heben und Tragen von Gewichten über 10 kg sei er aufgrund der medizinischen Unterlagen (ABI-Gutachten, Dr. med. R._, Dr. med. von I._, Dr. med. E._) aus orthopädischer Sicht voll arbeitsfähig. Diese Feststellung einer 100%igen Arbeitsfähigkeit in angepassten Verweisungstätigkeiten ist tatsächlicher Natur und daher für das Bundesgericht grundsätzlich verbindlich.
6.2 Der Beschwerdeführer wirft der Vorinstanz unvollständige Sachverhaltsabklärung sowie falsche und willkürliche Beweiswürdigung vor.
6.2.1 Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling>). Solche Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheides liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (Urteil 8C_652/2010 vom 22. September 2010 E. 3.1 mit Hinweisen).
6.2.2 Der Versicherte reicht letztinstanzlich den Bericht von Prof. Dr. med. M._ vom Spital Y._ vom 18. März 2010 sowie die Operations- und Austrittsberichte des Spitals X._ vom 16. und 17. September sowie 22. November 2010 ein. Dabei handelt es sich um unzulässige Noven. Einerseits war bereits vor Vorinstanz die medizinische Beurteilung streitig; anderseits sind echte Noven - soweit die Berichte überhaupt als solche zu bezeichnen wären - unzulässig. Darauf ist daher nicht weiter einzugehen.
6.2.3 In den vom Beschwerdeführer erwähnten Berichten von Dres. med. B._ vom 18. April 2006, A._ vom 10. Mai 2006 und W._ vom 15. Dezember 2006 wurde ein lumboradikuläres Syndrom erwähnt, ohne dass sich daraus jedoch eine von der vorinstanzlichen Feststellung abweichende Arbeitsfähigkeit ergeben würde. Aufgrund der unterschiedlichen Diagnosestellung allein kann nicht auf eine abweichende Einschätzung der Arbeitsfähigkeit geschlossen werden (Urteile 9C_422/2010 vom 23. Juni 2010; 9C_140/2007 vom 27. April 2007 E. 4). Solches wird vom Beschwerdeführer denn auch nicht geltend gemacht. Die von der Vorinstanz gestützt auf insoweit einleuchtende und nachvollziehbare fachärztliche Feststellungen getroffene Tatsachenfeststellung zur Arbeitsfähigkeit in einer leidensangepassten Tätigkeit aus orthopädischer Sicht wird letztinstanzlich weder als offensichtlich unrichtig noch als Ergebnis einer willkürlichen oder sonst rechtsfehlerhaften Beweiswürdigung gerügt, weshalb sie für das Gericht verbindlich ist und kein Anlass besteht, darauf zurückzukommen (Art. 97 Abs. 1 und <ref-law>).
6.3 Mit Blick auf die im ABI-Gutachten gestellte psychiatrische Diagnose einer somatoformen Schmerzstörung hat das kantonale Gericht unter einlässlicher Würdigung des Gutachtens vom 31. März 2009 samt Ergänzung vom 2. Juli 2009 geprüft, ob ein Ausnahmefall im Sinne der von der Rechtsprechung umschriebenen Kriterien (<ref-ruling> E. 3.2.1 S. 281; <ref-ruling> E. 4.2 S. 70; <ref-ruling>; <ref-ruling>) vorliegt, welcher auf Unzumutbarkeit einer willentlichen Schmerzüberwindung und damit eines Wiedereinstiegs in den Arbeitsprozess schliessen liesse. Im Vordergrund steht dabei die Feststellung einer psychischen Komorbidität von erheblicher Schwere, Ausprägung und Dauer. Massgebend sein können aber auch weitere Faktoren, so: chronische körperliche Begleiterkrankungen; ein mehrjähriger, chronifizierter Krankheitsverlauf mit unveränderter oder progredienter Symptomatik ohne längerdauernde Rückbildung; ein sozialer Rückzug in allen Belangen des Lebens; ein verfestigter, therapeutisch nicht mehr beeinflussbarer innerseelischer Verlauf einer an sich missglückten, psychisch aber entlastenden Konfliktbewältigung (primärer Krankheitsgewinn; "Flucht in die Krankheit"); das Scheitern einer konsequent durchgeführten ambulanten oder stationären Behandlung (auch mit unterschiedlichem therapeutischem Ansatz) trotz kooperativer Haltung der versicherten Person. Je mehr dieser Kriterien zutreffen und je ausgeprägter sich die entsprechenden Befunde darstellen, desto eher sind - ausnahmsweise - die Voraussetzungen für eine zumutbare Willensanstrengung zu verneinen (Urteil 9C_622/2009 vom 17. August 2010 E. 2.2 mit Hinweisen).
6.3.1 Die Vorinstanz gelangte zum Schluss, dass beim Beschwerdeführer weder ein mitwirkendes psychisches Leiden von erheblicher Schwere, Ausprägung und Dauer erhoben werden konnte, noch die anderen qualifizierten Kriterien in derartiger Zahl, Intensität und Konstanz vorliegen, dass insgesamt von einer unzumutbaren Willensanstrengung zur Verwertung der verbliebenen Arbeitskraft bei körperlich leichter bis mittelschwerer Beschäftigung auszugehen wäre. Eine Arbeitsunfähigkeit aus psychischen Gründen ist gemäss Schlussfolgerungen des kantonalen Gerichts aus IV-rechtlicher Sicht zu verneinen.
6.3.2 Der Beschwerdeführer wendet ein, das kantonale Gericht habe trotz der von Dr. med. F._ in der Stellungnahme vom 14. Mai 2009 aufgezeigten Mängel auf das psychiatrische Teilgutachten des ABI abgestellt und damit den Sachverhalt unvollständig und willkürlich festgestellt und gewürdigt. Die von Dr. med. F._ geäusserten Einwände werden im angefochtenen Entscheid sehr wohl thematisiert und es wird auch dargelegt, weshalb das psychiatrische Gutachten des Dr. med. G._ auch im Lichte der vorgebrachten Kritik eine zuverlässige Grundlage für die Beurteilung der Zumutbarkeit einer Schmerzüberwindung darstellt. Es erübrigt sich daher, erneut auf die von Dr. med. F._ bemängelten Punkte einzugehen, zumal sich Dr. med. G._ in der umfassenden und überzeugenden Stellungnahme vom 2. Juli 2009 eingehend zu den vorwiegend formalen Beanstandungen des behandelnden Psychiaters geäussert hat. Der Beschwerdeführer bringt denn auch nichts vor, was die vom Gutachter erhobenen psychiatrischen Befunde in Frage stellen könnte. Insbesondere rügt er die vorinstanzliche Feststellung, es liege beim Versicherten keine eigenständige psychiatrische Komorbidität von erheblicher Schwere, Ausprägung und Dauer vor, nicht als offensichtlich unrichtig oder gar willkürlich. Da sich auch aufgrund der Akten keine offensichtlichen Sachverhaltsmängel ergeben, bleibt sie für das Bundesgericht verbindlich. Ebenso wenig ist eine hinreichend ausgeprägte körperliche Begleiterkrankung zu bejahen. Zwar liegt ein schmerzhaftes Rückenleiden vor, doch hat dieses für sich allein betrachtet keine Einschränkung der Arbeitsfähigkeit in einer leidensangepassten Tätigkeit zur Folge. Der weiteren Feststellung des kantonalen Gerichts, es liege kein sozialer Rückzug in praktisch allen Belangen des Lebens vor, hält der Beschwerdeführer nichts entgegen, noch erweist sie sich unter dem Blickwinkel von <ref-law> als korrekturbedürftig. Dasselbe gilt hinsichtlich des weiteren vom kantonalen Gericht als nicht im Sinne der Rechtsprechung erfüllt betrachteten Kriteriums des Scheiterns konsequent durchgeführter, verschiedenartiger ambulanter oder stationärer Behandlungen trotz kooperativer Haltung des Beschwerdeführers. Ein primärer Krankheitsgewinn wird von Dr. med. G._ sowohl im Gutachten als auch in der Stellungnahme vom 2. Juli 2009 ausdrücklich verneint. Das Vorliegen dieses Kriteriums wird vom Versicherten auch nicht geltend gemacht.
6.4 Die für die Beurteilung einer ausnahmsweise unzumutbaren Schmerzüberwindung massgebenden Tatsachenfeststellungen des kantonalen Gerichts sind im Einzelnen somit nicht zu beanstanden. Sie lassen zudem unter Berücksichtigung des der rechtsanwendenden Behörde zukommenden Ermessensspielraums bei der Gesamtwürdigung der für die (ausnahmsweise) invalidisierende Wirkung somatoformer Schmerzstörungen massgebenden Tatsachen den von der Vorinstanz gezogenen Schluss zu, dass der Beschwerdeführer über die nötigen psychischen Ressourcen einer adäquaten Schmerzbewältigung verfügt, um die aus körperlicher Sicht bestehende Arbeitsfähigkeit von 100 Prozent zu verwerten. Dies steht im Übrigen auch in Einklang mit der früheren psychiatrischen Einschätzung des Dr. med. U._ vom 4. Januar 2007. Ein Rentenanspruch ist somit nicht ausgewiesen.
7. 7.1 Streitig ist ferner die vorinstanzlich bestätigte Verweigerung der unentgeltlichen Verbeiständung durch die IV-Stelle gemäss Verfügung vom 5. Februar 2009 für das Verwaltungsverfahren. IV-Stelle und Vorinstanz haben die Notwendigkeit der Verbeiständung im Verwaltungsverfahren verneint, da keine komplexe Materie vorgelegen habe, so dass es dem Beschwerdeführer durchaus möglich gewesen wäre, sich mit dem Beizug von Fach- und Vertrauensleuten sozialer Institutionen zu behelfen. Diese Auffassung steht im Einklang mit der Gerichtspraxis, wonach an die Voraussetzungen der sachlichen Notwendigkeit einer Verbeiständung im Verwaltungsverfahren ein strengerer Massstab anzulegen ist (vgl. SVR 2009 IV Nr. 5 S. 9, 8C_48/2007 E. 1). Der Gesetzgeber hat dies dadurch zum Ausdruck gebracht, dass im Verwaltungsverfahren der Gesuch stellenden Person ein unentgeltlicher Rechtsbeistand bewilligt wird, wo die Verhältnisse es erfordern (<ref-law>), im kantonalen Prozess, wo die Verhältnisse es rechtfertigen (<ref-law>).
Was der Beschwerdeführer letztinstanzlich dagegen vorbringen lässt, ist nicht geeignet, ein abweichendes Ergebnis zu begründen. Der angeblich zum Abbruch der Abklärungsmassnahme führende Hinweis des BEFAS-Arztes auf Simulation begründet keine erhöhte Komplexität des Verfahrens. Nicht dieser Umstand, sondern die Rechtsprechung gemäss <ref-ruling> war der ausschlaggebende Grund, weshalb die IV-Stelle (auch dem Rechtsvertreter) nicht sämtliche Aktenstücke zustellte. Im Verwaltungsverfahren war einzig streitig, wie der Gesundheitszustand des Beschwerdeführers zu beurteilen ist, welche Aufgabe allein den Medizinern zukommt, womit - selbst wenn die Beurteilung durch die behandelnden Ärzte anders ausfällt als jene der Organe der IV-Stelle - kein Ausnahmefall mit schwierigen rechtlichen oder tatsächlichen Fragen, sondern im Gegenteil ein Fall von durchschnittlicher Komplexität zu entscheiden war. Denn es galt lediglich, die Diskrepanz zu erkennen und gegenüber der IV-Stelle aufzugreifen. Würde die unentgeltliche Verbeiständung gewährt, liefe dies darauf hinaus, dass der Anspruch in praktisch allen Vorbescheidverfahren bejaht werden müsste, was indessen der gesetzlichen Konzeption widerspräche.
7.2 Das kantonale Gericht hat auch das Begehren um Vergütung der Kosten der vom Beschwerdeführer veranlassten Stellungnahme des Dr. med. F._ vom 14. Mai 2009 zum psychiatrischen Teilgutachten des ABI abgelehnt. Diese war nach Ansicht des Verwaltungsgerichts für die Entscheidfindung nicht notwendig. Die IV-Stelle ging gestützt auf die Beurteilung des Regionalen Ärztlichen Dienstes (gemäss Protokolleintrag vom 21. Juli 2009) davon aus, die Stellungnahme des den Versicherten behandelnden Psychiaters enthalte keine relevanten medizinischen Argumente, sondern beschränke sich auf eine rein formale Kritik am Teilgutachten des Dr. med. G._, weshalb darauf nicht abgestellt werden könne. In der Beschwerde wird nichts vorgebracht, was den Bericht des Dr. med. F._ als materiell erforderliche fachärztliche Beurteilung erscheinen liesse. Eine Kostenvergütung unter dem Titel Parteientschädigung wurde daher zu Recht verneint.
8. 8.1 Das Verfahren ist kostenpflichtig. Die Gerichtskosten sind unter Berücksichtigung der unvollständigen Aktenzustellung der IV-Stelle aufzuerlegen (<ref-law>). Zudem hat sie dem Beschwerdeführer eine angemessene Parteientschädigung zu leisten (Art. 68 Abs. 4 in Verbindung mit <ref-law>), womit dessen Gesuch um unentgeltliche Rechtspflege und Verbeiständung gegenstandslos wird.
8.2 Die Höhe der Parteientschädigung ist entgegen der vom Rechtsvertreter des Beschwerdeführers am 18. August 2010 unaufgefordert eingereichten Kostennote nicht auf Fr. 5'068.80 festzusetzen. Nach <ref-law> und Art. 2 des Reglements über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht vom 31. März 2006 (SR 173.110.210.3) umfasst die Parteientschädigung die Anwaltskosten und die notwendigen Auslagen für die Prozessführung, wobei sich die Anwaltskosten aus dem Anwaltshonorar und dem Auslagenersatz zusammensetzen. Der Ansatz der Parteientschädigung beträgt gemäss nach wie vor gültigem Beschluss der I. und II. sozialrechtlichen Abteilung vom 22. Dezember 2008 Fr. 2'800.- für einen Normalfall, Auslagen und Mehrwertsteuer inbegriffen. Der in der Kostennote geltend gemachte Arbeitsaufwand von 17.34 Stunden [Fr. 4'681.80]; zuzüglich Auslagen [Fr. 29.-] und Mehrwertsteuer [Fr. 358.-] erscheint als unangemessen mit Blick darauf, dass die Streitsache nicht als überaus schwierig einzustufen ist und der vorinstanzliche Entscheid keine wesentlichen neuen tatsächlichen oder rechtlichen Gesichtspunkte enthält. Es besteht daher kein Anlass, vom praxisgemässen Normalansatz von Fr. 2'800.- abzuweichen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Februar 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Hofer