Sachverhalt:
A. Der 1967 geborene S._ meldete sich am 14. April 2005 bei der Invalidenversicherung zum Leistungsbezug an. Bis Ende Juni 2005 war er als Produktionsmitarbeiter bei der Firma M._ angestellt. Die IV-Stelle des Kantons Luzern klärte den Sachverhalt ab und verneinte mit Verfügung vom 18. September 2007 einen Leistungsanspruch. Das Verwaltungsgericht des Kantons Luzern hob mit Entscheid vom 16. Dezember 2008 diese Verfügung auf und wies die Sache an die IV-Stelle zurück. Dr. med. A._ erstattete im Auftrag der IV-Stelle am 7. Mai 2009 ein medizinisches Gutachten. In der Folge wies diese mit Verfügung vom 18. Mai 2010 das Leistungsbegehren erneut ab.
B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 22. September 2011 ab.
C. Mit Beschwerde lässt S._ die Aufhebung des vorinstanzlichen Entscheides und die Ausrichtung von Leistungen der Invalidenversicherung beantragen. Ferner wird um unentgeltliche Prozessführung und Verbeiständung ersucht.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann eine - für den Ausgang des Verfahrens entscheidende (vgl. Art. 97 Abs. 1 BGG) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Gemäss Art. 99 Abs. 1 BGG sind neue Tatsachen und Beweismittel (Noven) im letztinstanzlichen Verfahren grundsätzlich unzulässig. Der Versicherte reicht mit Beschwerde neue ärztliche Berichte vom 28. Juli 2011, vom 13. September 2011 und vom 18. Oktober 2011 ein. Die Voraussetzungen, unter denen die neu eingereichten Berichte ausnahmsweise zulässig wären, sind vorliegend nicht erfüllt, sodass sie unbeachtet bleiben müssen.
3. Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie den Anspruch des Versicherten auf Leistungen der Invalidenversicherung verneinte. Dabei ist insbesondere der Beweiswert des Gutachtens des Dr. med. A._, Facharzt für Innere Medizin und Rheumatologie, vom 7. Mai 2009 im Verhältnis zu den vom Beschwerdeführer eingereichten Berichten der behandelnden Spezialärztinnen Dr. med. H._, Fachärztin für Innere Medizin und Rheumatologie, vom 7. Dezember 2009, der Neurologin Dr. med. E._ vom 7. Oktober 2009, der Dr. med. I._, Fachärztin für Radiologie, vom 28. August 2009 und des Hausarztes Dr. med. G._, Facharzt für Innere Medizin, vom 26. Juni 2009 umstritten und zu prüfen.
3.1 Das kantonale Gericht würdigte diese ärztlichen Beurteilungen und kam zum Schluss, das externe medizinische Gutachten von Dr. med. A._ sei schlüssig. Folglich sei von einer Arbeitsfähigkeit von 100 % in einer angepassten, leichten bis mittelschweren Tätigkeit auszugehen. Entgegen dem Einwand des Beschwerdeführers berücksichtigte es auch ausdrücklich die Berichte der Dres. med. H._, E._, I._ und G._ und ging auf deren Stellungnahmen ein.
3.2 Sämtliche Beweismittel, somit auch medizinische Berichte und Sachverständigengutachten, unterliegen der freien Beweiswürdigung (Art. 61 lit. c ATSG). Dabei kann es sich unter Umständen rechtfertigen, massgebend auf die dem behandelnden Arzt aufgrund der medizinischen Betreuung zugänglichen besonderen Kenntnisse des Gesundheitszustandes der versicherten Person abzustellen. Wegen der unterschiedlichen Natur von Behandlungsauftrag des therapeutisch tätigen (Fach-)Arztes und Begutachtungsauftrag des amtlich bestellten medizinischen Experten (<ref-ruling> E. 4 S. 175) ist es indessen nicht geboten, ein Administrativ- oder Gerichtsgutachten stets infrage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte zu anderslautenden Einschätzungen gelangen. Vorbehalten bleiben Fälle, in denen sich eine klärende Ergänzung des medizinischen Dossiers (oder auch direkt eine abweichende Beurteilung) aufdrängt, weil die behandelnden Ärzte wichtige Aspekte benennen, die im Rahmen der Begutachtung unerkannt oder ungewürdigt geblieben sind (SVR 2008 IV Nr. 15 S. 43, I 514/06 E. 2.2.1; Urteil 8C_260/2011 vom 25. Juli 2011 E. 5.2).
3.3 Der Beschwerdeführer gibt an, es sei ihm nicht klar, weshalb die Vorinstanz die von den behandelnden Ärzten diagnostizierte Diskushernie C4/5 mit den im Gutachten von Dr. med. A._ diagnostizierten leichten degenerativen Veränderungen im Bereich der HWS gleichsetze. Dies ergibt sich aus der MRI-Abklärung durch Dr. med. I._ vom 28. August 2009. Diese nach dem Gutachten von Dr. med. A._ vorgenommene bildgebende Abklärung zeigte mehrsegmentale degenerative Veränderungen und als Hauptbefund Diskusprotrusionen an den Halswirbelkörpern (HWK) 4/5. Die Dres. med. H._ und E._ stützen in der Folge ihre Diagnose einer Diskushernie C4/5 auf dieses MRI. Die von ihnen diagnostizierte Diskushernie ist im vorliegenden Fall somit den bildgebend ausgewiesenen Diskusprotrusionen gleichzusetzen. Dr. med. H._ erwähnte im Bericht vom 7. Dezember 2009 in diesem Zusammenhang eine "bekannte(n) breitbasige(n) Diskusprotrusion/Diskushernie". Die entsprechenden Befunde dieses MRI wurden bereits in früheren bildgebenden Abklärungen und Arztberichten festgestellt (vgl. Bericht Dr. med. H._ vom 19. Dezember 2007). Sie bildeten den Grund für die Begutachtung durch Dr. med. A._ vom 7. Mai 2009 (vgl. Entscheid des Verwaltungsgerichts Luzern vom 16. Dezember 2008 S. 4 f.). Dr. med. A._ erstattete sein Gutachten in Kenntnis dieser degenerativen Befunde. Er stellte bei seiner klinischen Untersuchung im Bereich C4/5 auch eine Druckdolenz fest. In den von ihm festgestellten leichten degenerativen Veränderungen im Bereich der HWS und LWS ist die Diskushernie daher mitenthalten. Es liegt somit nicht ein Aspekt vor, den der Gutachter versehentlich übersah, nicht erkannte oder nicht würdigte.
Aufgabe des Gutachters ist es, als medizinischer Experte unabhängig von den subjektiven Schmerzangaben zu beurteilen, welche Schmerzen und Einschränkungen gestützt auf die objektiven Befunde nachvollziehbar und zu berücksichtigen sind. Wenn Dr. med. A._ angibt, die 90-Grad-Stellung des Steissbeins verursache nicht die vom Beschwerdeführer angegebenen Schmerzen, ist dies daher nicht zu beanstanden. Eine abweichende begründete ärztliche Beurteilung in diesem Punkt liegt nicht vor. Auch liegt es im pflichtgemässen Ermessen des Gutachters zu entscheiden, ob er für die Begutachtung weitere medizinische Spezialisten beiziehen muss. Soweit Dr. med. A._ darlegt, er betrachte sich in der Beurteilung chronischer Unfallfolgen an der Wirbelsäule als erfahren und sehe keine Veranlassung, den Beschwerdeführer zusätzlich zu einem sogenannten Bauchtraumaspezialisten zuzuweisen, ist dem zu folgen. Seine Angaben sind nachvollziehbar. In der Beschwerde wird sodann eingewendet, Dr. med. A._ habe nur die Wirbelsäule im Nacken, nicht jedoch die restliche Wirbelsäule untersucht. Dazu wird auf den Bericht von Dr. med. G._ verwiesen, der sich wiederum auf die subjektiven Angeben des Versicherten abstützte (vgl. Bericht von Dr. med. G._ vom 26. Juni 2009). Entgegen diesen Einwänden, sind aus dem Abschnitt "Klinische Befunde" im Gutachten von Dr. med. A._ Untersuchungen der Halswirbelsäule (HWS), der Brustwirbelsäule (BWS), der Lendenwirbelsäule (LWS), der Hüften, Beine und Füsse, der Schultern, Arme und Hände zu entnehmen. Damit erweist sich auch dieser Einwand als unbegründet.
Der Hausarzt Dr. med. G._ machte in seinem Bericht vom 26. Juni 2009 wie in seinen früheren Stellungnahmen die Einwirkung von Schwermetallen auf den Beschwerdeführer geltend. Dieser Umstand wurde von Dr. med. A._ in seinem Gutachten bereits berücksichtigt. Er verwies dazu zu Recht auf den Bericht über die arbeitsmedizinische Untersuchung durch Dr. med. J._, Facharzt für Arbeitsmedizin, Innere Medizin und Kardiologie von der Abteilung Arbeitsmedizin der SUVA, vom 29. Januar 2004. Bei dieser Untersuchung kam Dr. med. J._ zum Schluss, die Beschwerden entsprächen nicht dem Beschwerdebild, wie es bei einer vermehrten Belastung von Schwermetallen zu erwarten wäre. Die Untersuchungen hätten keine gegenüber der Allgemeinbevölkerung erhöhten Werte ergeben.
Damit ist die Beweiswürdigung der Vorinstanz nicht zu beanstanden. Den zutreffenden Erwägungen im angefochtenen Entscheid kann vollumfänglich beigepflichtet werden, insbesondere auch in Bezug auf die Ausführungen zu den psychiatrischen Diagnosen des Internisten Dr. med. G._. Es ist auf die entsprechenden Darlegungen des kantonalen Gerichts zu verweisen. Mit Einholung des Gutachtens von Dr. med. A._ ist der Gesundheitszustand und die Erwerbsfähigkeit des Beschwerdeführers rechtsgenüglich abgeklärt. Bei der Würdigung der medizinischen Unterlagen durch das kantonale Gericht liegt keine Verletzung von Bundesrecht vor. Der von ihm ermittelte Invaliditätsgrad von 14 % und damit die Verneinung von Leistungen der Invalidenversicherung ist daher zu schützen. Die Beschwerde ist demgemäss abzuweisen.
4. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Dezember 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Kathriner