Sachverhalt:
A. M._, geboren 1954, war zuletzt als Golflehrer tätig. Am 28. Juni 2005 ersuchte er um Leistungen der Invalidenversicherung. Die IV-Stelle Luzern holte verschiedene Arztberichte ein und liess eine berufliche Abklärung in der BEFAS, Stiftung X._ vornehmen. Mit Vorbescheid vom 15. Oktober 2008 stellte sie die Zusprechung einer Viertelsrente in Aussicht. Auf Einwände von M._ hin holte sie weitere Arztberichte ein, so auch bei Frau Dr. med. W._, Fachärztin für Physikalische Medizin und Rehabilitation, RAD, den Bericht vom 6. November 2009, und verfügte am 18. November 2009 die Zusprechung einer halben Invalidenrente ab 1. Dezember 2009 und am 6. Januar 2010 eine halbe Invalidenrente vom 1. Juni 2005 bis 30. November 2009, je bei einem Invaliditätsgrad von 55 %.
B. Nachdem M._ Beschwerde erhoben hatte, erliess die IV-Stelle gestützt auf die Beurteilung der Frau Dr. med. W._ vom 29. März 2010 am 7. April 2010 eine Verfügung lite pendente, mit welcher sie ihm eine Viertelsrente zusprach. Das Verwaltungsgericht des Kantons Luzern gewährte M._ das rechtliche Gehör und wies die Beschwerde mit Entscheid vom 21. Juni 2011 sinngemäss ab, indem es die Nichtigkeit der Verfügung vom 7. April 2010 feststellte und die Verfügung vom 18. November 2009 insofern abänderte, als es M._ ab 1. Juni 2005 eine Viertelsrente zusprach.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid sowie die Verfügungen der IV-Stelle aufzuheben und es sei ihm ab 1. Juni 2005 eine Dreiviertelsrente auszurichten. Zudem ersucht er um unentgeltliche Rechtspflege.
Das kantonale Gericht und die IV-Stelle schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.2 Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
2. Die Vorinstanz stützte sich bei ihrer Beurteilung der zumutbaren Arbeitsunfähigkeit massgeblich auf den BEFAS-Bericht vom 26. August 2008 ab und hielt eine Verschlechterung des Gesundheitszustandes nach Erstellung des BEFAS-Berichtes gestützt auf die Berichte des Dr. med. S._, Facharzt für Neurochirurgie, Klinik Y._, vom 2. März, 22. April, 7. Mai und 6. Oktober 2009 für nicht ausgewiesen. Dies wird vom Versicherten vor Bundesgericht nicht beanstandet. Seine Einwände beziehen sich ausschliesslich auf die Ermittlung des Validen- und Invalideneinkommens.
3. 3.1 Bei erwerbstätigen Versicherten ist der Invaliditätsgrad auf Grund eines Einkommensvergleichs zu bestimmen. Dazu wird das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre (<ref-law>). Der Einkommensvergleich hat in der Regel in der Weise zu erfolgen, dass die beiden hypothetischen Erwerbseinkommen ziffernmässig möglichst genau ermittelt und einander gegenübergestellt werden, worauf sich aus der Einkommensdifferenz der Invaliditätsgrad bestimmen lässt (allgemeine Methode des Einkommensvergleichs; <ref-ruling> E. 3.4 S. 348, 128 V 30 E. 1 S. 30, 104 V 136 E. 2a und b S. 136).
3.2 Was zunächst die Ermittlung des Valideneinkommens anbelangt, ist entscheidend, was die versicherte Person im Zeitpunkt des frühest möglichen Rentenbeginns nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdient hätte. Dabei wird in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Verdienst angeknüpft, da es empirischer Erfahrung entspricht, dass die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre. Ausnahmen müssen mit überwiegender Wahrscheinlichkeit erstellt sein (<ref-ruling> E. 5.1 S. 300 mit Hinweisen).
3.3 Für die Festsetzung des Invalideneinkommens ist nach der Rechtsprechung primär von der beruflich-erwerblichen Situation auszugehen, in welcher die versicherte Person konkret steht. Übt sie nach Eintritt der Invalidität eine Erwerbstätigkeit aus, bei der - kumulativ - besonders stabile Arbeitsverhältnisse gegeben sind und anzunehmen ist, dass sie die ihr verbleibende Arbeitsfähigkeit in zumutbarer Weise voll ausschöpft, und erscheint zudem das Einkommen aus der Arbeitsleistung als angemessen und nicht als Soziallohn, gilt grundsätzlich der tatsächlich erzielte Verdienst als Invalidenlohn. Ist kein solches tatsächlich erzieltes Erwerbseinkommen gegeben, namentlich weil die versicherte Person nach Eintritt des Gesundheitsschadens keine oder jedenfalls keine ihr an sich zumutbare neue Erwerbstätigkeit aufgenommen hat, so können nach der Rechtsprechung entweder die LSE-Tabellenlöhne oder die sogenannten DAP-Zahlen (DAP = Dokumentation von Arbeitsplätzen seitens der SUVA) herangezogen werden (<ref-ruling> E. 5.2 S. 301; <ref-ruling> E. 4.2.1 S. 475).
Wird das Invalideneinkommen auf der Grundlage von statistischen Durchschnittswerten ermittelt, ist der entsprechende Ausgangswert allenfalls zu kürzen. Mit dem sogenannten Leidensabzug wurde ursprünglich berücksichtigt, dass versicherte Personen, welche in ihrer letzten Tätigkeit körperliche Schwerarbeit verrichteten und nach Eintritt des Gesundheitsschadens auch für leichtere Arbeiten nurmehr beschränkt einsatzfähig sind, in der Regel das entsprechende durchschnittliche Lohnniveau gesunder Hilfsarbeiter nicht erreichen. Der ursprünglich nur bei Schwerarbeitern zugelassene Abzug entwickelte sich in der Folge zu einem allgemeinen behinderungsbedingten Abzug, wobei die Rechtsprechung dem Umstand Rechnung trug, dass auch weitere persönliche und berufliche Merkmale der versicherten Person wie Alter, Dauer der Betriebszugehörigkeit, Nationalität oder Aufenthaltskategorie sowie Beschäftigungsgrad Auswirkungen auf die Höhe des Lohnes haben können. Ein Abzug soll aber nicht automatisch, sondern nur dann erfolgen, wenn im Einzelfall Anhaltspunkte dafür bestehen, dass die versicherte Person wegen eines oder mehrerer dieser Merkmale ihre gesundheitlich bedingte (Rest-)Arbeitsfähigkeit im allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem Einkommen verwerten kann. Bei der Bestimmung der Höhe des Abzuges ist der Einfluss aller in Betracht fallenden Merkmale auf das Invalideneinkommen unter Würdigung der Umstände im Einzelfall gesamthaft zu schätzen und insgesamt auf höchstens 25 % des Tabellenlohnes zu begrenzen (vgl. zum Ganzen <ref-ruling>). Dabei ist zu beachten, dass allfällige bereits bei der Parallelisierung der Vergleichseinkommen mitverantwortliche invaliditätsfremde Faktoren im Rahmen des sogenannten Leidensabzuges nicht nochmals berücksichtigt werden dürfen (<ref-ruling> E. 5.2 S. 327; vgl. <ref-ruling> E. 5.3 S. 302 und E. 6.2 S. 305).
4. 4.1 Bezüglich des Valideneinkommens rügt der Versicherte die Ausserachtlassung seiner Einkünfte aus seiner Tätigkeit für die Firma G._ GmbH und macht ein massgebendes Valideneinkommen von Fr. 68'604.- resp. von Fr. 71'682.- geltend.
Der Versicherte hat gemäss den Einträgen im individuellen Konto (IK) in den Jahren vor Eintritt seiner Arbeitsunfähigkeit ein sehr unregelmässiges Einkommen erzielt. Unter Berücksichtigung dieser Zahlen fällt das Valideneinkommen von Fr. 57'527.- nicht zu seinen Ungunsten aus. Die vorinstanzliche Annahme, die Erzielung eines Erwerbseinkommens aus dem Verkauf von Golfartikeln im Rahmen der GmbH sei im Gesundheitsfall nicht überwiegend wahrscheinlich gewesen, ist nicht offensichtlich unrichtig (vgl. E. 1.2): Einerseits hat der Versicherte schon vor der Gründung der GmbH als Einzelfirma mit Golfartikeln gehandelt, deren Einnahmen in den berücksichtigten IK-Einträgen mitenthalten sind; andererseits hat der Mitgesellschafter gemäss den Angaben des Versicherten in seiner Beschwerde die GmbH nicht als Folge der Arbeitsunfähigkeit des Beschwerdeführers verlassen, so dass davon ausgegangen werden darf, der Versicherte hätte im Gesundheitsfall nach dem Weggang seines Geschäftspartners wieder im zuvor ausgeübten Ausmass Handel mit Golfartikeln betrieben. Damit ist das vorinstanzlich festgesetzte Valideneinkommen von Fr. 57'527.- nicht zu beanstanden.
4.2 Bezüglich des Invalideneinkommens rügt der Versicherte einen zu niedrigen behinderungsbedingten Abzug. Während die Vorinstanz eine Reduktion um 5 % vorgenommen hat, verlangt er eine solche um 20 %.
4.2.1 Die Frage, ob ein so genannt leidens- oder behinderungsbedingter Abzug (<ref-ruling> E. 5.2 S. 301 mit Hinweisen) vom auf tabellarischer Grundlage ermittelten Invalidenlohn nach Massgabe der in <ref-ruling> aufgestellten Grundsätze vorgenommen werden kann, ist rechtlicher Natur und insoweit vom Bundesgericht frei überprüfbar. Die Festlegung der Höhe eines solchen Leidensabzuges hingegen beschlägt eine typische Ermessensfrage, welche angesichts der dem Bundesgericht zukommenden Überprüfungsbefugnis letztinstanzlicher Korrektur nur mehr dort zugänglich ist (Art. 95 und 97 BGG), wo das kantonale Gericht sein Ermessen rechtsfehlerhaft ausgeübt hat, also bei Ermessensüber- oder -unterschreitung resp. bei Ermessensmissbrauch als Formen rechtsfehlerhafter (<ref-law>) Ermessensbetätigung (<ref-ruling> E. 2.2 S. 396 und E. 3.3 S. 399).
4.2.2 Der Versicherte leidet an multiplen Beschwerden, vor allem am Rücken und an den Hüften, so dass er auch bei grundsätzlich zumutbaren Tätigkeiten zahlreichen Einschränkungen unterliegt. Das Asthma erfordert weiter eine saubere Arbeitsumgebung. Zudem ist ihm nur noch eine teilzeitliche Tätigkeit von 55 % zumutbar. Rechtsprechungsgemäss gebietet sich deshalb zweifellos ein leidensbedingter Abzug. Das kantonale Gericht hat bei dessen Schätzung zwar zu Recht berücksichtigt, dass der Beschwerdeführer wegen der erforderlichen Teilzeittätigkeit eine Lohneinbusse hinnehmen muss, hat deren Ausmass indessen nicht näher quantifiziert. Gemäss der Lohnstrukturerhebung des Bundes (LSE) 2004 Tabelle T6*, Anforderungsniveau 4, erzielten Männer Teilzeit zwischen 50 % und 74 % im Vergleich zu Männer Vollzeit (>= 90 %) einen um 10,07 % reduzierten Verdienst. Da der Beschwerdeführer während seiner bisherigen beruflichen Tätigkeit durchwegs als Golflehrer tätig war, bringt er in einer ihm noch zumutbaren Tätigkeit keine lohnwirksame Erfahrung mit, womit er wegen des Alters entgegen der Auffassung des kantonalen Gerichts nicht bessergestellt ist. Sein Aufenthaltstatus C (Niederlassungsbewilligung) kann sich zwar grundsätzlich positiv auf die Verdienstmöglichkeiten auswirken, gemäss LSE 2004 Tabelle TA 12 beträgt die Differenz zum Total indessen nur Fr. 59.- pro Monat, was vernachlässigbar ist. All diesen Aspekten vermag der minimale Abzug von 5 % schlechterdings nicht Rechnung zu tragen, weshalb die vorinstanzliche Schätzung rechtsfehlerhaft ist. Der Abzug ist auf mindestens 10 % festzulegen. Dies ergibt ein Invalideneinkommen von Fr. 28'593.- (= 90 % des vorinstanzlich ermittelten Invalideneinkommens vor Abzug von Fr. 31'770.-).
4.3 Angesichts des Valideneinkommens von Fr. 57'527.- und des Invalideneinkommens von Fr. 28'593.- resultiert ein Invaliditätsgrad von gerundet 50 %. Damit hat der Versicherte - wie in den Verfügungen vom 18. November 2009 und 6. Januar 2010 ursprünglich festgehalten - Anspruch auf eine halbe Invalidenrente.
Daran würde sich im Übrigen selbst dann nichts ändern, wenn - wie beantragt - vom Invalideneinkommen ein Abzug von 20 % vorgenommen würde. Das so berechnete Invalideneinkommen von Fr. 25'416.- führte zu einem Invaliditätsgrad von 55,8 %, womit die Schwelle zur Dreiviertelsrente (60 %) so oder anders nicht überschritten würde.
5. Bei diesem Verfahrensausgang rechtfertigt es sich, die Gerichtskosten (Art. 65 Abs. 1 und Abs. 4 lit. a BGG) dem Beschwerdeführer und der IV-Stelle je zur Hälfte aufzuerlegen (<ref-law>; <ref-ruling>). Dem Versicherten steht gegenüber der IV-Stelle eine entsprechend reduzierte Parteientschädigung zu (<ref-law>). Die unentgeltliche Rechtspflege kann dem Versicherten, soweit er unterliegt, gewährt werden, da die Bedürftigkeit aktenkundig ist, sein Rechtsbegehren nicht von vornherein aussichtslos und die Vertretung notwendig war (<ref-law>). Er hat der Gerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, vom 21. Juni 2011 aufgehoben. Im Übrigen wird die Beschwerde abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Von den Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer Fr. 250.- und der Beschwerdegegnerin Fr. 250.- auferlegt. Der Anteil des Beschwerdeführers wird vorläufig auf die Gerichtskasse genommen.
4. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
5. Rechtsanwältin Petra Kern, Rechtsdienst Integration Handicap, wird als unentgeltliche Anwältin des Beschwerdeführers bestellt, und es wird ihr für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1'400.- ausgerichtet.
6. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung zurückgewiesen.
7. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, dem Bundesamt für Sozialversicherungen und der Ausgleichskasse Luzern schriftlich mitgeteilt.
Luzern, 23. Januar 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Riedi Hunold