Sachverhalt:
Sachverhalt:
A. K._, geboren 1967, meldete sich am 14. Oktober 1999 unter Hinweis auf seit einem halben Jahr bestehende Rückenschmerzen, die auf einen Unfall aus dem Jahre 1987 zurückzuführen seien, bei der Invalidenversicherung zum Leistungsbezug an. Am 26. Dezember 1999 wurde er sodann als Fussgänger von einem Personenwagen angefahren und zog sich dabei multiple Verletzungen zu. Die IV-Stelle Luzern sprach ihm gestützt auf medizinische und erwerbliche Abklärungen am 28. Mai 2004 ab 1. Dezember 2000 eine halbe Invalidenrente zu. Die Einsprache, mit der K._ die Zusprache einer ganzen Rente ab 1. Dezember 2000, eventuell einer Dreiviertelsrente ab 1. Januar 2004, beantragen liess, wies die IV-Stelle mit Einspracheentscheid vom 27. September 2005 ab.
A. K._, geboren 1967, meldete sich am 14. Oktober 1999 unter Hinweis auf seit einem halben Jahr bestehende Rückenschmerzen, die auf einen Unfall aus dem Jahre 1987 zurückzuführen seien, bei der Invalidenversicherung zum Leistungsbezug an. Am 26. Dezember 1999 wurde er sodann als Fussgänger von einem Personenwagen angefahren und zog sich dabei multiple Verletzungen zu. Die IV-Stelle Luzern sprach ihm gestützt auf medizinische und erwerbliche Abklärungen am 28. Mai 2004 ab 1. Dezember 2000 eine halbe Invalidenrente zu. Die Einsprache, mit der K._ die Zusprache einer ganzen Rente ab 1. Dezember 2000, eventuell einer Dreiviertelsrente ab 1. Januar 2004, beantragen liess, wies die IV-Stelle mit Einspracheentscheid vom 27. September 2005 ab.
B. Das Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, wies die hiegegen erhobene Beschwerde mit Entscheid vom 22. November 2006 ab.
B. Das Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, wies die hiegegen erhobene Beschwerde mit Entscheid vom 22. November 2006 ab.
C. K._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, der angefochtene Entscheid sei aufzuheben und ihm sei ab 1. Dezember 2000 eine ganze, eventuell ab 1. Januar 2004 eine Dreiviertelsrente, zu gewähren. Eventualiter wird Rückweisung an die Vorinstanz zwecks Klärung der medizinischen Situation beantragt. Ferner ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle beantragt Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Das Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (BGG [SR 173.110]) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205 und 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (Art. 132 Abs. 1 BGG; <ref-ruling> E. 1.2 S. 395).
1. Das Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (BGG [SR 173.110]) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205 und 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (Art. 132 Abs. 1 BGG; <ref-ruling> E. 1.2 S. 395).
2. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 Abs. 2 OG [in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG, in Kraft seit 1. Juli 2006] in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 Abs. 2 OG [in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG, in Kraft seit 1. Juli 2006] in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Im Einspracheentscheid, auf den diesbezüglich das kantonale Gericht verweist, und im angefochtenen Entscheid werden die einschlägigen Gesetzesbestimmungen zutreffend dargelegt. Es wird darauf verwiesen.
3. Im Einspracheentscheid, auf den diesbezüglich das kantonale Gericht verweist, und im angefochtenen Entscheid werden die einschlägigen Gesetzesbestimmungen zutreffend dargelegt. Es wird darauf verwiesen.
4. Streitig und zu prüfen ist der Invaliditätsgrad und in diesem Rahmen zunächst die Frage, in welchem Ausmass der Beschwerdeführer noch arbeitsfähig ist.
4. Streitig und zu prüfen ist der Invaliditätsgrad und in diesem Rahmen zunächst die Frage, in welchem Ausmass der Beschwerdeführer noch arbeitsfähig ist.
4.1 4.1.1 Die Vorinstanz hat in einlässlicher Würdigung der medizinischen Akten und des Abklärungsberichtes der Beruflichen Abklärungsstelle (BEFAS) vom 5. März 2004 festgestellt, dass dem Beschwerdeführer körperlich leichte, wechselnd belastende Tätigkeiten in einer vorwiegend sitzenden Arbeitsposition sechs Stunden am Tag zumutbar seien und er nach einer Einarbeitungszeit dabei eine Gesamtleistung von 50% erbringen könne. Was der Beschwerdeführer dagegen vorbringen lässt, ist nicht geeignet, diese für das Bundesgericht verbindliche Sachverhaltsfeststellung als bundesrechtswidrig erscheinen zu lassen (vgl. E. 2).
4.1.2 Der Abklärungsbericht der BEFAS enthält eine ausführliche ärztliche Beurteilung und ist daher durchaus geeignet, die nicht von einem Arzt erhobenen Feststellungen zur Arbeitsfähigkeit im Bericht des Spitals S._ über die neuropsychologische Untersuchung vom 14. Januar 2002 in Zweifel zu ziehen. Dieser Bericht lag denn auch dem Konsiliarius der BEFAS vor und wurde bei seiner Einschätzung berücksichtigt. Selbst der behandelnde Arzt attestierte dem Beschwerdeführer im Übrigen am 8. September 2003 die Zumutbarkeit leichter rückenschonender Arbeit. Entgegen den Vorbringen des Beschwerdeführers ist damit der medizinische Sachverhalt als ausreichend abgeklärt zu betrachten. Zu Recht hat das kantonale Gericht von der beantragten Einholung eines Gutachtens abgesehen (antizipierte Beweiswürdigung, <ref-ruling> E. 4b S. 94). Auch für die letztinstanzlich beantragte Beweismassnahme besteht unter diesen Umständen kein Raum.
4.2 Es bleibt zu prüfen, wie sich die eingeschränkte Arbeitsfähigkeit erwerblich auswirkt.
4.2.1 Zum vorinstanzlich auf Fr. 55'640.- festgelegten Valideneinkommen macht der Beschwerdeführer geltend, dieses dürfe nicht aufgrund der Tabellenlöhne erhoben werden. Vielmehr sei das Einkommen, das er als Pflegehelfer erzielen könnte, heranzuziehen. Er könnte sich auch mit dem Lohn einverstanden erklären, den er zuletzt bei der Firma L._ bezogen habe.
4.2.2 Das kantonale Gericht hat dazu festgestellt, dass der Beschwerdeführer einerseits seine frühere Tätigkeit als Hilfspfleger im März 1989 auf eigenen Wunsch aufgegeben habe. Anderseits habe er die Anstellung bei der Firma L._ im September 1997 wegen einer selbstverschuldeten fristlosen Entlassung verloren. Was der Beschwerdeführer dagegen vorbringen lässt, dringt nicht durch. Es trifft zwar zu, dass er am 24. Dezember 1987 einen Unfall erlitten hat. In den Akten findet sich indessen nicht der geringste Hinweis, wonach der Beschwerdeführer die Tätigkeit als Hilfspfleger aus auf diesen Unfall zurückzuführenden gesundheitlichen Gründen aufgegeben hätte. Ebenso wenig lässt sich die Behauptung, auch die Entlassung bei der Firma L._ sei wegen auf den genannten Unfall zurückgehenden invaliditätsbedingten Arbeitsausfällen erfolgt, auf die Akten stützen. Vielmehr hielt der behandelnde Arzt im Bericht vom 3. Dezember 1999 ausdrücklich fest, die wegen eines Unfalls vor Jahren (gemeint ist derjenige vom 24. Dezember 1987) erlittene Berstungsfraktur mache keine wesentlichen Probleme mehr. In der Anmeldung zum Bezug von IV-Leistungen vom 14. Oktober 1999 gab der Beschwerdeführer denn auch selbst an, wegen des Unfalls 1987 erst seit einem halben Jahr starke Schmerzen am Rücken zu haben. Unter diesen Umständen hat die Vorinstanz das Valideneinkommen zu Recht gestützt auf die Tabellenlöhne gemäss der Lohnstrukturerhebung (LSE) 2000 des Bundesamtes für Statistik erhoben. Der Vollständigkeit halber ist darauf hinzuweisen, dass der Beschwerdeführer aus der Behauptung, im Gesundheitsfall als Hilfspfleger tätig zu sein, ohnehin nichts zu seinen Gunsten ableiten könnte. Aus TA1 der LSE 2000 ist nämlich ersichtlich, dass der im Gesundheits- und Sozialwesen erzielbare monatliche Bruttolohn im Anforderungsniveau 4 mit Fr. 4254.- noch um Fr. 183.- tiefer liegt als der vom kantonale Gericht (korrekt) angenommene Durchschnittswert über alle Sektoren.
4.2.3 Schliesslich erachtet der Beschwerdeführer den vom kantonalen Gericht gewährten Leidensabzug von 10% als zu niedrig. Die Gewährung des leidensbedingten Abzuges (vgl. dazu <ref-ruling>) ist eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (Art. 104 lit. a OG). Das trifft hier nicht zu.
4.2.3 Schliesslich erachtet der Beschwerdeführer den vom kantonalen Gericht gewährten Leidensabzug von 10% als zu niedrig. Die Gewährung des leidensbedingten Abzuges (vgl. dazu <ref-ruling>) ist eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (Art. 104 lit. a OG). Das trifft hier nicht zu.
5. Das Verfahren ist kostenpflichtig (Art. 134 Satz 2 OG in der seit 1. Juli 2006 geltenden Fassung). Die unentgeltliche Rechtspflege (Prozessführung und Verbeiständung; Art. 152 in Verbindung mit Art. 135 OG) kann gewährt werden (<ref-ruling> E. 4a S. 202 und 371 E. 5b S. 372, je mit Hinweisen). Es wird indessen ausdrücklich auf Art. 152 Abs. 3 OG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt. Zufolge Gewährung der unentgeltlichen Rechtspflege werden sie einstweilen auf die Gerichtskasse genommen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt. Zufolge Gewährung der unentgeltlichen Rechtspflege werden sie einstweilen auf die Gerichtskasse genommen.
3. Zufolge Gewährung der unentgeltlichen Rechtspflege wird Rechtsanwalt Dr. Bruno Häfliger für das Verfahren vor dem Bundesgericht aus der Gerichtskasse eine Entschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
3. Zufolge Gewährung der unentgeltlichen Rechtspflege wird Rechtsanwalt Dr. Bruno Häfliger für das Verfahren vor dem Bundesgericht aus der Gerichtskasse eine Entschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 25. April 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: