Sachverhalt:
Sachverhalt:
A. Der 1949 geborene D._ meldete sich am 9. September 2003 unter Hinweis auf multiple Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Nebst beruflichen Abklärungen holte die IV-Stelle Luzern bei Dr. med. M._, Spezialarzt FMH für Psychiatrie und Psychotherapie, ein Gutachten ein, welches er am 23. Dezember 2004 erstattete. Am 4. Mai 2005 sprach die IV-Stelle D._ ab 1. August 2003 bis 31. März 2005 eine ganze und mit Wirkung ab 1. April 2005 eine halbe Invalidenrente zu. Dies bestätigte die IV-Stelle mit Einspracheentscheid vom 16. August 2005.
A. Der 1949 geborene D._ meldete sich am 9. September 2003 unter Hinweis auf multiple Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Nebst beruflichen Abklärungen holte die IV-Stelle Luzern bei Dr. med. M._, Spezialarzt FMH für Psychiatrie und Psychotherapie, ein Gutachten ein, welches er am 23. Dezember 2004 erstattete. Am 4. Mai 2005 sprach die IV-Stelle D._ ab 1. August 2003 bis 31. März 2005 eine ganze und mit Wirkung ab 1. April 2005 eine halbe Invalidenrente zu. Dies bestätigte die IV-Stelle mit Einspracheentscheid vom 16. August 2005.
B. Das Verwaltungsgericht des Kantons Luzern wies die hiegegen erhobene Beschwerde mit Entscheid vom 10. November 2006 ab und änderte den Einspracheentscheid vom 16. August 2005 wie am 4. Oktober 2006 angedroht in dem Sinne zu Ungunsten von D._ ab, als diesem ab 1. August 2003 eine halbe Invalidenrente zugesprochen wurde.
B. Das Verwaltungsgericht des Kantons Luzern wies die hiegegen erhobene Beschwerde mit Entscheid vom 10. November 2006 ab und änderte den Einspracheentscheid vom 16. August 2005 wie am 4. Oktober 2006 angedroht in dem Sinne zu Ungunsten von D._ ab, als diesem ab 1. August 2003 eine halbe Invalidenrente zugesprochen wurde.
C. D._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, der angefochtene Entscheid sei aufzuheben und ihm sei ab 1. April 2005 eine ganze Invalidenrente zuzusprechen. Weiter ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Das Bundesgericht zieht in Erwägung:
1. Das Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (BGG [SR 173.110]) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205 und 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1. Das Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (BGG [SR 173.110]) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205 und 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
2. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 Abs. 2 OG [in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG, in Kraft seit 1. Juli 2006] in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 Abs. 2 OG [in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG, in Kraft seit 1. Juli 2006] in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Es ist unbestritten, dass der Beschwerdeführer ab 1. August 2003 Anspruch auf eine Rente der Invalidenversicherung hat. Streitig und zu prüfen ist indessen der Invaliditätsgrad und in diesem Rahmen die Frage, in welchem Ausmass der Beschwerdeführer noch arbeitsfähig ist.
3.1 Um diese Frage beantworten zu können, holte die Beschwerdegegnerin - nebst Berichten anderer Ärzte - bei Dr. med. M._ ein psychiatrisches Gutachten ein. Dieses bildete die wesentlichste Grundlage der vorinstanzlichen Beweiswürdigung und wird vom Beschwerdeführer in der Verwaltungsgerichtsbeschwerde inhaltlich kritisiert. Allein, wie es sich in materieller Hinsicht mit diesen Einwendungen verhält, kann offen bleiben, ist doch der Beweiswert des genannten Gutachtens offensichtlich zerstört.
3.2 Muss der Versicherungsträger zur Abklärung des Sachverhalts ein Gutachten einer oder eines unabhängigen Sachverständigen einholen, so gibt er der Partei deren oder dessen Namen bekannt (<ref-law>). Nach dem Wortlaut dieses Artikels muss es sich um einen "unabhängigen" Sachverständigen handeln (siehe dazu <ref-ruling> E. 6.2 S. 381). Nach der Rechtsprechung gelten für Sachverständige grundsätzlich die gleichen Ausstands- und Ablehnungsgründe, wie sie für Richter vorgesehen sind. Danach ist Befangenheit anzunehmen, wenn Umstände vorliegen, die geeignet sind, Misstrauen in die Unparteilichkeit zu erwecken (<ref-ruling> E. 7.1 S. 109 mit Hinweisen).
3.3 Dem Verlaufsprotokoll der Beschwerdegegnerin ist zu entnehmen, dass ein Arzt des Regionalärztlichen Dienstes (RAD) vor dem Erstellen des Gutachtens am 25. August 2004 ein Telefonat mit dem beauftragten Experten führte, da Letzterer gewisse Vorbehalte gegenüber der Begutachtung hatte. Der Arzt des RAD diskutierte mit dem Experten materiell über den Fall und vermochte ihn - gemäss Eintrag im Verlaufsprotokoll - von seiner Meinung, dass die Diagnose einer schweren depressiven Episode nicht ausgewiesen sei, zu überzeugen, dies bevor der Experte den Probanden überhaupt gesehen hatte. Stand somit bezüglich eines wichtigen Punktes das Ergebnis der Begutachtung praktisch fest (keine schwere depressive Episode), bevor die psychiatrische Exploration erfolgt war, konnte Dr. med. M._ in diesem Fall nicht mehr als neutraler psychiatrischer Sachverständiger gelten. Mit seiner massiven Einflussnahme hat der Arzt des RAD die Unvoreingenommenheit der Beurteilung durch den Sachverständigen beeinträchtigt. Die Grenzen zulässiger Instruktion des Experten durch die auftraggebende Stelle sind überschritten. Es liegt ein Verfahrensfehler vor, welcher objektiv den Anschein der Befangenheit weckt.
3.4 Nach dem Gesagten steht fest, dass die vorinstanzliche Beweiswürdigung auf einem Sachverhalt beruht, der offensichtlich unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (vgl. E. 2). Das in der Entstehung mit einem schwerwiegenden Mangel behaftete Gutachten scheidet als abschliessende Beurteilungsgrundlage aus. Da einer fachgerecht durchgeführten psychiatrischen Untersuchung unbestrittenermassen entscheidende Bedeutung zukommt, ist die Sache an die Beschwerdegegnerin zurückzuweisen, damit diese ordnungsgemäss ein rechtsgenügliches Gutachten einhole und anschliessend über den Rentenanspruch des Beschwerdeführers neu verfüge.
3.4 Nach dem Gesagten steht fest, dass die vorinstanzliche Beweiswürdigung auf einem Sachverhalt beruht, der offensichtlich unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (vgl. E. 2). Das in der Entstehung mit einem schwerwiegenden Mangel behaftete Gutachten scheidet als abschliessende Beurteilungsgrundlage aus. Da einer fachgerecht durchgeführten psychiatrischen Untersuchung unbestrittenermassen entscheidende Bedeutung zukommt, ist die Sache an die Beschwerdegegnerin zurückzuweisen, damit diese ordnungsgemäss ein rechtsgenügliches Gutachten einhole und anschliessend über den Rentenanspruch des Beschwerdeführers neu verfüge.
4. Dem Prozessausgang entsprechend sind die Gerichtskosten der Beschwerdegegnerin aufzuerlegen (Art. 156 Abs. 1 OG in Verbindung mit Art. 135 OG). Das Gesuch um unentgeltlichen Rechtspflege ist bei diesem Ergebnis gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Luzern vom 10. November 2006 und der Einspracheentscheid vom 16. August 2005 aufgehoben werden und die Sache an die IV-Stelle Luzern zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre und über den Anspruch auf Rente neu verfüge.
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Luzern vom 10. November 2006 und der Einspracheentscheid vom 16. August 2005 aufgehoben werden und die Sache an die IV-Stelle Luzern zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre und über den Anspruch auf Rente neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor dem Bundesgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor dem Bundesgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Verwaltungsgericht des Kantons Luzern wird über eine Parteientschädigung für das kan-tonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
4. Das Verwaltungsgericht des Kantons Luzern wird über eine Parteientschädigung für das kan-tonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse des Kantons Zug und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 4. Mai 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: