Sachverhalt: Sachverhalt: A. Der 1949 geborene D._ meldete sich am 9. September 2003 unter Hinweis auf multiple Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Nebst beruflichen Abklärungen holte die IV-Stelle Luzern bei Dr. med. M._, Spezialarzt FMH für Psychiatrie und Psychotherapie, ein Gutachten ein, welches er am 23. Dezember 2004 erstattete. Am 4. Mai 2005 sprach die IV-Stelle D._ ab 1. August 2003 bis 31. März 2005 eine ganze und mit Wirkung ab 1. April 2005 eine halbe Invalidenrente zu. Dies bestätigte die IV-Stelle mit Einspracheentscheid vom 16. August 2005. A. Der 1949 geborene D._ meldete sich am 9. September 2003 unter Hinweis auf multiple Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Nebst beruflichen Abklärungen holte die IV-Stelle Luzern bei Dr. med. M._, Spezialarzt FMH für Psychiatrie und Psychotherapie, ein Gutachten ein, welches er am 23. Dezember 2004 erstattete. Am 4. Mai 2005 sprach die IV-Stelle D._ ab 1. August 2003 bis 31. März 2005 eine ganze und mit Wirkung ab 1. April 2005 eine halbe Invalidenrente zu. Dies bestätigte die IV-Stelle mit Einspracheentscheid vom 16. August 2005. B. Das Verwaltungsgericht des Kantons Luzern wies die hiegegen erhobene Beschwerde mit Entscheid vom 10. November 2006 ab und änderte den Einspracheentscheid vom 16. August 2005 wie am 4. Oktober 2006 angedroht in dem Sinne zu Ungunsten von D._ ab, als diesem ab 1. August 2003 eine halbe Invalidenrente zugesprochen wurde. B. Das Verwaltungsgericht des Kantons Luzern wies die hiegegen erhobene Beschwerde mit Entscheid vom 10. November 2006 ab und änderte den Einspracheentscheid vom 16. August 2005 wie am 4. Oktober 2006 angedroht in dem Sinne zu Ungunsten von D._ ab, als diesem ab 1. August 2003 eine halbe Invalidenrente zugesprochen wurde. C. D._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, der angefochtene Entscheid sei aufzuheben und ihm sei ab 1. April 2005 eine ganze Invalidenrente zuzusprechen. Weiter ersucht er um Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.