Sachverhalt: A. Mit Verfügung vom 1. Oktober 2004 sprach die IV-Stelle des Kantons Graubünden S._, geboren 1952, gestützt auf ein Gutachten der Medizinischen Abklärungsstelle (MEDAS vom 30. Oktober 2002) eine halbe Rente der Invalidenversicherung bei einem Invaliditätsgrad von 57 % zu. Im Juni 2006 wurde eine Rentenrevision eingeleitet. Die IV-Stelle zog einen Bericht der behandelnden Ärztin Dr. med. B._, FMH Physikalische Medizin und Rehabilitation (vom 28. August 2006), bei und holte ein polydisziplinäres Gutachten der MEDAS (vom 9. November 2007) ein. Gestützt darauf teilte die IV-Stelle dem Versicherten nach durchgeführtem Vorbescheidverfahren mit Verfügung vom 22./29. August 2008 mit, dass die bisherige halbe Rente per 1. Oktober 2008 auf eine Viertelrente bei einem IV-Grad von 44 % herabgesetzt werde. B. Die dagegen, unter Beilage eines Berichts des behandelnden Psychiaters Dr. med. T._ (vom 4. September 2008, erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 27. Januar 2009 ab. C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides (Ziff. 1 und 2) sei ihm eine Dreiviertelsrente, eventuell eine halbe Rente zuzusprechen; eventualiter seien die Akten an die IV-Stelle zurückzuweisen zur Einholung eines rheumatologischen und psychiatrischen Gutachtens. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.