Sachverhalt: Sachverhalt: A. Mit Verfügung vom 31. Januar 2005 sprach die IV-Stelle des Kantons St. Gallen S._ (geb. 1945) eine Viertelsrente der Invalidenversicherung ab 1. Oktober 2002 zu. Mit Einspracheentscheid vom 26. Mai 2005 gewährte sie ihm stattdessen eine ganze IV-Rente für die Zeitspanne vom 1. März 2002 bis Ende Januar 2004 sowie eine halbe Rente ab 1. Februar 2004. A. Mit Verfügung vom 31. Januar 2005 sprach die IV-Stelle des Kantons St. Gallen S._ (geb. 1945) eine Viertelsrente der Invalidenversicherung ab 1. Oktober 2002 zu. Mit Einspracheentscheid vom 26. Mai 2005 gewährte sie ihm stattdessen eine ganze IV-Rente für die Zeitspanne vom 1. März 2002 bis Ende Januar 2004 sowie eine halbe Rente ab 1. Februar 2004. B. Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 17. Februar 2006 insofern teilweise gut, als es S._ eine ganze Rente vom 1. Februar 2002 bis 30. April 2004 und eine halbe Rente ab 1. Mai 2004 zusprach. B. Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 17. Februar 2006 insofern teilweise gut, als es S._ eine ganze Rente vom 1. Februar 2002 bis 30. April 2004 und eine halbe Rente ab 1. Mai 2004 zusprach. C. S._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm ab 1. Februar 2002 eine ganze IV-Rente auszurichten. Eventuell sei die Sache zu näheren Abklärungen an die IV-Stelle zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. D. Das Gericht holte eine Auskunft des Ärztlichen Begutachtungsinstituts GmbH (ABI), vom 9. November 2006 ein, zu welcher sich die Parteien äussern konnten. S._ lässt mit Eingabe vom 4. Januar 2007 an seinem Rechtsbegehren festhalten, während die IV-Stelle auf eine Vernehmlassung verzichtet.