Sachverhalt: A. Der 1952 geborene B._ ist von Beruf Möbelschreiner. Am 10. Juni 2004 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Nach Abklärungen in erwerblicher Hinsicht und Beizug einer polydisziplinären Expertise des medizinischen Begutachtungsinstituts X._ vom 20. Januar 2006 sprach die IV-Stelle des Kantons St. Gallen B._ ab 1. April 2006 bei einem Invaliditätsgrad von 40 % eine Viertelsrente der Invalidenversicherung zu (Verfügung vom 5. April 2006). Mit weiteren Verfügungen vom 11. Januar 2007 gewährte die IV-Stelle dem Versicherten auch für den Zeitraum vom 1. Juni 2003 bis 31. März 2006 eine Viertelsrente, woran sie mit Einspracheentscheid vom 2. März 2007 festhielt. Die von B._ hiegegen eingereichte Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen in dem Sinne teilweise gut, dass es den Einspracheentscheid vom 2. März 2007 aufhob und die Sache zu weiteren Abklärungen und neuer Verfügung an die IV-Stelle zurückwies (Entscheid vom 18. September 2008). In der Folge holte die IV-Stelle wiederum ein Gutachten des medizinischen Begutachtungsinstituts X._ (vom 27. August 2009) ein. Mit vier Verfügungen vom 7. Oktober 2010 sprach sie B._ bei einem Invaliditätsgrad von 40 % ab 1. Juni 2003 erneut eine Viertelsrente der Invalidenversicherung zu. B. Der Versicherte liess Beschwerde führen mit dem Rechtsbegehren, unter Aufhebung der Verfügungen der IV-Stelle vom 7. Oktober 2010 sei ihm rückwirkend ab 1. Juni 2003 mindestens eine halbe Invalidenrente zuzusprechen. Mit Entscheid vom 22. Februar 2012 hob das Versicherungsgericht des Kantons St. Gallen die Verfügungen vom 7. Oktober 2010 in Gutheissung der Beschwerde auf und sprach B._ rückwirkend ab 1. Juni 2003 anstelle der Viertels- eine Dreiviertelsrente der Invalidenversicherung zu. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, der vorinstanzliche Entscheid sei aufzuheben. Während B._ auf Abweisung der Beschwerde schliessen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.