Sachverhalt:
A. Der 1952 geborene B._ ist von Beruf Möbelschreiner. Am 10. Juni 2004 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Nach Abklärungen in erwerblicher Hinsicht und Beizug einer polydisziplinären Expertise des medizinischen Begutachtungsinstituts X._ vom 20. Januar 2006 sprach die IV-Stelle des Kantons St. Gallen B._ ab 1. April 2006 bei einem Invaliditätsgrad von 40 % eine Viertelsrente der Invalidenversicherung zu (Verfügung vom 5. April 2006). Mit weiteren Verfügungen vom 11. Januar 2007 gewährte die IV-Stelle dem Versicherten auch für den Zeitraum vom 1. Juni 2003 bis 31. März 2006 eine Viertelsrente, woran sie mit Einspracheentscheid vom 2. März 2007 festhielt. Die von B._ hiegegen eingereichte Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen in dem Sinne teilweise gut, dass es den Einspracheentscheid vom 2. März 2007 aufhob und die Sache zu weiteren Abklärungen und neuer Verfügung an die IV-Stelle zurückwies (Entscheid vom 18. September 2008). In der Folge holte die IV-Stelle wiederum ein Gutachten des medizinischen Begutachtungsinstituts X._ (vom 27. August 2009) ein. Mit vier Verfügungen vom 7. Oktober 2010 sprach sie B._ bei einem Invaliditätsgrad von 40 % ab 1. Juni 2003 erneut eine Viertelsrente der Invalidenversicherung zu.
B. Der Versicherte liess Beschwerde führen mit dem Rechtsbegehren, unter Aufhebung der Verfügungen der IV-Stelle vom 7. Oktober 2010 sei ihm rückwirkend ab 1. Juni 2003 mindestens eine halbe Invalidenrente zuzusprechen. Mit Entscheid vom 22. Februar 2012 hob das Versicherungsgericht des Kantons St. Gallen die Verfügungen vom 7. Oktober 2010 in Gutheissung der Beschwerde auf und sprach B._ rückwirkend ab 1. Juni 2003 anstelle der Viertels- eine Dreiviertelsrente der Invalidenversicherung zu.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, der vorinstanzliche Entscheid sei aufzuheben.
Während B._ auf Abweisung der Beschwerde schliessen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 2 BGG).
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Umfang des Invalidenrentenanspruchs (Art. 28 Abs. 2 IVG), die Bedeutung ärztlicher Auskünfte für die Belange der Invaliditätsschätzung (<ref-ruling> E. 4 S. 261) sowie den behinderungsbedingten Abzug vom Invalideneinkommen (<ref-ruling> E. 5b/aa-cc S. 79 f.) zutreffend wiedergegeben. Darauf wird verwiesen. Zu ergänzen ist, dass gemäss Art. 28a Abs. 1 IVG für die Bemessung der Invalidität von erwerbstätigen Versicherten Art. 16 ATSG anwendbar ist. Danach wird für die Bestimmung des Invaliditätsgrades das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre.
3. In medizinischer Hinsicht steht aufgrund des Gutachtens des medizinischen Begutachtungsinstituts X._ vom 27. August 2009 fest, dass der Beschwerdeführer in einer leidensangepassten Tätigkeit zu 50 % arbeitsunfähig wäre. Zu prüfen sind die erwerblichen Auswirkungen dieser Einschränkung in der Arbeitsfähigkeit anhand eines Einkommensvergleichs, wobei das hypothetische Einkommen ohne Invalidität (Valideneinkommen) streitig ist.
3.1 Die Vorinstanz zog für die Festsetzung des Valideneinkommens die Tabellenlöhne gemäss Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) heran, weil der Beschwerdeführer aus gesundheitlichen Gründen nie in der Lage gewesen sei, Einkünfte zu erzielen, die dem Einkommen eines gelernten Möbelschreiners entsprochen hätten. In seinem erlernten Beruf hätte er im Jahre 2003 ein Einkommen von Fr. 64'163.- verdient. Aufgrund seiner psychischen Störungen sei es indessen nie zu einer Anstellung mit einer entsprechenden Entlöhnung gekommen. Aus diesem Grund habe sich der Schritt in die Selbstständigkeit für den Versicherten geradezu aufgedrängt. Ab 1996 habe er die T._ GmbH geführt, dabei aber nur bescheidene Einkünfte erwirtschaftet. Anhaltspunkte für einen freiwilligen Einkommensverzicht lägen nicht vor; für die Festlegung des Valideneinkommens bestünden somit keine repräsentativen Grundlagen, weshalb die Durchschnittlöhne gemäss LSE als Basis zu dienen hätten.
3.2 Die IV-Stelle macht geltend, der Beschwerdeführer habe bis etwa zum Jahr 2000 mit den Mitmenschen keine Schwierigkeiten gehabt. Zur Aufnahme einer selbstständigen Erwerbstätigkeit sei er nicht aus gesundheitlichen Gründen gezwungen gewesen; vielmehr dürfte es sich bei der Tätigkeit als selbstständig Erwerbender um die Verwirklichung eines lange gehegten Berufswunsches gehandelt haben. Der Versicherte habe sich seit 1988 im Haupterwerb als selbstständig Erwerbender betätigt und sich dabei mit unterdurchschnittlichen Einkünften begnügt. Ohne Gesundheitsschaden hätte er diese Erwerbstätigkeit trotz des unzureichenden Einkommens weiterhin ausgeübt. Unter den gegebenen Umständen sei es gerechtfertigt, für die Bestimmung des Valideneinkommens vom Durchschnitt der im individuellen Konto verbuchten Einkommen der Jahre 1996 bis 2000 auszugehen. Damit resultiere nach Anpassung an die Nominallohnentwicklung ein Betrag von Fr. 39'197.- im Jahr.
3.3 Den Darlegungen des kantonalen Gerichts ist beizupflichten. Die Vorbringen der Beschwerdeführerin erschöpfen sich im Wesentlichen in einer im Rahmen der gesetzlichen Überprüfungsbefugnis des Bundesgerichts (E. 1 hievor) unzulässigen Kritik an der vorinstanzlichen Beweiswürdigung. Die Folgerungen, welche das kantonale Gericht insbesondere aus dem Gutachten des medizinischen Begutachtungsinstituts X._ vom 27. August 2009 und dem Austrittsbericht der psychiatrischen Klinik Y._ vom 11. Februar 2006 gezogen hat, können nicht als offensichtlich unrichtig bezeichnet werden.
3.3.1 Die Beschwerdeführerin lässt es zu einem wesentlichen Teil dabei bewenden, ihre eigene Meinung der Auffassung der Vorinstanz gegenüberzustellen und aus der von ihr selbst vorgenommenen Beweiswürdigung auf eine offensichtlich unrichtige Feststellung des rechtserheblichen Sachverhalts im angefochtenen Entscheid zu schliessen. Einzig in einem Punkt macht die IV-Stelle geltend, das kantonale Gericht habe den Sachverhalt qualifiziert unrichtig und insoweit für das Bundesgericht nicht verbindlich dargelegt. Es betrifft dies die Feststellungen, dass Hospitalisationen wegen übermässigen Alkoholkonsums und fehlender Erfolg bei der Stellensuche aus gesundheitlichen Gründen den Versicherten zur Aufnahme einer selbstständigen Erwerbstätigkeit bewogen hätten. Zur Begründung ihres Standpunktes, dass die Vorinstanz insoweit den rechtserheblichen Sachverhalt offensichtlich unrichtig festgestellt habe, beruft sich die Beschwerdeführerin auf die erste Expertise des medizinischen Begutachtungsinstituts X._ vom 20. Januar 2006. Aus dem Entscheid vom 18. September 2008, mit welchem das kantonale Gericht die Sache in teilweiser Gutheissung einer (ersten) Beschwerde des Versicherten zur Einholung eines ergänzenden psychiatrischen Gutachtens an die IV-Stelle zurückgewiesen hatte, ist indessen ersichtlich, dass das Gutachten des medizinischen Begutachtungsinstituts X._ insoweit keine ausreichende Entscheidungsgrundlage gebildet hat. Damit ist dieses von geringem Beweiswert für die seitens der IV-Stelle im vorliegenden Verfahren vertretene Auffassung und nicht geeignet, zu einem abweichenden Ergebnis zu führen. Im zweiten Gutachten des medizinischen Begutachtungsinstituts X._ (vom 27. August 2009) wird unter Bezugnahme auf einen Bericht der psychiatrischen Klinik Y._ vom 8. Dezember 2004 alsdann erwähnt, dass der Beschwerdegegner Ende der 70er-Jahre fünfmal kurzfristig wegen aggressiver Auseinandersetzungen bei übermässigem Alkoholkonsum hospitalisiert war, was die Ansicht der Verwaltung, vor Aufnahme der selbstständigen Erwerbstätigkeit habe der Versicherte keine gesundheitlichen Probleme gehabt, ebenfalls nicht stützt. Gleiches gilt im Übrigen für die anamnestischen Angaben im ersten Gutachten des medizinischen Begutachtungsinstituts X._ vom 20. Januar 2006, wonach der Beschwerdegegner nach Absolvierung der Rekrutenschule und zweier Wiederholungskurse psychiatrisch (vom Militärdienst) frei gestellt worden sei.
3.3.2 Soweit der Beschwerdegegner bei der psychiatrischen Untersuchung im medizinischen Begutachtungsinstitut X._ am 21. Dezember 2005 erklärt hat, er habe bis etwa ins Jahr 2000 mit seinen Mitmenschen keine Schwierigkeiten gehabt, sei anerkannt und eine Autorität gewesen, wobei es zu keinen Konflikten mit Vorgesetzten gekommen sei, sind seine Aussagen mit Zurückhaltung zu würdigen. Ein erheblicher Beweiswert kann ihnen nicht beigemessen werden, da der Versicherte zu Schönfärberei neigt, wie die Vorinstanz - für das Bundesgericht verbindlich (E. 1 hievor) - festgehalten hat.
3.3.3 Auch wenn sich der Versicherte möglicherweise freiwillig mit einem niedrigen Einkommen aus selbstständiger Erwerbstätigkeit begnügt hat und die Tatsache, dass er eine Existenz als selbstständig Erwerbender aufgebaut hat, von der Vorinstanz nur anhand verschiedener Indizien auf einen Gesundheitsschaden, welcher einer Tätigkeit als Arbeitnehmer entgegengestanden hat, zurückgeführt werden kann, vermag die IV-Stelle nichts vorzubringen, was die Sachverhaltsfeststellung des kantonalen Gerichts als bundesrechtwidrig erscheinen lassen könnte. Dass die Beweiswürdigung der Beschwerdeführerin ebenso plausibel erscheint wie diejenige der Vorinstanz, ist mit Blick auf Art. 97 Abs. 1 in Verbindung mit Art. 105 Abs. 1 und 2 BGG irrelevant (<ref-ruling> E. 4.1 S. 133).
4. Das ebenfalls in Anwendung von Tabellenlöhnen gemäss LSE festgelegte Invalideneinkommen samt leidensbedingtem Abzug von 20 % wird von der Beschwerdeführerin zu Recht nicht in Frage gestellt. Dementsprechend bleibt es bei dem von der Vorinstanz ermittelten Invaliditätsgrad von 60 % mit der Folge, dass der Beschwerdegegner ab 1. Juni 2003 anstelle der ihm von der Verwaltung zugesprochenen Viertelsrente Anspruch auf eine Dreiviertelsrente der Invalidenversicherung hat.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (Art. 66 Abs. 1 Satz 1 BGG). Diese hat dem Beschwerdegegner überdies eine Parteientschädigung zu entrichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. September 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer