Sachverhalt:
A. Der 1958 geborene U._ wurde am 21. November 2004 in Bosnien-Herzegowina in einen Unfall verwickelt. Im Austrittsbericht des Spitals X._ vom 15. Dezember 2004, wo U._ vom 22. November bis 7. Dezember 2004 stationär behandelt worden war, wurden eine zweiseitige Milzruptur, Rippenserienfrakturen beidseits sowie eine postoperative Thrombozytose diagnostiziert. Am 24. November 2008 meldete sich U._ bei der Invalidenversicherung zum Leistungsbezug an. Im Auftrag der IV-Stelle des Kantons St. Gallen wurde U._ vom medizinischen Abklärungsinstitut Y._ am 8. Juli 2009 untersucht (Expertise vom 24. August 2009). Mit Verfügung vom 15. Februar 2010 lehnte die IV-Stelle den Anspruch auf eine Invalidenrente ab.
B. U._ liess Beschwerde führen mit dem Antrag, unter Aufhebung der Verfügung vom 15. Februar 2010 sei die IV-Stelle des Kantons St. Gallen zu verpflichten, ihm mindestens eine Viertelsrente der Invalidenversicherung zuzusprechen und weitere medizinische Abklärungen zur Feststellung des Arbeitsfähigkeitsgrades durchzuführen. Mit Entscheid vom 10. August 2011 hiess das Versicherungsgericht des Kantons St. Gallen die Beschwerde in dem Sinne gut, dass es die Verfügung vom 15. Februar 2010 aufhob und die Sache zur Weiterführung des Verwaltungsverfahrens im Sinne der Erwägungen an die IV-Stelle zurückwies.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die Sozialversicherungsanstalt St. Gallen, der Entscheid des Versicherungsgerichts vom 10. August 2011 sei aufzuheben.
U._ lässt auf Abweisung der Beschwerde schliessen; ferner ersucht er um die unentgeltliche Rechtspflege. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
D. Mit Eingabe vom 15. März 2012 lässt U._ das Gesuch um unentgeltliche Rechtspflege zurückziehen.
Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 2 BGG).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 134 V 250 E. 1.2 S. 252 mit Hinweisen). Immerhin prüft das Bundesgericht unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254).
2. Zu präzisieren ist die von der Beschwerdeführerin in der Rechtsschrift für sich verwendete Bezeichnung. Gemäss Art. 57 Abs. 1 lit. g IVG ist die IV-Stelle zum Erlass von Verfügungen über die Leistungen der Invalidenversicherung zuständig. Ebenso ist die IV-Stelle parteifähig; sie (und nicht die Sozialversicherungsanstalt) vertritt demnach die Invalidenversicherung im Prozess (MEYER, Rechtsprechung des Bundesgerichts zum IVG, 2. Aufl. 2010, S. 465). Da in der Eingabe ans Bundesgericht immerhin auch die IV-Stelle aufgeführt wurde, ist auf die Beschwerde einzutreten und die falsche Parteibezeichnung von Amtes wegen zu korrigieren (Urteil 9C_980/2010 vom 20. Juni 2011).
3. Die IV-Stelle ficht einen Rückweisungsentscheid an. Eine solche Anfechtung ist nur unter den Voraussetzungen von Art. 93 BGG zulässig. Die Beschwerdeführerin würde zur Durchführung von Eingliederungsmassnahmen verpflichtet, obwohl solche weder Gegenstand ihrer Verfügung vom 15. Februar 2010 bildeten noch vom Beschwerdegegner selbst im vorinstanzlichen Verfahren beantragt wurden. Zudem hat die Verwaltung Eingliederungsmassnahmen wiederholt pflichtgemäss geprüft und mit überzeugender Begründung, insbesondere mit Blick auf die fehlende Eingliederungsbereitschaft des Versicherten, einen Anspruch verneint. Die IV-Stelle, die einen Invaliditätsgrad von unter 40 % ermittelt hat und weiterhin geltend macht, würde somit zur erneuten Prüfung eines Anspruchs verpflichtet, den sie bereits abgeklärt hat und zur Anordnung von Eingliederungsmassnahmen vor einem Rentenentscheid verhalten. In dieser Konstellation ist für die IV-Stelle ein irreparabler Nachteil anzunehmen, womit die Eintretensvoraussetzung bei Anfechtung eines Zwischenentscheides im Sinne von Art. 93 lit. a BGG erfüllt ist (vgl. BGE 133 V 477).
4. 4.1 Die Vorinstanz ist davon ausgegangen, dass der Beschwerdegegner seine Krankheits- und Arbeitsunfähigkeitsüberzeugung nur im Ausmass von 80 % durch eine zumutbare Willensanstrengung überwinden könne. Die IV-Stelle wendet ein, dass von einer vollen Arbeitsfähigkeit in einer adaptierten Tätigkeit auszugehen sei. Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage; dazu gehören auch Folgerungen, die sich auf die medizinische Empirie stützen, z.B. die Vermutung, dass eine anhaltende somatoforme Schmerzstörung oder ein sonstiger vergleichbarer pathogenetisch (ätiologisch) unklarer syndromaler Zustand mit zumutbarer Willensanstrengung überwindbar ist (BGE 132 V 65 E. 4.2.1 S. 70 f., 132 V 393 E. 3.2 S. 397).
4.2 Zur Annahme einer Invalidität braucht es in jedem Fall ein medizinisches Substrat, das (fach)ärztlicherseits schlüssig festgestellt wird und nachgewiesenermassen die Arbeits- und Erwerbsfähigkeit wesentlich beeinträchtigt. Je stärker psychosoziale oder soziokulturelle Faktoren im Einzelfall in den Vordergrund treten und das Beschwerdebild mitbestimmen, desto ausgeprägter muss eine fachärztlich festgestellte psychische Störung von Krankheitswert vorhanden sein. Das bedeutet, dass das klinische Beschwerdebild nicht einzig in Beeinträchtigungen, welche von den belastenden soziokulturellen und psychosozialen Faktoren herrühren, bestehen darf, sondern davon psychiatrisch zu unterscheidende Befunde zu umfassen hat, z.B. eine von depressiven Verstimmungszuständen klar unterscheidbare andauernde Depression im fachmedizinischen Sinne oder einen damit vergleichbaren psychischen Leidenszustand. Solche von der soziokulturellen oder psychosozialen Belastungssituation zu unterscheidende und in diesem Sinne verselbstständigte psychische Störungen mit Auswirkungen auf die Arbeits- und Erwerbsfähigkeit sind unabdingbar, damit überhaupt von Invalidität gesprochen werden kann. Wo der Gutachter dagegen im Wesentlichen nur Befunde erhebt, welche in den psychosozialen und soziokulturellen Umständen ihre hinreichende Erklärung finden, gleichsam in ihnen aufgehen, ist kein invalidisierender psychischer Gesundheitsschaden gegeben. Ist anderseits eine psychische Störung von Krankheitswert schlüssig erstellt, kommt der Frage zentrale Bedeutung zu, ob und inwiefern, allenfalls bei geeigneter therapeutischer Behandlung, von der versicherten Person trotz des Leidens willensmässig erwartet werden kann, zu arbeiten (eventuell in einem geschützten Rahmen) und einem Erwerb nachzugehen (BGE 127 V 294 E. 5a S. 299; Urteil 8C_302/2011 vom 20. September 2011).
4.3 Gemäss dem von Dr. med. W._, Psychiatrie und Psychotherapie FMH, verfassten psychiatrischen Teilgutachten der Expertise des medizinischen Abklärungsinstituts Y._ ist die Arbeitsfähigkeit des Versicherten durch die Depression leichtgradig eingeschränkt. Dabei wird angeführt, dass sich der Beschwerdegegner mentalitätsbedingt nicht vorstellen könne, mit Schmerzen zu arbeiten. Das Unfallereignis und die erwartete, aber ausgebliebene Beschwerdefreiheit führten psychisch zu einer Enttäuschung. Die Ehefrau sei ebenfalls krank. Finanziell sei der Beschwerdegegner von der Taggeldversicherung abhängig. Vor diesem Hintergrund komme es zur psychischen Überlagerung der somatisch nicht hinreichend begründbaren Beschwerden. Damit handelt es sich aber vor allem um psychosoziale Faktoren, die das Beschwerdebild (mit-)bestimmen und die Arbeitsfähigkeit gemäss psychiatrischem Befund leichtgradig vermindern. Von einem invalidisierenden Gesundheitsschaden kann unter diesen Umständen nicht gesprochen werden, selbst wenn die Arbeitsfähigkeit durch die Depression geringfügig eingeschränkt ist.
4.4 Die Vorinstanz hielt zu Recht fest, dass die Kriterien, welche darauf schliessen lassen, dass die Überwindbarkeit der Krankheits- und Arbeitsunfähigkeitsüberzeugung ausnahmsweise unzumutbar sei, nicht erfüllt seien. Indessen geht die Vorinstanz, obwohl sie die Vermutung, dass die Krankheits- und Arbeitsunfähigkeitsüberzeugung überwindbar ist, nicht als umgestossen betrachtet, trotzdem davon aus, dass der Versicherte seine Krankheits- und Arbeitsunfähigkeitsüberzeugung mit überwiegender Wahrscheinlichkeit nur im Ausmass von 80 % durch eine zumutbare Willensanstrengung überwinden könne. Damit wird die Willensanstrengung aufgeteilt in einen Bereich, wo sie als zumutbar gilt und in einen weiteren Bereich, wo sie als unzumutbar betrachtet wird. Eine Willensanstrengung kann aber letztlich nicht aufgeteilt werden. Entweder ist eine solche unzumutbar oder sie ist es nicht. Auch wird mit einem derartigen Vorgehen dem Umstand nicht Rechnung getragen, dass die Unzumutbarkeit einer willentlichen Schmerzüberwindung und eines Wiedereinstiegs in den Arbeitsprozess nur in Ausnahmefällen anzunehmen ist (BGE 130 V 352 E. 2.2.3 S. 353). Gerade mit Rücksicht auf den Ausnahmecharakter der Unzumutbarkeit kann diese vorliegend nicht im Umfang von 20 % teilweise als gegeben erachtet werden. Dies bedeutet jedoch, dass der Beschwerdegegner mit einer zumutbaren Willensanstrengung die Überzeugung, krank und arbeitsunfähig zu sein, überwinden kann. Dementsprechend ist nur die Einschränkung der Arbeitsfähigkeit im somatischen Bereich als invalidenversicherungsrechtlich relevant anzuerkennen. Das heisst, dass dem Beschwerdegegner körperlich leichte bis mittelschwer belastende Tätigkeiten ohne repetitives Bücken uneingeschränkt zugemutet werden können, wobei die Traglimite auf 10 kg beschränkt ist.
4.5 Von der Vorinstanz bereits überzeugend widerlegt ist der vom Versicherten erneut vorgebrachte Einwand, dass nicht auf die Erkenntnisse des Gutachtens des medizinischen Abklärungsinstituts Y._, sondern auf die Angaben der Psychiaterin Frau Dr. med. C._ vom 4. März 2010 abzustellen sei. Auf die entsprechenden Erwägungen der Vorinstanz wird verwiesen. In diesem Zusammenhang ist auch zu verdeutlichen, dass die psychiatrische Exploration von der Natur der Sache her nicht ermessensfrei erfolgen kann und dem begutachtenden Psychiater deshalb praktisch immer einen gewissen Spielraum eröffnet, innerhalb dessen verschiedene medizinisch-psychiatrische Interpretationen möglich, zulässig und zu respektieren sind, sofern der Experte lege artis vorgegangen ist. Daher und unter Beachtung der Divergenz von medizinischem Behandlungs- und Abklärungsauftrag (BGE 124 I 170 E. 4. S. 175) geht es nicht an, eine medizinische Administrativ- oder Gerichtsexpertise stets dann in Frage zu stellen und zum Anlass für weitere Abklärungen zu nehmen, wenn die behandelnden Ärzte nachher zu abweichenden Einschätzungen gelangen oder an vorgängig geäusserten divergierenden Auffassungen festhalten (Urteil 8C_567/2010 vom 19. November 2010).
5. Das kantonale Gericht hat dem Beschwerdegegner beim Einkommensvergleich einen Leidensabzug von 15 % zugestanden, während die IV-Stelle keinen solchen berücksichtigt haben will. Bei der Frage, ob ein Leidensabzug zu gewähren sei, handelt es sich um eine Rechtsfrage (BGE 132 V 393 E. 3.3 S. 399). Da, wie vorstehend (E. 4 hievor) erörtert, der Beschwerdegegner in einer angepassten Tätigkeit zu 100 % arbeitsfähig ist, ist kein Leidensabzug gerechtfertigt. Selbst wenn die im Gutachten des medizinischen Abklärungsinstituts Y._ attestierte Arbeitsfähigkeit von 80 % in einer vollschichtig ausgeübten, leidensangepassten Tätigkeit angenommen würde, wäre kein Leidensabzug zu gewähren. Wie das Bundesgericht im Urteil 9C_40/2011 vom 1. April 2011 bestätigt hat, ist bei Männern ein Abzug vom Tabellenlohn unter dem Titel Beschäftigungsgrad allenfalls bei einer gesundheitlich bedingten Teilzeiterwerbstätigkeit, nicht aber bei einer Vollzeiterwerbstätigkeit mit gesundheitlich bedingt eingeschränkter Leistungsfähigkeit gerechtfertigt. Dass der Versicherte keine Schichtarbeit und/oder Überzeit nach Eintritt der gesundheitlichen Beeinträchtigung mehr leisten kann, wird bereits dadurch berücksichtigt, dass bei Ermittlung des Invalideneinkommens auf statistische Durchschnittswerte abgestellt wird.
6. 6.1 Die IV-Stelle hat das hypothetische Einkommen ohne Invalidität (Valideneinkommen) auf Fr. 84'150.- im Jahr festgelegt. Dies entspricht den Angaben der Z._ AG, der früheren Arbeitgeberin des Beschwerdegegners, zum mutmasslichen Lohn ohne Gesundheitsschaden im Jahre 2008. Der Versicherte will demgegenüber den Durchschnitt der Jahre 2006 und 2007 zur Bemessung heranziehen, obwohl er im Rahmen der persönlichen Anamnese den Gutachtern des medizinischen Abklärungsinstituts Y._ erklärte, seit dem Unfallereignis vom 21. November 2004 habe er nach Aufnahme einer vollzeitlichen Erwerbstätigkeit nur noch unter Schmerzen arbeiten können. Dies würde aber bedeuten, dass auf das Einkommen des Jahres 2003, das Jahr vor dem Unfallereignis, abzustellen wäre. In jenem Jahr belief sich das Einkommen des Beschwerdegegners gemäss Auszug aus dem Individuellen Konto auf Fr. 76'681.-. Angepasst an den Nominallohnindex (Männer) resultierte für das Jahr 2008 ein Wert von Fr. 81'929.- (Fr. 76'681.- x 2092 / 1958). Da dieser Betrag unter den Angaben der Z._ AG liegt, besteht kein Anlass, an deren Auskunft zu zweifeln.
6.2 Das Invalideneinkommen ist anhand von Tabellenlöhnen zu ermitteln. Im Anforderungsniveau 4 beträgt der Durchschnittslohn gemäss Lohnstrukturerhebung (LSE) 2008 des Bundesamtes für Statistik, Tabelle TA1, für Männer Fr. 4'806.- im Monat. Angepasst an die durchschnittliche Wochenarbeitszeit von 41,6 Stunden ergibt sich ein Invalideneinkommen von Fr. 59'979.- (Fr. 4'806.- : 40 x 41,6 x 12). In Beziehung gesetzt zum Valideneinkommen von Fr. 84'150.- resultiert ein Invaliditätsgrad von lediglich 29 %, der keinen Rentenanspruch begründet. Berufliche Massnahmen entfallen, nachdem der Versicherte weder im kantonalen Verfahren noch in der Beschwerdeantwort die Durchführung entsprechender Massnahmen verlangt hat.
6.3 Die Beschwerde der IV-Stelle ist somit begründet mit der Folge, dass der kantonale Gerichtsentscheid aufzuheben ist.
Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde wird der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 10. August 2011 aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. März 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer