Sachverhalt:
A. Der 1965 geborene M._ war zuletzt als Stapelfahrer der Firma B._ AG erwerbstätig gewesen, als er sich am 21. Juni 2008 unter Hinweis auf einen am 24. Mai 2005 erlittenen Unfall bei der IV-Stelle des Kantons St. Gallen anmeldete und eine Rente beantragte. Nach medizinischen Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 9. März 2010 einen Rentenanspruch des Versicherten.
B. Die von M._ hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 15. Dezember 2011 in dem Sinne teilweise gut, als es dem Versicherten ab 1. Mai 2006 eine Viertelsrente der Invalidenversicherung zusprach.
C. Mit Beschwerde beantragt die IV-Stelle des Kantons St. Gallen, es sei unter Aufhebung des kantonalen Gerichtsentscheides ihre rentenablehnende Verfügung vom 9. März 2010 zu bestätigen.
Während M._ auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Die Beweiswürdigung durch das kantonale Gericht verletzt namentlich dann Bundesrecht, wenn es den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteil 8C_727/2009 vom 19. November 2009 E. 1.2).
2. 2.1 Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
2.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 3.2).
2.3 Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie dem Beschwerdegegner ab 1. Mai 2006 eine Viertelsrente der Invalidenversicherung zusprach.
3. 3.1 Das kantonale Gericht hat in umfassender Würdigung der medizinischen Akten für das Bundesgericht grundsätzlich verbindlich festgestellt, der Beschwerdegegner sei aus rein körperlicher Sicht in der Lage, vollzeitlich einer seinem Leiden angepassten Tätigkeit nachzugehen. Aus psychischer Sicht resultiere indessen eine 20%-ige Verminderung seiner Leistungsfähigkeit. Weiter hat die Vorinstanz erwogen, das Invalideneinkommen des Versicherten sei aufgrund von Tabellenlöhnen der Schweizerischen Lohnstrukturerhebung LSE zu bestimmen. Obwohl er vollzeitlich mit eingeschränktem Rendement tätig sein könne, sei ihm, analog zum bundesgerichtlich anerkannten Teilzeitabzug, wegen "unechter" Teilzeitarbeit ein Abzug vom Tabellenlohn im Sinne des <ref-ruling> E. 5 S. 78 zu gewähren. Insgesamt sei dieser Abzug auf 15 % festzulegen. Aus dem Vergleich des so ermittelten Invalideneinkommens von Fr. 40'254.- mit dem von der Vorinstanz auf Fr. 66'768.- ergebe sich ein Invaliditätsgrad von 39,71 % (gerundet 40 %), weshalb der Versicherte Anspruch auf eine Viertelsrente habe.
3.2 Die Frage, ob und in welchem Ausmass Tabellenlöhne herabzusetzen sind, hängt von sämtlichen persönlichen und beruflichen Umständen des konkreten Einzelfalles ab (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad). Der Einfluss sämtlicher Merkmale auf das Invalideneinkommen ist nach pflichtgemässem Ermessen gesamthaft zu schätzen, wobei der Abzug auf insgesamt höchstens 25 % zu begrenzen ist (<ref-ruling> E. 4.2.3 S. 481; <ref-ruling> E. 5b/bb S. 80).
Die Rechtsprechung anerkennt unter dem Titel Beschäftigungsgrad bei Männern, welche aus gesundheitlichen Gründen nur noch teilzeitlich erwerbstätig sein können, einen Abzug vom Tabellenlohn nach <ref-ruling>. Dagegen rechtfertigt der Umstand, dass eine grundsätzlich vollzeitlich arbeitsfähige versicherte Person krankheitsbedingt lediglich reduziert leistungsfähig ist, keinen über die Berücksichtigung der eingeschränkten Leistungsfähigkeit und damit des Rendements hinaus gehenden Abzug (Urteile 8C_939/2011 vom 13. Februar 2012 E. 5.2.3 und 9C_582/2011 vom 3. November 2011 E. 3.1 mit Hinweisen).
3.3 Wie die Beschwerdeführerin zu Recht geltend macht, ist die Vorinstanz von dieser Rechtsprechung abgewichen. Weshalb aus betriebswirtschaftlicher Sicht jene Faktoren, die bei Teilzeitarbeitenden zu einer unterdurchschnittlichen Entlöhnung führen, auch bei jenen Personen, die vollzeitlich mit eingeschränktem Rendement erwerbstätig sind zu einem geringeren Einkommen führen sollen, wird im vorinstanzlichen Urteil nicht näher begründet. Zwar mag es zutreffen, dass, wie von der Lehre vermutet (PHILIPP GEERTSEN, Der Tabellenlohnabzug, in: Kieser/Lendfers (Hrsg.): Jahrbuch zum Sozialversicherungsrecht 2012, S. 139 ff., S. 149), Arbeitskräfte mit reduzierter Leistungsfähigkeit die Infrastruktur des Arbeitgebers ineffizienter und damit kostenintensiver beanspruchen, als Arbeitskräfte mit uneingeschränkter Leistungsfähigkeit. Es bestehen indessen nicht ausreichend Anhaltspunkte dafür, dass dieser Effekt nicht durch die Vorteile der ganztägigen Präsenz des Arbeitnehmers aufgewogen wird (vgl. SVR 2012 Nr. 17 S. 78, 8C_379/2011 E. 4.2.3). Insgesamt sind somit nicht genügende Gründe für eine Praxisänderung (<ref-ruling> E. 3 S. 82, 134 V 72 E.3.3 S. 76) dargetan.
3.4 Wie das Bundesgericht in dem den Versicherten betreffenden Urteil 8C_686/2008 vom 23. Januar 2009 E. 6.2 festgestellt hat, bestehen beim Beschwerdegegner auch keine anderen Anhaltspunkte dafür, dass er seine gesundheitsbedingt eingeschränkte Arbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichen Erfolg verwerten kann. Somit erscheint der von der Vorinstanz auf 15 % bemessene Abzug vom Tabellenlohn bundesrechtswidrig. Da ohne einen solchen Abzug kein rentenbegründender Invaliditätsgrad besteht, führt dies zu einer Gutheissung der Beschwerde, ohne dass weiter geprüft werden müsste, ob - wie von der Beschwerdeführerin geltend gemacht - bereits die Annahme einer eingeschränkten Leistungsfähigkeit in einer angepassten Tätigkeit allenfalls bundesrechtswidrig ist. Der vorinstanzliche Entscheid ist demnach aufzuheben.
4. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdegegner aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 15. Dezember 2011 aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt.
3. Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. April 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Holzer