Sachverhalt: A. Mit zwei Verfügungen vom 5. August und 8. September 2009 sprach die IV-Stelle des Kantons St. Gallen u.a. gestützt auf das polydisziplinäre Gutachten der MEDAS, vom 16. April 2008 dem 1957 geborenen G._ eine unbefristete Viertelsrente der Invalidenversicherung (Invaliditätsgrad 40 %) mit Beginn ab 1. Januar 2005 zu. B. G._ liess Beschwerde führen und im Hauptpunkt beantragen, es seien ihm die vollen Versicherungsleistungen auszurichten. Mit Beschwerdeantwort beantragte die IV-Stelle, unter Abweisung der Beschwerde sei festzustellen, dass der Versicherte keinen Rentenanspruch habe. Das Versicherungsgericht des Kantons St. Gallen wies die Beschwerde mit Entscheid vom 27. Oktober 2011 ab. C. Die IV-Stelle führt Beschwerde mit dem Rechtsbegehren, der vorinstanzliche Entscheid sei aufzuheben, soweit damit ein Anspruch auf eine Viertelsrente ab 1. Januar 2005 bejaht werde. G._ lässt auf Abweisung der Beschwerde schliessen und ersucht um unentgeltliche Rechtspflege. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.