Sachverhalt: A. Der 1969 geborene A._ meldete sich am 17. Januar 2008 wegen Hüftschmerzen, Schmerzen beim Gehen, Knie- und Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Nach Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle des Kantons St. Gallen mit Verfügung vom 3. November 2011 den Anspruch auf eine Invalidenrente. Zur Begründung wies sie darauf hin, es hätten bereits bei der Einreise des Versicherten in die Schweiz im Jahre 2002 wesentliche gesundheitliche Einschränkungen mit Einfluss auf die Arbeitsfähigkeit vorgelegen, wodurch der Versicherungsfall bereits eingetreten gewesen sei. Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 23. September 2013 teilweise gut, hob die Verfügung vom 3. No-vember 2011 auf und wies die Sache zur ergänzenden Abklärung und zu neuer Verfügung an die IV-Stelle zurück. Eine dagegen gerichtete Beschwerde der IV-Stelle hiess das Bundesgericht mit Urteil vom 30. Januar 2014 insofern gut, als es den Entscheid des Versicherungsgerichts des Kantons St. Gallen aufhob und die Sache zu neuem Entscheid im Sinne der Erwägungen ans kantonale Gericht zurückwies. B. Mit Entscheid vom 8. April 2014 hob das Versicherungsgericht des Kantons St. Gallen in teilweiser Gutheissung der Beschwerde die angefochtene Verfügung vom 3. November 2011 auf und stellte fest, dass beim Versicherten vor seiner Einreise in die Schweiz (13. Sep-tember 2002) der Invaliditätsfall noch nicht eingetreten gewesen sei. Es wies die Sache zur ergänzenden Abklärung und zu neuer Verfügung im Sinne der Erwägungen an die IV-Stelle zurück. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle die Aufhebung des vorinstanzlichen Entscheids vom 8. April 2014 und die Bestätigung ihrer Verfügung vom 3. November 2011. A._ lässt auf Abweisung der Beschwerde schliessen und um Gewährung der unentgeltlichen Rechtspflege ersuchen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.