Sachverhalt:
A.
Der 1969 geborene A._ meldete sich am 17. Januar 2008 wegen Hüftschmerzen, Schmerzen beim Gehen, Knie- und Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Nach Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle des Kantons St. Gallen mit Verfügung vom 3. November 2011 den Anspruch auf eine Invalidenrente. Zur Begründung wies sie darauf hin, es hätten bereits bei der Einreise des Versicherten in die Schweiz im Jahre 2002 wesentliche gesundheitliche Einschränkungen mit Einfluss auf die Arbeitsfähigkeit vorgelegen, wodurch der Versicherungsfall bereits eingetreten gewesen sei. Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 23. September 2013 teilweise gut, hob die Verfügung vom 3. No-vember 2011 auf und wies die Sache zur ergänzenden Abklärung und zu neuer Verfügung an die IV-Stelle zurück. Eine dagegen gerichtete Beschwerde der IV-Stelle hiess das Bundesgericht mit Urteil vom 30. Januar 2014 insofern gut, als es den Entscheid des Versicherungsgerichts des Kantons St. Gallen aufhob und die Sache zu neuem Entscheid im Sinne der Erwägungen ans kantonale Gericht zurückwies.
B.
Mit Entscheid vom 8. April 2014 hob das Versicherungsgericht des Kantons St. Gallen in teilweiser Gutheissung der Beschwerde die angefochtene Verfügung vom 3. November 2011 auf und stellte fest, dass beim Versicherten vor seiner Einreise in die Schweiz (13. Sep-tember 2002) der Invaliditätsfall noch nicht eingetreten gewesen sei. Es wies die Sache zur ergänzenden Abklärung und zu neuer Verfügung im Sinne der Erwägungen an die IV-Stelle zurück.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle die Aufhebung des vorinstanzlichen Entscheids vom 8. April 2014 und die Bestätigung ihrer Verfügung vom 3. November 2011.
A._ lässt auf Abweisung der Beschwerde schliessen und um Gewährung der unentgeltlichen Rechtspflege ersuchen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Das Bundesgericht prüft seine Zuständigkeit und die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 6 S. 320; <ref-ruling> E. 1.1 mit Hinweisen).
1.1. Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient, um einen selbstständig eröffneten Vor- oder Zwischenentscheid im Sinne von <ref-law>. Die Zulässigkeit der Beschwerde setzt somit - alternativ - voraus, dass der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Abs. 1 lit. a) oder dass die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b).
1.2.
1.2.1. Rechtsprechungsgemäss bewirkt ein Rückweisungsentscheid in der Regel keinen irreversiblen Nachteil im Sinne von <ref-law>, da der Rechtsuchende ihn später zusammen mit dem neu zu fällenden Endentscheid wird anfechten können (vgl. <ref-law>). Anders verhält es sich allerdings für die Verwaltung bzw. den Versicherungsträger, wenn diese durch den Rückweisungsentscheid gezwungen werden, eine ihres Erachtens rechtswidrige Verfügung zu treffen. Diesfalls kann bereits dieser Entscheid angefochten und braucht nicht der Endentscheid abgewartet zu werden (<ref-ruling> E. 5.2, 5.2.1-5.2.4 S. 483 ff.; Urteile 8C_531/2008 vom 8. April 2009 E. 1.2.1 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: SVR 2009 UV Nr. 40 S. 137, und 8C_682/2007 vom 30. Juli 2008 E. 1.2.1, nicht publ. in: <ref-ruling>, aber in: SVR 2008 UV Nr. 31 S. 115).
1.2.2. Das kantonale Gericht hat die Angelegenheit mit der Feststellung, beim Versicherten sei vor seiner Einreise in die Schweiz der Invaliditätsfall noch nicht eingetreten, zu ergänzenden Abklärungen und neuer Verfügung im Sinne der Erwägungen an die IV-Stelle zurückgewiesen. Der angefochtene Entscheid enthält damit materiellrechtlich verbindliche Anordnungen, welche den Beurteilungsspielraum der Beschwerdeführerin wesentlich einschränken. Im Umstand, dass der darauf beruhende Endentscheid praktisch nicht angefochten und das Ergebnis nicht mehr korrigiert werden könnte, ist nach dem Gesagten ein nicht wieder gutzumachender Nachteil im Sinne des <ref-law> zu erblicken. Auf die Beschwerde ist daher einzutreten.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden (<ref-ruling> E. 1.4.1 S. 254).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> und <ref-law>). Das Vorliegen dieser Voraussetzungen hat die Beschwerde führende Partei genau darzulegen. Dazu genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern (<ref-ruling> E. 5.1 S. 356; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.2 [nicht publ. in: <ref-ruling>]). Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf (<ref-ruling> E. 8.1 S. 153). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 9C_967/2008 vom 5. Januar 2009 E. 5.1). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteil 8C_578/2014 vom 17. Oktober 2014 E. 3.2.1 mit Hinweisen; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.1).
3.
3.1. Streitig und zu prüfen sind die versicherungsmässigen Voraussetzungen für die Gewährung einer Rente der Invalidenversicherung und dabei namentlich, ob die Vorinstanz Bundesrecht verletzte, indem sie feststellte, beim Beschwerdegegner sei der Invaliditätsfall vor seiner Einreise in die Schweiz am 13. September 2002 noch nicht eingetreten gewesen.
3.2. Die diesbezüglich massgeblichen gesetzlichen Grundlagen sind in den vorinstanzlichen Erwägungen zutreffend dargelegt worden. Es betrifft dies insbesondere die Bestimmungen zum Eintritt der Invalidität (<ref-law>) und namentlich zu der für den Anspruch auf eine Rente erforderlichen mindestens 40%igen Arbeitsunfähigkeit ohne wesentlichen Unterbruch während eines Jahres (<ref-law> in der bis 31. Dezember 2007 geltend gewesenen Fassung bzw. <ref-law>).
4.
Der Sozialversicherungsprozess ist vom Untersuchungsgrundsatz beherrscht. Danach hat das Gericht von Amtes wegen für die richtige und vollständige Abklärung des rechtserheblichen Sachverhaltes zu sorgen. Dieser Grundsatz gilt indessen nicht uneingeschränkt; er findet sein Korrelat in den Mitwirkungspflichten der Parteien (<ref-ruling> E. 2, 122 V 158 E. 1a, je mit Hinweisen; vgl. <ref-ruling> E. 3.2).
Der Untersuchungsgrundsatz schliesst die Beweislast im Sinne einer Beweisführungslast begriffsnotwendig aus. Im Sozialversicherungsprozess tragen mithin die Parteien in der Regel eine Beweislast nur insofern, als im Falle der Beweislosigkeit der Entscheid zu Ungunsten jener Partei ausfällt, die aus dem unbewiesen gebliebenen Sachverhalt Rechte ableiten wollte. Diese Beweisregel greift allerdings erst Platz, wenn es sich als unmöglich erweist, im Rahmen des Untersuchungsgrundsatzes auf Grund einer Beweiswürdigung einen Sachverhalt zu ermitteln, der zumindest die Wahrscheinlichkeit für sich hat, der Wirklichkeit zu entsprechen (<ref-ruling> E. 6 S. 222 mit Hinweisen).
5.
5.1. Das kantonale Gericht hat in Würdigung der medizinischen Aktenlage und der Bescheinigungen zur Erwerbstätigkeit des Beschwerdegegners in der Türkei festgestellt, es sei mit überwiegender Wahrscheinlichkeit davon auszugehen, dass im Zeitpunkt der Einreise in die Schweiz im September 2002 der Versicherungsfall Invalidität im Sinne einer durchschnittlichen Arbeitsunfähigkeit von mindestens 40% ohne wesentlichen Unterbruch während eines Jahres noch nicht eingetreten gewesen sei. Die Vorinstanz zeigte diesbezüglich auf, dass den ersten echtzeitlichen medizinischen Unterlagen der Klinik B._ vom 14. Oktober sowie 12. und 19. November 2002 keine Angaben zu einer bereits vorliegenden Arbeitsunfähigkeit zu entnehmen waren. Aus dem nächstfolgenden Bericht des Dr. med. C._, Facharzt FMH für Neurochirurgie, vom 5. Oktober 2004 - so das kantonale Gericht - gehe hervor, dass der Beschwerdegegner bis zum Sommer 2002 schmerzfrei gewesen sei, im Sommer 2002 Lumbalgien ohne Ischialgie aufgetreten seien und der Beschwerdegegner (erst) seit Anfang 2004 über zunehmende invalidisierende Lumbalgien und Ischialgie beidseits klage. Dem Gutachten der Medizinischen Abklärungsstelle (MEDAS) vom 4. Februar 2009 sodann sei zu entnehmen, dass die Arbeitsfähigkeit aus orthopädischer Sicht zu 30% eingeschränkt sei. Schliesslich sah die Vorinstanz in den steuerlichen Bescheinigungen aus der Türkei Hinweise für eine Erwerbstätigkeit in der Türkei vor Einreise in die Schweiz. Das kantonale Gericht räumte ein, der Beschwerdegegner sei offensichtlich mit einem Gesundheitsschaden in die Schweiz eingereist, was unbestritten blieb. Es hielt jedoch fest, ein solcher Gesundheitsschaden könne nicht per se mit einer Invalidität bzw. einer durchschnittlichen Arbeitsunfähigkeit von mindestens 40% ohne wesentlichen Unterbruch während eines Jahres vor Einreise in die Schweiz gleichgesetzt werden.
5.2. Die vorinstanzlichen Feststellungen betreffend Gesundheitsschaden und Arbeits (un) fähigkeit sind tatsächlicher Natur und für das Bundesgericht grundsätzlich bindend. Die Vorbringen der Beschwerdeführerin wenden sich weitgehend gegen die Beweiswürdigung des kantonalen Gerichts und stellen damit eine im Rahmen der gesetzlichen Überprüfungsbefugnis des Bundesgerichts unzulässige Kritik dar. Im Lichte der eingangs erwähnten Beweisregeln und Grundsätze zur Beweiswürdigung ist die vorinstanzliche Sachverhaltsfeststellung und die entsprechende Beweiswürdigung nicht mangelhaft im Sinne von <ref-law>. Die Vorinstanz hat sich eingehend mit den Akten auseinandergesetzt und festgestellt, auf Grund der gesamten Aktenlage sei mit überwiegender Wahrscheinlichkeit davon auszugehen, dass im Zeitpunkt der Einreise des Beschwerdegegners in die Schweiz im September 2002 der Versicherungsfall Invalidität nicht bereits eingetreten gewesen sei. Es liegt damit kein Fall der Beweislosigkeit vor, weshalb der Frage der Beweislast nicht weiter nachzugehen ist.
5.3. Das kantonale Gericht hat im Weiteren dargelegt, es könne anhand der Aktenlage nicht mit überwiegender Wahrscheinlichkeit festgestellt werden, ob und wann beim Versicherten nach seiner Einreise in die Schweiz eine relevante Arbeitsunfähigkeit eingetreten sei, gestützt auf welche die versicherungsmässigen Voraussetzungen bzw. der Anspruch auf eine Invalidenrente zu prüfen wäre. Es wies die Sache daher zu diesbezüglich ergänzender Abklärung und neuer Verfügung an die IV-Stelle zurück.
5.4. Zusammenfassend beruhen die vorinstanzlichen Feststellungen nicht auf einer Verletzung von Bundesrecht, weshalb sie für das Bundesgericht verbindlich bleiben. Die Beschwerde ist somit abzuweisen.
6.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden der Beschwerde führenden IV-Stelle auferlegt (<ref-law>); des Weiteren hat sie dem Versicherten eine Parteientschädigung gemäss Kostennote zu bezahlen (<ref-law>). Dessen Gesuch um unentgeltliche Rechtspflege ist damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 4'949.65 zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Dezember 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Kopp Käch