Sachverhalt:
A.
Der 1983 im heutigen Kosovo geborene A._ reiste am 23. November 2005 in die Schweiz ein. Am 4. September 2008 meldete er sich wegen einer posttraumatischen Belastungsstörung und einer Depression erstmals zum Leistungsbezug bei der Invalidenversicherung an. Mit Verfügung vom 24. August 2010 verneinte die IV-Stelle des Kantons St. Gallen einen Anspruch auf Invalidenrente, nachdem sie u.a. eine polydisziplinäre Begutachtung (Expertise der Medizinischen Abklärungsstelle [MEDAS] Ostschweiz, St. Gallen, vom 26. Juni 2009) und eine Observation veranlasst hatte.
Am 19. April 2012 meldete sich A._ unter Verweis auf eine gesundheitliche Verschlechterung erneut zum Leistungsbezug an. Auf dieses Gesuch trat die IV-Stelle nicht ein (Verfügung vom 5. Februar 2013). Der Versicherte erhob dagegen Beschwerde beim Versicherungsgericht des Kantons St. Gallen, worauf die IV-Stelle lite pendente auf die Nichteintretensverfügung zurück kam und weitere medizinische Abklärungen vornahm. Das Versicherungsgericht schrieb daher die Beschwerde als gegenstandslos geworden ab. Mit Verfügung vom 11. Oktober 2013 trat die IV-Stelle auf das Leistungsgesuch wiederum nicht ein. Mit Entscheid vom 13. März 2014 hiess das Versicherungsgericht die gegen die Verfügung vom 11. Oktober 2013 erhobene Beschwerde gut und wies die Sache zur materiellen Prüfung der Neuanmeldung an die Verwaltung zurück.
Im August 2014 musste der Versicherte die Schweiz verlassen, da das Bundesgericht die Nichtverlängerung seiner Aufenthaltsbewilligung mit Urteil vom 3. Juli 2014 bestätigte. Die nunmehr zuständige IV-Stelle für Versicherte im Ausland IVSTA lehnte - insbesondere nach einer weiteren polydisziplinären Begutachtung (Expertise der MEDAS Interlaken Unterseen GmbH vom 21. Dezember 2015) - das Leistungsgesuch ab (Verfügung vom 24. August 2016).
B.
Die dagegen geführte Beschwerde wies das Bundesverwaltungsgericht mit Entscheid vom 4. Juni 2018 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ die Zusprechung einer ganzen Invalidenrente beantragen; eventualiter sei die Sache zu weiteren Abklärungen an die Vorinstanz zurückzuweisen. Ferner wird um unentgeltliche Verbeiständung ersucht.
Das Bundesgericht führt keinen Schriftenwechsel durch. Das Gesuch um unentgeltliche Rechtspflege wies es mit Verfügung vom 8. August 2018 ab.
Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (BGE 138 I 274 E. 1.6 S. 280; vgl. auch BGE 141 V 234 E. 1 S. 236; 140 V 136 E. 1.1 S. 137 f.).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
2.1. Streitig und zu prüfen ist, ob das Bundesverwaltungsgericht Bundesrecht verletzte, indem es in Bestätigung der Verfügung der IV-Stelle vom 9. August 2016 einen Rentenanspruch verneinte.
2.2. Das Bundesverwaltungsgericht legte die für die Beurteilung der Streitsache massgeblichen materiell- und beweisrechtlichen Grundlagen gemäss Gesetz und Rechtsprechung zutreffend dar, worauf verwiesen wird. Ergänzend ist festzuhalten, dass bei einer Neuanmeldung zum Leistungsbezug die Grundsätze zur Rentenrevision analog Anwendung finden (Art. 17 Abs. 1 ATSG; Art. 87 Abs. 2 und 3 IVV; BGE 130 V 71 E. 3.2.3 S. 77), weshalb zunächst eine erhebliche Veränderung des Sachverhalts seit der letztmaligen Anspruchsprüfung erforderlich ist. Erst in einem zweiten Schritt ist der (Renten-) Anspruch in tatsächlicher und rechtlicher Hinsicht umfassend zu prüfen (Urteil 9C_894/2015 vom 25. April 2016 E. 5 und 6.4).
2.3. Das für kosovarische Staatsangehörige ab April 2010 nicht mehr anwendbare Übereinkommen zwischen der Föderativen Volksrepublik Jugoslawien und der Schweiz führt dazu, dass Renten der Invalidenversicherung von Staatsangehörigen Kosovos, die für den Zeitraum nach dem 31. März 2010 zugesprochen werden, gemäss Art. 6 Abs. 2 Satz 2 IVG nicht mehr ins Ausland exportierbar sind.
3.
3.1.
3.1.1. Der Beschwerdeführer moniert insbesondere, die Nichtverlängerung der Aufenthaltsbewilligung sei hinsichtlich des Widerrufsgrunds nach Art. 62 lit. e AuG (SR 142.20; Sozialhilfeabhängigkeit) u.a. mit der Annahme begründet worden, dass er auch zukünftig keinen Rentenanspruch besitze. Es sei nicht rechtens, dass er nur aufgrund einer sich als nachträglich unzutreffenden Annahme keine über August 2014 hinausgehenden Rentenansprüche haben solle.
3.1.2. Es kann offen gelassen werden, ob dem Beschwerdeführer mit Blick auf seine mögliche Rückkehr in die Schweiz und seinem ausländerrechtlichen Status ein schutzwürdiges Interesse an einer Prüfung des Rentenanspruchs über sein Ausreisedatum hinaus zukommt, oder ob sich die Vorinstanz auf die Beurteilung des Leistungsanspruchs für die Zeit von Oktober 2012 (frühest möglicher Rentenbeginn) bis August 2014 (Ausreise in den Kosovo) beschränken durfte. Wie sich aus den nachstehenden Erwägungen ergibt, änderte sich so oder anders nichts am Ergebnis. Ausserdem wurde die Aufenthaltsbewilligung nicht nur wegen seiner Bedürftigkeit nicht mehr verlängert, sondern auch gestützt auf Art. 62 lit. c AuG, welche Bestimmung den Widerruf der Bewilligung erlaubt, wenn die ausländische Person erheblich oder wiederholt gegen die öffentliche Sicherheit und Ordnung in der Schweiz oder im Ausland verstossen bzw. diese gefährdet hat. Auf die in diesem Zusammenhang vorgetragenen Einwände ist daher nicht näher einzugehen.
3.2.
3.2.1. In Bezug auf seinen Gesundheitszustand macht der Beschwerdeführer zwar geltend, die Vorinstanz habe den rechtserheblichen medizinischen Sachverhalt offensichtlich unrichtig festgestellt. Er vermag dann allerdings nicht darzutun, worin dessen qualifiziert unrichtige Ermittlung begründet sein soll. Vielmehr lässt er es in weiten Strecken bei einer vom angefochtenen Entscheid abweichenden Würdigung der ärztlichen Berichte und Gutachten bewenden. Entgegen seiner Ansicht durfte die Vorinstanz ohne Bundesrecht zu verletzen das Gutachten der MEDAS Interlaken Unterseen vom 21. Dezember 2015 als beweiskräftig ansehen und gestützt darauf für eine leidensadaptierte Tätigkeit von einer vollen Arbeitsfähigkeit mit einer maximal 25%igen Leistungsminderung aufgrund einer allgemeinen Dekonditionierung ausgehen. Das Bundesverwaltungsgericht hat nachvollziehbar begründet, weshalb sich aus den Berichten des Neurochirurgen Dr. med. B._, Spital C._, vom 20. April 2015 und 14. Mai 2016 sowie den weiteren aktenkundigen Dokumenten keine gesundheitliche Verschlechterung mit funktioneller Auswirkung auf die Arbeitsfähigkeit ableiten lässt. Insbesondere waren die bildgebend ausgewiesenen Diskusherniationen/Protrusionen median auf Höhe der Bandscheiben L4/5 und L5/S1 den Gutachtern der MEDAS bereits bekannt. Dr. med. B._ diagnostizierte zudem im Bericht vom 14. Mai 2016 einen Bandscheibenvorfall L2/3, jedoch nicht mehr auf der Höhe L4/5. Dass sich damit neue erhebliche Funktionseinschränkungen oder neurologische Defizite ergäben, die eine revisionsrechtlich relevante Gesundheitsverschlechterung zu begründen vermöchten, lässt sich seinen Ausführungen nicht entnehmen. Somit durfte die Vorinstanz ohne Verletzung des Untersuchungsgrundsatzes auf die Anordnung weiterer Beweismassnahmen verzichten (antizipierte Beweiswürdigung; vgl. BGE 124 V 90 E. 4b S. 94; 122 V 157 E. 1d S. 162). Schliesslich ist nicht ersichtlich, inwiefern der neurologische Gutachter fachlich nicht genügend qualifiziert sein soll, die bestehende Rückenproblematik des Versicherten zu beurteilen.
3.2.2. Mit Blick auf die vorgebrachten Rügen ist eine erhebliche Verschlechterung des Gesundheitsschadens seit der rentenabweisenden Verfügung vom 24. August 2010 - auch für die Zeit nach seiner Ausreise aus der Schweiz im August 2014 - nicht auszumachen.
4.
Die offensichtlich unbegründete Beschwerde wird im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a BGG ohne Durchführung eines Schriftenwechsels, mit summarischer Begründung und unter Verweis auf den kantonalen Entscheid (Art. 109 Abs. 3 BGG) erledigt.
5.
Entsprechend dem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Bundesverwaltungsgericht, Abteilung III, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. November 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla