Sachverhalt:
A. Mit Verfügung vom 17. Mai 2011 teilte die IV-Stelle für Versicherte im Ausland M._ mit, ab 1. Juli 2011 bestehe kein Anspruch mehr auf eine Rente der Invalidenversicherung.
B. Dagegen erhob M._ am 14. Juni 2011 (Poststempel) Beschwerde beim Bundesverwaltungsgericht und legte einen Bericht des Psychiaters Dr. C._ vom 9. Juni 2011 bei. Das Bundesverwaltungsgericht forderte M._ mit Zwischenverfügung vom 24. Juni 2011 auf, innert sieben Tagen nach Erhalt der Verfügung ein Rechtsbegehren zu stellen und die angefochtene Verfügung einzureichen sowie innert dreissig Tagen einen Kostenvorschuss von Fr. 400.- zu leisten, ansonsten auf das Rechtsmittel nicht eingetreten werde. Am 11. Juli 2011 meldete sich die Schwester von M._ in deren Auftrag beim Bundesverwaltungsgericht telefonisch; dabei wurden ihr Dispositiv und Rechtsmittelbelehrung der Verfügung vom 24. Juni 2011 erklärt. Am 14. Juli 2011 reichte M._ die fehlende Verfügung ein. Mit Entscheid vom 9. August 2011 trat das Bundesverwaltungsgericht auf die Beschwerde nicht ein.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ beantragen, die Vorinstanz sei anzuweisen, auf ihre Beschwerde vom 13. Juni 2011 [recte: 14. Juni 2011] einzutreten. Zudem lässt sie um Gewährung der unentgeltlichen Rechtspflege ersuchen.
Mit Verfügung vom 6. Oktober 2011 hat die II. sozialrechtliche Abteilung des Bundesgerichts das Gesuch um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren zufolge Aussichtslosigkeit der Beschwerde abgewiesen und einen Kostenvorschuss von Fr. 500.- erhoben, welcher innert der gesetzten Frist bezahlt worden ist.

Erwägungen:
1. Die Beschwerde richtet sich gegen den vorinstanzlichen Nichteintretensentscheid. Das Bundesgericht hat daher nur zu prüfen, ob die Vorinstanz zu Recht auf das bei ihr erhobene Rechtsmittel nicht eingetreten ist, wogegen auf materielle Anträge nicht eingetreten werden kann (<ref-ruling> E. 1.1 S. 76 mit Hinweis).
2. 2.1 Gemäss (dem auf Grund von Art. 37 des Bundesgesetzes über das Bundesverwaltungsgericht [Verwaltungsgerichtsgesetz], VGG, hier anwendbaren) <ref-law> hat die Beschwerdeschrift die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift des Beschwerdeführers oder seines Vertreters zu enthalten; die Ausfertigung der angefochtenen Verfügung und die als Beweismittel angerufenen Urkunden sind beizulegen, soweit der Beschwerdeführer sie in Händen hat. Genügt die Beschwerde diesen Anforderungen nicht oder lassen die Begehren des Beschwerdeführers oder deren Begründung die nötige Klarheit vermissen und stellt sich die Beschwerde nicht als offensichtlich unzulässig heraus, so räumt die Beschwerdeinstanz dem Beschwerdeführer nach Abs. 2 dieser Bestimmung eine kurze Nachfrist zur Verbesserung ein. Sie hat nach Abs. 3 diese Nachfrist mit der Androhung zu verbinden, nach unbenutztem Fristablauf werde auf Grund der Akten entschieden oder, wenn Begehren, Begründung oder Unterschrift fehlen, werde auf die Beschwerde nicht eingetreten.
2.2 In der vorinstanzlichen Beschwerde führte die Versicherte im Wesentlichen an, ihr aktueller Gesundheitszustand ergebe sich aus den beiliegenden aktuellen Arztberichten, sie sei aus emotionalen Gründen arbeitsunfähig, könne aus eigenen Mitteln nicht überleben und nicht für ihren Lebensunterhalt, Auslagen für Gesundheit, Wohnen, Wasser, Licht und Gas aufkommen. Sie hoffe auf Verständnis.
Die Vorinstanz qualifizierte diese Rechtsschrift als ungenügend, da sie kein Rechtsbegehren enthalte und die angefochtene Verfügung nicht beigelegt worden sei und gab der Versicherten mit Zwischenverfügung vom 24. Juni 2011 Gelegenheit, innert 7 Tagen nach Erhalt ein Rechtsbegehren zu stellen und die angefochtene Verfügung einzureichen. Zudem wurde sie aufgefordert, innert 30 Tagen einen Kostenvorschuss von Fr. 400.- zu leisten. Die Versicherte reichte zwar dem Gericht die angefochtene Verfügung ein, jedoch erst am 14. Juli 2011 und damit nach Ablauf der vorgegebenen Frist (welche entsprechend dem Zustellnachweis vom 1. Juli 2011 am 2. Juli 2011 zu laufen begann und am 8. Juli 2011 endete). Die Zustellung erfolgte zudem ohne ein weiteres Schreiben, obwohl die Versicherte in der Zwischenverfügung aufgefordert worden war, ein Rechtsbegehren zu stellen.
2.3 Wenn die Vorinstanz unter diesem Umständen nicht auf die Beschwerde eingetreten ist, weil die siebentägige Frist zur Einreichung des Rechtsbegehrens und der angefochtenen Verfügung ungenutzt abgelaufen sei, verletzt dies kein Bundesrecht (<ref-law>).
Was die Beschwerdeführerin dagegen einwendet, ändert nichts. Zwar trifft es zu, dass bei einer wie hier vorliegenden Laienbeschwerde keine allzu strengen Anforderungen in Bezug auf Begründungspflicht und Rechtsbegehren zu stellen sind. Hier ist indes entscheidend, dass die Vorinstanz der Versicherten eine Nachfrist zur Verbesserung der Rechtsschrift und zur Beibringung der fehlenden Verfügung angesetzt hat, was gerade zum Schutz von rechtsunkundigen Parteien geschieht (Urteil 8C_442/2007 vom 5. Mai 2008, E. 1.3), die Versicherte diese Frist jedoch unbenutzt hat verstreichen lassen. Sie hat innert der gesetzten Nachfrist keine verbesserte Beschwerde eingereicht oder ein Rechtsbegehren gestellt; auch die (kommentarlose) Einreichung der fehlenden Verfügung erfolgte verspätet. Gründe für diese Verspätung werden auch jetzt keine geltend gemacht. Die Vorinstanz ist damit zu Recht auf die Beschwerde nicht eingetreten.
Soweit schliesslich die Beschwerdeführerin geltend macht, sie habe ein sinngemässes Gesuch um unentgeltliche Prozessführung gestellt, trifft dies nicht zu. Dass der Beschwerdeführerin die Postulationsfähigkeit fehlte, kann nicht gesagt werden, konnte sie doch auch ihre Schwester beauftragen, beim Gericht nachzufragen.
3. Dem Ausgang der Verfahren entsprechend sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Bundesverwaltungsgericht, Abteilung III, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Dezember 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein Franke