Sachverhalt:
A. Mit Verfügung vom 12. Dezember 2008 wies die Schweizerische Ausgleichskasse (SAK) das Gesuch des 1943 geborenen E._, Staatsangehöriger von Bosnien-Herzegowina, um Ausrichtung einer Altersrente ab mit der Begründung, die einjährige Mindestbeitragsdauer sei nicht erfüllt. Des Weitern teilte sie ihm mit, dass die der schweizerischen Alters-, Hinterlassenen- und Invalidenversicherung entrichteten Beiträge nicht zurückerstattet werden könnten. Daran hielt sie auf Einsprache des E._ hin fest (Entscheid vom 19. Februar 2009).
B. Beschwerdeweise liess E._ die Aufhebung der Verfügung beantragen. Die SAK sei zu verpflichten, ihm eine ordentliche Altersrente auszurichten. Eventualiter seien ihm die geleisteten Sozialversicherungsbeiträge zurückzuerstatten. Es sei festzustellen, dass die Verordnung über die Beibehaltung der AHV-Beiträge bei Verweigerung von Rentenzahlungen nicht gesetzes-, verfassungs- und EMRK-konform sei. Des Weitern sei ihm für das Verfahren vor Bundesverwaltungsgericht und das Verwaltungsverfahren die unentgeltliche Rechtspflege (Prozessführung, Verbeiständung) zu gewähren. Mit Verfügung vom 7. September 2009 verneinte die Instruktionsrichterin einen Anspruch auf unentgeltliche Verbeiständung. Mit Entscheid vom 5. April 2011 wies das Bundesverwaltungsgericht die Beschwerde ab, ohne Gerichtskosten aufzuerlegen.
C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die Aufhebung des Entscheides des Bundesverwaltungsgerichts beantragen. Im Übrigen erneuert er das vor Bundesverwaltungsgericht gestellte Rechtsbegehren. Des Weitern ersucht er um Bewilligung der unentgeltlichen Rechtspflege (Prozessführung, Verbeiständung) "für alle drei Instanzen".
D. Mit Verfügung vom 7. Juli 2011 hat die II. sozialrechtliche Abteilung des Bundesgerichts das Gesuch um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren zufolge Aussichtslosigkeit der Beschwerde abgewiesen und einen Kostenvorschuss von Fr. 500.- erhoben, welcher innert der gesetzten Frist bezahlt worden ist.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 1 und 2 BGG). Die Behebung des Mangels muss für den Ausgang des Verfahrens entscheidend sein (vgl. Art. 97 Abs. 1 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG).
2. Im angefochtenen Entscheid werden die Bestimmung von Art. 2 des für Bürger von Bosnien-Herzegowina weiterhin anwendbaren Abkommens zwischen der Schweizerischen Eidgenossenschaft und der Föderativen Volksrepublik Jugoslawien über Sozialversicherung vom 8. Juni 1962 (SR 0.831.109.818.1; nachfolgend: Sozialversicherungsabkommen), die Voraussetzungen für den Anspruch auf eine ordentliche Altersrente (Art. 29 Abs. 1 AHVG) und für den Anspruch auf Rückerstattung der geleisteten Beiträge (Art. 18 Abs. 3 AHVG; Art. 1 Abs. 1 der Verordnung vom 29. November 1995 über die Rückvergütung der von Ausländern an die Alters- und Hinterlassenenversicherung bezahlten Beiträge [RV-AHV]; SR 831.131.12) zutreffend dargelegt. Darauf wird verwiesen.
3. Zu Unrecht rügt der Beschwerdeführer, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör verletzt, weil sie mit keinem Wort dazu Stellung genommen habe, ob für die "rentenlose Zurückbehaltung der Sozialversicherungsbeiträge" eine gesetzliche Grundlage bestehe bzw. eine solche überhaupt EMRK-konform existieren könne. Denn die Vorinstanz bejahte die Frage, indem sie darlegte, dass sie die Verneinung des Anspruchs auf Rückerstattung auf die für sie gemäss Art. 190 BV verbindlichen Bestimmungen des Sozialversicherungsabkommens sowie Art. 18 Abs. 3 AHVG (und die RV-AHV) stützte. Dass sie sich auf diesen Hinweis beschränkte und das Vorbringen nicht ausdrücklich widerlegte, stellt keine Verletzung der aus dem Anspruch auf rechtliches Gehör abgeleiteten Begründungspflicht dar (BGE 134 I 83 E. 4.1 S. 88; 133 III 439 E. 3.3 S. 445 mit Hinweisen).
4. 4.1 Die Vorinstanz gelangte zum Ergebnis, dass die SAK mit Einspracheentscheid vom 19. Februar 2009 zu Recht sowohl einen Anspruch des Beschwerdeführers auf eine Altersrente als auch auf Rückerstattung der geleisteten Beiträge verneint hat.
4.2 In der von ihm eingereichten Rechtsmittelbegründung bestreitet der Beschwerdeführer (zutreffenderweise) nicht mehr, dass er mangels Vorliegen der vorausgesetzten einjährigen Mindestbeitragsdauer (Art. 29 Abs. 1 AHVG) keine Rente beanspruchen kann, weshalb sich Weiterungen dazu erübrigen.
Der Beschwerdeführer wendet sich hingegen nach wie vor gegen die Verneinung eines Anspruchs auf Beitragsrückerstattung. Er macht geltend, die "angebliche Verordnung über die Beibehaltung der AHV-Beiträge bei Verweigerung von Rentenzahlungen" sei nicht gesetzes-, verfassungs- und EMRK-konform, wobei er sich im Wesentlichen auf die verfassungsmässig geschützte Rechtsgleichheit (Art. 8 BV) und die Eigentumsgarantie (Art. 26 BV) beruft. Nachdem Vorinstanz und IV-Stelle seinen Anspruch - zu Recht - gestützt auf Art. 18 Abs. 3 AHVG abgelehnt haben, zielt sein Begehren sinngemäss auf die Nichtanwendung dieser bundesgesetzlichen Bestimmung wegen Verfassungswidrigkeit ab. Diesem Vorbringen kann schon deshalb nicht gefolgt werden, weil Art. 190 BV ein Anwendungsgebot für Bundesgesetze statuiert (vgl. BGE 136 II 120 E. 3.5.1 S. 130; 131 II 710 E. 5.4 S. 721). Es hat deshalb mit der Feststellung sein Bewenden, dass die Vorinstanz zutreffenderweise die Anwendbarkeit des Art. 18 Abs. 3 AHVG bejaht und damit - entsprechend dem klaren Wortlaut - einen Rückerstattungsanspruch mangels Erfüllen der darin statuierten Voraussetzung (Fehlen eines Sozialversicherungsabkommens mit dem Heimatstaat) verneint hat.
5. Soweit der Beschwerdeführer auch die Abweisung seines Gesuchs um unentgeltliche Rechtspflege im Verwaltungsverfahren beanstandet, sei auf die zutreffende Begründung der Vorinstanz verwiesen. Darin wird dargetan, dass die Bewilligung der unentgeltlichen Rechtspflege im Verfahren vor der SAK zufolge Aussichtslosigkeit der Begehren und weil der Beschwerdeführer in der Lage war, seinen Standpunkt selber zu vertreten, ausser Betracht fiel. Was der Beschwerdeführer dagegen vorbringt, vermag nicht durchzudringen. Ebenso wenig ist zu beanstanden, dass das Bundesverwaltungsgericht dem Beschwerdeführer die unentgeltliche Verbeiständung verweigert hat, weil er auch innert der gesetzten Nachfrist keine Unterlagen eingereicht hat, um die geltend gemachte prozessuale Bedürftigkeit zu belegen.
6. Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. August 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Keel Baumann