Sachverhalt:
A. Der 1957 geborene G._ wurde vom Strafgericht Basel-Stadt mit Urteil vom 11. Januar 2008 zu einer Freiheitsstrafe von 3 1⁄2 Jahren verurteilt. Gestützt auf die Vollzugsmeldung vom 4. Januar 2010 verfügte die IV-Stelle für Versicherte im Ausland (nachfolgend: IV-Stelle) am 19. Januar 2010 die Sistierung der diesem zugesprochenen ganzen Invalidenrente ab dem 1. Februar 2010. Das Amt für Justizvollzug lud den Versicherten auf den 17. Mai 2010 zum Strafantritt vor. Dieser kehrte indessen erst am 30. März 2011 zum Strafvollzug in die Schweiz zurück.
Mit Verfügung vom 14. September 2011 hob die IV-Stelle die am 19. Januar 2010 verfügte Sistierung für die Zeit vom 1. Februar bis 31. Mai 2010 wiedererwägungsweise auf und stellte die Nachzahlung der diesen Zeitraum betreffenden IV-Rente in Aussicht; gleichzeitig setzte sie die Sistierung mit Wirkung ab 1. Juni 2010 fest.
B. Die dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Entscheid vom 28. Februar 2012 ab.
C. G._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des angefochtenen Entscheids sei von einer Sistierung der IV-Rente für die Zeit vom 1. Juni 2010 bis 31. März 2011 abzusehen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>).
2. Streitig ist die Sistierung der ganzen Rente der Invalidenversicherung ab 1. Juni 2010 zufolge des Aufgebots zum Strafantritt am 17. Mai 2010.
2.1 Die Vorinstanz erwog, die Sistierung der Invalidenrente ab diesem Zeitpunkt sei zulässig, weil der Beschwerdeführer den Strafvollzug ohne zulässigen Grund nicht rechtzeitig angetreten habe. Das grundlose Nichterscheinen sei rechtswidrig, weshalb die Auszahlung von Geldleistungen mit Erwerbscharakter gestützt auf <ref-law> (SR 830.1) - in analoger Anwendung der bundesgerichtlichen Rechtsprechung betreffend Flucht aus dem bereits angetretenen Strafvollzug (Urteil 9C_20/2008 vom 21. August 2008) - ab dem Zeitpunkt des ursprünglich angeordneten Strafantritts zu sistieren sei.
2.2 Der Beschwerdeführer hält dem entgegen, er sei unverschuldet erst mit einiger Verspätung in den Strafvollzug eingetreten. Die von ihm als Begründung angeführten gesundheitlichen und finanziellen Probleme, welche seiner Ansicht nach eine Rückkehr von Y._ in die Schweiz verhindert hätten, sind für die vorliegende Beurteilung indessen unerheblich. Gemäss den insoweit unbestrittenen Feststellungen der Vorinstanz unterlag der Versicherte seit Beendigung der Untersuchungshaft am 11. April 2006 einer Schriftensperre (als Ersatzmassnahme zur Untersuchungshaft; vgl. <ref-law>). Trotzdem reiste dieser nach Y._ aus. Mit im Abwesenheitsverfahren ergangenem Urteil vom 11. Januar 2008 hat das Strafgericht Basel-Stadt die Aufrechterhaltung der Schriftensperre bis zum Vollzug der Strafe angeordnet. Hätte der Beschwerdeführer die Schriftensperre respektiert und somit die Schweiz nicht verlassen, wären die von ihm angeführten Schwierigkeiten im Zusammenhang mit der Rückkehr erst gar nicht aufgetreten. Es kann daher offenbleiben, ob er sich im Hinblick auf den Strafantritt rechtzeitig mit den zuständigen Behörden in Verbindung gesetzt hat.
2.3 Weiter macht der Beschwerdeführer geltend, seine Ausreise nach Y._ könne nicht einer Flucht gleichgestellt werden. Sein dortiger Aufenthalt sei den zuständigen Stellen jederzeit bekannt gewesen.
3. 3.1 Gemäss <ref-law> kann die Auszahlung von Geldleistungen mit Erwerbsersatzcharakter solange ganz oder teilweise eingestellt werden, als sich die versicherte Person im Straf- oder Massnahmevollzug befindet; ausgenommen sind die Geldleistungen für Angehörige im Sinne von Abs. 3 der Bestimmung.
3.2 Ratio legis von <ref-law> ist die Gleichbehandlung der invaliden mit der validen inhaftierten Person, welche durch einen Freiheitsentzug ihr Einkommen verliert. Entscheidend ist, dass eine verurteilte Person wegen der Verbüssung einer Strafe an einer Erwerbstätigkeit verhindert ist. Bietet die Vollzugsart der verurteilten versicherten Person die Möglichkeit, eine Erwerbstätigkeit auszuüben und somit selber für die Lebensbedürfnisse aufzukommen, verbietet sich eine Sistierung (<ref-ruling> E. 2.2 S. 141; <ref-ruling> E. 3.3 S. 158 und E. 5.1 S. 160; <ref-ruling> E. 4.2.4.1 S. 6).
3.3 Da es darum geht, die erwerbsunfähigen den gesunden Strafgefangenen gleichzustellen gilt <ref-law> - über den Wortlaut hinaus - auch bei Untersuchungshaft von gewisser Dauer (d.h. von mehr als drei Monaten; BGE <ref-ruling> E. 4.2.4.2 S. 8) und beim vorzeitigen Strafvollzug (SVR 2008 IV Nr. 32 S. 104, 8C_176/2007 E. 4). Da sich die betroffene Person während des Vollzugs einer stationären therapeutischen Massnahme gemäss <ref-law> diesbezüglich in der gleichen Situation befindet, wie diejenige, welche eine Haftstrafe verbüsst oder eine Untersuchungshaft absitzt, ist die Rente während einer solchen Massnahme ebenfalls zu sistieren (BGE <ref-ruling>).
4. 4.1 Das Bundesgericht hat sich im bereits erwähnten Urteil 9C_20/2008 zur Sistierung der Invalidenrente nach erfolgter Flucht vor Ende des Strafvollzugs geäussert. Dabei hat es erwogen, rechtlich befinde sich eine Person im Strafvollzug, bis sie daraus entlassen werde. Gemäss dem deutschen Wortlaut von <ref-law> ("befindet sich die versicherte Person im Straf- oder Massnahmevollzug") wäre es nicht ausgeschlossen, das faktische Sichbefinden als massgeblich zu betrachten. Auch der Umstand, dass für die Sistierung massgebend sei, ob nach dem Vollzugsregime eine Erwerbstätigkeit möglich wäre (<ref-ruling> E. 5b S. 23; SVR 2008 IV Nr. 32 S. 104, 8C_176/2007 E. 3), könne für diese Betrachtung sprechen, weil es der versicherten Person nach gelungener Flucht möglich wäre, wieder zu arbeiten, wenn sie gesund wäre. Der französische ("si l'assuré subit une mesure ou une peine privative de liberté") und der italienische Wortlaut ("se l'assicurato subisce una pena o una misura") von <ref-law> zeigten jedoch, dass nicht in erster Linie die tatsächliche Inhaftierung, sondern der Straf- und Massnahmevollzug aus rechtlicher Sicht gemeint sei. Das entspreche auch dem Sinn und Zweck der Bestimmung: Die Flucht aus dem Strafvollzug sei eine rechtswidrige Handlung, ungeachtet ihrer Strafbarkeit (vgl. Art. 286 und 305 StGB und <ref-ruling> E. 6 S. 102). Der faktische Zustand nach rechtswidriger Flucht könne nicht als Vollzugsregime betrachtet werden, das eine Erwerbstätigkeit zulasse. Es wäre stossend und stünde im Widerspruch zum allgemeinen Gerechtigkeitsgedanken, wenn jemand aus einer rechtswidrigen Handlung Nutzen ziehen könne.
4.2 Das Bundesverwaltungsgericht hat die Erwägungen des Urteils 9C_20/2008 im angefochtenen Entscheid analog auf den vorliegend interessierenden verspäteten Strafantritt übertragen. Mit der Vorinstanz ist davon auszugehen, dass eine versicherte Person aus einer rechtswidrigen Handlung keinen Nutzen ziehen soll. Darüber hinaus lässt sich das von ihr herangezogene bundesgerichtliche Urteil jedoch nicht ohne weiteres auf die hier zu beurteilende Konstellation übertragen. In jenem Fall ging es darum, ob die Sistierung der Invalidenrente mit dem Zeitpunkt der Flucht aus dem Strafvollzug aufzuheben sei. Das Bundesgericht hat dies verneint, im Wesentlichen mit dem Argument, rechtlich befinde sich eine Person im Strafvollzug, bis sie daraus entlassen werde. Tritt eine verurteilte Person die Strafe jedoch nicht (rechtzeitig) an, befindet sie sich rechtlich (noch) nicht im Strafvollzug. Überdies kann - mit Blick auf Sinn und Zweck von <ref-law> (vgl. E. 3.2 hievor) - nicht gesagt werden, der Zustand vor dem Strafantritt lasse keine Erwerbstätigkeit zu. Auch diesbezüglich unterscheidet sich der (rechtswidrig) verspätete Strafantritt von der rechtswidrigen Flucht aus dem Vollzug.
4.3 In <ref-ruling> E. 5.1 S. 143 hat das Bundesgericht erwogen, aus dem Wortlaut von <ref-law> (..."während dieser Zeit"...; vgl. auch die italienische Fassung: ..."durante questo periodo"...; [im französischsprachigen Text fehlt ein entsprechender Hinweis]) ergebe sich als entscheidendes Kriterium für Beginn und Ende der Suspendierung der tatsächliche Freiheitsentzug bzw. dessen Aufhebung. Die Rente wird für den Monat noch ausgezahlt, in welchem der Versicherte die Strafe oder Massnahme angetreten hat; nach dem Ende des Freiheitsentzugs wird sie für den ganzen Monat, in welchem die Entlassung erfolgt, ausgerichtet (<ref-ruling> E. 3 S. 145; ERWIN MURER, Die Einstellung der Auszahlung von Invalidenrenten der Sozialversicherung während des Straf- und Massnahmevollzugs, in: Festschrift für Franz Riklin, 2007, S. 161; UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 100 zu <ref-law>). Dies lässt darauf schliessen, dass die Sistierung erst einzusetzen hat, nachdem sich die versicherte Person dem angeordneten Freiheitsentzug tatsächlich unterworfen hat.
4.4 Der Gesetzgeber hat sich nicht vorgestellt, dass die Rente länger als während der Dauer des ausgesprochenen Freiheitsentzugs sistiert wird. Die IV-Stelle soll keinen Nutzen aus dem verspäteten Strafantritt ziehen können. Würde der Beginn auf den Zeitpunkt des ersten Vorladungstermins angesetzt, könnte dies zur Folge haben, dass die Sistierung auf einen vor dem Austritt liegenden Termin aufgehoben werden müsste. Dies entspricht jedoch nicht Sinn und Zweck von <ref-law>. Es ist zudem nicht Aufgabe der IV-Stelle, durch einen frühen Sistierungsbeginn einen Anreiz zum rechtzeitigen Strafvollzug zu schaffen.
4.5 Der angefochtene Entscheid hält somit einer Prüfung nicht stand. Da der Beschwerdeführer die verhängte Strafe am 30. März 2011 angetreten hat, ist die Invalidenrente mit Wirkung ab 1. April 2011 zu sistieren. Für die vorangehende Zeit ab 1. Juni 2010 hat die IV-Stelle diese auszurichten.
5. Dies führt zur Gutheissung der Beschwerde. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Bundesverwaltungsgerichts vom 28. Februar 2012 und die Verfügung der IV-Stelle für Versicherte im Ausland vom 14. September 2011 werden insoweit abgeändert, als die Invalidenrente bis 31. März 2011 auszurichten und mit Wirkung ab 1. April 2011 zu sistieren ist.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Bundesverwaltungsgericht zurückgewiesen.
4. Dieses Urteil wird den Parteien, dem Bundesverwaltungsgericht und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. August 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Hofer