Sachverhalt: A. A.a Das Strafgericht Basel-Stadt sprach X._ am 15. Dezember 2009 der sexuellen Nötigung sowie der Entführung und der Vereitelung von Massnahmen zur Feststellung der Fahrunfähigkeit schuldig. Es verurteilte ihn zu einer Freiheitsstrafe von 1 1⁄2 Jahren, als Zusatzstrafe zum Urteil des Appellationsgerichts Colmar (F) vom 19. Juni 2007, sowie zur Zahlung von Fr. 1'000.-- Genugtuung an Y._. Das Verfahren wegen Diebstahls stellte es zufolge Unzuständigkeit der Schweizer Strafverfolgungsbehörden ein. Vom Vorwurf der Nötigung und des Führens eines Motorfahrzeugs in qualifiziert angetrunkenem Zustand sprach es X._ frei. Das Appellationsgericht des Kantons Basel-Stadt bestätigte am 15. Februar 2012 das erstinstanzliche Urteil. A.b Der Verurteilung wegen sexueller Nötigung und Entführung liegt folgender Sachverhalt zugrunde: Am 28. Juli 2006, um ca. 15 Uhr, suchte X._ die ihm bis anhin unbekannte Transsexuelle Y._ in deren Studio in Basel auf, wo er gegen Bezahlung deren sexuellen Dienste in Anspruch nahm. Nach Ablauf der vereinbarten Zeit fragte er Y._, ob sie auch Hausbesuche in Frankreich mache, was diese verneinte. Daraufhin entnahm X._ seinen abgelegten Kleidern eine Schusswaffe, mit welcher er Y._ bedrohte. Er befahl ihr, sich "sexy" anzuziehen und zu schminken, was sie aus Angst tat. Anschliessend zwang er sie, mit ihm das Appartement zu verlassen und in den im Parkhaus abgestellten Personenwagen einzusteigen, wobei er ihr einflösste, ruhig zu bleiben, zu lächeln und keine Fluchtversuche zu unternehmen. Auf der Fahrt nach Frankreich drohte er ihr, sie umzubringen, falls sie bei einer allfälligen Polizei- oder Grenzwachtkontrolle nicht "den Mund halte". Bei einem abgelegenen Feld in Frankreich zerrte er sie an den Haaren aus dem Fahrzeug und teilte ihr mit, sie sei für EUR 7'000.-- nach Marokko verkauft worden, wo sie 30 bis 40 Männer am Tag "bedienen" müsse. Er erzählte ihr zudem, er habe einen Transsexuellen umgebracht, der sich gewehrt habe. In der Folge zwang er Y._, ihn oral zu befriedigen, bevor er versuchte, an ihr den Analverkehr zu vollziehen. Aus Verzweiflung bot Y._ X._ Fr. 30'000.-- an, wenn er sie gehen lasse. Sie schlug vor, mit ihm zurück in das Appartement in Basel zu kommen, dort zu übernachten und am Morgen die Bank aufzusuchen. Im Appartement angekommen - es war mittlerweile ca. 23.30 Uhr -, forderte X._ sein Opfer erneut zu sexuellen Handlungen auf. Y._ wurde übel und musste sich übergeben. Sie konnte flüchten, weil X._ später im Appartement einschlief. Sie erstattete am 29. Juli 2006 um 4.45 Uhr bei der Kantonspolizei in Basel Anzeige. B. X._ führt Beschwerde in Strafsachen mit den Anträgen, ihn vom Vorwurf der sexuellen Nötigung und der Entführung freizusprechen und die Verurteilung zur Zahlung von Fr. 1'000.-- an Y._ aufzuheben. Eventualiter sei die Streitsache zur erneuten Beurteilung und zur Durchführung eines verfassungs- und EMRK-konformen Verfahrens an die Vorinstanz zurückzuweisen.