Erwägungen:
1. Angefochten ist ein Entscheid der Psychiatrie-Rekurskommission Basel-Stadt vom 15. April 2011, mit dem die Kommission einen Rekurs des Beschwerdeführers gegen die am 4. April 2011 verfügte fürsorgerische Freiheitsentziehung und die damit verbundene Zurückbehaltung des Beschwerdeführers in der Psychiatrischen Klinik der UPK abgewiesen hat. Die Rekurskommission hat im Wesentlichen erwogen, der Beschwerdeführer leide seit Jahren an einer bipolaren affektiven Störung und weise heute ein fortgesetzt manisches Zustandsbild mit gesteigertem Antrieb und einer gewissen Distanzlosigkeit auf. Die Geschehnisse im Vorfeld der aktuellen Klinikeinweisung zeigten auf, dass der Beschwerdeführer im Rahmen der gegenwärtigen manischen Episode mit der Alltagsführung überfordert gewesen sei. Der Beschwerdeführer befinde sich fortgesetzt in einem manischen Zustand, der es ihm verunmögliche, angemessen für sich zu sorgen. Im Fall eines Austrittes aus der klink drohten dem Beschwerdeführer eine Reizüberflutung und eine Überforderung im Alltag, sodass erneut mit einem allfällig selbst- und fremdgefährdenden Verhalten zu rechnen sei. Während des fortgesetzten Klinikaufenthalts könne unter konsequenter medikamentöser Behandlung eine nachhaltige Verbesserung des Zustandes erreicht werden. Die Erfahrungen der letzten Hospitalisation hätten gezeigt, dass der Beschwerdeführer im Anschluss an eine länger dauernde Hospitalisation im Jahr 2008 fast drei Jahre ausserhalb der Klinik habe leben können.
Der Beschwerdeführer hat seine ursprüngliche Eingabe vom 27. April 2011 mit einem am 2. Mai 2011 der Post übergebenen Schriftstück ergänzt.
2. 2.1 In der Beschwerde ist in Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Rechte der beschwerdeführenden Partei durch das kantonale Gericht verletzt worden sind (Art. 42 Abs. 2 BGG; BGE 134 II 244 E. 2.1 S. 245), wobei eine allfällige Verletzung verfassungsmässiger Rechte vom Bundesgericht nicht von Amtes wegen geprüft wird, sondern nur dann, wenn solche Rügen in der Beschwerdeschrift ausdrücklich erhoben und begründet werden (Art. 106 Abs. 2 BGG; BGE 135 III 232 E. 1.2 S. 234).
2.2 Der Beschwerdeführer geht weder in seiner Eingabe vom 27. April 2011 noch in jener vom 2. Mai 2011 auf die Erwägungen des angefochtenen Entscheids ein und legt nicht dar, inwiefern die Vorinstanz Bundesrecht verletzt hat. Auf die offensichtlich unzulässige Beschwerde ist somit im vereinfachten Verfahren (Art. 108 Abs. 1 lit. b BGG) durch die Präsidentin nicht einzutreten. Aufgrund der konkreten Verhältnisse werden keine Kosten erhoben (Art. 66 Abs. 1 BGG).
Demnach erkennt die Präsidentin:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, den Gesundheitsdiensten Basel-Stadt und der Psychiatrie-Rekurskommission Basel-Stadt schriftlich mitgeteilt.
Lausanne, 5. Mai 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Zbinden