Sachverhalt:
A. X._ ist seit dem 12. November 2010 in Untersuchungs- respektive Sicherheitshaft.
Mit Urteil vom 17. Februar 2011 erklärte das Strafgericht des Kantons Basel-Stadt X._ der Drohung gemäss <ref-law> für schuldig und verurteilte ihn zu einer Freiheitsstrafe von 12 Monaten, unter Einrechnung der seit dem 12. November 2010 erstandenen Untersuchungshaft. Zugleich erklärte es die gegen X._ am 15. Januar 2010 vom Appellationsgericht Basel-Stadt wegen Vergewaltigung, Gefährdung des Lebens, Nötigung, versuchter Nötigung und mehrfachen Konsums von Betäubungsmitteln im Umfang von 14 Monaten von insgesamt 27 Monaten bedingt ausgesprochene Freiheitsstrafe für vollziehbar. Ferner erkannte es, die über X._ angeordnete Sicherheitshaft werde beibehalten.
B. Gegen dieses Urteil erhob X._ mit Eingabe vom 21. April 2011 Berufung ans Appellationsgericht Basel-Stadt und reichte zugleich ein Haftentlassungsgesuch ein.
Mit Entscheid vom 29. April 2011 wies die Statthalterin des Appellationsgerichts das Haftentlassungsgesuch ab.
C. Mit Beschwerde in Strafsachen vom 13. Mai 2011 beantragt X._, der Entscheid der Statthalterin des Appellationsgerichts sei aufzuheben und diese sei anzuweisen, ihn aus der Sicherheitshaft zu entlassen. Des Weiteren sei ihm die unentgeltliche Rechtspflege und Verbeiständung zu gewähren.
Die Staatsanwaltschaft Basel-Stadt und die Statthalterin des Appellationsgerichts beantragen die Beschwerdeabweisung. Der Beschwerdeführer verzichtet auf eine abschliessende Stellungnahme.

Erwägungen:
1. Gemäss <ref-law> beurteilt das Bundesgericht Beschwerden gegen Entscheide in Strafsachen. Der angefochtene Entscheid ist kantonal letztinstanzlich (<ref-law>; vgl. auch Art. 233 der Schweizerischen Strafprozessordnung vom 5. Oktober 2007 [StPO; SR 312.0]). Mit dem angefochtenen Beschluss wurde die Sicherheitshaft gegen den Beschwerdeführer verlängert. Der Beschwerdeführer nahm vor der Vorinstanz am Verfahren teil und hat ein rechtlich geschütztes Interesse an der Aufhebung des angefochtenen Entscheids. Er ist nach <ref-law> zur Beschwerde berechtigt. Auf die Beschwerde ist einzutreten.
2. Die Sicherheitshaft schränkt die persönliche Freiheit des Beschwerdeführers ein (Art. 10 Abs. 2 i.V.m. <ref-law>, Art. 5 EMRK). Eine Einschränkung dieses Grundrechts ist zulässig, wenn sie auf einer gesetzlichen Grundlage beruht, im öffentlichen Interesse liegt und verhältnismässig ist; zudem darf sie den Kerngehalt des Grundrechts nicht beeinträchtigen (<ref-law>). Im vorliegenden Fall steht ein Freiheitsentzug und damit eine schwerwiegende Einschränkung der persönlichen Freiheit in Frage. Es bedarf deshalb sowohl nach <ref-law> als auch nach <ref-law> einer Grundlage im Gesetz selbst.
Nach <ref-law> ist Untersuchungs- und Sicherheitshaft nur zulässig, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig und ernsthaft zu befürchten ist, dass sie sich durch Flucht dem Strafverfahren oder der zu erwartenden Sanktion entzieht (Abs. 1 lit. a); Personen beeinflusst oder auf Beweismittel einwirkt, um so die Wahrheitsfindung zu beeinträchtigen (Abs. 1 lit. b); oder durch schwere Verbrechen oder Vergehen die Sicherheit anderer erheblich gefährdet, nachdem sie bereits früher gleichartige Straftaten verübt hat (Abs. 1 lit. c). Haft ist auch zulässig, wenn ernsthaft zu befürchten ist, eine Person werde ihre Drohung, ein schweres Verbrechen auszuführen, wahrmachen (Abs. 2).
3. 3.1 Der Beschwerdeführer bestreitet den dringenden Tatverdacht. Ihm werde vorgeworfen, in der Therapie bei seinem Psychiater eine verbale Drohung gegenüber seiner ehemaligen Partnerin geäussert zu haben. Der dem Berufsgeheimnis unterliegende Psychiater habe sich daraufhin von der Aufsichtsbehörde vom Berufsgeheimnis entbinden lassen und Strafanzeige erstattet. Die Strafverfolgungsbehörden hätten in der Folge seine ehemalige Partnerin zu einer Besprechung vorgeladen und ihr die Drohung eröffnet, wodurch diese angeblich in Angst und Schrecken versetzt worden sei. Der Beschwerdeführer führt aus, er habe nicht damit rechnen müssen, dass sein Psychiater sich vom Berufsgeheimnis entbinden lasse und seine ehemalige Partnerin durch die Strafverfolgungsbehörden von der Drohung erfahre. Der subjektive Tatbestand von <ref-law> sei damit offensichtlich zu verneinen, weshalb auch kein dringender Tatverdacht vorliege.
Die Vorinstanz bejaht demgegenüber unter Verweis auf den erstinstanzlichen Schuldspruch den dringenden Tatverdacht und betont, es sei Sache des materiell urteilenden Gerichts, die sich stellenden Rechtsfragen abschliessend zu beurteilen.
3.2 Bei der Überprüfung des dringenden Tatverdachts ist zu klären, ob genügend konkrete Anhaltspunkte für eine Straftat und eine Beteiligung des Beschwerdeführers daran vorliegen. Im Haftprüfungsverfahren genügt der Nachweis von konkreten Verdachtsmomenten, wonach das inkriminierte Verhalten mit erheblicher Wahrscheinlichkeit die fraglichen Tatbestandsmerkmale erfüllen könnte (Urteil des Bundesgerichts 1B_193/2011 vom 16. Mai 2011 E. 3.4).
Ist gegen eine beschuldigte Person Anklage erhoben worden, so kann das Haftgericht in der Regel davon ausgehen, dass der dringende Tatverdacht gegeben ist. Eine Ausnahme läge dann vor, wenn die beschuldigte Person im Haftprüfungs- oder im Haftbeschwerdeverfahren darzutun vermöchte, dass die Annahme eines dringenden Tatverdachts unhaltbar ist (Urteil des Bundesgerichts 1P.72/2002 vom 27. Februar 2002 E. 2.3). Diese Rechtsprechung muss erst recht bei Vorliegen eines erstinstanzlichen Urteils, gegen das die verurteilte inhaftierte Person ein Rechtsmittel eingelegt hat, gelten (Urteil des Bundesgerichts 1B_129/2009 vom 9. Juni 2009 E. 4).
3.3 Das Strafgericht hat den Beschwerdeführer der Drohung schuldig gesprochen und sich dabei in der Urteilsbegründung mit den objektiven und subjektiven Tatbestandsmerkmalen befasst und diese als erfüllt eingestuft. Ob diese rechtlichen Erwägungen zutreffen, wird die Vorinstanz im Berufungsverfahren zu klären haben. Angesichts des eingehend begründeten erstinstanzlichen Schuldspruchs kann jedenfalls nicht zweifelhaft sein, dass genügend konkrete Anhaltspunkte bzw. konkrete Verdachtsmomente für ein strafbares Verhalten des Beschwerdeführers bestehen. Dieser bringt in der Beschwerde nichts vor, was diese Beurteilung in Frage stellen würde. Die Vorinstanz hat den dringenden Tatverdacht mithin zu Recht bejaht und sich dabei unter Wahrung des Anspruchs des Beschwerdeführers auf rechtliches Gehör hinreichend mit den Vorbringen in der Beschwerde auseinandergesetzt. Dass überdies namentlich der besondere Haftgrund der Fluchtgefahr gemäss <ref-law> erfüllt ist, wird vom Beschwerdeführer nicht bestritten.
4. Die Beschwerde ist damit abzuweisen. Der Beschwerdeführer ersucht um unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
2.1 Es werden keine Gerichtskosten erhoben.
2.2 Advokat Stefan Suter wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'000.-- entschädigt.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Basel-Stadt und dem Appellationsgericht Basel-Stadt, Statthalterin, schriftlich mitgeteilt.
Lausanne, 30. Mai 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Stohner