Sachverhalt: A. Am 7. November 2013 verfasste der im Untersuchungsgefängnis des Kantons Basel-Stadt einsitzende Untersuchungshäftling X._ einen Brief an einen Mithäftling. Die Staatsanwaltschaft des Kantons Basel-Stadt behielt das Schreiben bei der Briefkontrolle zurück. Mit Verfügung vom 11. November 2013 wies Staatsanwalt S._ den Brief wegen ungebührlichen Inhalts zurück und hielt X._ an, künftig auf beleidigende Äusserungen zu Lasten der Verfahrensleitung zu verzichten. B. Dagegen erhob X._ Beschwerde an das Appellationsgericht des Kantons Basel-Stadt. Die Einzelrichterin am Appellationsgericht wies die Beschwerde am 13. Januar 2014 ab. C. Mit Beschwerde in Strafsachen an das Bundesgericht beantragt X._, den Entscheid des Appellationsgerichts aufzuheben und festzustellen, dass sein Anspruch auf Weiterleitung seines Briefes verletzt wurde. D. Die Staatsanwaltschaft liess sich innert Frist nicht vernehmen. Das Appellationsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.