Sachverhalt:
A.
Am 7. November 2013 verfasste der im Untersuchungsgefängnis des Kantons Basel-Stadt einsitzende Untersuchungshäftling X._ einen Brief an einen Mithäftling. Die Staatsanwaltschaft des Kantons Basel-Stadt behielt das Schreiben bei der Briefkontrolle zurück. Mit Verfügung vom 11. November 2013 wies Staatsanwalt S._ den Brief wegen ungebührlichen Inhalts zurück und hielt X._ an, künftig auf beleidigende Äusserungen zu Lasten der Verfahrensleitung zu verzichten.
B.
Dagegen erhob X._ Beschwerde an das Appellationsgericht des Kantons Basel-Stadt. Die Einzelrichterin am Appellationsgericht wies die Beschwerde am 13. Januar 2014 ab.
C.
Mit Beschwerde in Strafsachen an das Bundesgericht beantragt X._, den Entscheid des Appellationsgerichts aufzuheben und festzustellen, dass sein Anspruch auf Weiterleitung seines Briefes verletzt wurde.
D.
Die Staatsanwaltschaft liess sich innert Frist nicht vernehmen. Das Appellationsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1.
1.1. Der Begriff "Entscheide in Strafsachen" gemäss <ref-law> umfasst sämtliche Entscheidungen, denen materielles Strafrecht oder Strafprozessrecht zu Grunde liegt (vgl. <ref-ruling> E. 1.1 S. 273). Der angefochtene Entscheid stützt sich auf <ref-law> und damit auf Strafprozessrecht des Bundes. Dagegen steht die Beschwerde in Strafsachen zur Verfügung (vgl. das Urteil des Bundesgerichts 1B_77/2008 vom 15. Juli 2008 E. 1).
1.2. Nicht einzutreten ist allerdings auf den Feststellungsantrag. Da mit Aufhebung des angefochtenen Entscheids der fragliche Brief an den Adressaten weiterzuleiten wäre, steht dem Beschwerdeführer nämlich ein Leistungsbegehren offen. Er verfügt daher nicht über ein schutzwürdiges Interesse an der formellen Feststellung, sein Anspruch auf Weiterleitung des Briefes sei verletzt (vgl. <ref-ruling> E. 1 S. 88 f.; Urteil 1C_405/2012 vom 12. September 2013 E. 1.2; je mit Hinweisen).
1.3. Da die übrigen formellen Voraussetzungen erfüllt sind, ist mit dieser Einschränkung auf die Beschwerde einzutreten.
2.
2.1. Der Beschwerdeführer beruft sich auf den in <ref-law> bzw. Art. 8 EMRK verankerten Anspruch auf Achtung seines Briefverkehrs sowie auf die in <ref-law> bzw. Art. 10 EMRK genannte Meinungsäusserungsfreiheit. Der angefochtene Entscheid bildet einen Eingriff in diese Grundrechte (vgl. <ref-ruling> E. 3a S. 506 mit Hinweisen; vgl. auch die Urteile des Bundesgerichts 1B_77/2008 vom 15. Juli 2008 E. 2 und 1B_299/2009 vom 11. Dezember 2009 E. 3). Dem Willkürverbot (<ref-law>), das der Beschwerdeführer ergänzend anspricht, kommt keine weitergehende Bedeutung zu.
2.2. Nach <ref-law> muss der Eingriff in ein Grundrecht auf einer gesetzlichen Grundlage beruhen, im öffentlichen Interesse erfolgen und verhältnismässig sein. Die gesetzliche Grundlage für die Briefkontrolle findet sich in <ref-law>. Zu prüfen ist einzig, ob ein ausreichendes öffentliches Interesse an der Verweigerung der Weiterleitung des fraglichen Briefes besteht und ob dies gegebenenfalls verhältnismässig ist.
3.
3.1. Es ist unbestritten, dass der hier fragliche Brief keinen Zusammenhang zu dem gegen den Beschwerdeführer hängigen Strafverfahren aufweist oder Informationen enthält, die für Fluchtvorbereitungen genützt werden könnten. Der Brief ist weder an die Staatsanwaltschaft gerichtet noch wird von dieser Kollusionsgefahr oder die Vornahme von Fluchtvorbereitungen geltend gemacht. Die Vorinstanzen beurteilten das Schreiben indessen als beleidigend und unanständig.
3.2. Gemäss der bundesgerichtlichen Rechtsprechung darf der freie Briefverkehr eines Häftlings allein wegen des ehrverletzenden Inhalts seiner Schreiben gegenüber den Strafbehörden und dem Gefängnispersonal nicht beschränkt werden. Das wird damit gerechtfertigt, dem Inhaftierten müsse ein besonderes Bedürfnis zugebilligt werden, dem aufgestauten Unmut über seine persönliche Situation Luft zu machen; er dürfe daher unsachliche, unanständige, ungehörige oder ungebührliche Kritik an den Strafbehörden oder dem Gefängnispersonal äussern; unzulässig sind erst unflätige Beleidigungen oder krass ehrverletzende Äusserungen (vgl. <ref-ruling> E. 3d/cc S. 78 mit Verweis auf die Rechtsprechung des EGMR sowie das Urteil des Bundesgerichts 1B_77/2008 vom 15. Juli 2008 E. 2.3.1; MATTHIAS HÄRRI, in: Niggli/Heer/Wiprächtiger [Hrsg.], Schweizerische Strafprozessordnung, Basler Kommentar, 2011, N. 46 zu <ref-law>).
3.3. Die Vorinstanz hält dem Beschwerdeführer vor, er werfe dem Staatsanwalt sinngemäss ein Ausnutzen seiner Machtposition und Willkür vor, indem er ihn durch Verwendung der Abkürzung "S.S" in die Nähe des Dritten Reiches rücke. Im Brief beklagte der Beschwerdeführer die Verhältnisse im Untersuchungsgefängnis und ergänzte dazu "... das Spielchen von S.S kennen wir ja langsam". Weder wird darin dem Staatsanwalt direkt Machtmissbrauch vorgeworfen noch ergibt sich ein unmittelbarer Bezug zum Dritten Reich. Mit der Verwendung des Wortes "Spielchen" wird dem Staatsanwalt allenfalls ein gewisses fragwürdiges Verhalten unterstellt. Dabei handelt es sich jedoch nicht um eine unzulässige Kritik. Die benutzte Abkürzung "S.S" gibt die Initialen des Namens des Staatsanwalts wieder. Mit dem gesetzten Punkt zwischen den zwei Buchstaben besteht dabei ein äusserlicher Unterschied zur Abkürzung der Schutzstaffel des Dritten Reiches. Dass der Staatsanwalt einen Namen trägt, dessen Initialen mit der Abkürzung einer weitum bekannten historischen menschenverachtenden Organisation übereinstimmen, lässt sich dem Beschwerdeführer nicht vorhalten. Eine krass ehrverletzende Äusserung könnte daher nur vorliegen, wenn ein klarer Bezug zur fraglichen Organisation oder zum Dritten Reich geäussert oder zumindest eindeutig nahe gelegt würde. Das trifft indessen nicht zu.
3.4. Die Vorinstanz würdigte sodann die Passage am Ende des Schreibens "... lass den Kopf nicht hängen und anderes auch nicht hehehe ..." als unanständig. Der Beschwerdeführer wendet dagegen ein, die Bemerkung beziehe sich nicht auf das Sexualorgan, sondern auf den Bauch des Briefadressaten. Das erscheint wenig glaubwürdig, ist aber auch nicht ausschlaggebend. Selbst wenn darin eine Anspielung auf das Sexualorgan enthalten wäre, so erscheint die Passage gegebenenfalls höchstens geschmacklos. Ein wesentlicher Grad von Unanständigkeit, welche nachgerade die Nichtweiterleitung des Briefes rechtfertigen könnte, liegt hingegen nicht vor.
3.5. Der angefochtene Entscheid verstösst mithin gegen Bundesrecht.
4.
Die Beschwerde erweist sich als begründet und ist gutzuheissen, soweit darauf eingetreten werden kann. Damit ist der angefochtene Entscheid aufzuheben, und die Staatsanwaltschaft ist anzuweisen, den fraglichen Brief des Beschwerdeführers unzensuriert an seinen Adressaten weiterzuleiten.
Bei diesem Verfahrensausgang sind keine Kosten zu erheben (<ref-law>). Dem nicht anwaltlich vertretenen Beschwerdeführer steht für das bundesgerichtliche Verfahren praxisgemäss keine Parteientschädigung zu. Die Sache geht an das Appellationsgericht zu neuem Entscheid über die Kosten im vorinstanzlichen Verfahren.

Demnach erkennt das Bundesgericht:
1.
1.1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und der Entscheid des Appellationsgerichts des Kantons Basel-Stadt, Einzelgericht, vom 13. Januar 2014 wird aufgehoben.
1.2. Die Staatsanwaltschaft des Kantons Basel-Stadt wird angewiesen, den Brief des Beschwerdeführers vom 7. November 2013 unzensuriert an den Adressaten weiterzuleiten.
1.3. Die Sache geht an das Appellationsgericht des Kantons Basel-Stadt zur Neuverlegung der Kosten im vorinstanzlichen Verfahren.
2.
Es werden keine Kosten erhoben.
3.
Eine Parteientschädigung wird nicht ausgerichtet.
4.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Basel-Stadt und dem Appellationsgericht des Kantons Basel-Stadt, Einzelgericht, schriftlich mitgeteilt.
Lausanne, 16. April 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax