Sachverhalt:
A.
Die Staatsanwaltschaft des Kantons St. Gallen führt eine Strafuntersuchung gegen X._. Mit Schreiben vom 17. April 2013 stellte der fallführende Staatsanwalt Y._ dem amtlichen Verteidiger des Beschuldigten in Aussicht, er beabsichtige die Einstellung des Verfahrens hinsichtlich der Tatbestände der qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz und der Übertretung gemäss dem Bundesgesetz über die Schwarzarbeit sowie die Anklageerhebung wegen versuchten Betrugs, (gewerbsmässiger) Hehlerei, Irreführung der Rechtspflege und weiterer Straftatbestände. Zugleich setzte er Frist zur Einreichung von Beweisanträgen an und lud den Verteidiger im Begleitschreiben ein, zum allfälligen Widerruf einer bedingt ausgesprochenen Geldstrafe Stellung zu nehmen. Am 19. April 2013 ersuchte der Verteidiger den Staatsanwalt um Zustellung weiterer Akten und um Fristverlängerung. Im Weiteren schrieb er: "Im übrigen lehne ich Sie definitiv als befangen ab und verzichte dementsprechend Ihnen gegenüber auch auf eine Stellungsnahme zu einem allfälligen Widerruf einer angeblich bedingt ausgesprochenen Geldstrafe. Ihnen Argumente der Entlastung zur sachlichen Prüfung ... vorzulegen, ist von vorneherein ein untauglicher Versuch einer wirksamen Verteidigung ... Das Gericht wird entscheiden."
Am 22. April 2013 leitete der Staatsanwalt das Schreiben des Verteidigers als Ausstandsgesuch zum Entscheid an die Anklagekammer des Kantons St. Gallen weiter und führte dazu aus, er halte sich nicht für befangen und könne auch sonst keinen Ausstandsgrund erkennen. Am 23. April 2013 informierte die Anklagekammer den Verteidiger über die Entgegennahme seines Schreibens als Ausstandsgesuch gegen den Staatsanwalt und liess ihm dessen Stellungnahme dazu in Kopie zukommen. Sie orientierte den Verteidiger weiter, es seien grundsätzlich keine Verfahrensanordnungen vorgesehen. Der Entscheid über das Ausstandsbegehren werde ohne weiteres Beweisverfahren gestützt auf die Akten erfolgen.
Mit Entscheid vom 14. Mai 2013 (eröffnet am 28. Mai 2013) trat die Anklagekammer auf das Ausstandsbegehren nicht ein und auferlegte die Entscheidgebühr von Fr. 1'500.-- "dem Beschwerdeführer". Am 23. Mai 2013 reichte der Verteidiger der Anklagekammer verschiedene Dokumente betreffend die Verfahrensführung des Staatsanwalts mit einem Begleitschreiben nach.
B.
Mit Eingabe vom 25. Juni 2013 führt X._ gegen den Entscheid der Anklagekammer Beschwerde beim Bundesgericht mit dem Antrag, der angefochtene Entscheid sei ersatzlos aufzuheben. Zudem stellt er ein Gesuch um Gewährung der amtlichen Verteidigung für das bundesgerichtliche Beschwerdeverfahren und - mit Schreiben vom 9. Juli 2013 - ein Begehren um Gewährung der aufschiebenden Wirkung. Der Beschwerdeführer rügt die unrichtige Feststellung des Sachverhalts und die Verletzung des Willkürverbots sowie des Anspruchs auf rechtliches Gehör.
Die Staatsanwaltschaft und die Anklagekammer des Kantons St. Gallen haben auf eine Vernehmlassung verzichtet.
Mit Verfügung vom 5. August 2013 hat der Präsident der I. öffentlich-rechtlichen Abteilung das Gesuch um aufschiebende Wirkung abgewiesen.

Erwägungen:
1.
Der angefochtene Entscheid ist ein kantonal letztinstanzlicher Zwischenentscheid über ein Ausstandsbegehren. Gegen ihn ist gemäss <ref-law> i.V.m. <ref-law> (SR 312.0) und <ref-law> die Beschwerde in Strafsachen an das Bundesgericht zulässig. Der Beschwerdeführer ist als Beschuldigter zur Beschwerde berechtigt (Art. 81 Abs. 1 lit. a und b BGG). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2.
2.1. Der Beschwerdeführer macht geltend, er habe gar kein Ausstandsgesuch gestellt. Sein Schreiben vom 19. April 2013 habe lediglich eine Feststellung und Meinung der Verteidigung zum Ausdruck gebracht, mit der sich das erstinstanzliche Strafgericht zu befassen haben werde. Den von <ref-law> verlangten inneren Willen, den Ausstand des Staatsanwalts zu verlangen, habe er nicht gehabt. Schon aus diesem Grunde sei die Beschwerde gutzuheissen.
2.2. Massgebend ist, wie die kantonalen Behörden die schriftliche Eingabe des Verteidigers nach Treu und Glauben verstehen mussten und durften, nicht aber, welches der davon möglicherweise abweichende innere Wille des Beschwerdeführers war. Die Frage der objektiv gebotenen Interpretation des Schreibens ist eine Rechtsfrage, nicht eine Frage der richtigen Sachverhaltsfeststellung bzw. Tatfrage. So besehen konnten und durften die kantonalen Behörden die Wendung "im Übrigen lehne ich Sie definitiv als befangen ab" sowohl nach ihrem Wortlaut als auch nach den begleitenden Ausführungen und dem Kontext (vgl. dazu oben Lit. A) als ein Begehren um Ausstand des angeschriebenen Staatsanwalts gemäss <ref-law> verstehen. Der Staatsanwalt hätte sich wohl rechtlichen Vorwürfen ausgesetzt und dadurch auch den weiteren Gang des Verfahrens erschwert oder gefährdet (vgl. <ref-law>), wenn er die Äusserung des Beschwerdeführers übergangen und sie nicht zusammen mit seiner Stellungnahme der Beschwerdeinstanz (Anklagekammer) zum Entscheid weitergeleitet hätte (Art. 58 Abs. 2 und Art. 59 Abs. 1 lit. b StPO).
Wäre der Beschwerdeführer wirklich missverstanden worden, so hätte er nach dem auch im Verfahren anwendbaren Grundsatz von Treu und Glauben (vgl. statt vieler <ref-ruling> E. 5 S. 159 f., 485 E. 4.3 S. 496; <ref-ruling> E. 4 S. 158) umgehend reagieren müssen, nachdem ihm die Anklagekammer am 23. April 2013 die Entgegennahme seines Schreibens als Ausstandsbegehren mitgeteilt, ihm zugleich die Stellungnahme des Staatsanwalts zugesandt und ihn über den weiteren Verfahrensverlauf orientiert hatte. Stattdessen hat er der Anklagekammer bloss mit Schreiben vom 19. Mai 2013 - d.h. erst einige Tage nach deren Entscheid - verschiedene Dokumente zukommen lassen, welche die Befangenheit des Staatsanwalts belegen sollten. Dieses Verhalten lässt nicht auf ein Missverständnis schliessen. Zudem sind Ausstandsbegehren nach ausdrücklicher Gesetzesvorschrift "ohne Verzug", mithin sofort nach Bekanntwerden der Ausstandsgründe zu stellen; wer den Anspruch auf Ausstand einer in einer Strafbehörde tätigen Person nicht so früh wie möglich vorbringt, verwirkt ihn grundsätzlich (<ref-ruling> E. 4.3.1 S. 21; <ref-ruling> E. 4.3 S. 496; mit Hinweis). Die Äusserung des Beschwerdeführers vom 19. April 2013 konnte daher auch nicht - in Verbindung mit dem Schluss seines Schreibens - so verstanden werden, dass sich dereinst das erstinstanzliche Strafgericht mit der Voreingenommenheit des Staatsanwalts zu befassen haben werde. Schliesslich kann entgegen den Ausführungen des Beschwerdeführers nicht gesagt werden, der Staatsanwalt habe sich treuwidrig bzw. missbräuchlich verhalten, weil er der Anklagekammer die verschiedenen "Abmahnungen" des Verteidigers nicht weitergeleitet habe. Gemäss <ref-law> hat diejenige Partei, die ein Ausstandsbegehren stellt, die den Ausstand begründenden Tatsachen glaubhaft zu machen; die abgelehnte Person trifft keine derartige Pflicht.
Der Auffassung des Beschwerdführers kann deshalb nicht gefolgt werden.
3.
3.1. Der Beschwerdeführer wendet weiter ein, die Anklagekammer habe eine Gehörsverletzung begangen, weil sie ihm keine Gelegenheit gab, sich zu seiner als Ausstandsgesuch verstandenen Eingabe vernehmen zu lassen.
Auch dieses Vorbringen verfängt nicht. Wer ein Ausstandsgesuch stellt, hat die den Ausstand begründenden Tatsachen (im Gesuch) glaubhaft zu machen (<ref-law>). Eine weitere Stellungnahme sieht das Gesetz nicht vor und wäre im Übrigen auch nicht zielführend, weil die betroffene Person zum Gesuch in Kenntnis der Ausstandsgründe Stellung nehmen soll (<ref-law>) und über das Gesuch rasch - zum Teil sogar ausdrücklich unter Ausschluss eines weiteren Beweisverfahrens - und endgültig entschieden werden soll (<ref-law>). Diese Regelung steht im Interesse eines guten Funktionierens der Justiz und des Vermeidens unnötiger Weiterungen und Verzögerungen (vgl. <ref-law>; JEAN-MARC VERNIORY, in: Commentaire romand CPP, 2011, N. 5 zu Art. 58). Einen Anspruch auf Stellungnahme zum eigenen Ausstandsgesuch kennt die Strafprozessordnung daher nicht und ein solcher ergibt sich auch nicht aus dem verfassungsrechtlichen Gehörsanspruch (<ref-law>).
3.2. Fragen könnte man sich jedoch, ob die Anklagekammer die Vernehmlassung des Staatsanwalts dem Beschwerdeführer nicht bloss zur Kenntnisnahme, sondern unter Einräumung einer Frist zur Stellungnahme hätte zustellen müssen (Replikrecht; s. <ref-ruling> E. 2 S. 485 ff.; <ref-ruling> E. 4 S. 101 ff., insbes. E. 4.5 S. 103; je mit Verweisungen; MARKUS BOOG, in: Basler Kommentar StPO, 2011, N. 11 zu Art. 58). Der Beschwerdeführer erhebt freilich keine derartige Rüge. Der Staatsanwalt führte in seiner Stellungnahme zudem lediglich aus, er halte sich nicht für befangen und könne auch sonst keinen Ausstandsgrund erkennen. Davon musste der Beschwerdeführer bereits bei der Einreichung seines Begehrens ausgehen, hätte der Staatsanwalt doch andernfalls von sich aus in den Ausstand treten müssen (<ref-law>). Zudem hat der anwaltlich vertretene Beschwerdeführer auf das Übermittlungsschreiben der Anklagekammer nicht reagiert und insbesondere nicht unverzüglich eine Fristansetzung zur Stellungnahme anbegehrt (<ref-ruling> E. 2.5 S. 487; <ref-ruling> E. 4.8 S. 105). Unter diesen Umständen besteht kein Anlass, auf die Unterlassung der Anklagekammer weiter einzugehen.
3.3. Zu Recht rügt der Beschwerdeführer ferner nicht, dass ihm die Anklagekammer keine Nachfrist zur Begründung des Ausstandsgesuchs ansetzte. Nach dem Sinn und Zweck der Regelung von <ref-law> (vgl. E. 3.1 hiervor) sind die angerufenen Ausstandsgründe sofort, im Gesuch selber glaubhaft zu machen, d.h. so weit möglich zu substanziieren und zu belegen. Eine Nachfristansetzung zur Verbesserung ist nur bei unleserlichen, unverständlichen, ungebührlichen oder weitschweifigen Eingaben vorgesehen (<ref-law>), nicht aber bei unbegründeten Eingaben ( HAFNER/FISCHER, in: Basler Kommentar StPO, 2011, N. 22 zu Art. 110).
4.
Fehl geht sodann der Vorwurf des Beschwerdeführers, die Anklagekammer habe rechtsmissbräuchlich gehandelt, weil sie seine Eingabe vom 19. April 2013 als Ausstandsgesuch ohne Begründung behandelt habe. Dass die Formulierung des Schreibens auf ein Ausstandsbegehren schliessen liess, wurde bereits dargelegt (E. 2.2 hiervor). Dass das Begehren einer Begründung im Sinne des Glaubhaftmachens der behaupteten Voreingenommenheit entbehrte, bestreitet der Beschwerdeführer nicht. Demnach hatte die Anklagekammer über ein ohne die erforderliche Begründung eingereichtes Begehren zu entscheiden. Von Rechtsmissbrauch kann unter diesen Umständen keine Rede sein.
5.
Der Beschwerdeführer rügt ferner, die Anklagekammer habe nicht - wie von ihr im Übermittlungsschreiben angekündigt - gestützt auf die Akten entschieden, sondern ohne Akten. Diese seien nämlich im fraglichen Zeitraum zur Einsicht bei ihm bzw. seinem Verteidiger gewesen.
Die Anklagekammer hat dem Beschwerdeführer mitgeteilt, es seien grundsätzlich keine Verfahrensanordnungen vorgesehen; der Entscheid werde ohne weiteres Beweisverfahren gestützt auf die Akten erfolgen. Da sie nicht über die Akten der Strafuntersuchung verfügte, wie der Beschwerdeführer vermerkt und auch der Staatsanwalt in seiner Stellungnahme erwähnt hatte, und weil sie keine weiteren Verfahrensanordnungen und kein Beweisverfahren vorsah, konnte sich der Hinweis auf die Akten vernünftigerweise nur auf die Gesuchsakten beziehen. Die Anklagekammer konnte sich auf die darin enthaltenen rudimentären Angaben beschränken, weil auf vollständig unsubstanziiert gebliebene Ausstandsbegehren nicht eingetreten zu werden braucht (Andreas J. Keller, in: Donatsch/Hansjakob/Lieber [Hrsg·], Kommentar zur StPO, 2010, N. 11 zu Art. 58). Der Einwand fehlenden Aktenbeizugs verfängt deshalb nicht.
6.
Schliesslich kritisiert der Beschwerdeführer die Entscheidgebühr von Fr. 1'500.-- als willkürlich und prohibitiv. Für ihre Arbeit habe die Anklagekammer nicht mehr als eine halbe Stunde aufwenden müssen. Selbst unter Berücksichtigung eines Kanzleikostenanteils ergebe sich ein völlig übersetzter Honoraranteil von fast Fr. 1'000.-- für die drei Mitglieder der Anklagekammer.
Die Kostenauflage an den Beschwerdeführer und Gesuchsteller stützt sich auf <ref-law> und Art. 15 Ziff. 23 der Gerichtskostenverordnung des Kantons St. Gallen vom 9. Dezember 2010. Diese sieht unter der erwähnten Bestimmung für Urteile der Anklagekammer einen Gebührenrahmen von Fr. 500.-- bis Fr. 5'000.-- vor. Die erhobene Spruchgebühr hält sich im untersten Drittel dieses Rahmens und erscheint so besehen nicht als exzessiv. Der Nichteintretensentscheid ist zwar kurz, aber vollständig und sorgfältig begründet, mit allen zudienlichen Verweisen auf Akten, Gesetzesvorschriften und die Doktrin. Er wurde von drei Richtern unter Beizug eines Gerichtsschreibers gestützt auf ein eigens angelegtes und korrekt geführtes Dossier gefällt. Es kann daher nicht gesagt werden, die Anklagekammer habe bei der Gebührenbemessung vom ihr zustehenden Entscheidungsspielraum in unhaltbarer Weise Gebrauch gemacht. Auch wenn die Gebühr gemessen am Aufwand zur Gesuchserledigung als hoch bezeichnet werden kann, hält sie der in diesem Punkt auf Willkür beschränkten Kontrolle (<ref-law>) durch das Bundesgericht stand.
7.
Nach dem Ausgeführten ist die Beschwerde unbegründet und abzuweisen. Damit wird der Beschwerdeführer kostenpflichtig (Art. 65 und 66 BGG). Er hat zwar ein Gesuch um "amtliche Verteidigung" gestellt, das als Gesuch um unentgeltliche Rechtspflege gemäss <ref-law> entgegenzunehmen ist. Das Gesuch ist jedoch abzuweisen, da die Beschwerde, selbst wenn man der Ungehaltenheit des Beschwerdeführers ein gewisses Verständnis entgegenbringen mag, als aus rechtlicher Sicht aussichtslos bezeichnet werden muss. Angesichts der Verfahrensumstände und der finanziellen Situation des Beschwerdeführers rechtfertigt sich für das bundesgerichtliche Verfahren ein bescheidener Gebührenansatz.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 22. August 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Mattle