Sachverhalt:
A.
X._, die Y._ AG und die Z._ SA reichten am 7. November 2012 bei der Staatsanwaltschaft St. Gallen eine Strafanzeige gegen Staatsanwalt Erich Feineis wegen falscher Anschuldigung und Amtsmissbrauch ein. Hintergrund der Strafanzeige ist ein von Erich Feineis geführtes Strafverfahren, welches sich unter anderem gegen X._ und ihren Gatten A._ richtet.
Die Anzeige stützt sich einerseits auf das vom angezeigten Staatsanwalt im Rahmen eines Rechtshilfeverfahrens verfasste Schreiben an die Staatsanwaltschaft Feldkirch (Österreich) vom 27. September 2012. Es wird namentlich geltend gemacht, Staatsanwalt Erich Feineis habe unvollständige und falsche Angaben gemacht, um an Akten heranzukommen, die rechtshilfeweise sonst nicht ediert würden. Andererseits nimmt die Strafanzeige Bezug auf ein Schreiben vom 27. April 2012 an die Eidgenössische Steuerverwaltung. Staatsanwalt Erich Feineis habe darin die Anzeiger wider besseres Wissen des Steuerbetrugs bezichtigt.
Die Staatsanwaltschaft leitete die Strafanzeige zur Durchführung eines Ermächtigungsverfahrens an die Anklagekammer des Kantons St. Gallen weiter. Diese entschied am 6. Dezember 2012, die Ermächtigung zur Eröffnung eines Strafverfahrens gegen Staatsanwalt Erich Feineis nicht zu erteilen.
B.
Mit als "Beschwerde in Strafsachen" bezeichneter Eingabe vom 25. Januar 2013 beantragen X._, die Y._ AG und die Z._ SA, der Entscheid der Anklagekammer sei aufzuheben und die Staatsanwaltschaft sei anzuweisen, die Strafanzeige gegen Erich Feineis zu untersuchen.
Die Anklagekammer hat auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft hat sich nicht vernehmen lassen. Staatsanwalt Erich Feineis beantragt die Abweisung der Beschwerde. Die Beschwerdeführerinnen halten in ihrer Stellungnahme dazu im Wesentlichen an ihren Anträgen und Rechtsauffassungen fest.

Erwägungen:
1.
1.1. Die Ermächtigung zur Strafverfolgung stellt eine Prozessvoraussetzung für das Strafverfahren dar, wird jedoch in einem davon getrennten Verwaltungsverfahren erteilt. Nicht die Beschwerde in Strafsachen, sondern die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist deshalb das zutreffende Rechtsmittel (<ref-ruling> E. 1.3.1 S. 272 mit Hinweisen).
1.2. Angefochten ist ein Entscheid einer letzten kantonalen Instanz, der das Verfahren abschliesst (Art. 86 Abs. 1 lit. d und Art. 90 BGG). Eine Ausnahme von der Zulässigkeit der Beschwerde nach <ref-law> besteht nicht. Lit. e dieser Bestimmung, wonach Entscheide über die Verweigerung der Ermächtigung zur Strafverfolgung von Behördenmitgliedern oder von Bundespersonal von der Beschwerdemöglichkeit ausgenommen sind, ist nur auf die obersten Vollziehungs- und Gerichtsbehörden anwendbar, denn nur bei diesen dürfen politische Gesichtspunkte in den Entscheid einfliessen (<ref-ruling> E. 1.3.2 S. 272 f. mit Hinweis).
1.3. Zur Beschwerde ist nach <ref-law> berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a), durch den angefochtenen Entscheid oder Erlass besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (lit. c). Das schutzwürdige Interesse kann rechtlicher oder tatsächlicher Natur sein (<ref-ruling> E. 2.2 S. 290). Die Beschwerdeführerinnen haben am Verfahren vor der Anklagekammer teilgenommen und sind von den behaupteten Straftatbeständen potenziell direkt betroffen (vgl. Urteil 1C_382/2012 vom 10. Oktober 2012 E. 2.6).
1.4. Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Die Beschwerde ist als solche in öffentlich-rechtlichen Angelegenheiten entgegenzunehmen. Die falsche Bezeichnung des Rechtsmittels schadet nicht (<ref-ruling> E. 1.6 S. 275 mit Hinweis).
2.
2.1. Die Ermächtigung zur Strafverfolgung darf zwar nicht aus Gründen der Opportunität verweigert werden. Immerhin müssen jedoch genügende Hinweise für eine strafbare Handlung vorliegen (Urteil 1C_382/2012 vom 10. Oktober 2012 E. 3.1 mit Hinweisen).
2.2. In ihrer Beschwerdeschrift rügen die Beschwerdeführerinnen den Entscheid der Anklagekammer insofern, als sie im Ergebnis geltend machen, Staatsanwalt Erich Feineis habe in zwei Rechtshilfeersuchen verschwiegen, dass alle in der Schweiz untersuchten Fälle bereits in Deutschland und Liechtenstein rechtskräftig erledigt worden seien. Mithin habe er gewusst, dass der Rechtshilfe ein Ausschlussgrund entgegenstehe. Zudem sei ihm bewusst gewesen, dass an den betreffen Vorwürfen nichts dran sei. Es bestehe deshalb der Verdacht der falschen Anschuldigung und des Amtsmissbrauchs.
2.3. Die Eröffnung eines Strafverfahrens und das Stellen eines Rechtshilfegesuchs begründen nicht schon dann eine falsche Anschuldigung nach <ref-law> oder Amtsmissbrauch nach <ref-law>, wenn sich der Tatverdacht im Ergebnis nicht bestätigen sollte. Beide Tatbestände setzen Handeln mit Wissen und Willen voraus. Dafür gibt es vorliegend keine Anhaltspunkte, zumal die strafrechtlichen Vorwürfe, die von der Staatsanwaltschaft untersucht werden, nicht als zum Vornherein haltlos erscheinen. Was den von den Beschwerdeführerinnen behaupteten Ausschlussgrund im Rechtshilfeverfahren anbelangt, ist zudem festzuhalten, dass dieser prozessualen, nicht materiell-rechtlichen Charakters ist und somit mit der Frage, ob ein Straftatbestand erfüllt wurde, nichts zu tun hat. Die Vorinstanz hat die Beschwerdeführerinnen diesbezüglich zu Recht dazu angehalten, ihre Argumente im Rechtshilfeverfahren selbst einzubringen.
Die Kritik der Beschwerdeführerinnen am angefochtenen Entscheid bezüglich der von Staatsanwalt Erich Feineis gestellten Rechtshilfeersuchen erweist sich somit als unbegründet. Die Vorinstanz verletzte in dieser Hinsicht die von den Beschwerdeführerinnen angeführten Normen (<ref-law>, Art. 309 und 140 StPO) nicht.
3.
Die Beschwerde ist abzuweisen.
Bei diesem Verfahrensausgang tragen die Beschwerdeführerinnen die Gerichtskosten (<ref-law>). Sie haben keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführerinnen auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien, dem Untersuchungsamt St. Gallen und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 7. Juni 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold