Sachverhalt: A. X._, die Y._ AG und die Z._ SA reichten am 7. November 2012 bei der Staatsanwaltschaft St. Gallen eine Strafanzeige gegen Staatsanwalt Erich Feineis wegen falscher Anschuldigung und Amtsmissbrauch ein. Hintergrund der Strafanzeige ist ein von Erich Feineis geführtes Strafverfahren, welches sich unter anderem gegen X._ und ihren Gatten A._ richtet. Die Anzeige stützt sich einerseits auf das vom angezeigten Staatsanwalt im Rahmen eines Rechtshilfeverfahrens verfasste Schreiben an die Staatsanwaltschaft Feldkirch (Österreich) vom 27. September 2012. Es wird namentlich geltend gemacht, Staatsanwalt Erich Feineis habe unvollständige und falsche Angaben gemacht, um an Akten heranzukommen, die rechtshilfeweise sonst nicht ediert würden. Andererseits nimmt die Strafanzeige Bezug auf ein Schreiben vom 27. April 2012 an die Eidgenössische Steuerverwaltung. Staatsanwalt Erich Feineis habe darin die Anzeiger wider besseres Wissen des Steuerbetrugs bezichtigt. Die Staatsanwaltschaft leitete die Strafanzeige zur Durchführung eines Ermächtigungsverfahrens an die Anklagekammer des Kantons St. Gallen weiter. Diese entschied am 6. Dezember 2012, die Ermächtigung zur Eröffnung eines Strafverfahrens gegen Staatsanwalt Erich Feineis nicht zu erteilen. B. Mit als "Beschwerde in Strafsachen" bezeichneter Eingabe vom 25. Januar 2013 beantragen X._, die Y._ AG und die Z._ SA, der Entscheid der Anklagekammer sei aufzuheben und die Staatsanwaltschaft sei anzuweisen, die Strafanzeige gegen Erich Feineis zu untersuchen. Die Anklagekammer hat auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft hat sich nicht vernehmen lassen. Staatsanwalt Erich Feineis beantragt die Abweisung der Beschwerde. Die Beschwerdeführerinnen halten in ihrer Stellungnahme dazu im Wesentlichen an ihren Anträgen und Rechtsauffassungen fest.