Sachverhalt:
A. Die Staatsanwaltschaft des Kantons St. Gallen führt durch das Kantonale Untersuchungsamt unter anderem gegen X._, Y._ und Z._ ein Strafverfahren insbesondere wegen Verdachts auf Urkundenfälschung, Tierquälerei und Widerhandlung gegen das Heilmittelgesetz.
Die Beschuldigten kamen einer Aufforderung der Staatsanwaltschaft vom 14. Januar 2011, einen Wahlverteidiger zu benennen, innert der gesetzten Frist nicht nach. Die Staatsanwaltschaft bestimmte deshalb für Z._ am 14. Februar 2011 und für Y._ am 15. Februar 2011 je einen amtlichen Verteidiger. Ebenfalls am 15. Februar 2011 teilte Rechtsanwalt A._ der Staatsanwaltschaft mit, er sei von X._, Y._ und Z._ gebeten worden, ihre Interessen im Strafverfahren zu vertreten. Die Staatsanwaltschaft antwortete Rechtsanwalt A._ umgehend, sie gehe von einer Interessenkollision zwischen den drei Beschuldigten aus und er könne nur X._ vertreten, da für ihn noch kein amtlicher Verteidiger bestimmt worden sei. In der Folge teilte Rechtsanwalt A._ mit, er vertrete nur Z._, woraufhin die Staatsanwaltschaft am 1. März 2011 einen amtlichen Verteidiger für X._ bestimmte.
Auf eine von X._ und Y._ gegen die Einsetzung ihrer amtlicher Verteidiger erhobene Beschwerde hin hob die Anklagekammer des Kantons St. Gallen die Verfügungen der Staatsanwaltschaft vom 15. Februar bzw. 1. März 2011 am 29. März 2011 wieder auf. Sie erwog im Wesentlichen, eine Wahlverteidigung gehe einer staatsanwaltschaftlich verfügten amtlichen Verteidigung vor.
B. In der Folge kam zwischen Rechtsanwalt A._ und X._ sowie Y._ kein Vertretungsverhältnis zustande. Im Hinblick auf eine Konfrontationseinvernahme forderte die Staatsanwaltschaft X._ und Y._ am 17. August 2011 wiederum auf, einen Wahlverteidiger zu bestimmen. Rechtsanwältin B._ vertrat die beiden Beschuldigten zum Zeitpunkt der Einvernahme vom 24. August 2011, teilte indessen wenig später mit, dass sie keinen der beiden mehr vertrete.
Am 13. September 2011 forderte die Staatsanwaltschaft X._ sowie Y._ auf, innert zehn Tagen einen Wahlverteidiger zu benennen, ansonsten eine amtliche Verteidigung verfügt werde. Am 30. September 2011 teilte X._ mit, es sei sinnvoll, den für Z._ eingesetzten amtlichen Verteidiger auch für ihn und Y._ einzusetzen. Sollte sich dieser von der Verteidigung distanzieren, sei Rechtsanwalt C._ bereit, ihn und Y._ ab Erscheinen der Anklageschrift zu verteidigen. Die Staatsanwaltschaft antwortete X._ umgehend, ein Wahlverteidiger habe sich bis zum 15. Oktober 2011 mit einer schriftlichen Vollmacht zu legitimieren, ansonsten ein amtlicher Verteidiger bestimmt werde. X._ ersuchte um Fristerstreckung bis Ende Oktober 2011.
C. Mit Verfügungen vom 11. Januar 2012 bestimmte die Staatsanwaltschaft Rechtsanwalt Andreas Fäh für X._ und Rechtsanwältin Bettina Surber für Y._ als amtliche Verteidiger. Dagegen erhoben X._ und Y._ Beschwerde bei der Anklagekammer, im Wesentlichen mit den Anträgen, die Verfügungen betreffend Anordnung der amtlichen Verteidigung seien aufzuheben und Rechtsanwalt C._ sei als Anwalt für sie beide einzusetzen. Die Anklagekammer wies die Beschwerden von Y._ und X._ am 14. Februar 2012 ab, soweit sie darauf eintrat. Sie erwog, indem die Beschwerdeführer erneut nach unbenutztem Ablauf der ihnen angesetzten Fristen zur Nennung von Wahlverteidigern gegen die Anordnungen betreffend notwendige Verteidigung durch die Staatsanwaltschaft Beschwerde erhoben und nachträglich private Verteidiger genannt hätten, hätten sie offenbar versucht, das Institut der Verteidigungsrechte zweckentfremdet für ein prozessuales Verzögerungsmanöver zu benutzen, was nicht zu schützen sei.
D. Gegen den Entscheid der Anklagekammer haben X._ und Y._ am 8. April 2012 Beschwerde ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid und die amtliche Verteidigung seien aufzuheben und Rechtsanwalt C._ sei als Verteidiger festzulegen. Die Staatsanwaltschaft beantragt die Abweisung der Beschwerde.

Erwägungen:
1. Die Anklagekammer hat entschieden, die angeordnete amtliche Verteidigung für die beiden Beschwerdeführer zur Sicherung des Verfahrensfortgangs (vgl. dazu NIKLAUS RUCKSTUHL, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2011, N. 14 zu Art. 132) nicht aufzuheben und die Beschwerdeführer nicht alleine durch Rechtsanwalt C._ als Wahlverteidiger statt durch die zugewiesenen amtlichen Verteidiger vertreten zu lassen.
Zu Recht nicht geäussert hat sich die Anklagekammer zur Frage, ob den Beschwerdeführern verweigert werden könnte, sich zusätzlich zur amtlichen Verteidigung auch noch von Rechtsanwalt C._ als Wahlverteidiger vertreten zu lassen. Diese Frage hat sich zum Zeitpunkt der Anordnung der amtlichen Verteidigung durch die Staatsanwaltschaft nämlich noch gar nicht gestellt, weil die Beschwerdeführer bis dahin keinen Wahlverteidiger definitiv benannt hatten (vgl. Sachverhalt lit. B). Damit bildet diese Frage auch im vorliegenden Verfahren nicht Streitgegenstand.
2. Der angefochtene Entscheid betrifft eine Strafsache im Sinne von <ref-law> und wurde von einer letzten kantonalen Instanz gefällt (Art. 80 Abs. 1 und 2 BGG). Es handelt sich um einen das Strafverfahren nicht abschliessenden Zwischenentscheid.
2.1 Gegen Vor- und Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen (vgl. <ref-law>), ist die Beschwerde ans Bundesgericht gemäss <ref-law> zulässig, wenn der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (lit. a) oder - was vorliegend von vornherein ausser Betracht fällt - die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Im Bereich des Strafrechts muss es sich beim nicht wieder gutzumachenden Nachteil gemäss <ref-law> um einen Nachteil rechtlicher Natur handeln. Ein solcher liegt vor, wenn er auch mit einem späteren günstigen Endentscheid nicht mehr gänzlich behoben werden könnte. Der Beschwerdeführer muss - wenn das nicht offensichtlich ist - darlegen, weshalb ihm der angefochtene Entscheid einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> bewirken können soll (<ref-ruling> E. 1.2 S. 47 mit Hinweisen).
2.2 Nach der bundesgerichtlichen Rechtsprechung bewirkt die Ablehnung des Gesuchs eines Angeschuldigten um Auswechslung des Offizialverteidigers grundsätzlich keinen nicht wieder gutzumachenden Nachteil, weil der blosse Umstand, dass es sich beim Offizialverteidiger nicht um den Wunsch- bzw. Vertrauensanwalt des Angeschuldigten handelt, eine wirksame und ausreichende Verteidigung nicht ausschliesst (<ref-ruling> E. 1.2 S. 263 mit Hinweis). Mit Blick darauf ist jedenfalls nicht offensichtlich, inwiefern vorliegend, wo zur Sicherung des Verfahrensfortgangs die amtliche Verteidigung der Beschwerdeführer angeordnet worden ist, ihnen ein nicht wieder gutzumachender Nachteil dadurch entstehen könnte, dass die amtliche Verteidigung nicht zugunsten einer (exklusiven) Wahlverteidigung aufgehoben wird. Anders könnte der Fall liegen, wenn den Beschwerdeführern verweigert worden wäre, sich zusätzlich zur Offizialverteidigung auch noch durch einen Privatverteidiger vertreten zu lassen (vgl. <ref-ruling> E. 1.4 S. 263 f.), was indessen nicht der Fall ist (vgl. E. 1 hiervor).
3. Die Beschwerdeführer legen nicht dar, inwiefern sie durch den angefochtenen Entscheid einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> erleiden könnten. Sie kommen somit ihrer Begründungsobliegenheit im Sinne von <ref-law> offensichtlich nicht nach. Aus diesem Grund ist auf die Beschwerde nicht einzutreten. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kostenpflichtig (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Staatsanwaltschaft des Kantons St. Gallen, Kantonales Untersuchungsamt, und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 10. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Mattle