Erwägungen:
1. Am 8. Juni 2011 erhoben X.A._ und X.B._ bei der Staatsanwaltschaft des Kantons St. Gallen Strafanzeige gegen Unbekannt, da von Dritten auf ihre Telefon- und Internetleitung zugegriffen worden sei. Die Staatsanwaltschaft leitete eine Strafuntersuchung gegen Unbekannt wegen Abhörens und Aufnehmens fremder Gespräche ein und erteilte der Polizei einen Ermittlungsauftrag. Nach Durchführung verschiedener Beweiserhebungen stellte die Staatsanwaltschaft mit Schreiben vom 3. November 2011 die Einstellung der genannten Strafuntersuchung in Aussicht, worauf X.A._ und X.B._ am 18. November 2011 eine "Beweismitteleingabe/Strafanzeige" gegen die Swisscom (Schweiz) AG wegen unbefugter Datenbeschaffung (Art. 143 StGB), Eingreifen und Zugriff in ein gesichertes Datenverarbeitungssystem (Art. 143bis StGB), Abhören bzw. Angriff auf die Fernmeldeanlage (Art. 179 ff. StGB) sowie Nötigung (Art. 181 StGB) einreichten. Die Staatsanwaltschaft erteilte in der Folge der Polizei einen angepassten Ermittlungsauftrag. Am 13. Januar 2012 teilte die Staatsanwaltschaft X.A._ und X.B._ nach weiteren Beweiserhebungen mit, dass die Strafuntersuchung gegen Unbekannt wegen Abhörens und Aufnehmens fremder Gespräche sowie wegen unbefugten Eindringens in ein Datenverarbeitungssystem abgeschlossen sei und sie den Erlass einer Einstellungsverfügung in Aussicht stelle. Nachdem X.A._ und X.B._ am 6. Februar 2012 eine weitere Eingabe eingereicht hatten, stellte das Untersuchungsamt Altstätten mit Verfügung vom 10. Februar 2012 das Strafverfahren gegen Unbekannt wegen mehrfachen Abhörens fremder Gespräche sowie mehrfachen unbefugten Eindringens in ein Datenverarbeitungssystem ein. Zur Begründung führte das Untersuchungsamt aus, dass die Abklärungen bei der Swisscom, beim Swisscom-Techniker sowie gemäss forensischem Ermittlungsbericht der Dienststelle Informationstechnologie, Fachbereich Digitale Forensik des Polizeikommandos des Kantons St. Gallen keine Anzeichen für eine Fremdeinwirkung festgestellt und damit keine strafbare Handlungen nachgewiesen werden konnten. Gegen die Einstellungsverfügung erhoben X.A._ und X.B._ Beschwerde, welche die Anklagekammer des Kantons St. Gallen mit Entscheid vom 4. April 2012 abwies, soweit sie darauf eintrat. Zur Begründung führte die Anklagekammer zusammenfassend aus, die Abklärungen der Polizei und der Staatsanwaltschaft hätten ergeben, dass keine Anhaltspunkte für strafbare Handlungen nachgewiesen werden können. Weitere Beweise würden daran nichts ändern. Das Strafverfahren sei demzufolge zu Recht eingestellt worden.
2. X.A._ und X.B._ führen mit Eingabe vom 29. Mai 2012 Beschwerde in Strafsachen gegen den Entscheid der Anklagekammer des Kantons St. Gallen vom 4. April 2012. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
3. Nach Art. 42 Abs. 2 BGG ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Die Bestimmungen von Art. 95 ff. BGG nennen die vor Bundesgericht zulässigen Beschwerdegründe. Hinsichtlich der Verletzung von Grundrechten gilt der in Art. 106 Abs. 1 BGG verankerte Grundsatz der Rechtsanwendung von Amtes wegen nicht; insofern besteht eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; BGE 136 I 49 E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68 mit Hinweisen). Es obliegt dem Beschwerdeführer namentlich darzulegen, inwiefern der angefochtene Entscheid gegen die gerügten Grundrechte verstossen soll. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen.
Die Beschwerdeführer vermögen mit ihren umfangreichen Ausführungen nicht verständlich aufzuzeigen, inwiefern die Begründung des angefochtenen Entscheids, bzw. der Entscheid selber im Ergebnis rechts- bzw. verfassungswidrig sein soll. Die Beschwerde genügt daher den gesetzlichen Formerfordernissen nicht, weshalb auf sie nicht einzutreten ist. Der Begründungsmangel ist offensichtlich, weshalb über die Beschwerde im vereinfachten Verfahren nach Art. 108 Abs. 1 lit. b BGG entschieden werden kann.
4. Auf eine Kostenauflage kann verzichtet werden (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird den Beschwerdeführern, dem Untersuchungsamt Altstätten und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 5. Juni 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Pfäffli