Sachverhalt:
A. Das Untersuchungsamt Gossau führt eine Strafuntersuchung gegen Y._ wegen Verdachts auf mehrfache qualifizierte Vergewaltigung, mehrfache qualifizierte sexuelle Nötigung, Drohung und Nötigung. Y._ wurde am 7. Juli 2011 festgenommen und mit Entscheid des Zwangsmassnahmenrichters am Kreisgericht Wil vom 9. Juli 2011 in Untersuchungshaft versetzt. Am 13. Juli 2011 bestellte die zuständige Staatsanwältin Rechtsanwalt X._ als amtlichen Verteidiger von Y._. Am 8. September 2011 verlängerte das Regionale Zwangsmassnahmengericht, Kreisgericht Wil die Untersuchungshaft unter Annahme von Kollusions- und Fluchtgefahr bis zum 9. Dezember 2011.
B. Gegen die Verlängerung der Untersuchungshaft erhob Rechtsanwalt X._ am 22. September 2011 im Namen von Y._ Beschwerde an die Anklagekammer des Kantons St. Gallen mit dem Begehren, Y._ sei umgehend aus der Untersuchungshaft zu entlassen. Eventualiter seien angemessene Ersatzmassnahmen anzuordnen. Mit Entscheid vom 12. Oktober 2011 wies die Anklagekammer die Beschwerde ab (Dispositiv Ziffer 1). Sie befreite Y._ einstweilen von der Bezahlung der Entscheidgebühr (Dispositiv Ziffer 2). Das Begehren um amtliche Verteidigung für das Beschwerdeverfahren vor der Anklagekammer wies sie ab (Dispositiv Ziffer 3).
C. Gegen diesen Entscheid gelangte Rechtsanwalt X._ am 12. Dezember 2011 in eigenem Namen mit Beschwerde in Strafsachen ans Bundesgericht. Er beantragt, Dispositiv Ziffer 3 des angefochtenen Entscheids sei aufzuheben und er für das vorinstanzliche Verfahren als amtlicher Verteidiger angemessen, mindestens jedoch mit Fr. 1'800.-- (inklusive Barauslagen und Mehrwertsteuer) zu entschädigen. Eventualiter sei die Sache zur Festsetzung seiner Entschädigung als amtlicher Verteidiger an die Vorinstanz zurückzuweisen.
D. Die Vorinstanz beantragt die Abweisung der Beschwerde. Mit Eingabe vom 23. Februar 2012 hält der Beschwerdeführer an der Beschwerde fest.

Erwägungen:
1. Der angefochtene Entscheid betrifft eine Strafsache im Sinne von <ref-law> und wurde von einer letzten kantonalen Instanz gefällt (Art. 80 Abs. 1 und 2 BGG). Es handelt sich um einen selbstständig eröffneten Zwischenentscheid, der das Strafverfahren nicht abschliesst. Angefochten ist lediglich die Nichtgewährung der amtlichen Verteidigung (Dispositiv-Ziffer 3). Die Abweisung eines Begehrens um amtliche Verteidigung hat in der Regel einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> zur Folge, weshalb gegen entsprechende Zwischenentscheide grundsätzlich Beschwerde ans Bundesgericht erhoben werden kann (vgl. <ref-ruling> E. 1.1 S. 131).
2. Es stellt sich die Frage, ob der Beschwerdeführer zur Beschwerde in Strafsachen berechtigt ist.
2.1 Beschwerdelegitimiert ist nach <ref-law>, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a) und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (lit. b).
2.2 Gemäss <ref-law> hat jede Person, die nicht über die erforderlichen Mittel verfügt und deren Rechtsbegehren nicht aussichtslos erscheint, Anspruch auf unentgeltliche Rechtspflege. Falls es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Die beschuldigte Person muss im Strafverfahren in den in <ref-law> (SR 312.0) genannten Fällen zwingend verteidigt werden und hat unter den Voraussetzungen von <ref-law> Anspruch auf eine amtliche Verteidigung.
Trägerin des Anspruchs auf unentgeltliche Rechtspflege ist ausschliesslich die Prozesspartei, welche die gesetzlichen Voraussetzungen erfüllt (Urteile 5P.220/2003 vom 23. Dezember 2003 E. 3.1, 5P.164/2005 vom 29. Juli 2005 E. 1.3). Folglich ist nur diejenige Person, deren Gesuch um unentgeltliche Rechtspflege abgewiesen worden ist, berechtigt, den abweisenden Entscheid anzufechten. Hingegen kann der Anwalt, der im Namen der von ihm vertretenen Person erfolglos ein Gesuch um unentgeltliche Rechtspflege gestellt hat, dagegen nicht in eigenem Namen vorgehen. Zwar hat er unter Umständen ein faktisches Interesse an der Abänderung des ablehnenden Entscheids, nämlich wenn sich die Forderung gegenüber der von ihm vertretenen Person für bereits erbrachte Leistungen als nicht einbringlich erweist. Es fehlt ihm diesbezüglich indessen ein rechtlich geschütztes Interesse im Sinne von <ref-law> (<ref-ruling> E. 2a S. 162; Urteil 5P.164/2005 vom 29. Juli 2005 E. 1.3).
2.3 Der Beschwerdeführer leitet seine Beschwerdeberechtigung daraus ab, dass er von der Staatsanwältin bereits am 13. Juli 2011 als amtlicher Anwalt eingesetzt worden sei. Die von der Staatsanwältin gewährte amtliche Verteidigung gelte auch für das Haftverlängerungsverfahren und das Beschwerdeverfahren gegen die Haftverlängerung. Die Vorinstanz sei deshalb gar nicht zuständig gewesen, über die Gewährung der amtlichen Verteidigung (für das Beschwerdeverfahren) zu entscheiden. Folglich habe er für den von ihm vertretenen Untersuchungshäftling auch kein neues Gesuch um amtliche Verteidigung gestellt.
2.3.1 Vor dem Inkrafttreten der StPO war der amtliche Verteidiger nach ständiger bundesgerichtlicher Rechtsprechung legitimiert, mit Beschwerde geltend zu machen, sein Honorar sei willkürlich zu niedrig oder unter Verletzung von Verfahrensgarantien festgesetzt worden (Urteil 6B_586/2010 vom 23. November 2010 E. 5.3 mit Hinweisen). Nun räumt <ref-law> der amtlichen Verteidigung ausdrücklich das Recht ein, gegen den Entscheid über die Entschädigung des amtlichen Verteidigers Beschwerde zu führen, wobei die Beschwerde je nach Vorinstanz an die kantonale Beschwerdeinstanz oder ans Bundesstrafgericht zu richten ist. Voraussetzung für eine solche Beschwerde ist indessen, dass die amtliche Verteidigung für das betreffende Verfahren gewährt worden ist (vgl. E. 2.2 hiervor sowie Urteil 5P.164/2005 vom 29. Juli 2005 E. 1.3).
2.3.2 Im Gegensatz zur Ansicht des Beschwerdeführers ist die Vorinstanz als Beschwerdeinstanz im Sinne von Art. 20 Abs. 1 lit. c i.V.m. Art. 222 und Art. 393 Abs. 1 lit. c StPO im vor ihr geführten Beschwerdeverfahren selbst zuständig für die Anordnung und Bestellung einer amtlichen Verteidigung (Art. 133 Abs. 1 i.V.m. <ref-law>; für das erstinstanzliche Haftanordnungsverfahren vor dem Zwangsmassnahmengericht vgl. auch <ref-ruling> E. 2.3 S. 217). Dies gilt auch, wenn wie vorliegend die beschuldigte Person im Strafuntersuchungsverfahren gemäss Art. 130 f. StPO zwingend verteidigt werden muss und zur Sicherstellung der notwendigen Verteidigung von der Staatsanwaltschaft in Anwendung von Art. 132 Abs. 1 lit. a i.V.m. <ref-law> bereits ein amtlicher Verteidiger bestellt worden ist. Der im Strafuntersuchungsverfahren eingesetzte amtliche Verteidiger wirkt im Haftbeschwerdeverfahren - jedenfalls wenn die beschuldigte Person beschwerdeführende Partei ist - nicht automatisch als unentgeltlicher Rechtsbeistand mit und zwar auch dann nicht, wenn die beschuldigte Person im Hauptverfahren notwendigerweise verteidigt werden muss (NIKLAUS RUCKSTUHL, Basler Kommentar StPO, Basel 2011, Art. 130 N. 10; a.M. NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, Zürich 2009, Art. 130 N. 2). Dies ergibt sich aus der nach dem Inkrafttreten der StPO beibehaltenen bundesgerichtlichen Rechtsprechung, wonach die Gewährung der unentgeltlichen Rechtspflege bei Beschwerden gegen die Anordnung bzw. Verlängerung von Untersuchungshaft von der Nichtaussichtslosigkeit der Beschwerde abhängig gemacht werden kann, und zwar auch dann, wenn die beschuldigte Person im Hauptverfahren die Voraussetzungen der notwendigen Verteidigung erfüllt (vgl. Urteil 1B_732/2011 vom 19. Januar 2012 E. 7.1 f. mit Hinweisen).
2.4 Nach dem Gesagten war der Beschwerdeführer für das vorinstanzliche Verfahren nicht als amtlicher Verteidiger eingesetzt. Die Vorinstanz war zuständig, darüber zu befinden, ob die beschuldigte Person für das vor ihr geführte Haftbeschwerdeverfahren Anspruch auf einen unentgeltlichen Rechtsbeistand hat (E. 2.3 hiervor). An der Abänderung des Entscheids, mit dem die Vorinstanz die Einsetzung eines amtlichen Verteidigers für das Haftbeschwerdeverfahren verweigert hat, hat der Beschwerdeführer kein rechtlich geschütztes Interesse (E. 2.2 hiervor). Damit ist auf seine Beschwerde nicht einzutreten.
3. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten in der Höhe von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 9. Mai 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Mattle