Sachverhalt:
A. Y._ und fünf mitbeschuldigte Kollegen nahmen am Sonntag, 21. März 2010, an einer sogenannten "Mottofahrt" ans Fussballspiel in St. Gallen zwischen dem FC St. Gallen und dem FC Basel teil. Die Fahrt organisierte die "Muttenzerkurve", eine eingefleischte Gruppierung der Fanszene des FC Basel. Auf der Fahrt im Extrazug nach St. Gallen wurden pyrotechnische Gegenstände angeboten und (offenbar gratis) verteilt. Die Fahrtteilnehmer wurden zudem instruiert, wie sie sich auf dem Marsch zum Stadion und beim Abbrennen dieser Gegenstände zu verhalten hätten.
Y._ wird gemäss Anklage vorgeworfen, vor dem Fussballstadion, der AFG-Arena, in St. Gallen, eine in seinen Boxershorts bzw. Hose versteckte Bengalfackel "T.I.F.O. Mr Light 1 F.D.F." auf sich getragen zu haben, die er anlässlich des Fussballspiels habe abbrennen lassen wollen.
B. Das Kreisgericht St. Gallen sprach Y._ am 16. Juni 2010 vom Vorwurf des Vergehens gegen das Sprengstoffgesetz frei und ordnete die Einziehung und Vernichtung der beschlagnahmten Bengalfackel an.
Die gegen diesen Entscheid von der Staatsanwaltschaft des Kantons St. Gallen erhobene Berufung hiess das Kantonsgericht St. Gallen am 4. Mai 2011 gut. Es verurteilte Y._ wegen versuchter Widerhandlung gegen das Sprengstoffgesetz zu einer Geldstrafe von 60 Tagessätzen zu Fr. 100.--. Den Vollzug der Geldstrafe schob es bei einer Probezeit von zwei Jahren auf. Es rechnete ausserdem die Untersuchungshaft von zwei Tagen im Umfang von zwei Tagessätzen an die Geldstrafe an.
C. Y._ führt Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, das Urteil des Kantonsgerichts St. Gallen vom 4. Mai 2011 sei vollumfänglich aufzuheben, und er sei vom Vorwurf der versuchten Widerhandlung gegen das Sprengstoffgesetz freizusprechen.

Erwägungen:
1. Das Bundesgesetz vom 25. März 1977 über explosionsgefährliche Stoffe (Sprengstoffgesetz, SprstG, SR 941.41) regelt gemäss Art. 1 Abs. 1 den Verkehr mit Sprengmitteln, pyrotechnischen Gegenständen und Schiesspulver. Nach <ref-law> gilt als Verkehr jeder Umgang mit Sprengmitteln und pyrotechnischen Gegenständen, insbesondere das Herstellen, Lagern, Besitzen, Einführen, Abgeben, Beziehen, Verwenden und Vernichten. <ref-law> definiert die pyrotechnischen Gegenstände als gebrauchsfertige Erzeugnisse mit einem Explosiv- oder Zündsatz, die nach lit. a. nicht zum Sprengen, sondern zu andern industriellen, technischen oder landwirtschaftlichen Zwecken bestimmt sind, wie Signalmittel, Wetterraketen, Patronen zum Schweissen oder Härten von Metallen, oder nach lit. b. bloss dem Vergnügen dienen, wie die Feuerwerkskörper.
Gemäss <ref-law> ist es verboten, Sprengmittel und pyrotechnische Gegenstände, die für andere Zwecke bestimmt sind, zu Vergnügungszwecken zu verwenden. Die Strafbestimmungen des Sprengstoffgesetzes sehen in <ref-law> unter anderem vor, dass mit Gefängnis oder mit Busse bestraft wird, wer vorsätzlich ohne Bewilligung oder entgegen Verboten dieses Gesetzes mit Sprengmitteln oder pyrotechnischen Gegenständen verkehrt, insbesondere solche herstellt, lagert, besitzt, einführt, abgibt, bezieht, verwendet oder vernichtet.
1.1 Die Vorinstanz erwägt, der Beschwerdeführer habe sich der versuchten Widerhandlung gegen das Sprengstoffgesetz schuldig gemacht. Die Grenze zum strafbaren Versuch sei zwar noch nicht überschritten worden, als im Extrazug pyrotechnische Gegenstände verteilt und Verhaltensanweisungen gegeben worden seien. Diese Handlungen seien in räumlicher und zeitlicher Hinsicht zu weit entfernt, dass sich die Gefahr, der das Verbot der Verwendung pyrotechnischer Gegenstände begegnen wolle, habe verwirklichen können. Ausserdem fehle es für diesen Zeitpunkt am Nachweis des Tatvorsatzes. Einen solchen habe der Beschwerdeführer subjektiv frühestens gefasst, als er sich entschlossen habe, die Bengalfackel in den Hosen zu verstecken. Das Verstecken sei eine entscheidende Einzelhandlung auf dem Weg zur Verwirklichung des Tatplans gewesen, doch habe diese noch nicht das Merkmal tatnahen Handelns aufgewiesen. Nachdem der Beschwerdeführer in seiner Gruppe den Extrazug verlassen habe und durch Sicherheitskräfte der Polizei auf einem vorbestimmten und vor dem Stadion beidseitig gesicherten Weg zu den Drehkreuzen am Eingang geleitet worden sei, habe er den "point of no return", von dem es in der Regel kein Zurück mehr gebe, erreicht. Von diesem Moment an sei tatnahes Handeln klarerweise anzunehmen gewesen. An der Vollendung der Tatausführung sei er nur noch durch den äusseren Umstand der Anhaltung bei der Zutrittskontrolle gehindert worden. Das Verbringen der Bengalfackel ins Stadion sei einzig darauf ausgerichtet gewesen, diese dort zu zünden, mithin zu verwenden. Jede andere Annahme sei sinnwidrig und völlig lebensfremd. Kein nur einigermassen vernünftiger Mensch setze sich dem Risiko einer Kontrolle und Anhaltung oder sogar polizeilichen Festnahme aus, da die Bengalfackel in dieser Situation legal nicht verwendbar sei.
Der Beschwerdeführer sowie die Mitbeschuldigten hätten sich als Teil der Gruppe "Muttenzerkurve" begriffen, sich in sie eingefügt und die Anordnungen befolgt. Es habe bei Erreichen der Kontrollzone kein Zurück mehr gegeben, abgesehen von einer nach dem "point of no return" immer bestehenden, jedoch rein theoretischen, Rücktrittsmöglichkeit (angefochtenes Urteil, S. 9 ff.).
1.2 Der Beschwerdeführer macht geltend, die vorinstanzliche Sachverhaltsfeststellung sei willkürlich und verletze den Grundsatz "in dubio pro reo". Er bestreitet die vorinstanzliche Annahme, Inhalt des Tatvorsatzes sei gewesen, die Bengalfackel unbemerkt ins Stadion zu bringen, um sie dort aus irgendwelchem Anlass zu zünden oder durch andere zünden zu lassen. Diese Annahme könne sich weder auf die Akten noch auf seine Aussagen stützen. Er habe im Gegenteil mehrmals überlegt, sich der Bengalfackel zu entledigen. Er habe gewusst, dass es gemäss Stadionordnung verboten sei, eine solche in das Stadion mitzuführen. Er habe diese Vorschrift umgehen wollen, habe zu diesem Zeitpunkt aber noch nicht den Entschluss gefasst, die Bengalfackel auch tatsächlich zu zünden. Die vorinstanzlichen Sachverhaltsfeststellungen beruhten auf einer rein hypothetischen Beurteilung des Geschehensablaufs, die auf keinerlei Beweiswürdigung beruhe. Es sei nicht völlig sinnwidrig und lebensfremd, Pyros zuerst durch die Kontrollen zu schmuggeln, um sie während des Spiels doch nicht abzubrennen und wieder hinaus bzw. nach Hause zu tragen. Dies zeige sich daran, dass die Fans des FC Basel nach Schluss des Spiels St. Gallen-Basel vom 22. Mai 2011 die Polizeibeamten mit allem, was sie in den Händen gehalten hätten, unter anderem auch mit Fackeln, bewarfen. Zudem belege ein Flyer der "Muttenzerkurve" zum Thema Pyro, dass die Möglichkeit bestehe, eine Bengale wieder mit hinauszunehmen, wenn es keinen Grund zum Abfeuern gebe. Die Zeiten seien vorbei, wo Pyro ohne Sinn abgelassen werde (Beschwerde, S. 6 ff.).
Es stelle eine willkürliche und unzulässige Schlussfolgerung dar, dass er sich als Teil der Gruppe "Muttenzerkurve" sehe, sich dort einfüge und deren Anordnungen und Empfehlungen befolge. Es sei nicht statthaft, ihm alles zuzuschreiben, was irgendeine Gruppe plane oder denke und daraus seinen persönlichen Tatentschluss abzuleiten (Beschwerde, S. 10).
Die Aussagen der Mitbeschuldigten, bei der Zutrittskontrolle habe es kein Zurück mehr gegeben, würden sich nicht auf den Tatentschluss beziehen, sondern lediglich darauf, dass es zu spät gewesen sei, sich der Pyro zu entledigen. Wäre er in das Stadion gelangt, hätte noch nicht festgestanden, ob er die Bengalfackel gezündet hätte. Er hätte auch nach dem Einlass von der Tatausführung absehen können, selbst wenn er den Tatentschluss bereits gefasst gehabt hätte (Beschwerde, S. 9 und S. 11).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich im Sinne von <ref-law> ist (<ref-ruling> E. 1.2.2), oder wenn sie auf einer Verletzung von schweizerischem Recht im Sinne von <ref-law> beruht (<ref-law>). Die Rüge der offensichtlich unrichtigen Feststellung des Sachverhalts (<ref-law>) prüft das Bundesgericht ebenfalls unter den in <ref-law> vorgegebenen Bedingungen.
Willkür im Sinne von <ref-law> liegt nach ständiger Rechtsprechung nur vor, wenn der angefochtene Entscheid auf einer unhaltbaren oder widersprüchlichen Beweiswürdigung beruht, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.4). Für die Begründung von Willkür genügt es praxisgemäss nicht, dass das angefochtene Urteil mit der Darstellung des Beschwerdeführers nicht übereinstimmt oder eine andere Lösung oder Würdigung vertretbar erscheint oder gar vorzuziehen wäre (<ref-ruling> E. 5.4 mit Hinweisen). Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.2 mit Hinweis).
1.4 Führt der Täter, nachdem er mit der Ausführung eines Verbrechens oder eines Vergehens begonnen hat, die strafbare Tätigkeit nicht zu Ende, macht er sich gemäss <ref-law> des (unvollendeten) Versuchs strafbar. Beim Versuch erfüllt der Täter sämtliche subjektiven Tatbestandsmerkmale, ohne dass alle objektiven Merkmale verwirklicht wären. Die Frage, wo die Grenze zwischen dem strafbaren Beginn der Tatausführung und der straflosen Vorbereitung verläuft, ist eine heikle Abgrenzungsfrage. Fest steht, dass der blosse Entschluss, eine strafbare Handlung zu begehen, für sich allein straflos bleibt, solange er nicht in Handlungen umgesetzt wird (<ref-ruling> E. 7.2.1 mit Hinweisen).
1.5 Zur "Ausführung" der Tat im Sinne von <ref-law> gehört jede Tätigkeit, die nach dem Plan, den sich der Täter gemacht hat, auf dem Weg zur Tatbestandsverwirklichung den letzten entscheidenden Schritt darstellt, von dem es in der Regel kein Zurück mehr gibt, es sei denn wegen äusserer Umstände, die eine Weiterverfolgung der Absicht erschweren oder verunmöglichen (<ref-ruling> E. 7.2.1 mit Hinweisen). Die Schwelle, bei welcher ein Versuch anzunehmen ist und nicht mehr blosse Vorbereitungshandlungen vorliegen, darf der eigentlichen Tatbegehung zeitlich nicht zu weit vorausgehen. Das unmittelbare Ansetzen zur Tatbestandsverwirklichung erfordert ein sowohl in räumlich/örtlicher als auch in zeitlicher Hinsicht tatnahes Handeln. Der Beginn des Versuchs lässt sich nur über eine Kombination objektiver und subjektiver Gesichtspunkte bestimmen. Denn die Frage, ob eine Handlung den Versuch einer strafbaren Handlung darstellt, lässt sich allein aufgrund ihres äusseren Erscheinungsbildes vielfach nicht entscheiden, sondern setzt die Kenntnis darüber voraus, wie der Täter vorgehen wollte. Die Einbeziehung der Vorstellung des Täters von der Tat ist für die Bestimmung des Versuchs genauso unabdingbar wie die Berücksichtigung objektiver Kriterien für die Entscheidung der Frage, mit welcher Tätigkeit der Täter nach seinem Tatplan bereits zur Verwirklichung des Tatbestandes unmittelbar ansetzt (<ref-ruling> E. 7.2.1 mit Hinweisen).
1.6 Der Beschwerdeführer vermag keine Willkür in der Sachverhaltsfeststellung der Vorinstanz darzutun. Diese legt eingehend dar, wann sich beim Beschwerdeführer der subjektive und objektive Tatwillen gebildet haben. Es ist nicht zu beanstanden, wenn sie das Verstecken der Bengalfackel als entscheidende Einzelhandlung auf dem Weg zur Verwirklichung des Tatplans bezeichnet, ohne dass diese bereits ein tatnahes Handeln dargestellt hätte. Dieses tatnahe Handeln verwirklichte sich gemäss Vorinstanz erst, als der Beschwerdeführer den Extrazug verlassen und die Kontrollzone erreicht hatte. Wie die Vorinstanz feststellt, wurde er an der Vollendung der Tat nur noch durch den äusseren Umstand der Anhaltung im Rahmen der Zutrittskontrolle gehindert.
Das Vorbringen des Beschwerdeführers, es sei nicht völlig sinnwidrig und lebensfremd, die Bengalfackel durch die Kontrollen zu schmuggeln, um sie während des Spiels doch nicht abzubrennen und wieder hinaus bzw. nach Hause zu tragen, überzeugt nicht. Dies gilt umso mehr, als der Beschwerdeführer nicht ausführt und es auch nicht ersichtlich ist, wie die Bengalfackel im vorliegenden Zusammenhang gemäss den Vorschriften des Sprengstoffgesetzes legal verwendbar gewesen wäre. Sein Argument, an einem späteren Spiel zwischen den gleichen Mannschaften hätten die Basler Fans nach Spielschluss die Polizei unter anderem mit nicht abgebrannten Pyros beworfen, kann hieran ebensowenig ändern wie seine Behauptung, er habe mehrmals überlegt, sich der Bengalfackel zu entledigen. Wäre dies tatsächlich der Fall gewesen, hätte er es vor der Zutrittskontrolle, dem "point of no return", tun müssen. Die Vorinstanz erwägt in diesem Zusammenhang nachvollziehbar, dass sich kein einigermassen vernünftiger Mensch dem Risiko einer Kontrolle und Anhaltung bzw. polizeilichen Festnahme aussetze, um die Bengalfackel schliesslich nicht zu zünden. Die Folgerung, das Verbringen dieser Fackel ins Stadion sei einzig darauf ausgerichtet gewesen, diese dort zu zünden, mithin im Sinne von <ref-law> zu Vergnügungszwecken zu verwenden, ist nicht willkürlich. Davon zeugt auch der vom Beschwerdeführer angeführte Umstand, es bestehe gemäss einem älteren Flyer der "Muttenzerkurve" die Möglichkeit, eine Bengale wieder aus dem Stadion hinauszunehmen, wenn es keinen Grund zum Abfeuern gebe. Da der Verwirklichungswille diesfalls lediglich von einem äusseren, vom Täter grundsätzlich nicht beeinflussbaren, Geschehen abhängig ist, wäre in diesem Fall der (Eventual-) Vorsatz ebenfalls zu bejahen.
Die vom Beschwerdeführer erwähnte Möglichkeit, er hätte auch nach dem Einlass ins Stadion noch von der Tatausführung absehen können, ist schliesslich ohne Relevanz, da nach Überschreiten des "point of no return" immer eine - wenn auch theoretische - Rücktrittsmöglichkeit besteht, die für die Strafbarkeit des Tatversuchs jedoch ohne Einfluss bleibt.
Ohne Belang ist schliesslich die Rüge, die Vorinstanz habe ihn zu Unrecht als Teil der Gruppe "Muttenzerkurve" bezeichnet, da sie nicht ausschliesslich auf den in der Gruppe gebildeten Tatentschluss, die Pyros während des Spiels zu verwenden, abstellt, sondern zu Recht auch dem Beschwerdeführer einen persönlichen individuellen Tatentschluss zuschreibt.
2. Die Beschwerde ist abzuweisen. Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Strafkammer, schriftlich mitgeteilt.
Lausanne, 14. Dezember 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Keller