Sachverhalt:
A. X._ fuhr am 18. September 2008 gegen 18.15 Uhr von Murg (SG) auf der Kerenzerbergstrasse nach Filzbach (GL). In Mühlehorn (GL) kollidierte er mit zwei entgegenkommenden Fahrzeugen.
B. Das Kantonsgericht Glarus sprach X._ mit Entscheid vom 30. April 2010 der einfachen Verletzung der Verkehrsregeln wegen Nichtanpassens der Geschwindigkeit an die konkreten Umstände sowie der groben Verletzung der Verkehrsregeln wegen Nichtbeherrschens des Fahrzeugs schuldig. Es auferlegte ihm eine bedingte Geldstrafe von zehn Tagessätzen zu Fr. 140.-- bei einer Probezeit von zwei Jahren sowie eine Busse in der Höhe von Fr. 500.--. Die Berufung von X._ betreffend den Schuldspruch der groben Verkehrsregelverletzung wies das Obergericht des Kantons Glarus mit Urteil vom 26. August 2011 ab. Ebenso wies es eine von der Staatsanwaltschaft des Kantons Glarus erhobene Anschlussappellation ab, soweit es diese zuliess.
C. X._ führt Beschwerde in Strafsachen. Er beantragt insbesondere, das Urteil des Obergerichts des Kantons Glarus sei aufzuheben, und er sei vom Vorwurf der groben Verletzung der Verkehrsregeln freizusprechen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
D. Das Obergericht und die Staatsanwaltschaft des Kantons Glarus haben auf Vernehmlassung verzichtet.

Erwägungen:
1. Der Beschwerdeführer macht eine willkürliche Sachverhaltsfeststellung geltend (<ref-law>; Beschwerde S. 5 ff.).
1.1 Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; vgl. auch Art. 105 Abs. 1 und 2 BGG). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 4.2 S. 234 mit Hinweisen; vgl. zum Begriff der Willkür <ref-ruling> E. 4.2 S. 560 mit Hinweisen).
Wird die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) gerügt, gelten qualifizierte Anforderungen an die Begründung. Eine solche Rüge prüft das Bundesgericht nicht von Amtes wegen, sondern nur, wenn sie in der Beschwerde vorgebracht und substanziiert begründet worden ist. Das bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-law>; <ref-ruling> E. 4.2.3 S. 5; <ref-ruling> E. 1.3.1 S. 68; je mit Hinweisen).
1.2 Unbestritten ist, dass das Fahrzeug des Beschwerdeführers einen entgegenkommenden Lieferwagen streifte, sich durch die Kollision um die eigene Achse drehte und in der Folge mit einem weiteren Personenwagen kollidierte, der auf der Gegenfahrbahn hinter dem Lieferwagen fuhr. Alle drei Fahrzeuge wurden beschädigt. Verletzt wurde niemand.
In tatsächlicher Hinsicht stellt die Vorinstanz, teilweise unter Hinweis auf die erstinstanzlichen Erwägungen, Folgendes fest: Die Kerenzerbergstrasse weise Kurven und unübersichtliche Stellen auf, und beim Unfallort handle es sich um eine unübersichtliche Kurve. Der Beschwerdeführer habe die Strecke gut gekannt. Die Fahrbahn sei im Unfallzeitpunkt nass gewesen. Trotzdem sei er (bei einer zulässigen Höchstgeschwindigkeit von 80 km/h) mit einer Geschwindigkeit von 80 bis 100 km/h gefahren. Gemäss dem wissenschaftlichen Dienst der Stadtpolizei Zürich bestünden keine konkreten Hinweise, dass der entgegenkommende Lieferwagen die Kurve geschnitten hätte. Da der Beschwerdeführer dem Geschehen auf der Strasse nicht die erforderliche Aufmerksamkeit geschenkt habe, sei er ab dem herannahenden Fahrzeug erschrocken und auf die linke Strassenseite geraten. Es stelle sich die Frage, ob sich der Unfall einzig auf Grund der unangepassten Geschwindigkeit ereignet habe oder ob andere Faktoren mitursächlich gewesen seien. Der Beschwerdeführer habe die signalisierte Höchstgeschwindigkeit ausgefahren, ohne den örtlichen und witterungsbedingten Gegebenheiten genügend Aufmerksamkeit zu schenken. Daraus sei zu schliessen, dass die Kollision nicht nur die Folge der unangepassten Geschwindigkeit sei (angefochtenes Urteil S. 5 ff.).
1.3 Der Beschwerdeführer rügt, aus den Akten lasse sich abgesehen von der übersetzten Geschwindigkeit kein Fehlverhalten herauslesen. Betreffend die nicht den Umständen angepasste Geschwindigkeit sei er rechtskräftig verurteilt worden. Entscheidend sei, weshalb er sein Fahrzeug nicht genügend beherrscht habe. Die Vorinstanz unterstelle ihm zu Unrecht, dem Geschehen auf der Strasse nicht die erforderliche Beachtung geschenkt zu haben. Es sei ihm auch bei höchster Aufmerksamkeit nicht möglich gewesen, das entgegenkommende Fahrzeug früher wahrzunehmen. Beim Anblick des Lieferwagens sei er sich bewusst gewesen, mit zu hoher Geschwindigkeit unterwegs zu sein. Deshalb sei er erschrocken. Eine allenfalls fehlende Unaufmerksamkeit (gemeint: Aufmerksamkeit) gründe sich einzig auf die unangepasste Geschwindigkeit. Anhaltspunkte für ein zusätzliches Fehlverhalten respektive für weitere Unfallursachen gingen aus den Akten nicht hervor. Deshalb stelle die Vorinstanz den massgeblichen Sachverhalt offensichtlich unrichtig fest (Beschwerde S. 5 ff.).
1.4 Die Vorinstanz wirft dem Beschwerdeführer mit folgenden Erwägungen mangelnde Aufmerksamkeit vor: "Wie vorstehend dargelegt, reizte der Angeklagte die signalisierte Höchstgeschwindigkeit aus und fuhr, ohne den örtlichen und witterungsbedingten Gegebenheiten genügende Aufmerksamkeit zu schenken, auf der Kerenzerbergstrasse von Murg Richtung Filzbach (vgl. Erw. V. Ziff. 3). Daraus erhellt, dass die Kollision eben gerade nicht nur Folge der unangepassten Geschwindigkeit ist, weshalb <ref-law> neben <ref-law> zur Anwendung gelangt" (angefochtener Entscheid S. 8 ff.).
Welches Mass der Aufmerksamkeit der Beschwerdeführer nach den konkreten Umständen hätte aufbringen müssen und inwiefern er sich unangemessen verhalten habe, legt die Vorinstanz nicht näher dar. Sie stellt nicht fest, worin die dem Beschwerdeführer vorgeworfene Unaufmerksamkeit, nebst der nicht angepassten Geschwindigkeit, im Einzelnen bestanden hätte. Insbesondere trifft sie keine Feststellungen darüber, wann der Beschwerdeführer den entgegenfahrenden Lieferwagen tatsächlich erkannte. Falls die Vorinstanz dem Beschwerdeführer zur Last legen sollte, den Lieferwagen schuldhaft nicht im frühestmöglichen Zeitpunkt erblickt zu haben, geht aus ihrem Entscheid nicht hervor, wann es ihm bei gebotener Aufmerksamkeit möglich gewesen wäre, den Gegenverkehr frühestens wahrzunehmen. Ebenso wenig legt sie dar, welche Umstände die Aufmerksamkeit des Beschwerdeführers eingeschränkt hätten. Beispielsweise stellt die Vorinstanz nicht fest, dass der Beschwerdeführer den Strassenverlauf nicht adäquat beobachtet respektive Verrichtungen im Sinne von Art. 3 Abs. 1 VRV vorgenommen hätte oder durch sonstige Umstände (für einen Augenblick oder während mehrerer Sekunden) abgelenkt gewesen wäre. Soweit der Beschwerdeführer betont, er hätte selbst bei voller Aufmerksamkeit den Lieferwagen nicht früher wahrnehmen können (Beschwerde S. 6), geht nichts Gegenteiliges aus den Akten hervor.
Zudem überzeugt nicht, was die Vorinstanz zu den Folgen seiner Unaufmerksamkeit erwägt. Diese habe bewirkt, dass der Beschwerdeführer infolge des Gegenverkehrs erschrocken sei. Auch diesbezüglich fehlen im angefochtenen Urteil jegliche Feststellungen darüber, ob und gegebenenfalls wie der Beschwerdeführer, bedingt durch das Erschrecken, sich unangemessen verhalten haben soll. Die Vorinstanz stellt nicht fest, der Beschwerdeführer habe zu spät oder unrichtig reagiert, fehlerhaft (beispielsweise zu stark) abgebremst, eine abrupte Lenkbewegung gemacht etc. Mithin weisen die tatsächlichen Feststellungen der Vorinstanz nicht auf eine konkrete Fehlreaktion hin.
Indem die Vorinstanz davon ausgeht, der Unfall sei nicht nur das Ergebnis einer unangepassten Geschwindigkeit gewesen, sondern auf eine Kette von kausalen Ereignissen zurückzuführen, gehen entsprechende Anhaltspunkte nach dem zutreffenden Dafürhalten des Beschwerdeführers nicht aus den vorinstanzlichen Akten hervor. Mithin stellt die Vorinstanz den Sachverhalt offensichtlich unrichtig fest. Die willkürliche Sachverhaltsfeststellung betrifft, wie noch zu zeigen ist (E. 2 nachfolgend), entscheidrelevante Sachverhaltselemente.
2. 2.1 Die einfache Verkehrsregelverletzung wird nach <ref-law> mit Busse bestraft. Nach <ref-law> wird mit Freiheitsstrafe bis zu drei Jahren oder Geldstrafe bestraft, wer durch grobe Verletzung der Verkehrsregeln eine ernstliche Gefahr für die Sicherheit anderer hervorruft oder in Kauf nimmt. Der Tatbestand ist nach der Rechtsprechung objektiv erfüllt, wenn der Täter eine wichtige Verkehrsvorschrift in objektiv schwerer Weise missachtet und die Verkehrssicherheit ernstlich gefährdet. Eine ernstliche Gefahr für die Sicherheit anderer ist nicht erst bei einer konkreten, sondern bereits bei einer erhöhten abstrakten Gefährdung gegeben. Wesentliches Kriterium für die Annahme einer erhöhten abstrakten Gefährdung ist die Nähe der Verwirklichung. Subjektiv erfordert der Tatbestand von <ref-law> nach der Rechtsprechung ein rücksichtsloses oder sonst schwerwiegend verkehrswidriges Verhalten, d.h. ein schweres Verschulden, bei fahrlässigem Handeln mindestens grobe Fahrlässigkeit (<ref-ruling> E. 3.2 S. 136 mit Hinweisen).
Gemäss <ref-law> hat der Lenker sein Fahrzeug ständig so zu beherrschen, dass er seinen Vorsichtspflichten nachkommen kann. Er muss seine Aufmerksamkeit der Strasse und dem Verkehr zuwenden (Art. 3 Abs. 1 der Verkehrsregelnverordnung vom 13. November 1962 [VRV; SR 741.11]). Das Mass der Aufmerksamkeit, das vom Fahrzeuglenker verlangt wird, beurteilt sich nach den gesamten Umständen, namentlich der Verkehrsdichte, den örtlichen Verhältnissen, der Zeit, der Sicht und den voraussehbaren Gefahrenquellen (<ref-ruling> E. 3.6 S. 295 mit Hinweis). Wenn er sein Augenmerk im Wesentlichen auf bestimmte Stellen zu richten hat, kann ihm für andere eine geringere Aufmerksamkeit zugebilligt werden (<ref-ruling> E. 3c S. 303 mit Hinweisen).
Zur Aufmerksamkeit gehört unter anderem die Berücksichtigung der eigenen Geschwindigkeit. Diese Pflicht ist in <ref-law> konkretisiert. Danach ist die Geschwindigkeit stets den Umständen anzupassen, namentlich den Besonderheiten von Fahrzeug und Ladung, sowie den Strassen-, Verkehrs- und Sichtverhältnissen.
<ref-law> ist lex specialis zu <ref-law>. Wenn die Nichtbeherrschung des Fahrzeugs einzig auf die übersetzte Geschwindigkeit zurückzuführen ist, so ist nur <ref-law> anzuwenden (<ref-ruling> E. 2 S. 76; <ref-ruling> E. 3 S. 146; Urteil 6S.12/1997 vom 27. März 1997 E. 1a mit Hinweisen; PHILIPPE WEISSENBERGER, Kommentar zum Strassenverkehrsgesetz, 2011, N. 15 zu Art. 31 und N. 4 zu <ref-law>; JÜRG BOLL, Grobe Verkehrsregelverletzung, 1999, S. 69; YVAN JEANNERET, Les dispositions pénales de la Loi sur la circulation routière (LCR), 2007, N. 90 zu <ref-law>; BUSSY/RUSCONI, Code suisse de la circulation routière, 3. Aufl. 1996, N. 1.1 zu <ref-law>). <ref-law> kommt als lex generalis nur zur Anwendung, wenn andere Erfordernisse der Fahrzeugbeherrschung als die eigene Fahrgeschwindigkeit in Frage stehen (BGE <ref-ruling> E. 3 S. 146). Idealkonkurrenz zwischen Art. 31 Abs. 1 und <ref-law> besteht, wenn ein Fahrzeuglenker zu schnell fährt und zu spät Massnahmen ergreift zur Abwendung eines drohenden Unfalls (<ref-ruling> E. 3 S. 20; Urteil 6S.295/1994 vom 4. Juli 1994 E. 3a).
2.2 Angesichts der nicht günstigen Strassenverhältnisse war der Beschwerdeführer zu schnell unterwegs. Indem er auf die linke Strassenseite geriet und mit zwei entgegenkommenden Fahrzeugen kollidierte, schuf er eine konkrete Gefahr. Das Kantonsgericht Glarus qualifizierte die nicht den Umständen angepasste Geschwindigkeit als einfache Verletzung der Verkehrsregeln im Sinne von <ref-law> in Verbindung mit <ref-law>. Dieser Schuldspruch ist in Rechtskraft erwachsen (vgl. angefochtener Entscheid S. 3 ff. und S. 9; vorinstanzliche Akten act. 43). Darauf ist nicht näher einzugehen.
Mit Blick auf die rechtskräftige Verurteilung des Beschwerdeführers wegen einfacher Verletzung der Verkehrsregeln im Sinne von <ref-law> in Verbindung mit <ref-law> setzte ein Schuldspruch wegen Nichtbeherrschens des Fahrzeugs im Sinne von <ref-law> nach den zutreffenden Erwägungen der Vorinstanz voraus, dass auch andere Erfordernisse der Fahrzeugbeherrschung als die eigene Fahrgeschwindigkeit nicht gegeben waren und entsprechende Faktoren zum Unfall führten. Soweit die Vorinstanz solche bejaht, verfällt sie in Willkür (E. 1 hievor). Damit erübrigt es sich, die weiteren Rügen (Beschwerde S. 7 f.) näher zu prüfen.
3. Die Beschwerde ist gutzuheissen, soweit darauf einzutreten ist. Der angefochtene Entscheid ist aufzuheben und die Sache zur neuen Beurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Bei diesem Ausgang des Verfahrens sind keine Kosten aufzuerlegen (<ref-law>). Der Kanton Glarus hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf eingetreten wird. Das Urteil des Obergerichts des Kantons Glarus vom 26. August 2011 wird aufgehoben und die Sache im Sinne der Erwägungen zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Glarus hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Glarus schriftlich mitgeteilt.
Lausanne, 2. Mai 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Schneider
Der Gerichtsschreiber: Faga