Sachverhalt: A. X._ fuhr am 18. September 2008 gegen 18.15 Uhr von Murg (SG) auf der Kerenzerbergstrasse nach Filzbach (GL). In Mühlehorn (GL) kollidierte er mit zwei entgegenkommenden Fahrzeugen. B. Das Kantonsgericht Glarus sprach X._ mit Entscheid vom 30. April 2010 der einfachen Verletzung der Verkehrsregeln wegen Nichtanpassens der Geschwindigkeit an die konkreten Umstände sowie der groben Verletzung der Verkehrsregeln wegen Nichtbeherrschens des Fahrzeugs schuldig. Es auferlegte ihm eine bedingte Geldstrafe von zehn Tagessätzen zu Fr. 140.-- bei einer Probezeit von zwei Jahren sowie eine Busse in der Höhe von Fr. 500.--. Die Berufung von X._ betreffend den Schuldspruch der groben Verkehrsregelverletzung wies das Obergericht des Kantons Glarus mit Urteil vom 26. August 2011 ab. Ebenso wies es eine von der Staatsanwaltschaft des Kantons Glarus erhobene Anschlussappellation ab, soweit es diese zuliess. C. X._ führt Beschwerde in Strafsachen. Er beantragt insbesondere, das Urteil des Obergerichts des Kantons Glarus sei aufzuheben, und er sei vom Vorwurf der groben Verletzung der Verkehrsregeln freizusprechen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. D. Das Obergericht und die Staatsanwaltschaft des Kantons Glarus haben auf Vernehmlassung verzichtet.