Sachverhalt:
A. Am 9. November 2006 entdeckte der Vater von Y._ eine "Chatunterhaltung" auf ihrem Computer, die sie am Vortag mit einer unbekannten Person geführt hatte. Darin erzählte sie, sie sei im Sommer 2005 durch K.O.-Tropfen gefügig gemacht und von acht Männern vergewaltigt worden. Der Vater meldete in der Folge der Polizei, Y._ sei von X._ und dessen Freunden mehrmals zum Geschlechtsverkehr sowie oralem Sex gezwungen worden. Diese Handlungen seien mit Handys gefilmt worden. Die polizeiliche Untersuchung förderte noch weitere Delikte zu Tage, die im vorliegenden Verfahren nicht mehr angefochten sind.
Das Beweisverfahren ergab gemäss Vorinstanz, dass X._ am 16. Juli 2005 im Rahmen einer Gruppenvergewaltigung ("Gang Bang") unter Anwesenheit mehrerer Kollegen Y._ vergewaltigt und zu weiteren sexuellen Handlungen wie Analverkehr genötigt hatte.
B. Das Bezirksstrafgericht Sense verurteilte X._ am 18. März 2008 wegen Vergewaltigung, sexueller Nötigung und versuchter Vergewaltigung, begangen am 16. Juli 2005 zum Nachteil von Y._; mehrfachen sexuellen Handlungen mit zwei Kindern, begangen zwischen Dezember 2005 und November 2006; sexueller Nötigung, begangen im April/Mai 2006; Förderung der Prostitution, begangen im Herbst 2006 sowie mehrfachen Fahrens in fahrunfähigem Zustand, begangen am 9. März 2007 und 3. Juni 2007, zu einer Freiheitsstrafe von 3 1⁄2 Jahren, teilweise als Zusatzstrafe zum Urteil des Untersuchungsrichteramtes III Bern-Mittelland vom 20. Oktober 2005. Zudem verpflichtete es X._, verschiedene Genugtuungszahlungen zu leisten. Das Verfahren wegen einfacher Körperverletzung stellte es ein.
C. Der Strafappellationshof des Kantons Freiburg wies am 17. September 2009 die Berufung von X._ ab und bestätigte das angefochtene Urteil.
X._ führte gegen das Urteil des Strafappellationshofs Beschwerde in Strafsachen. Das Bundesgericht hiess die Beschwerde am 13. Dezember 2010 gut und wies die Sache zur neuen Entscheidung an die Vorinstanz zurück.
D. Der Strafappellationshof des Kantons Freiburg wirft X._ in seinem Entscheid vom 5. März 2012 vor, Y._ am 16. Juli 2005 nach einvernehmlichem Geschlechtsverkehr mit zwei weiteren Personen festgehalten und im Rahmen einer Gruppenvergewaltigung ("Gang Bang") unter Anwesenheit mehrerer Kollegen zu vergewaltigen versucht sowie zu weiteren sexuellen Handlungen genötigt zu haben.
Der Strafappellationshof bestätigte die Schuldsprüche sowie die Genugtuungs- und Entschädigungszahlungen, sprach X._ aber vom Vorwurf der vollendeten Vergewaltigung frei. Er verurteilte ihn zu einer Freiheitsstrafe von 40 Monaten, teilweise als Zusatzstrafe zum Urteil des Untersuchungsrichteramtes III Bern-Mittelland vom 20. Oktober 2005.
E. X._ führt Beschwerde in Strafsachen. Er beantragt, das angefochtene Urteil sei aufzuheben, und er sei vom Vorwurf der versuchten Vergewaltigung sowie sexueller Nötigung, begangen am 16. Juli 2005 zum Nachteil von Y._, freizusprechen. Für die übrigen Anklagepunkte sei er zu einer bedingten Freiheitsstrafe von 18 Monaten, bei einer Probezeit von zwei Jahren, zu verurteilen. X._ verlangt die unentgeltliche Rechtspflege und Verbeiständung.
F. Das Kantonsgericht Freiburg beantragt sinngemäss, die Beschwerde sei abzuweisen. Die Staatsanwaltschaft des Kantons Freiburg und Y._ beantragen die Abweisung der Beschwerde, soweit darauf eingetreten werden könne.
Erwägungen:
1. 1.1 Der Beschwerdeführer macht geltend, die Vorinstanz habe den Grundsatz der Öffentlichkeit der Verhandlung verletzt (Art. 30 Abs. 3 BV, Art. 6 Ziff. 1 EMRK, Art. 69 f. StPO). Er rügt, die Vorinstanz habe keine Interessenabwägung vorgenommen und nicht begründet, weshalb sie die Öffentlichkeit von der Hauptverhandlung ausgeschlossen habe (Beschwerde, S. 6 ff.).
1.2 Die Vorinstanz erwähnt den Ausschluss der Öffentlichkeit im Rahmen der Hauptverhandlung nicht. Sie führt lediglich aus, dass die Verhandlung zur Urteilsberatung, die unter Ausschluss der Öffentlichkeit stattgefunden habe, unterbrochen worden sei (Urteil, S. 3). Im Protokoll zur Hauptverhandlung vom 17. Februar 2012 (S. 2) führt die Vorinstanz aus: "Die Sitzung wird um 08.50 Uhr im Saal des Kantonsgerichts in Freiburg eröffnet. Gemäss Art. 70 Abs. 1 lit. a StPO findet sie unter Ausschluss der Öffentlichkeit statt."
1.3 Nach Art. 69 Abs. 1 StPO sind die Verhandlungen vor dem erstinstanzlichen Gericht und dem Berufungsgericht sowie die mündliche Eröffnung von Urteilen und Beschlüssen dieser Gerichte mit Ausnahme der Beratung öffentlich. Gemäss Art. 70 StPO kann das Gericht die Öffentlichkeit von Gerichtsverhandlungen ganz oder teilweise ausschliessen, wenn schutzwürdige Interessen einer beteiligten Person, insbesondere des Opfers, dies erfordern (Abs. 1 lit. a). Das Gericht kann Gerichtsberichterstatterinnen und Gerichtsberichterstattern unter bestimmten Auflagen den Zutritt zur Verhandlung gestatten, die nach Absatz 1 nicht öffentlich sind (Abs. 3).
Jede Person hat gemäss Art. 6 Ziff. 1 EMRK das Recht darauf, dass über Streitigkeiten in Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen oder über eine gegen sie erhobene strafrechtliche Anklage von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren öffentlich und innerhalb angemessener Frist verhandelt wird. Die Öffentlichkeit der Gerichtsverhandlung stellt ein fundamentales Prinzip dar, das nicht nur für den Einzelnen bedeutend ist, sondern ebenso als Voraussetzung der Bevölkerung für das Vertrauen in das Funktionieren der Justiz erscheint (BGE 122 V 47 E. 2c; 121 I 30 E. 5d; Urteil 1C_457/2009 vom 23. Juni 2010 E. 3; je mit Hinweisen).
1.4 Das Bundesgericht setzte sich in seinem Rückweisungsentscheid ausführlich mit den Grundsätzen der Öffentlichkeit der Gerichtsverhandlung auseinander, worauf zu verweisen ist (Urteil 6B_1078/2009 vom 13. Dezember 2010 E. 2.3 und 2.4). Die am 1. Januar 2011 in Kraft getretene Schweizerische Strafprozessordnung ändert an diesen Überlegungen nichts. Neu wurden die Bestimmungen des Opferhilfegesetzes über den besonderen Schutz und die besonderen Rechte im Strafverfahren (aArt. 34-39 OHG) in die Strafprozessordnung integriert. Die im vorliegenden Zusammenhang interessierende Vorschrift von aArt. 35 lit. e OHG, wonach das Opfer von Straftaten gegen die sexuelle Integrität u.a. verlangen kann, dass das Gericht die Öffentlichkeit von den Verhandlungen ausschliesst, findet sich in abgeschwächter Form in Art. 70 Abs. 1 lit. a StPO wieder.
1.5 Wie schon unter dem Geltungsbereich des OHG hat der Richter gestützt auf den in Art. 6 Ziff. 1 EMRK, Art. 30 Abs. 3 BV und in Art. 69 Abs. 1 StPO vorgesehenen Anspruch auf Öffentlichkeit der Gerichtsverhandlung eine Interessenabwägung mit den verschiedenen Interessen des Opfers, des Beschuldigten sowie des Publikums und der Presse vorzunehmen (PASCAL MAHON, Commentaire Romand, Code de procédure pénale suisse, Art. 70 N. 7 ff.; URS SAXER/SIMON THURNHEER, Basler Kommentar StPO, Art. 70 N. 8 ff.; Botschaft zur Vereinheitlichung des Strafprozessrechts vom 21. Dezember 2005, BBl 2006 1085, S. 1153). Der Ausschluss der Öffentlichkeit muss verhältnismässig, das heisst geeignet und erforderlich sein. Zudem muss ein angemessenes Verhältnis zwischen den Gründen für den Ausschluss der Öffentlichkeit und dem Interesse an der öffentlichen Verhandlung bestehen (Urteil 1C_332/2008 vom 15. Dezember 2008 E. 3.1 mit Hinweisen auf die Rechtsprechung des EGMR). Ein grundsätzlicher Ausschluss der Publikumsöffentlichkeit verletzt Art. 6 Ziff. 1 EMRK (so auch SUSANNE SCHAFFNER-HESS in: Peter Gomm/Dominik Zehntner, Kommentar zum Opferhilfegesetz, 3. Aufl. 2009, Art. 35 N. 17; MARK E. VILLIGER, Handbuch der Europäischen Menschenrechtskonvention, 2. Aufl. 1999, N. 449).
1.6 Das Bundesgericht verneinte im Rückweisungsentscheid einen Anspruch des Beschwerdeführers auf Durchführung einer öffentlichen Hauptverhandlung einzig deshalb, weil dieser es unterlassen hatte, im Vorfeld oder anlässlich der vorinstanzlichen Verhandlung ein entsprechendes Begehren zu stellen. Es erwähnte zudem ausdrücklich die richterliche Pflicht, bei Ausschluss der Öffentlichkeit eine Interessenabwägung vorzunehmen (Urteil 6B_1078/2009 vom 13. Dezember 2010 E. 2.5). Im Rückweisungsverfahren stellte der Beschwerdeführer am 28. Oktober 2011 den begründeten Antrag auf Durchführung einer publikumsöffentlichen Hauptverhandlung (Beschwerdebeilage 18). Die Vorinstanz hielt mit Schreiben vom 17. Januar 2012 an die Parteien (Beschwerdebeilage 19) ohne weitere Ausführungen fest, dass sie entschieden habe, die Öffentlichkeit vom Verfahren auszuschliessen. Sie räumt in ihrer Vernehmlassungsantwort vom 12. November 2012 (act. 13) denn auch ein, dass sie den Entscheid zur Frage nach dem Ausschluss der Öffentlichkeit nicht näher begründet habe. Sie erwähnt weiter, dass eine Interessenabwägung recht klar zu Gunsten des Opfers ausgefallen wäre. Die Vorinstanz verkennt damit, dass bei korrekter Interessenabwägung (wie oben E. 1.4 erwähnt) nicht nur die Interessen des Opfers, des Beschuldigten und allenfalls anderer Verfahrensbeteiligter, sondern auch diejenigen der Öffentlichkeit im Allgemeinen einzubeziehen sind.
1.7 Die Vorinstanz verletzt Art. 30 Abs. 3 BV und Art. 6 Ziff. 1 EMRK (Öffentlichkeit der Verhandlung) sowie den Anspruch des Beschwerdeführers auf rechtliches Gehör (Art. 29 Abs. 2 BV), wenn sie die Öffentlichkeit ohne Interessenabwägung von der Hauptverhandlung ausschliesst und die bestehenden Möglichkeiten, etwa lediglich der akkreditierten Presse Zutritt zur Verhandlung oder zu einzelnen Verfahrensabschnitten zu gewähren, nicht prüft bzw. begründet.
Da der Anspruch gemäss Art. 6 Abs. 1 EMRK formeller Natur ist, führt die Gutheissung der Rüge zur Aufhebung des angefochtenen Entscheids (BGE 121 I 30 E. 5j). Der Mangel lässt sich im vorliegenden Verfahren nicht beheben. Auf die weiteren Rügen des Beschwerdeführers ist bei dieser Sachlage nicht einzugehen.
2. Die Beschwerde ist gutzuheissen. Der Entscheid des Strafappellationshofs des Kantons Freiburg vom 5. März 2012 ist aufzuheben und die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Bei diesem Ausgang des Verfahrens sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 i.V.m. Abs. 4 BGG). Der Kanton Freiburg hat dem Beschwerdeführer eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG). Da der Beschwerdeführer obsiegt, wird sein Gesuch um unentgeltliche Rechtspflege und Verbeiständung gegenstandslos.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Strafappellationshofs des Kantons Freiburg vom 5. März 2012 wird aufgehoben und die Sache zur neuen Beurteilung an die Vorinstanz zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Freiburg hat dem Beschwerdeführer eine Parteientschädigung von Fr. 3'000.-- auszurichten.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht Freiburg, Strafappellationshof, schriftlich mitgeteilt.
Lausanne, 28. Februar 2013
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Keller