Sachverhalt:
A. A.a Das Bezirksgericht Dielsdorf verurteilte X._ am 2. Juli 2010 wegen Verletzung des Geheim- oder Privatbereichs durch Aufnahmegeräte (Art. 179quater Abs. 1 und 3 StGB) und Pornografie (Art. 197 Ziff. 3 StGB) zu einer bedingten Geldstrafe von 270 Tagessätzen zu Fr. 90.--. Von den Vorwürfen der Schändung, der sexuellen Nötigung und der versuchten Nötigung sprach es ihn frei.
A.b Gegen dieses Urteil legte die Staatsanwaltschaft Berufung ein. Das Obergericht des Kantons Zürich nahm am 14. Oktober 2011 von der Rechtskraft der erstinstanzlichen Schuldsprüche Vormerk. Es erklärte X._ zusätzlich der sexuellen Nötigung (Art. 189 Abs. 1 StGB) und der versuchten Nötigung (Art. 181 i.V.m. Art. 22 Abs. 1 StGB) schuldig und bestätigte den Freispruch vom Vorwurf der Schändung. Es verurteilte ihn zu einer bedingten Geldstrafe von 270 Tagessätzen zu Fr. 60.--.
Das Obergericht hält u.a. folgenden Sachverhalt für erwiesen:
A._, X._ und B._ trafen am 17. Mai 2009 um ca. 7 Uhr mit C._ in der Wohnung von B._s Bruder in Regensdorf ein. Dort schlief C._ kurze Zeit später auf dem Sofa im Wohnzimmer ein. A._ zog der auf dem Sofa liegenden C._ die Hose und Unterhose aus, küsste respektive leckte in Anwesenheit von X._ und B._ an deren Vagina und drang mit den Fingern, später mit einer Banane und anschliessend auch mit einer Karotte darin ein. X._ und B._ filmten sämtliche sexuellen Handlungen an C._ mit ihren Mobiltelefonen respektive Fotokameras. A._ liess von C._ ab, als sie erwachte und sich zu wehren begann.
Im Anschluss an diese Ereignisse begab sich C._ in das Badezimmer. X._ folgte ihr, umarmte sie, zog sie an sich und umfasste sie kräftig mit beiden Armen. Er drohte ihr, er werde sie zusammenschlagen, wenn sie jemandem vom Vorgefallenen erzähle. C._ erschrak darüber so sehr, dass sie erst ca. einen Monat danach wagte, ihrer Kollegin davon zu berichten.
C._ forderte X._ auf, die auf seinem Mobiltelefon von ihr gemachten Filme über die vorangegangenen sexuellen Handlungen zu löschen. X._ entgegnete ihr, dies nur zu tun, wenn sie ihm gebe, was er wolle. Dabei drückte er sie mit Gewalt gegen die Heizung des Badezimmers, küsste sie teils mit der Zunge und griff sie im Intimbereich zwischen den Beinen über den Kleidern aus, obwohl sie sich dagegen wehrte.
B. X._ führt Beschwerde in Strafsachen mit den Anträgen, das Urteil vom 14. Oktober 2011 aufzuheben, ihn vom Vorwurf der sexuellen Nötigung und der versuchten Nötigung freizusprechen und ihm für die erlittene Untersuchungshaft eine Entschädigung von Fr. 18'000.-- sowie eine Genugtuung von Fr. 19'600.-- zuzusprechen. Eventualiter sei die Sache zur Neubeurteilung im Sinne der Hauptanträge an die Vorinstanz zurückzuweisen. Er ersucht um unentgeltliche Rechtspflege und Verbeiständung.
C. Die Beschwerde der Staatsanwaltschaft gegen das Urteil des Obergerichts des Kantons Zürich vom 14. Oktober 2011 bildet Gegenstand des Verfahrens 6B_128/2012.
Erwägungen:
1. 1.1 Der Beschwerdeführer rügt eine Verletzung des Willkürverbots (Art. 9 BV) und des Grundsatzes in dubio pro reo. Die Vorinstanz habe ihn gestützt auf eine willkürliche Sachverhaltsfeststellung der sexuellen Nötigung und der versuchten Nötigung schuldig gesprochen. Er anerkennt, der Geschädigten in das Badezimmer gefolgt zu sein. Dort soll es aber nicht zu den von dieser geschilderten Handlungen und Gesprächen gekommen sein. Weder A._ noch B._ hätten Aussagen gemacht, die auf ein deliktisches Geschehen im Badezimmer hindeuten würden. Er sei einzig gestützt auf die unglaubhaften Angaben der Geschädigten verurteilt worden. Die Vorinstanz habe die Geschädigte hinsichtlich der Geschehnisse im Badezimmer keiner Glaubwürdigkeitsprüfung unterzogen, sondern verweise diesbezüglich auf die Erwägungen zum Schändungsvorwurf, was unzulässig sei. Sie setzte sich weiter nicht mit der Frage auseinander, ob deren Aussagen mit dem Gesamtgeschehen in Einklang gebracht werden können, d.h. ob plausibel sei, dass sie nach dem Erlebten noch längere Zeit freiwillig in der fraglichen Wohnung verblieb.
1.2 Die Sachverhaltsfeststellung der Vorinstanz kann nur gerügt werden, wenn sie willkürlich (Art. 9 BV) ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE 134 IV 36 E. 1.4.1). Dem vom Beschwerdeführer angerufenen Grundsatz in dubio pro reo kommt in seiner Funktion als Beweiswürdigungsregel im Verfahren vor dem Bundesgericht keine über das Willkürverbot von Art. 9 BV hinausgehende Bedeutung zu (BGE 127 I 38 E. 2a; 124 IV 86 E. 2a; je mit Hinweisen).
Willkür bei der Beweiswürdigung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist oder mit der tatsächlichen Situation in klarem Widerspruch steht. Dass eine andere Lösung oder Würdigung ebenfalls vertretbar oder gar zutreffender erscheint, genügt für die Annahme von Willkür nicht (BGE 137 I 1 E. 2.4; 134 I 140 E. 5.4; je mit Hinweisen). Die Rüge der Willkür muss präzise vorgebracht und begründet werden (Art. 106 Abs. 2 BGG). In der Beschwerde muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet. Auf eine rein appellatorische Kritik am angefochtenen Urteil tritt das Bundesgericht nicht ein (BGE 137 IV 1 E. 4.2.3; 136 II 489 E. 2.8; je mit Hinweisen).
1.3 Die Vorinstanz würdigt die Aussagen sämtlicher Anwesender. Der Beschwerdeführer gab u.a. an, er habe die Geschädigte im Badezimmer beruhigen wollen, da sie in einem Schockzustand und hässig gewesen sei. Sie habe ihn gebeten, das Video zu löschen, was er ihr versprochen, aber nicht gemacht habe. Es sei zu keinen sexuellen Handlungen gekommen, da er eine Freundin habe und diese eine gute Freundin der Geschädigten sei (Urteil S. 60).
A._ gab demgegenüber an, B._ habe versucht, durch das Schlüsselloch zu schauen, und ihm gesagt, der Beschwerdeführer versuche, die Geschädigte zu küssen. Die Geschädigte habe im Badezimmer geweint. Die beiden seien mehr als zehn Minuten im Bad gewesen. Er könne sich vorstellen, dass der Beschwerdeführer etwas gesagt habe, das sie als Bedrohung empfunden habe. Dieser habe einige Tage später auch ihm gegenüber erwähnt, er würde die Geschädigte schlagen oder umbringen, falls sie mit jemandem über das Vorgefallene spreche. Sie hätten Angst gehabt, dass es zu einer Anzeige bei der Polizei kommen könnte (Urteil S. 61).
Die Vorinstanz erachtet die Aussagen von A._ als glaubhaft (Urteil S. 64). Die Geschädigte habe die Vorgänge im Badezimmer gleichbleibend und detailliert beschrieben. Ihre Aussagen würden inhaltlich im Wesentlichen durch diejenigen von A._ gestützt, weshalb darauf abgestellt werden könne (Urteil E. 6.4.3.1 S. 65 f.). Die Ausführungen des Beschwerdeführers seien interessengebunden und nicht stimmig. Gemäss seinen Aussagen sei die Geschädigte mit den ganzen sexuellen Handlungen einverstanden gewesen. Wäre dem so gewesen, leuchte nicht ein, weshalb sie anschliessend unter Schock gestanden und hässig gewesen sei (Urteil S. 65).
1.4 Die Erwägungen der Vorinstanz lassen keine Willkür erkennen. Der Beschwerdeführer setzt sich damit auch nicht näher auseinander, sondern behauptet pauschal, seinen Aussagen sei Glauben zu schenken, während die Geschädigte unglaubwürdig sei. Auf die rein appellatorische Kritik an der vorinstanzlichen Beweiswürdigung ist nicht einzutreten.
2. Nicht einzutreten ist auf die Anträge betreffend die Entschädigungs- und Genugtuungsbegehren, da der Beschwerdeführer diese nur für den Fall des Obsiegens im Schuldpunkt stellt.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist infolge Aussichtslosigkeit der Beschwerde und mangels Bedürftigkeit des Beschwerdeführers abzuweisen (Art. 64 Abs. 1 und 2 BGG). Der Beschwerdeführer verfügt über ein Bruttoeinkommen von Fr. 4'500.-- pro Monat. Besondere Auslagen macht er nicht geltend. Er kann daher nicht als bedürftig gelten.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 21. Juni 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Unseld