Sachverhalt:
A. X._ hielt am 17. Mai 2009 in der Scheune eines Bauernhofs in Dürnten A._ während mindestens 20 Minuten an einem und zeitweise an beiden Handgelenken fest. Er zwang sie dadurch, gegen ihren Willen bis zum Eintreffen der Polizei in der Scheune zu verweilen.
B. Das Obergericht des Kantons Zürich sprach X._ mit Urteil vom 5. November 2010 zweitinstanzlich der Nötigung schuldig und verurteilte ihn zu einer bedingt vollziehbaren Geldstrafe von 10 Tagessätzen zu Fr. 160.--.
C. Mit Beschwerde in Strafsachen beantragt X._, das Urteil des Obergerichts sei aufzuheben, und er sei vom Vorwurf der Nötigung freizusprechen. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Erwägungen:
1. Die Beschwerde richtet sich gegen den Schuldspruch der Nötigung (Art. 181 StGB). Unbestritten ist, dass der Beschwerdeführer die Geschädigte gezwungen hat, in der Scheune zu verweilen, und durch dieses Verhalten den objektiven Tatbestand der Nötigung erfüllt hat (s. angefochtenes Urteil E. II. 3a S. 5). Der Beschwerdeführer rügt in erster Linie, die Vorinstanz stelle den Sachverhalt offensichtlich unrichtig fest und verletze Bundesrecht, indem sie die Nötigung als rechtswidrig qualifiziere. Er beruft sich auf zwei Rechtfertigungsgründe:
Jeder Besitzer darf sich verbotener Eigenmacht mit Gewalt erwehren (Art. 926 Abs. 1 ZGB i.V. m. Art. 14 StGB).
Nach § 55 Abs. 1 Ziff. 1 der Strafprozessordnung des Kantons Zürich vom 4. Mai 1919 (StPO/ZH, aufgehoben am 1. Januar 2011) i.V.m. Art. 14 StGB ist jeder Private berechtigt, eine Person zu ergreifen, die in seiner Gegenwart ein Verbrechen oder Vergehen verübt hat. Die am 1. Januar 2011 in Kraft getretene Schweizerische Strafprozessordnung (StPO; SR 312.0) gelangt noch nicht zur Anwendung (Art. 453 Abs. 1 StPO).
1.1 Die Vorinstanz erwägt, der Beschwerdeführer sei als Besitzer der Scheune berechtigt gewesen, sich mit verhältnismässiger Gewalt gegen den unbefugten Aufenthalt der Geschädigten zu wehren. Diese habe ihn rein durch ihre physische Präsenz gestört. Es gebe keine Hinweise darauf, dass sie Gegenstände hätte behändigen oder beschädigen wollen. Die Anwendung von Gewalt sei zur Erlangung des ungestörten Besitzes nicht notwendig gewesen. Er hätte die Geschädigte freilassen können, ohne dass es zu einer Verschlechterung der Situation gekommen wäre. Das Festhalten sei insofern keine geeignete Massnahme gewesen, um den unberührten Besitz wieder herzustellen. Dazu hätte er die Geschädigte aus der Scheune führen oder, falls sie dies verweigert hätte, die Polizei rufen können.
Weiter könne sich der Beschwerdeführer grundsätzlich auf das private Festhalterecht berufen, da die Geschädigte einen Hausfriedensbruch und somit ein Vergehen begangen habe. Er habe die Geschädigte zur Beweissicherung festgehalten. Zu diesem Zweck sei eine Festnahme nicht notwendig gewesen. Er habe die Personalien der Geschädigten gekannt, und zwei Zeugen hätten ihr deliktisches Verhalten beobachtet. Zu berücksichtigen sei zudem, dass eine Festnahme einen massiven Eingriff in die persönliche Freiheit der betroffenen Person darstelle. Von der Geschädigten sei keine Gefahr ausgegangen, und es habe nicht die Notwendigkeit der raschen Festnahme eines Tatverdächtigen bestanden. Unter diesem Blickwinkel sei das Festhalten während mindestens 20 Minuten unverhältnismässig gewesen (angefochtenes Urteil E. II. 4. S. 6 ff.).
1.2 Der Beschwerdeführer bringt vor, die Vorinstanz stelle den Sachverhalt unvollständig und somit willkürlich fest. Indem sie nicht auf die von ihm vorgebrachten relevanten Sachverhaltsfeststellungen eingehe, welche sein Handeln erklären und rechtfertigen würden, verletze sie seinen Anspruch auf rechtliches Gehör. Die Vorinstanz stelle aktenwidrig fest, dass von der Geschädigten keine weitere Gefahr ausgegangen sei. Diese habe sich von Anfang an aggressiv verhalten. Sie habe mit den Armen auf ihn losgeschlagen und versucht, ihn mit den Füssen zu treten. Es habe die Gefahr bestanden, dass sie ihn angreife oder einen Sachschaden verursache. Das Festhalten sei somit geeignet gewesen, die Besitzesstörung zu minimieren. Er habe die Geschädigte mehrfach erfolglos aufgefordert, die Scheune zu verlassen. Den Versuch, sie aus der Scheune heraus zu führen, hätte zweifellos zu einer gewalttätigen Auseinandersetzung geführt. Als sie die Polizei angerufen habe, habe er sich entschieden, sie bis zu derem baldigen Eintreffen festzuhalten. Die Vorinstanz stelle überspitzte Anforderungen an die Rechtfertigungsgründe und vernachlässige die konkreten Umstände. Das private Festnahmerecht werde durch die Möglichkeit, die Begehung einer Tat allenfalls später mit Zeugen zu beweisen, nicht aufgehoben. Das Festhalten der Geschädigten am Arm sei das mildeste Mittel und somit verhältnismässig gewesen. Indem die Vorinstanz das Fehlverhalten der Geschädigten ausblende, würdige sie die Schwere des Eingriffs in deren persönliche Freiheit in einseitiger Weise.
1.3 Was der Beschwerdeführer gegen die tatsächlichen Feststellungen der Vorinstanz vorbringt, ist nicht geeignet, die Verletzung von verfassungsmässigen Rechten zu begründen. Die Vorinstanz setzt sich mit den wesentlichen Vorbringen des Beschwerdeführers auseinander und wahrt demnach seinen Anspruch auf rechtliches Gehör (vgl. BGE 136 V 351 E. 4.2 S. 355 mit Hinweis). Sie führt zum näheren Ablauf aus, es habe keine über die physische Präsenz der Geschädigten hinausgehende Gefahr bestanden. Der Beschwerdeführer habe erst später angegeben, durch das Festhalten der Geschädigten habe er auch verhindern wollen, dass sie einen Gegenstand beschädigen oder entwenden könne. Diese nachgeschobene Behauptung überzeuge nicht (angefochtenes Urteil E. II. 4 S. 7). Der Beschwerdeführer bringt vor, die Geschädigte habe sich aggressiv verhalten, und er habe sie nicht nur zum Zweck der Beweissicherung festgehalten. Damit stellt er den vorinstanzlichen Erwägungen seine eigene Sicht der Dinge gegenüber, ohne darzulegen, inwieweit die Vorinstanz den Sachverhalt offensichtlich unrichtig bzw. willkürlich festgestellt haben soll. Auf seine appellatorische Kritik am angefochtenen Urteil ist nicht einzutreten (Art. 106 Abs. 2 BGG; BGE 137 IV 1 E. 4.2.3 S. 5; 136 I 65 E. 1.3.1 S. 68; je mit Hinweisen).
1.4 Der Beschwerdeführer hatte sich bei der Ausübung des Besitzesschutzes jeder nach den Umständen nicht gerechtfertigten Gewalt zu enthalten (Art. 926 Abs. 3 ZGB). Seine Handlung musste demzufolge erforderlich sein, um den angestrebten Erfolg - die Abwehr der Besitzesstörung - herbeizuführen (Urteil 6S.5/2004 vom 21. Mai 2004 E. 2). Nach den verbindlichen tatsächlichen Feststellungen der Vorinstanz (Art. 105 Abs. 1 BGG) störte zwar die Geschädigte den Besitz des Beschwerdeführers durch ihren unerlaubten Aufenthalt in der Scheune, wobei aber keine weitere Gefahr von ihr ausging. Gestützt auf diese Feststellung folgert die Vorinstanz zu Recht, dass das Festhalten der Geschädigten zur Beseitigung ihres unbefugten Aufenthalts in der Scheune weder geeignet noch erforderlich war. Der Beschwerdeführer verhielt sich unverhältnismässig. Er kann sich folglich nicht auf den Rechtfertigungsgrund von Art. 926 ZGB i.V.m. Art. 14 StGB berufen.
1.5 Die Bestimmung des privaten Festhalterechts nach § 55 StPO/ ZH bildet die gesetzliche Grundlage für die Einschränkung der Bewegungsfreiheit des dringend Tatverdächtigen bzw. Angeschuldigten durch Privatpersonen. Das Recht zur Ergreifung wird durch den Grundsatz der Verhältnismässigkeit, insbesondere das Prinzip der Subsidiarität, relativiert. Beispielsweise besteht kein uneingeschränktes Recht, jeden Fahrzeuglenker, welcher bei der Begehung eines Vergehens im Strassenverkehr beobachtet wird, zu ergreifen und der Polizei zu übergeben, da es für die Zwecke der Strafverfolgung regelmässig ausreicht, wenn die Kontrollschildnummer notiert und die Person des Lenkers beschrieben wird (vgl. DONATSCH/SCHMID, Kommentar zur Strafprozessordnung des Kantons Zürich, N. 2 und 10 zu § 55; vgl. auch Art. 218 Abs. 2 i.V.m. Art. 200 StPO). Gemäss verbindlicher Feststellung der Vorinstanz (Art. 105 Abs. 1 BGG) hielt der Beschwerdeführer die Geschädigte zur Beweissicherung fest. Aufgrund seiner Kenntnisse um die Personalien der Geschädigten sowie der Anwesenheit von zwei Zeugen war das Festhalten zur Erreichung dieses Zwecks weder erforderlich noch stand es in einem vernünftigen Verhältnis zum Eingriff in die persönliche Freiheit der Geschädigten (Art. 10 Abs. 2 BV i.V.m. Art. 36 Abs. 3 BV). Die Vorinstanz verneint zu Recht den Rechtfertigungsgrund von § 55 StPO/ZH i.V.m. Art. 14 StGB.
2. Der Beschwerdeführer beruft sich eventualiter auf Verbotsirrtum.
2.1 Wer bei Begehung der Tat nicht weiss und nicht wissen kann, dass er sich rechtswidrig verhält, handelt nicht schuldhaft. War der Irrtum vermeidbar, so mildert das Gericht die Strafe (Art. 21 StGB).
Im Falle des Verbotsirrtums handelt der Täter in Kenntnis aller Tatumstände, d.h. vorsätzlich, er hält aber sein Tun versehentlich für erlaubt. Der Irrtum bezieht sich auf die Rechtswidrigkeit der konkreten Tat (BGE 129 IV 238 E. 3.1 S. 241 mit Hinweisen).
2.2 Die Vorinstanz erwägt, es sei allgemein bekannt, dass man eine Person nicht der Bewegungsfreiheit beraube, sie weder einsperre noch festhalte. Der Beschwerdeführer hätte zumindest an der Rechtmässigkeit seines Vorgehens, welches sich höchstens bei Bestehen einer absoluten Extremsituation rechtfertigen lasse, zweifeln müssen. Es habe ihm klar sein müssen, dass er die Geschädigte in der Bewegungsfreiheit einschränke, und es sich dabei um einen schwerwiegenden Eingriff handle. Der Beschwerdeführer habe somit schuldhaft gehandelt (angefochtenes Urteil E. II. 5. S. 11).
2.3 Der Beschwerdeführer wendet ein, er wisse, dass man eine Person nicht während 20 Minuten festhalten dürfe. Es sei jedoch allgemein bekannt, dass ein auf frischer Tat ertappter Täter bis zum Eintreffen der Polizei festgehalten werden dürfe. Sein Irrtum beziehe sich auf die Verhältnismässigkeit der Rechtfertigungsgründe des Besitzesschutzes bzw. des privaten Festhalterechts. Aufgrund des Hausfriedensbruchs der Geschädigten habe eine ausserordentliche Situation vorgelegen, und er habe damit gerechnet, dass die Polizei innert kurzer Zeit erscheine. Unter den konkreten Umständen habe er der Auffassung sein dürfen, sein Vorgehen sei gerechtfertigt. Da er keine Zeit zur Abklärung der Rechtslage gehabt habe, sei sein Irrtum unvermeidbar gewesen.
2.4 Indem der Beschwerdeführer vorbringt, die Grenzen der Rechtfertigungsgründe verkannt zu haben, beruft er sich darauf, einem sog. "indirekten" Verbotsirrtum unterlegen zu sein. Für die Beurteilung gelten die gleichen Regeln wie beim "direkten" Verbotsirrtum (vgl. KURT SEELMANN, Strafrecht Allgemeiner Teil, 4. Aufl. 2008, S. 83; GUIDO JENNY, in: Basler Kommentar, Strafrecht I, 2. Aufl. 2007, N. 8 zu Art. 21 StGB; GÜNTER STRATENWERTH, Schweizerisches Strafrecht, AT 1, 3. Aufl. 2005, § 11 N. 49; Urteil 6B_430/2007 vom 17. März 2007 E. 5.5). Die Vorinstanz bringt in ihren Erwägungen zum Ausdruck, der Irrtum des Beschwerdeführers sei vermeidbar gewesen. Dies ist nicht zu beanstanden. Die Regelung des Verbotsirrtums beruht auf dem Gedanken, dass sich der Rechtsunterworfene um die Kenntnis der Gesetze zu bemühen hat und deren Unkenntnis nur in besonderen Fällen vor Strafe schützt (BGE 129 IV 238 E. 3.1 S. 241 mit Hinweisen). In diesem Sinn gilt ein Verbotsirrtum nach der Rechtsprechung in der Regel unter anderem als vermeidbar, wenn der Täter selbst an der Rechtmässigkeit seines Handelns zweifelte oder hätte Zweifel haben müssen oder wenn er weiss, dass eine rechtliche Regelung besteht, er sich über deren Inhalt und Reichweite aber nicht genügend informiert (BGE 129 IV 6 E. 4.1 S. 18; 120 IV 208 E. 5b S. 215; je mit Hinweisen).
Der vorinstanzliche Schuldspruch der Nötigung verstösst nicht gegen Bundesrecht.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 12. Juli 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Mathys Binz