Sachverhalt: A. X._ (geb. 1975) und Y._ (geb. 1963) heirateten im Juni 1999 im Kanton Schwyz. Sie wurden Eltern einer Tochter (geb. 2004). Der Vater ist gebürtiger Tunesier und verfügt mittlerweile auch über die Staatsangehörigkeit der Schweiz. Die Mutter ist Schweizerin. Die gemeinsame Tochter ist tunesisch-schweizerische Doppelbürgerin. Die Ehegatten leben seit Herbst 2006 getrennt. Die Folgen des Getrenntlebens mussten gerichtlich geregelt werden (Entscheid des Bezirksgerichts Schwyz vom 8. Januar 2008 und Rekursentscheid des Kantonsgerichts Schwyz vom 13. Oktober 2008). B. B.a Am 13. November 2008 klagte Y._ auf Scheidung. Mit Urteil vom 18. August 2009 schied das Bezirksgericht Schwyz die Parteien und regelte die Nebenfolgen der Scheidung. Insbesondere stellte es die Tochter unter die elterliche Sorge der Mutter (Ziff. 2a des Dispositivs). Es gewährte dem Vater ein Besuchsrecht an jedem zweiten Wochenende von Samstag (10 Uhr) bis Sonntag (18 Uhr) sowie am 26. Dezember, Ostermontag und Pfingstmontag (jeweils von 10 bis 18 Uhr) und ein in der Schweiz auszuübendes Ferienrecht von jährlich zwei Mal einer Woche (Ziff. 2b des Dispositivs). Es verpflichtete X._, jeweils vor der Ausübung des Besuchs- und Ferienrechts seinen aktuellen schweizerischen und tunesischen Pass sowie den tunesischen Pass der Tochter während des Besuchs an Y._ zu übergeben (Ziff. 2c des Dispositivs). Zudem ordnete es eine Beistandschaft für das Kind an (Ziff. 2d des Dispositivs). B.b Die von X._ dagegen erhobene Berufung hiess das Kantonsgericht Schwyz mit Urteil vom 13. April 2010 teilweise gut, hob die Ziff. 2d (Beistandschaft) des bezirksgerichtlichen Urteils auf und änderte die Ziff. 2c dahingehend ab, als X._ anlässlich der nächsten Besuchsrechtsausübung ausschliesslich den tunesischen Pass der Tochter an Y._ gegen Quittung und zur dauernden Verwahrung zu übergeben hat. Im Übrigen wies es die Berufung ab, soweit sie nicht als durch Teilrückzug als erledigt abzuschreiben war. C. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner als Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde bezeichneten Eingabe vom 24. November 2010 die Aufhebung des kantonsgerichtlichen Urteils und sinngemäss die Einräumung eines Besuchsrechts jeweils von Freitag (18 Uhr) bis Sonntag (18 Uhr) sowie ein Ferienrecht während der Hälfte der Feiertage des Kantons Schwyz sowie während der Hälfte der Schulferien. Zudem sei das Besuchsrecht ohne Einschränkungen zu gewähren, also ohne die Verpflichtung zur Hinterlegung seines schweizerischen und tunesischen Passes beziehungsweise des tunesischen Passes der Tochter. Eventualiter verlangt er die Rückweisung der Sache an das Kantonsgericht zu neuer Beurteilung. Das Kantonsgericht hat die Akten zugestellt und verlangt in seiner Vernehmlassung vom 3. Februar 2011 - wie auch Y._ (nachfolgend Beschwerdegegnerin) in ihrer Vernehmlassung vom 21. Februar 2011 - die Abweisung der Beschwerde, soweit darauf einzutreten sei.