Sachverhalt:
A. X._ (geb. 1975) und Y._ (geb. 1963) heirateten im Juni 1999 im Kanton Schwyz. Sie wurden Eltern einer Tochter (geb. 2004). Der Vater ist gebürtiger Tunesier und verfügt mittlerweile auch über die Staatsangehörigkeit der Schweiz. Die Mutter ist Schweizerin. Die gemeinsame Tochter ist tunesisch-schweizerische Doppelbürgerin.
Die Ehegatten leben seit Herbst 2006 getrennt. Die Folgen des Getrenntlebens mussten gerichtlich geregelt werden (Entscheid des Bezirksgerichts Schwyz vom 8. Januar 2008 und Rekursentscheid des Kantonsgerichts Schwyz vom 13. Oktober 2008).
B. B.a Am 13. November 2008 klagte Y._ auf Scheidung. Mit Urteil vom 18. August 2009 schied das Bezirksgericht Schwyz die Parteien und regelte die Nebenfolgen der Scheidung.
Insbesondere stellte es die Tochter unter die elterliche Sorge der Mutter (Ziff. 2a des Dispositivs). Es gewährte dem Vater ein Besuchsrecht an jedem zweiten Wochenende von Samstag (10 Uhr) bis Sonntag (18 Uhr) sowie am 26. Dezember, Ostermontag und Pfingstmontag (jeweils von 10 bis 18 Uhr) und ein in der Schweiz auszuübendes Ferienrecht von jährlich zwei Mal einer Woche (Ziff. 2b des Dispositivs). Es verpflichtete X._, jeweils vor der Ausübung des Besuchs- und Ferienrechts seinen aktuellen schweizerischen und tunesischen Pass sowie den tunesischen Pass der Tochter während des Besuchs an Y._ zu übergeben (Ziff. 2c des Dispositivs). Zudem ordnete es eine Beistandschaft für das Kind an (Ziff. 2d des Dispositivs).
B.b Die von X._ dagegen erhobene Berufung hiess das Kantonsgericht Schwyz mit Urteil vom 13. April 2010 teilweise gut, hob die Ziff. 2d (Beistandschaft) des bezirksgerichtlichen Urteils auf und änderte die Ziff. 2c dahingehend ab, als X._ anlässlich der nächsten Besuchsrechtsausübung ausschliesslich den tunesischen Pass der Tochter an Y._ gegen Quittung und zur dauernden Verwahrung zu übergeben hat. Im Übrigen wies es die Berufung ab, soweit sie nicht als durch Teilrückzug als erledigt abzuschreiben war.
C. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner als Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde bezeichneten Eingabe vom 24. November 2010 die Aufhebung des kantonsgerichtlichen Urteils und sinngemäss die Einräumung eines Besuchsrechts jeweils von Freitag (18 Uhr) bis Sonntag (18 Uhr) sowie ein Ferienrecht während der Hälfte der Feiertage des Kantons Schwyz sowie während der Hälfte der Schulferien. Zudem sei das Besuchsrecht ohne Einschränkungen zu gewähren, also ohne die Verpflichtung zur Hinterlegung seines schweizerischen und tunesischen Passes beziehungsweise des tunesischen Passes der Tochter. Eventualiter verlangt er die Rückweisung der Sache an das Kantonsgericht zu neuer Beurteilung.
Das Kantonsgericht hat die Akten zugestellt und verlangt in seiner Vernehmlassung vom 3. Februar 2011 - wie auch Y._ (nachfolgend Beschwerdegegnerin) in ihrer Vernehmlassung vom 21. Februar 2011 - die Abweisung der Beschwerde, soweit darauf einzutreten sei.
Erwägungen:
1. 1.1 Angefochten ist die in einem kantonal letztinstanzlichen Ehescheidungsurteil (Art. 75 Abs. 1 BGG) angeordnete Regelung des persönlichen Verkehrs gemäss Art. 133 Abs. 1 ZGB und damit eine nicht vermögensrechtliche Angelegenheit (Art. 74 Abs. 1 BGG; Urteil 5A_361/2010 vom 10. September 2010 E. 1.1). Dagegen ist die Beschwerde in Zivilsachen gemäss Art. 72 ff. BGG grundsätzlich zulässig.
Der Beschwerdeführer bezeichnet seine Eingabe an das Bundesgericht als "Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde". Die falsche Bezeichnung des Rechtsmittels schadet dem Beschwerdeführer nicht (BGE 134 III 379 E. 1.2 S. 382). Die Eingabe ist demnach als Beschwerde in Zivilsachen entgegenzunehmen.
1.2 Anfechtungsobjekt vor Bundesgericht ist einzig der Entscheid der letzten kantonalen Instanz (Art. 75 Abs. 1 BGG), vorliegend also das Urteil des Kantonsgerichts vom 13. April 2010. Soweit der Beschwerdeführer Rügen gegen die erst- und zweitinstanzlichen Eheschutzentscheide aus dem Jahr 2008 erhebt (Ziff. II/9, II/10, II/12 und III/1/1.1/3 der Beschwerde), ist darauf nicht einzutreten.
1.3 Das Kantonsgericht hat den bezirksgerichtlichen Entscheid (Dispositivziff. 2d) insofern abgeändert, als der Beschwerdeführer seine eigenen Pässe nicht mehr zu hinterlegen hat, sondern "ausschliesslich" den tunesischen Pass der Tochter an die Beschwerdegegnerin zur Verwahrung herauszugeben hat.
Soweit der Beschwerdeführer in seiner Beschwerde an das Bundesgericht erneut beantragt, es sei von der Verpflichtung zur Hinterlegung seiner Pässe abzusehen, fehlt es ihm an einem Rechtsschutzinteresse (Art. 76 Abs. 1 lit. b BGG), da das Kantonsgericht diesem Begehren - wie aufgezeigt - bereits entsprochen hat.
1.4 In der Beschwerde dürfen keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (Art. 99 Abs. 1 BGG). Neu sind Tatsachen, die weder im vorangegangenen Verfahren vorgebracht noch von der Vorinstanz festgestellt wurden (BGE 136 V 362 E. 3.3.1 S. 364). Der Beschwerdeführer stützt sich in seiner Beschwerde wiederholt auf Tatsachen und Beweismittel, die bereits anlässlich des kantonsgerichtlichen Verfahrens Bestand hatten, aber nicht vorgebracht wurden (BGE 136 III 123 E. 4.4.3 S. 128 f.) oder erst nach dem angefochtenen Entscheid entstanden sind (BGE 135 I 221 E. 5.2.4 S. 229). Diese sind unzulässig und unbeachtlich.
Ebenso erweist sich die Vernehmlassungsbeilage der Beschwerdegegnerin als unzulässig, da dieses Beweismittel erst nach dem angefochtenen Entscheid entstanden ist.
1.5 Der Beschwerdeführer hat seine Beschwerde an das Bundesgericht in der französischen Sprache eingereicht (Art. 42 Abs. 1 BGG). Da der angefochtene Entscheid auf deutsch ergangen ist, führt das Bundesgericht sein Verfahren ebenfalls in dieser Sprache (Art. 54 Abs. 1 BGG).
2. 2.1 Die Beschwerde ist zu begründen (Art. 42 Abs. 2 BGG). Mit ihr ist in gedrängter Form durch Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Vorschriften und warum sie von der Vorinstanz verletzt worden sein sollen. Allgemein gehaltene Einwände, die ohne aufgezeigten oder erkennbaren Zusammenhang mit bestimmten Entscheidungsgründen vorgebracht werden, genügen nicht (BGE 134 V 53 E. 3.3 S. 60). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und gehörig begründet wird (Art. 106 Abs. 2 BGG). Es muss klar und detailliert anhand der Erwägungen des angefochtenen Entscheides dargelegt werden, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 134 I 83 E. 3.2 S. 88).
2.2 Wird eine Sachverhaltsfeststellung beanstandet, muss in der Beschwerdeschrift dargelegt werden, inwiefern diese Feststellung willkürlich (BGE 135 III 397 E. 1.5 S. 401) oder durch eine andere Rechtsverletzung im Sinne von Art. 95 BGG (beispielsweise Art. 29 Abs. 2 BV oder Art. 8 ZGB) zustande gekommen ist und inwiefern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE 136 II 447 E. 2.1 S. 450). Die Entscheidwesentlichkeit muss dargelegt werden, wobei die Glaubhaftmachung eines anderen Entscheides bei korrekter Vorgehensweise genügt (Art. 42 Abs. 2 BGG; BGE 134 V 53 E. 3.4 S. 60 f.).
3. 3.1 Das Kantonsgericht hat den persönlichen Verkehr nach schweizerischem Recht beurteilt. Es hat für die Regelung des Besuchs- und Ferienrechts insbesondere eine allfällige Entführungsgefahr der Tochter durch den Beschwerdeführer berücksichtigt. Neben der eigenen Begründung hat es ebenfalls auf die bezirksgerichtliche Begründung verwiesen (vgl. zur Zulässigkeit solcher Verweise: BGE 123 I 31 E. 2c S. 34) und hat damit (durch Verweis) unter anderem darauf hingewiesen, dass eine Ausreise des Kindes aus Tunesien nur mit der Unterschrift des Beschwerdeführers möglich sei und die Beschwerdegegnerin damit keine Möglichkeit habe, die Tochter ohne seine Zustimmung zu sich zurückzuholen, falls sich das Kind einmal in Tunesien befinde.
3.2 Der Beschwerdeführer bringt dagegen vor, aus dem tunesischen Recht ergebe sich dieser Schluss gerade nicht. Vielmehr könne aufgrund der anwendbaren Norm des tunesischen Rechts der Elternteil, dem die elterliche Sorge zugeteilt worden sei, frei und einschränkungslos mit dem Kind reisen. Das Kantonsgericht habe es unterlassen, diese Feststellungen zum tunesischen Recht vorzunehmen und habe damit Art. 16 Abs. 1 IPRG (SR 291) verletzt und überdies gegen das Willkürverbot verstossen.
3.3 Was die Willkürrüge betrifft, hat der Beschwerdeführer die nun vor dem Bundesgericht beanstandeten kantonsgerichtlichen Ausführungen zum tunesischen Recht (die auf das bezirksgerichtliche Urteil zurückgehen) vor dem Kantonsgericht nicht beanstandet. Wird insoweit die (Willkür-) Rüge erstmals vor dem Bundesgericht erhoben, obwohl dazu bereits das bezirksgerichtliche Urteil Anlass gegeben hätte, fehlt es an der materiellen Erschöpfung des Instanzenzuges (BGE 135 III 513 E. 4.3 S. 522; 133 III 638 E. 2 S. 640).
3.4 3.4.1 Gemäss Art. 16 Abs. 1 IPRG ist der Inhalt des anzuwendenden ausländischen Rechts von Amtes wegen festzustellen. Dieses ausländische Recht ist in einem vorgängigen Schritt aufgrund der Kollisionsnormen zu bestimmen (BGE 128 III 346 E. 3.1.5 und 3.2 S. 350 f.; 127 III 123 E. 2c und 2d S. 125; SCHWANDER, Einführung in das internationale Privatrecht, Erster Band: Allgemeiner Teil, 3. Aufl. 2000, N. 386).
3.4.2 Das Kantonsgericht wandte auf die Regelung des persönlichen Verkehrs angesichts des gewöhnlichen Aufenthalts der Tochter in der Schweiz zutreffend schweizerisches Recht an (Art. 63 Abs. 2 i.V.m. Art. 85 Abs. 1 IPRG; da sowohl Art. 5 Abs. 1 i.V.m. Art. 15 Abs. 1 des Übereinkommens vom 19. Oktober 1996 über die Zuständigkeit, das anzuwendende Recht, die Anerkennung, Vollstreckung und Zusammenarbeit auf dem Gebiet der elterlichen Verantwortung und der Massnahmen zum Schutz von Kindern [HKsÜ; SR 0.211.231.011] als auch Art. 13 i.V.m. Art. 2 und Art. 1 des Übereinkommens vom 5. Oktober 1961 über die Zuständigkeit der Behörden und das anzuwendende Recht auf dem Gebiet des Schutzes von Minderjährigen [MSA; SR 0.211.231.01] zu schweizerischem Recht führen, können Fragen zum Übergangsrecht und dem Verhältnis der beiden Abkommen offen gelassen werden [vgl. dazu SCHWANDER, Das Haager Kindesschutzübereinkommen von 1996, ZVW 2009 S. 10; Botschaft vom 28. Februar 2007 zur Umsetzung der Übereinkommen über internationale Kindesentführung sowie zur Genehmigung und Umsetzung der Haager Übereinkommen über den Schutz von Kindern und Erwachsenen, BBl 2007 S. 2610 Ziff. 4.6]).
Die Anwendung schweizerischen Rechts auf die Regelung des persönlichen Verkehrs wird vom Beschwerdeführer nicht beanstandet (z.B. S. 7 der Beschwerde). Geht er aber selbst davon aus, dass in der Sache schweizerisches Recht anwendbar ist, findet die Bestimmung von Art. 16 Abs. 1 IPRG (wie im Übrigen auch Art. 96 lit. b BGG) von vornherein keine Anwendung. Die Rüge erweist sich damit als unbegründet.
4. 4.1 Das Kantonsgericht bestätigte die bezirksgerichtliche Anordnung, wonach das Ferienrecht (wie auch das Besuchsrecht) in der Schweiz auszuüben sei und verpflichtete den Beschwerdeführer zudem, den Pass der Tochter zur Verwahrung der Beschwerdegegnerin zu übergeben. Es begründete diese beiden Massnahmen mit der konkreten Gefahr, dass der Beschwerdeführer die Tochter nach Tunesien entführen könnte.
Neben den Verweisen auf das bezirksgerichtliche Urteil hob das Kantonsgericht selbst hervor, der Beschwerdeführer sei beim tunesischen Konsulat über die Rückführung entführter Kinder aus Tunesien informiert worden und habe nicht erklären können, weshalb er diese Auskünfte eingeholt habe. Zudem müsse angesichts seiner auffälligen und äusserst fragwürdigen Konfliktbewältigung und der gänzlich fehlenden Einsichtsfähigkeit ernstlich befürchtet werden, dass er versuchen werde, seine Tochter nach Tunesien mitzunehmen. Eine Entführungsgefahr sei demnach selbst dann zu bejahen, wenn der Beschwerdeführer wie behauptet keine besonders enge Beziehung zu seinem Heimatland pflege, wobei unbestritten sei, dass er sich mehrmals ferienhalber dort aufgehalten und auch bei seiner Familie gewohnt habe, womit zumindest auf eine gewisse noch grundsätzlich bestehende Beziehung zu Tunesien zu schliessen sei.
4.2 Ob eine Entführungsgefahr besteht, ist eine auf Beweiswürdigung beruhende Tatfrage (Urteil 5C.247/2004 vom 10. Februar 2005 E. 7.3). Vorliegend bringt der Beschwerdeführer in diesem Zusammenhang mehrere Rügen vor. Auf diese ist nachfolgend im Einzelnen einzugehen.
4.2 Ob eine Entführungsgefahr besteht, ist eine auf Beweiswürdigung beruhende Tatfrage (Urteil 5C.247/2004 vom 10. Februar 2005 E. 7.3). Vorliegend bringt der Beschwerdeführer in diesem Zusammenhang mehrere Rügen vor. Auf diese ist nachfolgend im Einzelnen einzugehen.
4.3 4.3.1 Der Beschwerdeführer macht geltend, er habe vor dem Kantonsgericht einen Antrag auf Einholung eines kinderpsychologischen Gutachtens sowie auf Zeugeneinvernahmen gestellt. Das Kantonsgericht habe diese Beweismittelanträge unberücksichtigt gelassen habe und damit seinen Beweisführungsanspruch (Art. 8 ZGB und Art. 29 Abs. 2 BV) verletzt sowie die Regeln über die Beweislast willkürlich angewendet (Art. 9 BV).
4.3.2 In Kinderbelangen gilt die Untersuchungsmaxime (Art. 145 Abs. 1 ZGB in der bis 31. Dezember 2010 geltenden Fassung; AS 1999 1134). Die Parteien sind aber von ihrer Mitwirkungspflicht bei der Sachverhaltsabklärung nicht entbunden und es bleibt in erster Linie ihre Sache, die rechtserheblichen Tatsachen und Beweismittel zu benennen und insbesondere Beweisanträge zu stellen (BGE 128 III 411 E. 3.2.1 S. 413). Der Beweisführungsanspruch des Beschwerdeführers, der sich vorliegend aus Art. 8 ZGB ableitet (zum Verhältnis zu Art. 29 Abs. 2 BV vgl. Urteil 5A_726/2009 vom 30. April 2010 E. 3.1, nicht publ. in: BGE 136 III 365) kann nur verletzt sein, wenn er mit Beweisanträgen, die nach Form und Inhalt den kantonalen Vorschriften genügen, für rechtserhebliche Sachvorbringen nicht zugelassen wurde (BGE 133 III 295 E. 7.1 S. 299).
Der Beschwerdeführer legt nicht dar (und es ist im Übrigen aus seiner Berufungsbegründung vom 10. November 2009 auch nicht ersichtlich), wann er den Beweisantrag auf Einvernahme von Zeugen gestellt haben soll und welche Zeugen dies betroffen hätte (BGE 133 III 189 E. 5.2.2 S. 196). Sodann führt er nicht aus, welche rechtserheblichen Informationen aus den beiden Beweismittelanträgen hätten gewonnen werden können (was insbesondere beim kinderpsychologischen Gutachten mit Blick auf die Frage der Entführungsgefahr schwer ersichtlich wäre) und inwiefern sich dies auf das von ihm angestrebte Ergebnis ausgewirkt hätte. Darauf ist nicht einzutreten.
4.3.3 Das Kantonsgericht gelangte für die Frage der Entführungsgefahr zu einem positiven Beweisergebnis. Wenn der Beschwerdeführer in diesem Zusammenhang eine falsche und willkürliche Beweislastverteilung rügt, verkennt er, dass die Frage der Beweislastverteilung gegenstandslos ist, wenn das kantonale Gericht aufgrund seiner Beweiswürdigung zum Ergebnis gelangt ist, ein bestimmter Sachverhalt sei bewiesen (BGE 132 III 626 E. 3.4 S. 634). Die Rüge erweist sich als unbegründet.
4.3.3 Das Kantonsgericht gelangte für die Frage der Entführungsgefahr zu einem positiven Beweisergebnis. Wenn der Beschwerdeführer in diesem Zusammenhang eine falsche und willkürliche Beweislastverteilung rügt, verkennt er, dass die Frage der Beweislastverteilung gegenstandslos ist, wenn das kantonale Gericht aufgrund seiner Beweiswürdigung zum Ergebnis gelangt ist, ein bestimmter Sachverhalt sei bewiesen (BGE 132 III 626 E. 3.4 S. 634). Die Rüge erweist sich als unbegründet.
4.4 4.4.1 Weiter bringt der Beschwerdeführer vor, die Aussagen der Beschwerdegegnerin, auf die das Kantonsgericht (durch Verweis auf das bezirksgerichtliche Urteil) abgestellt habe, stammten aus dem Eheschutzverfahren, das auf dem Beweismass der blossen Glaubhaftmachung beruhe. Im Ehescheidungsverfahren sei aber der strikte Beweis erforderlich (Art. 97 Abs. 1 BGG i.V.m. Art. 8 ZGB).
4.4.2 Der Beschwerdeführer legt nicht dar, inwiefern das Kantonsgericht selbst bei der Würdigung der Aussagen der Beschwerdegegnerin ein falsches Beweismass angewendet haben soll. In der Sache kritisiert er vielmehr die Beweiswürdigung, nämlich die Frage, ob der Beweis gemäss dem bundesrechtlich vorgegebenen Beweismass im konkreten Fall erbracht wurde. Die Beweiswürdigung wird aber nicht durch Art. 8 ZGB geregelt (BGE 131 III 222 E. 4.3 S. 226). Die Rüge erweist sich als unbegründet.
4.4.2 Der Beschwerdeführer legt nicht dar, inwiefern das Kantonsgericht selbst bei der Würdigung der Aussagen der Beschwerdegegnerin ein falsches Beweismass angewendet haben soll. In der Sache kritisiert er vielmehr die Beweiswürdigung, nämlich die Frage, ob der Beweis gemäss dem bundesrechtlich vorgegebenen Beweismass im konkreten Fall erbracht wurde. Die Beweiswürdigung wird aber nicht durch Art. 8 ZGB geregelt (BGE 131 III 222 E. 4.3 S. 226). Die Rüge erweist sich als unbegründet.
4.5 4.5.1 Was die kantonsgerichtliche Beweiswürdigung betrifft, hält der Beschwerdeführer fest, abgesehen von den Aussagen der Beschwerdegegnerin fänden sich in den Akten keine Anhaltspunkte für eine Entführungsgefahr. Im Gegenteil habe das Kantonsgericht die Akten nicht vertieft angeschaut und geprüft. Es habe dabei übersehen, dass daraus sehr wohl mehrere Elemente (seit jeher in der Schweiz aktiv, gute Integration, sehr gute Kenntnis von Landessprachen, regelmässige berufliche Tätigkeiten, lange Aufenthaltsdauer, unzählige soziale und freundschaftliche Bindungen, mehrmalige problemlose Aufenthalte mit der Tochter in Tunesien) ersichtlich seien, die gegen die Bejahung einer Entführungsgefahr sprächen.
Indem das Kantonsgericht einseitig nur auf die Aussagen der Beschwerdegegnerin abgestellt habe, erweise sich die Beweiswürdigung als willkürlich (Art. 97 Abs. 1 BGG). Durch das einseitige Abstellen auf die Aussagen der Beschwerdegegnerin beziehungsweise deren "Privilegierung" habe das Kantonsgericht zudem die Parteien ungleich behandelt und dem Gebot eines fairen Verfahrens zuwidergehandelt (Art. 97 Abs. 1 BGG i.V.m. Art. 8 BV und Art. 6 Ziff. 1 EMRK).
4.5.2 Die Beweiswürdigung ist willkürlich, wenn sie offensichtlich unhaltbar ist, in Widerspruch zu den Akten steht oder dem Sinn für Gerechtigkeit und Billigkeit zuwiderläuft oder auch, wenn der Richter die Akten auf unhaltbare Art und Weise ausgelegt, erhebliche Beweise verkannt oder sich ausschliesslich auf einen Teil der Beweismittel gestützt hat (BGE 134 V 53 E. 4.3 S. 62).
Durch den blossen Verweis auf die Akten und die Behauptung weiterer Sachverhaltselemente, ohne aber anzugeben, auf welches Aktenstück sich der Verweis bezieht beziehungsweise aus welchem Aktenstück sich die Behauptungen ergeben sollen, wird der Beschwerdeführer den Begründungsanforderungen an die Sachverhaltsrüge nicht gerecht. Es ist nicht Sache des Bundesgerichts, selber in den Akten nachzuforschen, ob sich darin allenfalls Indizien für eine Unrichtigkeit des vorinstanzlichen Sachverhalts befinden (BGE 133 IV 286 E. 6.2 S. 288). Auf diese Rüge ist nicht einzutreten (Art. 106 Abs. 2 BGG).
4.5.3 Die Rügen der Verletzung des Gleichbehandlungsgebots und des Anspruchs auf ein faires Verfahren erweisen sich von vornherein als unbegründet und es erübrigen sich weitere Ausführungen zu deren Zulässigkeit, weil sich das Kantonsgericht keineswegs nur auf die Aussagen der Beschwerdegegnerin abgestützt hat. Vielmehr hat es (teilweise durch Verweis auf das bezirksgerichtliche Urteil) auch auf die Aussagen des Beschwerdeführers abgestellt (Nachfrage beim tunesischen Konsulat wegen Kindesrückführung; fehlende Einsichtsfähigkeit; grundsätzlich bestehende Beziehung zu seinem Heimatland, da vom Beschwerdeführer nicht bestritten werde, dass er sich mehrmals dort ferienhalber aufhielt und bei seiner Familie wohnte).
4.6 Schliesslich ruft der Beschwerdeführer das Verhältnismässigkeitsprinzip gemäss Art. 5 Abs. 2 BV an, äussert sich aber dazu in seiner Begründung mit keinem Wort. Darauf kann von vornherein nicht eingetreten werden und es erübrigen sich insoweit weitere Ausführungen.
5. 5.1 In der Sache wendet sich der Beschwerdeführer gegen die zeitliche und örtliche Begrenzung des Besuchs- und Ferienrechts und die Verpflichtung zur Passhinterlegung, da sein Anspruch auf persönlichen Verkehr in unzulässiger Weise eingeschränkt und damit gegen Art. 4 ZGB und Art. 273 ZGB verstossen werde. Die Auflagen in Bezug auf die Örtlichkeit und die Passhinterlegung verletzten zudem Art. 8 EMRK.
5.2 Art. 273 ZGB räumt dem Elternteil, dem durch die Scheidung die elterliche Sorge nicht übertragen wird, ein Recht auf angemessenen persönlichen Verkehr mit seinem Kind ein. Dieses Recht steht dem Betroffenen um seiner Persönlichkeit willen zu (BGE 136 III 353 E. 3.4 S. 360). Als sog. "Pflichtrecht" dient es freilich in erster Linie dem Interesse des Kindes. Bei der Festsetzung des Besuchsrechts geht es nicht darum, einen gerechten Interessenausgleich zwischen den Eltern zu finden, sondern den elterlichen Kontakt mit dem Kind in dessen Interesse zu regeln, wobei die Bedürfnisse des Kleinkindes nicht denjenigen eines Jugendlichen entsprechen (BGE 120 II 229 E. 3b/aa S. 232 f.). Als oberste Richtschnur für die Ausgestaltung des Besuchsrechts gilt somit immer das Kindeswohl, das anhand der gegebenen Umstände zu beurteilen ist. Allfällige Interessen der Eltern haben zurückzustehen (BGE 123 III 445 E. 3b S. 451). Es ist allgemein anerkannt, dass aufgrund des schicksalhaften Eltern-Kind-Verhältnisses die Beziehung des Kindes zu beiden Elternteilen sehr wichtig ist und bei dessen Identitätsfindung eine entscheidende Rolle spielen kann (BGE 130 III 585 E. 2.2.2 S. 590). Was als "angemessener" persönlicher Verkehr im Sinne von Art. 273 Abs. 1 ZGB zu verstehen ist, lässt sich grundsätzlich nur anhand der Umstände des Einzelfalls unter Berücksichtigung des Zwecks des Besuchsrechts bestimmen.
5.3 Bei der Regelung und Ausgestaltung des persönlichen Verkehrs kommt den kantonalen Behörden Ermessen zu, weshalb das Bundesgericht eine gewisse Zurückhaltung in der Überprüfung solcher Urteile übt (BGE 131 III 209 E. 3. S. 210; 120 II 229 E. 4a S. 235). Es greift nur ein, wenn die kantonale Instanz von dem ihr zustehenden Ermessen falschen Gebrauch gemacht hat, das heisst, wenn sie grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat. Aufzuheben und zu korrigieren sind ausserdem Ermessensentscheide, die sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (BGE 132 III 97 E. 1 S. 99).
5.4 Inwiefern bezüglich des zeitlichen Umfangs des gewährten Besuchs- und Ferienrechts Bundesrecht verletzt worden sein soll, legt der Beschwerdeführer nicht dar. Abgesehen von den Rechtsbegehren, in denen er in zeitlicher Hinsicht eine Ausweitung des Besuchsrechts verlangt, äussert er sich dazu in seiner Beschwerdebegründung nicht. Es kann jedoch offen bleiben, ob der Beschwerdeführer damit die Begründungsanforderungen von Art. 42 Abs. 2 BGG überhaupt erfüllt, da das kantonsgerichtlich gewährte Besuchs- und Ferienrecht in zeitlicher Hinsicht angesichts des Alters der Tochter mindestens dem entspricht, was in weiten Landesteilen üblich ist (vgl. BGE 123 III 445 E. 3a S. 450 f.). Das Kantonsgericht hat unter Berücksichtigung des ihm zukommenden Ermessensspielraums bei der Festsetzung des zeitlichen Umfangs des Besuchsrechts kein Bundesrecht verletzt.
5.5 Die inhaltliche Gestaltung der Besuchsrechtsordnung kann Auflagen und Bedingungen erfordern, wie beispielsweise das Verbot, mit dem Kind die Schweiz zu verlassen und die Verpflichtung, die Ausweisschriften des Kindes zu hinterlegen. Das Bundesgericht hat bereits mehrmals festgehalten, dass solche Auflagen weder Bundesrecht noch sonstwie Verfassungs- oder Staatsvertragsrecht - wie insbesondere Art. 8 EMRK - verletzen (vgl. Urteile 5C.247/2004 vom 10. Februar 2005 E. 7.3; 5P.369/2004 vom 24. November 2004 E. 4.3, in: FamPra.ch 2005 S. 396; 5P.323/2001 vom 13. November 2001 E. 2a mit Hinweisen, in: Pra 2002 S. 202; vgl. auch HEGNAUER, Berner Kommentar, 1997, N. 117a zu Art. 273 ZGB).
Steht vorliegend in sachverhaltlicher Hinsicht fest, dass eine konkrete Entführungsgefahr besteht, sind die kantonsgerichtlichen Auflagen damit nicht zu beanstanden.
6. Erweist sich die Beschwerde als unbegründet beziehungsweise unzulässig, kann offen gelassen werden, ob das Rechtsbegehren des Beschwerdeführers in Bezug auf den zeitlichen Umfang des Besuchsrechts (mit dem er mehr beziehungsweise anderes verlangt als noch vor dem Kantonsgericht: Art. 99 Abs. 2 BGG) angesichts der in Kinderbelangen geltenden Offizialmaxime überhaupt zulässig wäre (vgl. Urteil 5A_478/2010 vom 20. Dezember 2010 E. 5.2).
7. Aus den dargelegten Gründen muss die Beschwerde abgewiesen werden, soweit darauf einzutreten ist. Der Beschwerdeführer wird damit kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Schwyz, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 30. März 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Bettler