Sachverhalt: A. X._ (geb. 1979) und Y._ (geb. 1978) haben am 22. Februar 2008 geheiratet. Sie sind die Eltern des Sohnes Z._ (geb. 2008), der seit August 2012 den Kleinkindergarten in B._ besuchte. Am 6. Juli 2013 zog Y._ mit Z._ aus der ehelichen Liegenschaft in B._ nach C._, wo sie bei ihrem neuen Lebenspartner D._ wohnt. X._ blieb in der ehelichen Liegenschaft in B._. B. Am 8. August 2013 stellte X._ ein Gesuch um Erlass von Massnahmen zum Schutz der ehelichen Gemeinschaft. Unter anderem stellte er das superprovisorische Begehren, Z._ vorläufig unter seine Obhut zu stellen und Y._ zu verbieten, Z._ am 12. August 2013 in C._ im Kindergarten einzuschulen. Am 12. August 2013 schulte der Vater den Sohn in B._ im Kindergarten ein. Tags darauf wies das Bezirksgericht Schwyz das superprovisorische Begehren ab. Nach Anhörung von Y._ entsprach es mit Verfügung vom 30. August 2013 X._s Antrag, Z._ vorläufig für die Dauer des Eheschutzverfahrens unter seine alleinige Obhut zu stellen. Das Bezirksgericht wies allerdings darauf hin, dass nach Vorliegen der Anträge des Kindesvertreters eine Neubeurteilung der als "vorläufig" bezeichneten Obhutszuteilung erfolge. C. Am 4. September 2013 reichte Y._ beim Kantonsgericht Schwyz Berufung gegen die Verfügung des Bezirksgerichts vom 30. August 2013 ein. Sie beantragte die vorläufige Obhutszuteilung an sich. Mit Beschluss vom 17. Dezember 2013 stellte das Kantonsgericht Schwyz Z._ mit Wirkung ab 20. Dezember 2013 vorläufig für die Dauer des Verfahrens unter die alleinige Obhut der Mutter. Hinsichtlich der Regelung des Kontaktrechts genehmigte das Kantonsgericht einen gemeinsamen Antrag der Eltern vom 14. November 2013. D. Mit Beschwerde vom 27. Dezember 2013 wendet sich X._ (Beschwerdeführer) an das Bundesgericht. Er verlangt, den vorinstanzlichen Beschluss aufzuheben und ihm für die Dauer des Eheschutzverfahrens die alleinige elterliche Obhut über Z._ zu überlassen. Mit Verfügung vom 30. Dezember 2013 untersagte das Bundesgericht bis zum Entscheid über das Gesuch um aufschiebende Wirkung alle Vollziehungsvorkehrungen. Am 13. Januar 2014 erteilte der Präsident der II. zivilrechtlichen Abteilung der Beschwerde aufschiebende Wirkung. Das Bundesgericht hat Vernehmlassungen eingeholt. Der Kindesvertreter liess sich nicht vernehmen. Das Kantonsgericht Schwyz fordert das Bundesgericht in seiner Vernehmlassung vom 16. April 2014 auf, auf BGE 139 III 86 zurückzukommen. Der vorliegende Fall belege mustergültig, wie schädlich es sei, wenn vorsorgliche Massnahmen, die nach Anhörung des Gesuchsgegners, aber vor Abschluss des Verfahrens erlassen werden, zum Gegenstand eines Rechtsmittelverfahrens gemacht werden könnten. Die Beschwerdegegnerin bestreitet in ihrer Vernehmlassung vom 2. Mai 2014 den vom Beschwerdeführer geschilderten Sachverhalt und beantragt, die Beschwerde abzuweisen. Die Vernehmlassungen wurden dem Beschwerdeführer zur Wahrung des rechtlichen Gehörs zur Kenntnis gebracht.