Sachverhalt:
A. X._ (Ehemann; Jahrgang 1967) und Y._ (Ehefrau; Jahrgang 1966) heirateten am 28. September 1990. Sie sind die Eltern der vier gemeinsamen Kinder A._ (geb. 1991), B._ (geb. 1993), C._ (geb. 1995) und D._ (geb. 1997).
Der Ehemann betreibt eine Einzelfirma im Bereich Landmaschinen und Kranservice, während sich die Ehefrau der Kindererziehung widmete bzw. im Jahr 2006 nebenbei eine Ausbildung zur Katechetin begann, die sie Mitte 2009 abschloss.
Mit Entscheid vom 17. Oktober 2008 bewilligte der Einzelrichter des Bezirkes Schwyz den Parteien mit Wirkung ab 1. Oktober 2008 das Getrenntleben: Gestützt auf eine Eheschutzvereinbarung wurden die Kinderbelange und der Ehegattenunterhalt befristet bis zum 30. September 2009 geregelt, wobei die Kinder einstweilen der Obhut der Mutter zugeteilt wurden. Betreffend die beiden Töchter B._ und C._ wurde am 11. November 2008 eine Erziehungsbeistandschaft errichtet.
Am 14. Oktober 2009 gelangte die Ehefrau an den Einzelrichter des Bezirksgerichts Schwyz und stellte ein Begehren um Erlass von Eheschutzmassnahmen. Mit Entscheid vom 29. Juni 2010 stellte dieser die beiden minderjärigen Töchter unter die Obhut der Mutter und den Sohn D._ unter diejenige des Vaters, erliess eine Besuchsrechtsregelung, hielt die bereits früher angeordnete Erziehungsbeistandschaft aufrecht und verpflichtete den Vater, ab 1. Oktober 2009 bis zum Eintritt der Rechtskraft des Entscheids an den Unterhalt der drei Kinder je Fr. 665.-- und danach für die beiden Töchter je Fr. 665.-- zu bezahlen. Ausserdem verzichtete der Einzelrichter auf den Zuspruch von Unterhaltsbeiträgen zugunsten der Ehefrau, wobei diese an den Unterhalt des Sohnes D._ nichts beizutragen hat.
Grundlage für die finanzielle Regelung war ein Einkommen des Ehemannes von monatlich Fr. 5'500.-- (Fr. 4'150.-- Erwerbseinkommen + Fr. 1'350.-- Mietzinseinnahmen) und ein solches der Ehefrau von Fr. 3'232.70 (Fr. 1'432.70 effektives Erwerbseinkommen + Fr. 1'100.-- hypothetisches Erwerbseinkommen + Fr. 50.-- Nebenerwerb + Fr. 650.-- Kinder- und Ausbildungszulagen). Andererseits ermittelte der Einzelrichter für den Ehemann einen Bedarf von Fr. 3'696.90 (einschliesslich Ausgaben für D._) und für die Ehefrau einen solchen von Fr. 4'097.55. Aus dem sich bei der Ehefrau ergebenden Manko (Fr. 864.85) und der Hälfte des verbleibenden Überschusses errechnete der Einzelrichter einen Unterhaltsbedarf von monatlich (gerundet) Fr. 1'330.--, den er in Form eines monatlichen Unterhaltsbeitrages von je Fr. 665.-- für die beiden Töchter festlegte. Bei dieser Ausgangslage ordnete der Einzelrichter zudem an, dass die Kinder- und Ausbildungszulagen - auch für den Sohn D._ - weiterhin von der Ehefrau zu beziehen seien.
B. B.a Hiergegen gelangte die Ehefrau mit Rekurs an das Kantonsgericht Schwyz. Darin verlangte sie, den Sohn zusätzlich zum gewährten Besuchsrecht an jedem Montag über die Mittagszeit zu sich auf Besuch nehmen zu können sowie vier Wochen Ferien (anstelle von zwei). Ausserdem beantragte sie für sich einen Unterhaltsbeitrag von Fr. 2'500.-- ab 1. Oktober 2009 bis 31. Juli 2010 und danach einen solchen von Fr. 1'620.--, wobei in diesem Fall die für die Kinder zu leistenden Unterhaltsbeiträge auf je Fr. 600.-- zu senken seien.
Mit Entscheid vom 14. Dezember 2010 hiess das Kantonsgericht den Rekurs teilweise gut, erweiterte die Besuchsrechtsregelung um den Zusatz "jede Woche am Donnerstag, von 12.00 Uhr bis 13.00 Uhr" und verpflichtete den Ehemann, an den Unterhalt der Ehefrau ab 1. Oktober 2009 bis 31. Juli 2010 Fr. 1'400.-- und danach Fr. 1'000.-- zu bezahlen. Das Kantonsgericht unterschied drei Zeitspannen, und zwar zunächst bis zum Zeitpunkt, in dem die Obhut über D._ an den Vater übergeht (1. Oktober 2009 bis 31. Juli 2010), danach bis die jüngste Tochter das 16. Altersjahr erreicht (1. August 2010 bis 31. Juli 2011) und schliesslich die Zeit danach (ab 1. August 2011). Für die ersten beiden Zeitabschnitte erhöhte das Kantonsgericht das anrechenbare Gesamteinkommen des Ehemannes auf Fr. 5'236.--, indem es einen Substanzverzehr als zumutbar erachtete, während es zugunsten der Ehefrau für den ersten Zeitabschnitt auf die Anrechnung eines hypothetischen Einkommens verzichtete und nur vom effektiven Einkommen (Fr. 1'432.70) ausging. Nach Deckung des Mankos (Fr. 3'214.85) teilte das Kantonsgericht den verbleibenden Überschuss (Fr. 274.25) für den ersten Zeitabschnitt zu zwei Dritteln (Fr. 182.85) der Ehefrau zu, was einen rechnerischen Unterhaltsanspruch von Fr. 3'397.70 ergab, den es auf Fr. 3'395.-- abrundete. Für den zweiten Zeitabschnitt mutete das Kantonsgericht der Ehefrau ein höheres Einkommen zu (Fr. 2'325.--), berücksichtigte in der Bedarfsrechnung den Umstand, dass D._ nunmehr in der Obhut des Vaters stand und teilte den rechnerischen Überschuss je hälftig. Damit reduzierte sich der Unterhaltsanspruch der Ehefrau (für sich und die beiden Töchter) auf Fr. 2'330.85, der mit Fr. 2'330.-- praktisch vollumfänglich zugesprochen wurde. Für den dritten Zeitabschnitt nahm das Kantonsgericht eine weitergehende Erwerbstätigkeit der Ehefrau an (Fr. 3'050.--), reduzierte demgegenüber das anrechenbare Einkommen des Ehemannes auf Fr. 4'150.--, da ein Substanzverzehr ab August 2011 nicht mehr zumutbar sei. Dies ergab rechnerisch einen Unterhaltsanspruch von Fr. 1'425.35, von welchem das Kantonsgericht Fr. 1'330.-- (je Fr. 665.-- für die beiden Töchter) zusprach. Die von der Ehefrau einkassierten Kinder- und Ausbildungszulagen liess das Kantonsgericht gänzlich unbeachtet.
B.b Mit Entscheid vom 28. Februar 2011 berichtigte das Kantonsgericht Schwyz die Dispositivziffer 1 seines Entscheids vom 14. Dezember 2010 dahingehend, als es "31. Oktober" durch "1. Oktober" ersetzte und auch die dazugehörigen Erwägungen (5c und 6a) entsprechend anpasste.
C. Mit Beschwerde in Zivilsachen vom 23. März 2011 gelangt X._ (nachfolgend Beschwerdeführer) an das Bundesgericht und verlangt die vollumfängliche Bestätigung des erstinstanzlichen Entscheids bzw. die Aufhebung der Ziffern 1, 2, 3, 4 und 5 des vorinstanzlichen Entscheids. Des Weiteren verlangt er, "die Berichtigung vom 28. Februar 2011 "sei in den Dispositivziffern 1 und 2 vollumfänglich aufzuheben".
Mit Präsidialverfügung vom 7. April 2011 wurde der Beschwerde die aufschiebende Wirkung zuerkannt. Die Vorinstanz stellte die Akten zu und liess sich mit Eingabe vom 7. Juni 2011 vernehmen. Die Ehefrau schliesst in ihrer Vernehmlassung vom 5. Juli 2011 auf Abweisung der Beschwerde und ersucht um unentgeltliche Prozessführung sowie unentgeltliche Rechtsvertretung für das Verfahren vor dem Bundesgericht. Es folgten weitere (unaufgeforderte) Parteieingaben vom 29. Juli 2011, vom 25. August 2011, vom 30. August 2011 sowie vom 9. September 2011.

Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Eheschutzentscheid betreffend Unterhalt sowie Besuchsrecht, mithin eine nicht vermögensrechtliche Zivilstreitigkeit, so dass streitwertunabhängig die Beschwerde in Zivilsachen gegeben ist (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 90 BGG).
1.2 Eheschutzentscheide betreffen vorsorgliche Massnahmen im Sinn von <ref-law>, weshalb nur die Verletzung verfassungsmässiger Rechte gerügt werden kann (<ref-ruling> E. 5 S. 396 f.). Zur Anwendung gelangt deshalb das strenge Rügeprinzip (<ref-law>). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und, soweit möglich, belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Die gerügten verfassungsmässigen Rechte sind namentlich zu benennen, ebenso die Gesetzesnormen, deren willkürliche Anwendung beanstandet wird. Wird die Verletzung des Willkürverbots gerügt, reicht es zudem nicht aus, die Rechtslage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
1.3 Es ist nicht Aufgabe des Bundesgerichts, Beweise abzunehmen und Tatsachen festzustellen, über die sich das kantonale Sachgericht nicht ausgesprochen hat (<ref-law>; <ref-ruling> E. 6.1 S. 214). Neue Beweismittel dürfen vor Bundesgericht einzig soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gab (<ref-law>). In der Beschwerde ist darzulegen, inwiefern diese Voraussetzungen für die Abnahme neuer Beweismittel erfüllt sind (<ref-ruling> E. 3 S. 395; <ref-ruling> E. 2.2.1 S. 226 f.).
Echte Noven, d.h. Tatsachen, die sich erst nach dem Zeitpunkt zugetragen haben, nachdem vor der Vorinstanz keine neuen Tatsachen (mehr) vorgetragen werden durften, sind vor Bundesgericht - jedenfalls soweit sie den angefochtenen Entscheid in der Sache betreffen - unbeachtlich (<ref-ruling> E. 2.1 S. 344; <ref-ruling> E. 5.2.4 S. 229).
Soweit die Parteien im bundesgerichtlichen Verfahren neue Behauptungen aufgestellt bzw. Beweismittel eingereicht haben, ist darauf nicht einzutreten.
2. Der Beschwerdeführer wendet sich zunächst gegen die Besuchsrechtsregelung.
Das Bezirksgericht Schwyz stellte Sohn D._ in die Obhut des Beschwerdeführers und die Töchter in diejenige der Beschwerdegegnerin. Letztere erhielt das Recht, Sohn D._ an jedem zweiten und vierten Wochenende des Monats zu sich auf Besuch zu nehmen (von Samstag 10 Uhr bis Sonntag 19 Uhr) sowie mit ihm jährlich zwei Wochen Ferien zu verbringen. Vor zweiter Instanz beantragte die Beschwerdegegnerin, Sohn D._ zusätzlich an einem Wochentag über die Mittagszeit zu sich auf Besuch zu nehmen. Diesem Antrag gab das Kantonsgericht statt, wobei es das Mittagessen jeweils auf Donnerstag 12.00 Uhr bis 13.00 Uhr festlegte (s. Sachverhalt, B.).
Die Vorinstanz begründete dieses zusätzliche Mittagsbesuchsrecht im Wesentlichen wie folgt: Vom Standpunkt des Kindeswohles her sei es sinnvoll, dass D._ dadurch etwas mehr Zeit mit seinen Schwestern B._ und C._ und, soweit es sich richten lasse, auch mit A._ verbringen könne. Ein solcher Mittagstisch biete eine gute Gelegenheit, den Kontakt zu seinen Schwestern zu pflegen. Zudem habe Sohn D._ bis zum 31. Juli 2010 bei der Beschwerdegegnerin gelebt, so dass von einer engen Bindung auszugehen sei, auch wenn Schwierigkeiten bestünden, die dazu geführt hatten, dass der erstinstanzliche Richter die Obhut über D._ dem Beschwerdegegner zuteilte.
Vor Bundesgericht macht der Beschwerdeführer geltend, diese Ausdehnung des Besuchsrechts laufe "in Begründung und Ergebnis in stossender Weise dem Gerechtigkeitsgedanken zuwider"; die Vorinstanz sei der Willkür verfallen und habe sein rechtliches Gehör verletzt. Die Vorinstanz habe keine Abklärungen zum Sachverhalt getroffen. Sie lege auch nicht dar, inwiefern sich der Sachverhalt seit dem erstinstanzlichen Urteil verändert haben soll, und habe einseitig auf Behauptungen der Beschwerdegegnerin abgestellt. Er, der Beschwerdeführer, habe in der Rekursverhandlung auf die Unzulässigkeit dieser Behauptungen hingewiesen und diese bestritten.
Mit den vom Beschwerdeführer ins Feld geführten Einwendungen lässt sich keine Willkür dartun (vgl. oben E. 1.2). Er legt nicht dar, welche konkreten Abklärungen die Vorinstanz hätte vornehmen müssen. Dass sich der erstinstanzliche Sachverhalt verändert haben muss, ist - entgegen der Darstellung des Beschwerdeführers - keine Voraussetzung für eine abweichende Regelung des Besuchsrechts durch die obere Instanz, denn im Rahmen der Offizialmaxime ist sie ohne weiteres berechtigt, ihr eigenes Ermessen auszuüben. Nur weil die Vorinstanz den Behauptungen des Beschwerdeführers nicht gefolgt ist, bedeutet dies noch nicht, dass sie in unzulässiger Weise einseitig auf die Behauptungen der Beschwerdegegnerin abgestellt hat und schon gar nicht, dass sie der Willkür verfallen ist. Ebenso wenig ist ersichtlich, inwiefern die Vorinstanz dadurch das rechtliche Gehör des Beschwerdeführers verletzt haben soll, zumal dieser selbst behauptet, sich dazu bereits vor der Vorinstanz geäussert zu haben. Soweit der Beschwerdeführer den festgestellten Sachverhalt vor Bundesgericht bestreitet, sind seine Vorbringen unbeachtlich (s. oben E. 1.3).
Gegen das Mittagsbesuchsrecht wendet der Beschwerdeführer ein, die Vorinstanz unterlaufe damit seine Bemühungen, durch klare Strukturen die schulischen Leistungen seines Sohnes zu verbessern; die Mittagszeit spiele bei der konstanten Lernkontrolle eine wichtige Rolle. Das Bundesgericht zieht die Zweckmässigkeit der erzieherischen Massnahmen des Beschwerdeführers nicht in Zweifel. Es ist indessen nicht einzusehen und wird auch nicht dargetan, inwiefern die erwähnte wöchentliche Ausnahme, welche die Vereinigung der Geschwister und der Mutter zu einem gemeinsamen Mittagessen bezweckt, die Wirkungen der offenbar erforderlichen strikten Tagesstrukturen gänzlich auszuhebeln vermöchte und offensichtlich zum Nachteil des Sohnes gereichen könnte.
Zusammenfassend ist festzuhalten, dass die vorliegende Besuchsrechtsregelung jedenfalls im Ergebnis nicht als willkürlich bezeichnet werden kann.
3. Sodann kritisiert der Beschwerdeführer die vorinstanzliche Unterhaltsberechnung. Er wirft der Vorinstanz vor, sein Einkommen willkürlich bestimmt sowie sein rechtliches Gehör verletzt zu haben.
Unter Verweis darauf, dass die eingereichten Unterlagen zur Einkommenshöhe nicht glaubhaft bzw. schlüssig seien, hat die Vorinstanz auf die Lebenshaltung abgestellt, welche die Parteien vor der Aufhebung des gemeinsamen Haushaltes geführt hatten. Zu deren Bestimmung stützte sie sich - im Sinne eines Indizes - auf die in den letzten drei Jahren vor der Trennung getätigten Privatbezüge.
Der Beschwerdeführer führt hiergegen zunächst ins Feld, er habe sein Einkommen "schlüssig und lückenlos" offengelegt. Soweit er damit die vorinstanzliche Beweiswürdigung kritisieren will, hätte er dies mittels qualifizierter Willkürrüge geltend machen müssen, was er allerdings unterliess (<ref-law>).
Bei der Festsetzung von Geldbeträgen des einen Ehegatten an den andern gemäss <ref-law> geht der Richter grundsätzlich von der bisherigen, ausdrücklichen oder stillschweigenden Vereinbarung der Ehegatten über die Aufgabenteilung und Geldleistungen aus, die der ehelichen Gemeinschaft eine bestimmte Struktur gegeben haben (<ref-law>). Solche Strukturen sind im Rahmen des Eheschutzes grundsätzlich beizubehalten, da ansonsten die Scheidung vorweggenommen würde. Ist aber eine Wiederherstellung des gemeinsamen Haushaltes nicht mehr zu erwarten, gewinnt das Ziel der wirtschaftlichen Selbständigkeit zunehmend an Bedeutung (Urteil 5A_62/2011 vom 26. Juli 2011 E. 3.1 [zur Publikation in der Amtlichen Sammlung vorgesehen]; <ref-ruling> E. 4a S. 67).
Vorliegend räumt der Beschwerdeführer selbst ein, die Parteien seien sich bewusst gewesen, dass sie jahrelang von der Substanz der Einzelfirma gelebt hatten. Folglich ist es im Lichte der soeben dargelegten Rechtsprechung jedenfalls nicht willkürlich, wenn die Vorinstanz bis zur vollständigen beruflichen Wiedereingliederung der Ehefrau per Ende Juli 2011 das massgebende Einkommen anhand dieser Privatbezüge festlegte. Angesichts dieser bereits über längere Zeit praktizierten Bezüge ist es auch nicht willkürlich, dass die Vorinstanz keine weiteren Voraussetzungen geprüft bzw. als gegeben erachtet hat wie beispielsweise, dass das angezehrte Vermögen nicht von unbedeutender Grösse zu sein habe (vgl. dazu JAN SIX, Eheschutz, 2008, S. 90, worauf sich der Beschwerdeführer beruft). Damit ist allen weiteren Einwendungen, mit denen die Einkommensfestlegung als willkürlich gerügt wird, die Grundlage entzogen.
Sodann macht der Beschwerdeführer in diesem Zusammenhang geltend, die Vorinstanz habe sein rechtliches Gehör verletzt, indem sie mit keinem Wort auf seine vor der Vorinstanz geäusserten Vorbringen eingegangen sei, wonach eine weitere finanzielle Belastung seines Unternehmens nicht mehr tragbar sei. Diese Rüge geht an der Sache vorbei, denn die Vorinstanz befand seine diesbezüglichen Vorbringen nicht für glaubhaft. Indem der Beschwerdeführer dieses Vorbringen vor Bundesgericht erneut erhebt, kritisiert er lediglich die vorinstanzliche Beweiswürdigung, ohne aber Willkür darzutun.
4. Des Weiteren macht der Beschwerdeführer geltend, die Vorinstanz habe das massgebende Einkommen der Beschwerdegegnerin willkürlich festgesetzt.
4.1 In ihrem Entscheid vom 14. Dezember 2010 befand die Vorinstanz, für Katechetinnen sei es nicht einfach, unmittelbar nach der Ausbildung eine passende Stelle zu finden. Diese müssten sich oft mit mehreren kleinen Teilzeitpensen behelfen. Insofern sei der Beschwerdegegnerin eine gewisse Anlaufzeit zuzugestehen. Vor diesem Hintergrund sei es gerechtfertigt, die ersten beiden Schuljahre (d.h. 2009/2010 und 2010/2011) als Einstiegs- bzw. Übergangsjahre zu betrachten und jeweils vom effektiv erzielten Einkommen auszugehen, zumal die Beschwerdegegnerin (nebst den Töchtern C._ und B._) bis zum 31. Juli 2010 auch noch Sohn D._ zu betreuen hatte. Ab August 2011 sei der Beschwerdegegnerin aber ein hypothetisches Einkommen anzurechnen, da in diesem Monat Tochter C._ 16 Jahre alt werde und ein weiterer Substanzverzehr der Einzelfirma nicht mehr zumutbar sei. Als Folge davon unterschied die Vorinstanz drei Phasen, nämlich vom 1. Oktober 2009 bis zum 31. Juli 2010, vom 1. August 2010 bis zum 31. Juli 2011 sowie ab 1. August 2011.
4.2 Der Beschwerdeführer rügt zunächst, die Parteien seien in der erstinstanzlich genehmigten Vereinbarung vom 17. Oktober 2008 übereingekommen, dass die Beschwerdegegnerin ab August 2009 ein Arbeitspensum von 60% aufzunehmen habe.
Aus dieser Vereinbarung kann der Beschwerdeführer nichts zu seinen Gunsten ableiten, denn sie ist bezüglich der Unterhaltsbeiträge bis zum 30. September 2009 befristet. Die vom Kantonsgericht angeordneten Unterhaltszahlungen beginnen hingegen erst per 1. Oktober 2009. Im Übrigen sieht die Vereinbarung in Ziff. 9 ausdrücklich vor, dass ihr über den 1. Oktober 2009 hinaus keinerlei präjudizielle Wirkung zukomme. Die Vorinstanz hat sich denn auch nicht auf diese Vereinbarung gestützt. Darin kann - entgegen der Behauptung des Beschwerdeführers - auch keine Verletzung des rechtlichen Gehörs erblickt werden.
Die angebliche Willkür der Vorinstanz will der Beschwerdeführer aus <ref-ruling> ableiten. Im erwähnten Bundesgerichtsentscheid wurde die Erwerbsaufstockung allerdings ausdrücklich davon abhängig gemacht, dass diese wirtschaftlich auch tatsächlich möglich ist (<ref-ruling> E. 4c S. 69 ). Vorliegend hat die Vorinstanz die Arbeitsmarktlage für neu ausgebildete Katechetinnen konkret gewürdigt und ist dabei zum Schluss gekommen, dass der Beschwerdegegnerin eine Übergangsfrist im dargelegten Ausmass zuzugestehen sei, da ihr eine Aufstockung über das angenommene Mass hinaus zunächst nicht möglich sei. Dabei handelt es sich um eine Tatfrage, die vom Bundesgericht nur im Rahmen einer qualifizierten Sachverhaltsrüge überprüft werden kann. Eine solche Rüge erhebt der Beschwerdeführer indes nicht. Auch dass die Vorinstanz von der Beschwerdegegnerin nicht verlangt, ausserhalb des Katechetinnenberufs zusätzlich erwerbstätig zu sein, erweist sich jedenfalls nicht als willkürlich.
4.3 Schliesslich rügt der Beschwerdeführer, die Vorinstanz sei im Zusammenhang mit den Kinderzulagen in Willkür verfallen. Die unterhaltsberechtigte Beschwerdegegnerin beziehe nämlich für alle drei gemeinsamen und minderjährigen Kinder Ausbildungs- und Kinderzulagen. Die Vorinstanz schlage diese dem Einkommen der Beschwerdegegnerin nicht zu und ziehe sie auch nicht vom Bedarf der Kinder ab. Entsprechend dem angeblich tieferen Einkommen der Beschwerdegegnerin bzw. entsprechend dem höheren Bedarf der beiden Töchter (und des Sohnes bis 31. Juli 2010) müsse der Beschwerdeführer daher einen ungerechtfertigen Ehegattenunterhalt bezahlen. Die Beschwerdegegnerin dürfe die für Sohn D._ bestimmten Kinderzulagen ab 31. Juli 2010 (also seit Sohn D._ beim Beschwerdeführer lebt) ohne Ausgleichs- und Weiterleitungspflicht behalten. Der Ehemann habe die vollen Lebenshaltungskosten für Sohn D._ zu tragen, obwohl die Ehefrau für diesen eine Kinderzulage erhält.
Diese Einwendungen sind stichhaltig. Die Vorinstanz hat bei ihrer Unterhaltsberechnung durchwegs ausser Acht gelassen, dass die Beschwerdegegnerin monatlich insgesamt für Fr. 650.-- Kinder- bzw.- Ausbildungszulagen erhält (2x Kinderzulagen von Fr. 200.-- + 1x Ausbildungszulagen von Fr. 250.--).
Der Kinderunterhaltsbeitrag bemisst sich im Fall von Eheschutzmassnahmen nach <ref-law> (<ref-law>). Bei der Ermittlung des durch den Unterhaltsbeitrag zu deckenden Bedarfs des Kindes sind Kinder- und Ausbildungszulagen vorweg in Abzug zu bringen (<ref-law>; <ref-ruling> E. 4.2.3 S. 64; <ref-ruling> E. 4b S. 309 f.). Dies hat die Vorinstanz unterlassen, was sowohl in der Begründung als auch im Ergebnis offensichtlich unhaltbar ist; die Willkürrüge ist begründet.
5. Soweit der Beschwerdeführer auch die vorinstanzliche Berichtigung vom 28. Februar 2011 mitangefochten hat (s. oben Sachverhalt B, am Ende), ist darauf nicht einzutreten, denn er räumt selber ein, die Berichtigung habe dazu gedient, ein "offensichtliches Versehen zu korrigieren".
6. Nach dem Gesagten ist die Beschwerde teilweise gutzuheissen. Da der Beschwerdeführer nur teilweise obsiegt, rechtfertigt es sich vorliegend, die Gerichtskosten vor Bundesgericht den Parteien je zur Hälfte aufzuerlegen und die Parteientschädigungen wettzuschlagen (Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG). Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege für das Verfahren vor Bundesgericht wird gutgeheissen. Die Voraussetzungen hierfür sind erfüllt (<ref-law>). Die Beschwerdegegnerin wird darauf hingewiesen, dass sie der Gerichtskasse Ersatz zu leisten hat, sofern sie später dazu in der Lage sein wird (<ref-law>). Über die Kosten und Entschädigungen des kantonalen Verfahrens wird die Vorinstanz neu zu befinden haben (Art. 67 und Art. 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde werden die Ziffer 1 Unterziffer 4 sowie die Ziffern 2-5 des Beschlusses des Kantonsgerichts Schwyz vom 14. Dezember 2010 (einschliesslich seiner Berichtigung vom 28. Februar 2011) aufgehoben und die Angelegenheit zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. Dem Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird entsprochen, und ihr wird in der Person von Rechtsanwalt Patrick Sutter, ein unentgeltlicher Rechtsbeistand bestellt.
3. Die Gerichtskosten von Fr. 2'500.-- werden den Parteien je zur Hälfte auferlegt, im auf die Beschwerdegegnerin entfallenden Umfang von Fr. 1'250.-- indes vorläufig auf die Gerichtskasse genommen.
4. Die Parteikosten werden wettgeschlagen.
5. Rechtsanwalt Patrick Sutter wird eine Entschädigung von Fr. 2'000.-- aus der Bundesgerichtskasse entrichtet.
6. Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Schwyz, 1. Rekurskammer, schriftlich mitgeteilt.
Lausanne, 26. September 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Schwander