Sachverhalt:
A. X._ (geb. 1960) und Y._ (geb. 1973) heirateten Ende Dezember 2000 in Bosnien. Sie leben in der Schweiz und sind Eltern einer Tochter (geb. 2001) und eines Sohnes (geb. 2004). Die Ehefrau ist bosnische Staatsangehörige, der Ehemann und die beiden Kinder besitzen seit Ende 2007 die schweizerische Staatsangehörigkeit. Im Herbst 2008 trennten sich die Ehegatten.
B. Auf das Eheschutzgesuch von Y._ vom 20. November 2008 hin regelte das Bezirksgericht Schwyz mit Entscheid vom 17. Juni 2009 (und dessen Berichtigung vom 24. Juni 2009) das Getrenntleben der Ehegatten. Insbesondere stellte es die beiden Kinder unter die Obhut der Mutter, regelte den persönlichen Verkehr, bestätigte die Besuchsbeistandschaft, verpflichtete den Ehemann und Vater per 1. Dezember 2008 zu monatlichen Unterhaltsbeiträgen an seine Ehefrau von Fr. 4'200.-- und für die Kinder von je Fr. 800.-- zuzüglich allfälliger Kinderzulagen und ordnete die Gütertrennung an.
C. Mit Entscheid vom 8. Juli 2010 hiess das Kantonsgericht Schwyz den Rekurs von X._ gegen den bezirksgerichtlichen Entscheid teilweise gut und setzte den per 1. Dezember 2008 monatlich geschuldeten Ehegattenunterhaltsbeitrag auf Fr. 2'600.-- herab. Im Übrigen wies es den Rekurs ab, soweit es darauf eintrat, und bestätigte insoweit den bezirksgerichtlichen Entscheid.
D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner als Bundesgerichtsbeschwerde bezeichneten Eingabe vom 11. August 2008 die Aufhebung des kantonsgerichtlichen Entscheides und das Nichteintreten auf das Eheschutzgesuch vom 20. November 2008. Eventuell sei das Kantonsgericht anzuweisen, den bezirksgerichtlichen Entscheid aufzuheben und die Sache zur weiteren Beweisabnahme und zur Neubeurteilung an das Bezirksgericht zurückzuweisen. Zudem ersucht er sinngemäss um aufschiebende Wirkung.
Das Kantonsgericht hat auf eine Vernehmlassung zum Gesuch um aufschiebende Wirkung verzichtet, während Y._ (nachfolgend Beschwerdegegnerin) in ihrer Eingabe vom 16. August 2010 die Abweisung des Gesuchs beantragt. Zudem verlangt sie, der Beschwerdeführer sei ihr gegenüber für das bundesgerichtliche Verfahren zur Leistung eines Prozesskostenvorschusses in der Höhe von Fr. 5'000.-- zu verpflichten. Eventualiter stellt sie für das bundesgerichtliche Verfahren ein Gesuch um unentgeltliche Rechtspflege unter Beiordnung ihres Anwalts.
Mit Verfügung vom 1. September 2010 hat die Abteilungspräsidentin der Beschwerde für die bis und mit Juli 2010 geschuldeten Unterhaltsbeiträge die aufschiebende Wirkung zuerkannt, im Übrigen das Gesuch aber abgewiesen. Auf das Begehren der Beschwerdegegnerin um Zusprechung eines Prozesskostenvorschusses trat sie nicht ein.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher Eheschutzentscheid über die Anordnung von Massnahmen zum Schutz der ehelichen Gemeinschaft (<ref-law>). Dabei handelt es sich um einen Endentscheid in Zivilsachen (<ref-law> und <ref-law>; <ref-ruling> E. 4 S. 395 f.) in einer nicht vermögensrechtlichen Angelegenheit, da es vorliegend nicht ausschliesslich um vermögensrechtliche Belange geht. Die Beschwerde in Zivilsachen erweist sich damit grundsätzlich als zulässig.
1.2 Die Beschwerde muss ein Rechtsbegehren enthalten (<ref-law>). Heisst das Bundesgericht die Beschwerde gut, so entscheidet es in der Sache selbst oder weist diese zu neuer Beurteilung an die Vorinstanz zurück. Es kann die Sache auch an die Behörde zurückweisen, die als erste Instanz entschieden hat (<ref-law>). Die Beschwerde an das Bundesgericht ist grundsätzlich ein reformatorisches Rechtsmittel (<ref-ruling> E. 1.2 S. 135). Eine Rückweisung erfolgt jedoch dann, wenn das Bundesgericht im Falle der Gutheissung in der Sache nicht selbst entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen.
Der Beschwerdeführer verlangt in seinem Eventualbegehren, das Kantonsgericht sei anzuweisen, einerseits den bezirksgerichtlichen Entscheid aufzuheben und andererseits die Sache zur weiteren Beweisabnahme und zum Neuentscheid an das Bezirksgericht zurückzuweisen. Ob es sich dabei um ein zulässiges Rechtsbegehren handelt und ob der Beschwerdeführer damit sinngemäss die Rückweisung an die erste Instanz verlangt (<ref-law> in fine), kann offen bleiben. Wie aus den nachfolgenden Erwägungen hervorgeht, kann auf die Beschwerde ohnehin nicht eingetreten werden.
Der Beschwerdeführer verlangt in seinem Eventualbegehren, das Kantonsgericht sei anzuweisen, einerseits den bezirksgerichtlichen Entscheid aufzuheben und andererseits die Sache zur weiteren Beweisabnahme und zum Neuentscheid an das Bezirksgericht zurückzuweisen. Ob es sich dabei um ein zulässiges Rechtsbegehren handelt und ob der Beschwerdeführer damit sinngemäss die Rückweisung an die erste Instanz verlangt (<ref-law> in fine), kann offen bleiben. Wie aus den nachfolgenden Erwägungen hervorgeht, kann auf die Beschwerde ohnehin nicht eingetreten werden.
1.3 1.3.1 Eheschutzentscheide sind Entscheide über vorsorgliche Massnahmen (<ref-ruling> E. 5 S. 396 f.). Nach <ref-law> kann demnach nur die Verletzung verfassungsmässiger Rechte gerügt werden. Zur Anwendung gelangt das Rügeprinzip (<ref-law>). Es muss klar und detailliert anhand der Erwägungen des angefochtenen Entscheides dargelegt werden, inwiefern verfassungsmässige Rechte verletzt worden sein sollen. Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 3.2 S. 88 mit Hinweisen).
1.3.2 Wird eine Verletzung des Willkürverbots - einschliesslich Willkür bei der Sachverhaltsfeststellung (<ref-law>; <ref-ruling> E. 1.5 S. 401) - geltend gemacht, muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246). Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkür liegt nur vor, wenn nicht bloss die Begründung eines Entscheides, sondern auch das Ergebnis unhaltbar ist, was der Beschwerdeführer in seiner Beschwerde aufzuzeigen hat (<ref-ruling> E. 1.3 S. 4 f.; <ref-ruling> E. 2.1 S. 219).
1.3.3 Die Beweiswürdigung ist willkürlich, wenn sie offensichtlich unhaltbar ist, in Widerspruch zu den Akten steht oder dem Sinn für Gerechtigkeit und Billigkeit zuwiderläuft oder auch wenn der Richter die Akten auf unhaltbare Art und Weise ausgelegt, erhebliche Beweise verkannt oder sich ausschliesslich auf einen Teil der Beweismittel gestützt hat (<ref-ruling> E. 4.3 S. 62).
1.4 Der Beschwerdeführer erhebt an zwei Stellen seiner Beschwerde eine Rüge der Verletzung des Legalitätsprinzips (jeweils neben der Erhebung einer Willkürrüge).
1.5 Der Begriff der verfassungsmässigen Rechte gemäss <ref-law> und <ref-law> entspricht dem früheren Art. 84 Abs. 1 lit. a OG für die staatsrechtliche Beschwerde (Corboz, in: Commentaire de la LTF, 2009, N. 14 zu <ref-law> und N. 33 zu <ref-law>). Das Legalitätsprinzip gemäss <ref-law> stellt einen verfassungsmässigen Grundsatz, jedoch kein verfassungsmässiges Recht, dessen Verletzung selbständig gerügt werden könnte, dar. Die Verletzung des Legalitätsprinzips kann hingegen im Zusammenhang mit der Verletzung des Grundsatzes der Gewaltentrennung oder eines speziellen Grundrechts geltend gemacht werden, im Übrigen aber nur im Rahmen der Verletzung des Willkürverbots und der Rechtsgleichheit. Der vom Beschwerdeführer erhobenen Rüge, es liege ein Verstoss gegen das Legalitätsprinzip vor, kommt daher keine selbständige Bedeutung zu (vgl. zum Ganzen <ref-ruling> E. 3.1 S. 5; <ref-ruling> E. 3a S. 67; Urteil 9C_722/2007 vom 11. April 2008 E. 3.1 f.).
2. 2.1 Streitig ist die internationale Zuständigkeit der schweizerischen Gerichte.
2.2 Das Kantonsgericht stellte fest, dass der Beschwerdeführer am 11. November 2008 bei einem bosnischen Gericht eine Scheidungsklage eingereicht hat. Für die internationale Zuständigkeit der schweizerischen Gerichte stützte es sich aufgrund des Vorliegens eines internationalen Verhältnisses (<ref-law>) und mangels vorgehendem Staatsvertrag (<ref-law>) auf <ref-law> ab. Die Beschwerdegegnerin habe ein hinreichendes Interesse am Erlass vorsorglicher Massnahmen nach <ref-law>, da Gefahr in Verzug sei. Daran ändere nichts, dass das Bezirksgericht als Eheschutzgericht entschieden habe, da es die getroffenen Anordnungen auch als vorsorgliche Massnahmen hätte erlassen können (vgl. <ref-ruling> E. 3.2 - 3.6 S. 328 ff.).
2.3 Der Beschwerdeführer erachtet diesen "Abschnitt" des kantonsgerichtlichen Entscheides als willkürlich. Mit der Einreichung der Scheidungsklage sei die Zulässigkeit eines schweizerischen Eheschutzverfahrens gestützt auf <ref-law> entfallen.
2.4 Mit seiner Begründung der Willkürrüge unterlässt es der Beschwerdeführer, sich mit den kantonsgerichtlichen Erwägungen auseinander zu setzen, aus denen klar ersichtlich wird, dass dieses seine Zuständigkeit auf <ref-law> abstützte. Insoweit hält der Beschwerdeführer aber selbst fest, vorliegend könne sich eine schweizerische Zuständigkeit zum Erlass von vorsorglichen Massnahmen aus <ref-law> ergeben (Ziff. 12 der Beschwerde). Aufgrund der eingeschränkten Kognition des Bundesgerichts (<ref-law>) ist es zudem ungenügend, wenn der Beschwerdeführer begründet, es werde <ref-law> und damit eine Norm des Bundesrechts (die das Kantonsgericht im Übrigen gar nicht angewendet hat) verletzt.
Fehlt es an einer Auseinandersetzung mit den massgebenden kantonsgerichtlichen Erwägungen und wird die Willkürrüge nicht begründet, kann darauf nicht eingetreten werden (<ref-law>; vgl. E. 1.3 oben).
3. 3.1 Der Beschwerdeführer beanstandet weiter die sachliche Zuständigkeit des Eheschutzgerichts. Auch wenn sich vorliegend gestützt auf <ref-law> zum Erlass vorsorglicher Massnahmen eine schweizerische Zuständigkeit ergeben könne, sei nicht das Eheschutzgericht, sondern gestützt auf § 79 der Gerichtsordnung des Kantons Schwyz vom 10. Mai 1974 (SRSZ 231.110; in Kraft bis Ende 2010) der Gerichtspräsident sachlich zuständig. Insoweit habe "die Vorinstanz die Zuständigkeit willkürlich bestätigt" (Ziff. 12 der Beschwerde).
3.2 Bereits das Bezirksgericht hat seine Zuständigkeit auf <ref-law> abgestützt (Ziff. 1b des bezirksgerichtlichen Entscheides). Das Kantonsgericht äussert sich im angefochtenen Entscheid nicht zur sachlichen Zuständigkeit.
3.3 Neue rechtliche Vorbringen sind nicht zulässig, wenn mit der Beschwerde eine vorsorgliche Massnahme nach <ref-law> angefochten wird. In solchen Fällen, wo das Recht nicht von Amtes wegen angewandt wird, sondern das Rügeprinzip gilt, verbietet der Grundsatz von Treu und Glauben, der Vorinstanz bekannte rechtserhebliche Einwände vorzuenthalten und diese erst nach dem Ergehen eines ungünstigen Entscheides im anschliessenden Rechtsmittelverfahren zu erheben. Dieser Grundsatz ergibt sich auch aus dem Erfordernis der materiellen Erschöpfung des Instanzenzuges (<ref-law>; vgl. zum Ganzen <ref-ruling> E. 2 S. 640 mit Hinweisen).
3.4 Der Beschwerdeführer macht weder geltend noch legt er dar (<ref-law>), inwiefern er die behauptete fehlende sachliche Zuständigkeit bereits im kantonsgerichtlichen Verfahren beanstandet hat und erhebt auch keine Rüge der formellen Rechtsverweigerung.
Auf die Rüge der willkürlichen Anwendung der kantonalen Bestimmungen über die sachliche Zuständigkeit kann demnach nicht eingetreten werden.
4. 4.1 Umstritten war vor Kantonsgericht insbesondere die Obhutszuteilung über die beiden unmündigen Kinder (<ref-law>). Das Kantonsgericht hat insoweit die massgebenden rechtlichen Kriterien zutreffend wiedergegeben (vgl. <ref-ruling> E. 5.3 S. 180 f.). In Bezug auf die Erziehungsfähigkeit der Beschwerdegegnerin kam es zum Schluss, der Beschwerdeführer habe die behauptete psychische Angeschlagenheit der Beschwerdegegnerin nicht glaubhaft gemacht. Ebenso wenig bestünden andere Faktoren, welche ihre Erziehungsfähigkeit in Frage stellten. Sei damit die Erziehungsfähigkeit zu bejahen, bestehe auch kein Grund, entsprechend dem Beweismittelantrag des Beschwerdeführers noch ein Gutachten über ihre Erziehungsfähigkeit einzuholen.
4.2 Der Beschwerdeführer rügt eine Verletzung des Willkürverbots, da er im kantonsgerichtlichen Verfahren genug Anhaltspunkte vorgebracht habe, die berechtigte Zweifel an der Erziehungsfähigkeit der Beschwerdegegnerin aufzeigten. Aufgrund dieser Zweifel hätte auch ein Gutachten eingeholt werden müssen.
4.3 Damit vermag der Beschwerdeführer den Anforderungen an die Willkürrüge betreffend der (antizipierten) Beweiswürdigung nicht zu genügen. Er nennt allgemein die von ihm vor Kantonsgericht vorgebrachten "Anhaltspunkte", verweist auf die "bei den Akten befindlichen Kurzberichte" oder legt dar, er habe die fraglichen Elemente vor Kantonsgericht belegt. Diese Verweise sind unzulässig, da die Begründung in der Beschwerdeschrift selbst erfolgen muss (<ref-ruling> E. 3.1 S. 399 f.). Eine detaillierte Auseinandersetzung mit den ausführlichen (S. 14 - 19 des angefochtenen Entscheides) kantonsgerichtlichen Erwägungen zur Frage der Erziehungsfähigkeit der Beschwerdegegnerin und der Würdigung der einzelnen Beweismittel (Aussagen der Beschwerdegegnerin, Bericht der Vormundschaftsbehörde, Arztbericht sowie Anhörung der Kinder) fehlt. Ebenso legt er nicht dar, welche konkreten Zweifel die Einholung eines Gutachtens rechtfertigen sollen.
4.4 Auf diese Rüge ist nicht einzutreten (<ref-law>; vgl. E. 1.3 oben).
5. 5.1 Schliesslich beanstandet der Beschwerdeführer bei der kantonsgerichtlichen Unterhaltsberechnung die Feststellung der Höhe seines Einkommens.
5.2 Das Kantonsgericht hat das Einkommen des selbständig tätigen Beschwerdeführers aufgrund einer Vergleichsperiode von zwei bis drei Jahren ermittelt. Es hat festgestellt, dass er im Zeitraum 2007 - 2009 drei Geschäftstätigkeiten ausübte, wovon er mittlerweile zwei aufgegeben habe. Im Ergebnis rechnete es ihm für den Zeitraum bis 2009 ein monatliches Einkommen von Fr. 10'400.-- und ab dem Jahr 2009 von Fr. 12'000.-- an.
5.3 Der Beschwerdeführer rügt eine Verletzung des Willkürverbots, begnügt sich jedoch in seiner Begründung damit, die vor dem Kantonsgericht erhobenen Argumente kurz zu wiederholen, ohne jedoch auf die entsprechenden Erwägungen des Kantonsgerichts einzugehen. Fehlt es an einer Auseinandersetzung mit dem kantonsgerichtlichen Entscheid, kann auch insoweit nicht auf die Beschwerde eingetreten werden (<ref-law>; vgl. E. 1.3 oben).
6. Aus den dargelegten Gründen ist auf die Beschwerde nicht einzutreten. Der Beschwerdeführer wird ausgangsgemäss kostenpflichtig (<ref-law>). Eine Parteientschädigung ist ihm nicht aufzuerlegen, da sich die Vernehmlassung der Beschwerdegegnerin nur auf die aufschiebende Wirkung bezieht und sie in diesem Punkt unterlegen ist (<ref-law>). Hingegen ist dem Vertreter der Beschwerdegegnerin insoweit aus der Gerichtskasse eine Entschädigung von Fr. 200.-- auszurichten, da die Voraussetzungen für die Gewährung der unentgeltlichen Rechtspflege offensichtlich erfüllt sind (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Der Beschwerdegegnerin wird die unentgeltliche Rechtspflege gewährt und es wird ihr Rechtsanwalt Patrick Schönbächler als Rechtsbeistand beigegeben.
3. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
4. Rechtsanwalt Patrick Schönbächler wird aus der Gerichtskasse eine Entschädigung von Fr. 200.-- ausgerichtet.
5. Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Schwyz, 1. Rekurskammer, schriftlich mitgeteilt.
Lausanne, 10. Januar 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Bettler