Sachverhalt:
A. A.a Das Amtsgericht München schied mit Urteil vom 11. März 2004 die Ehe von X._ (Beschwerdeführer) und Z._ (Beschwerdegegnerin). Aus der Ehe sind die drei Kinder R._, S._ und T._ hervorgegangen.
A.b Das Amtsgericht Luzern-Land ergänzte mit Urteil vom 6. September 2007 das Scheidungsurteil und genehmigte die Vereinbarung der Parteien vom 17. Mai / 3. Juli 2007. Ziffer 1.3 der genehmigten Vereinbarung lautet wie folgt:
"Der Beklagte hat der Klägerin bis zum Zeitpunkt des Eintritts der beiden Kinder S._ und T._ ins Internat je einen monatlichen, vorauszahlbaren und zu 5 % verzinslichen Unterhaltsbeitrag von EUR 350.00 zuzüglich allfällige Kinderzulagen aus der Schweiz oder Deutschland zu bezahlen.
Sollte ein Kind aus dem Internat austreten, hat der Beklagte für jedes Kind je einen monatlichen, vorauszahlbaren und zu 5 % verzinslichen Unterhaltsbeitrag von EUR 350.00, zuzüglich allfällige Kinderzulagen aus der Schweiz oder Deutschland zu bezahlen. Bereits geleistete Zahlungen werden angerechnet."
Dieses Urteil erwuchs unangefochten in Rechtskraft.
A.c Das Amtsgericht Luzern-Land änderte mit Urteil vom 17. September 2009 die früheren Urteile in verschiedenen Punkten ab. Ziff. 1.3 des Urteils vom 6. September 2007 blieb unverändert.
A.d Der Gerichtspräsident I von Aarau änderte mit Urteil vom 14. Februar 2011 die früheren Urteile vorsorglich ab und verpflichtete den Beschwerdeführer, der Beschwerdegegnerin an den Unterhalt der drei Kinder mit Wirkung ab 13. September 2010 monatlich rückwirkend bzw. vorschüssig Beiträge von je Fr. 1'300.-- zuzüglich allfällig bezogener Kinderzulagen zu bezahlen.
B. Mit Zahlungsbefehl vom 3. März 2011 (Zahlungsbefehl Nr. ... des Betreibungsamts A._) betrieb die Beschwerdegegnerin den Beschwerdeführer für den Betrag von Fr. 28'893.75 nebst 5 % Zins seit 1. Juli 2010. Der Beschwerdeführer erhob Rechtsvorschlag.
Am 4. Mai 2011 beantragte die Beschwerdegegnerin Rechtsöffnung für den in Betreibung gesetzten Betrag. Sie stützte sich dabei auf die Urteile des Amtsgerichts Luzern-Land vom 6. September 2007 und des Gerichtspräsidiums Aarau vom 14. Februar 2011.
Mit Entscheid vom 26. Mai 2011 hob das Obergericht des Kantons Aargau das Urteil des Gerichtspräsidenten I von Aarau vom 14. Februar 2011 auf.
Mit Entscheid vom 30. August 2011 erteilte die Einzelrichterin des Bezirksgerichts Kriens gestützt auf das Urteil vom 6. September 2007 definitive Rechtsöffnung für den Betrag von Fr. 12'757.50 nebst 5 % Zins seit 1. November 2010.
C. Mit Beschwerde vom 5. September 2011 verlangte der Beschwerdeführer die Aufhebung dieses Entscheids und die Verweigerung der Rechtsöffnung. Am 28. November 2011 wies das Obergericht des Kantons Luzern die Beschwerde ab.
D. Am 3. Februar 2012 hat der Beschwerdeführer Beschwerde in Zivilsachen und subsidiär Verfassungsbeschwerde an das Bundesgericht erhoben. Er beantragt die Aufhebung des obergerichtlichen Entscheids vom 28. November 2011 und die Verweigerung der definitiven Rechtsöffnung. Zudem ersucht er um aufschiebende Wirkung.
Zum Gesuch um aufschiebende Wirkung hat sich das Obergericht nicht vernehmen lassen. Die Beschwerdegegnerin hat am 8. März 2012 (Postaufgabe) um Abweisung ersucht. Zugleich hat sie unaufgefordert sofortige Abweisung der Beschwerde infolge Aussichtslosigkeit beantragt. Mit Präsidialverfügung vom 12. März 2012 ist der Beschwerde aufschiebende Wirkung zuerkannt worden.
Am 7. Mai 2012 (Postaufgabe) hat die Beschwerdegegnerin um unentgeltliche Rechtspflege und Verbeiständung ersucht.
Erwägungen:
1. 1.1 Umstritten ist die Erteilung der definitiven Rechtsöffnung und damit eine streitwertabhängige Schuldbetreibungssache (Art. 72 Abs. 2 lit. a BGG). Vor der Vorinstanz war der Betrag von Fr. 12'757.50 streitig (Art. 51 Abs. 1 lit. a BGG), womit die Streitwertgrenze von Fr. 30'000.-- (Art. 74 Abs. 1 lit. b BGG) nicht erreicht ist. Der Beschwerdeführer macht jedoch eine Rechtsfrage von grundsätzlicher Bedeutung geltend (Art. 74 Abs. 2 lit. a BGG). Der Begriff der Rechtsfrage von grundsätzlicher Bedeutung ist restriktiv auszulegen. Eine solche liegt vor, wenn sie zu einer erheblichen Rechtsunsicherheit führt und daher dringend einer Klärung durch das Bundesgericht bedarf (BGE 135 III 397 E. 1.2 S. 399 mit Hinweisen).
Der Beschwerdeführer bringt vor, die Beschwerdegegnerin habe ihren Anspruch zum grössten Teil auf das Urteil des Gerichtspräsidiums Aarau vom 14. Februar 2011 abgestellt, das später aufgehoben worden sei. Ihre Wahl müsse sie sich anrechnen lassen. Es genüge nicht, verschiedene Urteile vorzulegen und dem Gericht die Suche nach dem für die definitive Rechtsöffnung passenden zu überlassen. Es stelle sich die grundsätzliche Rechtsfrage, wie mit Betreibungen und Rechtsöffnungsgesuchen umzugehen sei, die sich auf Urteile über vorsorgliche Massnahmen abstützten, die später aufgehoben würden, gemäss Art. 315 Abs. 4 ZPO aber zunächst vollstreckbar seien.
Diese Frage ist nicht von grundsätzlicher Bedeutung. Sie bedarf keiner dringenden Klärung durch das Bundesgericht und sie kann sich ohne weiteres auch in Fällen stellen, in denen der Streitwert erreicht ist (vgl. BGE 134 III 267 E. 1.2.3 S. 270 f.).
Unklar ist, ob der Beschwerdeführer auch im Zusammenhang mit der Auslegung des Urteils vom 6. September 2007 und seinem Begehren um Erläuterung desselben (vgl. auch unten E. 3) eine Rechtsfrage von grundsätzlicher Bedeutung geltend machen will. Soweit dies der Fall sein sollte, genügt er jedenfalls den Begründungsanforderungen nicht, da er darlegen müsste, weshalb sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (Art. 42 Abs. 2 Satz 2 BGG; BGE 133 III 439 E. 2.2.2.1 S. 442).
Die Beschwerde in Zivilsachen ist somit unzulässig.
1.2 Zulässig ist einzig die subsidiäre Verfassungsbeschwerde (Art. 113 BGG). Eine solche erhebt der Beschwerdeführer denn auch subsidiär in einem separaten Teil seiner Eingabe. Mit der Verfassungsbeschwerde kann nur die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Bei Verfassungsrügen gilt das strenge Rügeprinzip (Art. 117 i.V.m. Art. 106 Abs. 2 BGG). Die Rügen müssen in der Beschwerde präzise vorgebracht und begründet werden (BGE 134 I 83 E. 3.2 S. 88; 135 III 397 E. 1.4 S. 400 f.). Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 135 III 232 E. 1.2 S. 234 mit Hinweisen).
2. Vor Obergericht war umstritten, ob die vom Beschwerdeführer bezahlten Internatskosten an die Kinderunterhaltsbeiträge angerechnet werden können. Der Beschwerdeführer hatte geltend gemacht, die von ihm bezahlten Internatskosten seien wesentlich höher ausgefallen als die üblichen Unterhaltsbeiträge. Diese Mehrleistungen sollten gestützt auf die Anrechnungsklausel in Ziff. 1.3 des Urteils vom 6. September 2007 angerechnet werden. Mit der Anrechnungsklausel habe sichergestellt werden sollen, dass der Beschwerdeführer finanziell nicht belastet würde, wenn die Beschwerdegegnerin die Kinder eigenmächtig aus dem Internat zurückhole.
Das Obergericht hat erwogen, gemäss Ziff. 1.2 des Urteils vom 6. September 2007 habe sich der Beschwerdeführer verpflichtet, sämtliche Internatskosten zu übernehmen. Gemäss Ziff. 1.3 habe er sich verpflichtet, bis zum Eintritt der Kinder ins Internat und bei einem allfälligen Austritt aus dem Internat einen Unterhaltsbeitrag von EUR 350.-- zu bezahlen. Gemäss dem Schlusssatz von Ziff. 1.3 seien bereits geleistete Zahlungen anzurechnen. Unbestrittenermassen hätten die Kinder das Internat im Sommer 2010 verlassen. Die während der Internatszeit entstandenen Mehrkosten seien nach einem Internatsaustritt nicht an die Unterhaltsbeiträge anrechenbar. Gegenteiliges finde im Wortlaut keine Stütze. Vielmehr sei davon auszugehen, dass die Unterhaltsbeiträge nur solange entfallen sollten, als die Kinder im Internat untergebracht seien und dort versorgt würden. Das Obergericht hat zusätzlich auf die Erwägungen des Bezirksgerichts verwiesen. Dieses hat die Anrechenbarkeit gestützt auf systematische und teleologische Überlegungen ausgeschlossen. Insbesondere hat es festgehalten, Ziff. 1.3 bezwecke, den laufenden Kinderunterhalt sicherzustellen, was durch eine Anrechnung der Internatskosten unterlaufen würde. Es seien lediglich die vom Beschwerdeführer an die Beschwerdegegnerin erfolgten Zahlungen anrechenbar, aber nicht Zahlungen an Dritte (E. 12.2 des bezirksgerichtlichen Urteils). Schliesslich seien - so das Obergericht weiter - an den Beweis der Tilgung im Rahmen der definitiven Rechtsöffnung sehr hohe Anforderungen zu stellen. Erforderlich sei der strikte Gegenbeweis durch eine völlig eindeutige Urkunde.
3. Der Beschwerdeführer rügt eine Verletzung des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV; unten E. 3.1) und des Willkürverbotes (Art. 9 BV; unten E. 3.1 und 3.2).
3.1 Eine Verletzung des rechtlichen Gehörs und zugleich Willkür sieht der Beschwerdeführer darin, dass beide Vorinstanzen keine Erläuterung des Urteils des Amtsgerichts Luzern-Land vom 6. September 2007 durch den damals zuständigen Amtsrichter Y._ eingeholt haben. Durch eine Erläuterung hätten die Vorinstanzen den damaligen tatsächlichen Parteiwillen feststellen können, der im Vergleich festgehalten und danach zum Urteil erhoben worden sei.
Gegen Prozesshandlungen des Bezirksgerichts Kriens kann der Beschwerdeführer nicht direkt Rügen erheben, da einzig das obergerichtliche Urteil Anfechtungsgegenstand bildet (Art. 114 i.V.m. Art. 75 Abs. 1 BGG). Er kann lediglich geltend machen, dass das Obergericht allfällige diesbezügliche Rügen in seiner kantonalen Beschwerde falsch beurteilt habe. Da er die angeblichen Gehörsverletzungen durch das Bezirksgericht nicht bereits vor Obergericht geltend gemacht hat, ist er mit entsprechenden Rügen vor Bundesgericht ausgeschlossen (BGE 135 III 424 E. 3.2 S. 429 mit Hinweisen).
Im Übrigen ist unklar, ob es dem Beschwerdeführer um eine Erläuterung des Urteils des Amtsgerichts Luzern-Land vom 6. September 2007 im technischen Sinne geht oder um eine Befragung des damals zuständigen Amtsrichters über den damaligen Parteiwillen. Soweit er auf Ersteres abzielt, ist weder dargetan noch ersichtlich, gestützt auf welche Norm das Obergericht eine solche Erläuterung hätte einholen müssen oder dürfen. Soweit es dem Beschwerdeführer um Letzteres und damit um seinen Beweisführungsanspruch (BGE 134 I 140 E. 5.3 S. 148) gehen sollte, legt er nicht dar, dass das Obergericht einen entsprechenden rechtzeitig und formrichtig gestellten Antrag übergangen hätte. Unter diesen Umständen erweist sich der Verzicht auf eine Erläuterung auch keineswegs als willkürlich (zum Begriff der Willkür sogleich E. 3.2.1). Entgegen der Ansicht des Beschwerdeführers ist es auch nicht Aufgabe des Bundesgerichts, im kantonalen Verfahren verpasste Anträge zu behandeln und selber eine Erläuterung einzuholen.
3.2 Der Beschwerdeführer rügt Willkür bei der Sachverhaltsfeststellung und bei der Auslegung der ins Urteil vom 6. September 2007 integrierten Vereinbarung.
3.2.1 Willkür in der Rechtsanwendung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 137 I 1 E. 2.4 S. 5 mit Hinweisen). Entsprechendes gilt für die Willkür bei der Sachverhaltsfeststellung (BGE 129 I 173 E. 3.1 S. 178 mit Hinweisen). Demgemäss erweist sich die Sachverhaltsfeststellung bzw. Beweiswürdigung als willkürlich, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung des Beschwerdeführers übereinstimmen, belegt keine Willkür (BGE 137 III 226 E. 4.2 S. 234; 136 III 552 E. 4.2 S. 560).
3.2.2 Der Beschwerdeführer macht geltend, die Vorinstanz habe den Zweck der Anrechnungsklausel verkannt. Mit ihr sei beabsichtigt gewesen, den Verbleib der Kinder im Internat zu sichern. Es sollte verhindert werden, dass die Beschwerdegegnerin die Kinder eigenmächtig zurückhole. Die Anrechnungsklausel habe finanziellen Druck erzeugen sollen. Falls die Beschwerdegegnerin die Kinder doch zurückholen würde, sollte sie wegen der Anrechnung für lange Zeit keine Unterhaltsbeiträge erhalten, da die Internatskosten massiv höher seien als die vereinbarten Unterhaltsbeiträge.
Willkür bei der Auslegung der im Urteil vom 6. September 2007 genehmigten Vereinbarung ist weder ersichtlich noch genügend dargetan. Das Obergericht hat festgehalten, dass die Auslegung des Beschwerdeführers im Wortlaut keine Stütze finde. Es hat zudem auf die Erwägungen des Bezirksgerichts verwiesen, welches die Anrechenbarkeit gestützt auf systematische und teleologische Überlegungen ausgeschlossen hat (vgl. oben E. 2). Der Beschwerdeführer begründet seine Auslegung im Wesentlichen mit dem angeblichen damaligen Parteiwillen und dem Vertrauensprinzip. Er schildert damit jedoch bloss seine eigene Sicht der Dinge und setzt sie dem damaligen mutmasslichen Parteiwillen gleich. Mit den bezirksgerichtlichen Erwägungen, auf die die Vorinstanz verwiesen hat, setzt er sich nicht auseinander. Soweit er den Begründungsanforderungen an eine Willkürrüge überhaupt genügt, erweist sich die vorinstanzliche Auslegung jedenfalls nicht als offensichtlich unhaltbar.
3.2.3 Willkür wirft der Beschwerdeführer der Vorinstanz zudem vor bei der Bestimmung des Zeitpunkts, bis zu dem die Kinder im Internat bzw. ab dem sie bei der Beschwerdegegnerin gewesen seien. Keine eigenständige Bedeutung kommt in diesem Zusammenhang seiner Rüge des überspitzten Formalismus zu (Art. 29 Abs. 1 BV und Art. 6 Ziff. 1 EMRK).
Das Obergericht hat die Behauptungen des Beschwerdeführers, die Kinder hätten das Internat erst per September 2010 (und nicht per Anfangs Juli 2010) verlassen und es seien wegen der verspäteten Kündigung weitere Internatskosten angefallen, als neu erachtet und deshalb nicht berücksichtigt. Der Beschwerdeführer macht geltend, diese Tatsachen ergäben sich aus den "bei den Vorinstanzen aufgelegten Belegen mit den entsprechenden Rechnungen". Soweit er damit geltend macht, das Obergericht habe seine Behauptungen zu Unrecht als neu beurteilt, legt er nicht dar, aus welchen bereits dem Bezirksgericht vorliegenden Unterlagen sich diese Tatsachen ergeben sollen. Darauf ist nicht einzutreten. Konkret nennt er einzig eine Eingabe der Beschwerdegegnerin mit Beilagen an das Bezirksgericht Aarau, in der dies zugestanden sein soll. Der Beschwerdeführer behauptet aber diesbezüglich nicht, dass diese Dokumente auch dem Bezirksgericht Kriens vorgelegen haben. Es ist nicht Aufgabe des Bundesgerichts, die kantonalen Akten danach zu durchsuchen (vgl. BGE 133 IV 286 E. 6.2 S. 288). Darauf ist nicht einzutreten.
3.3 Die Beschwerde ist damit abzuweisen, soweit auf sie eingetreten werden kann.
4. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG). Die Beschwerdegegnerin hat sich im Rahmen ihrer Stellungnahme zum Gesuch um aufschiebende Wirkung (Postaufgabe 8. März 2012) unaufgefordert zur Sache geäussert. Hiefür schuldet ihr der Beschwerdeführer keine Entschädigung (Art. 68 Abs. 1 und 2 BGG). Da sie sich der aufschiebenden Wirkung vergeblich widersetzt hat, ist auch insoweit keine Entschädigung geschuldet.
Die Beschwerdegegnerin hat am 7. Mai 2012 (Postaufgabe) ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung gestellt. Ihre erbetene Stellungnahme zum Gesuch um aufschiebende Wirkung und die unaufgeforderte Stellungnahme zur Sache hat sie jedoch bereits am 8. März 2012 der Post übergeben. Eine rückwirkende Gewährung der unentgeltlichen Rechtspflege kommt in der Regel nicht in Betracht (vgl. BGE 122 I 203 E. 2 S. 204 ff.). Anlass für eine Ausnahme besteht nicht. Das Gesuch ist abzuweisen.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2. Die Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
3. Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
4. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Luzern, 2. Abteilung, schriftlich mitgeteilt.
Lausanne, 25. Mai 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg