Sachverhalt:
A. Am 29. Mai 2006 (Gesuch um Durchführung der Sühneverhandlung vom 11. April 2006) erhob Y._ beim Bezirksgericht Bülach eine Erbteilungsklage gegen X._. Im Laufe des Verfahrens einigten sich die Parteien über die Teilung des Nachlasses und schlossen am 21. November 2007 vor dem Bezirksgericht einen Vergleich ab, den das Bezirksgericht in seinen Beschluss vom 5. Dezember 2007 aufnahm und das Verfahren als durch Vergleich erledigt abschrieb.
B. Mit Gesuch vom 16. Juni 2008 verlangte Y._ die Vollstreckung des bezirksgerichtlichen Beschlusses vom 5. Dezember 2007. X._ beantragte in ihrer Antwort vom 18. August 2008 die Abweisung des Gesuchs und forderte in einem Punkt selbst die Vollstreckung. In der Folge schlossen die Parteien am 30. Oktober 2008 vor dem Bezirksgericht eine Teilvereinbarung ab und überliessen die noch strittigen Punkte (unter anderem auch den Entscheid über die Prozesskosten des Vollstreckungsverfahrens) dem Bezirksgericht.
Mit Verfügung vom 18. März 2009 vollzog das Bezirksgericht die Teilvereinbarung vom 30. Oktober 2008 (soweit Anweisungen an das Notariat, das Grundbuchamt, die Bank und den Erbenvertreter betreffend), schrieb das Verfahren im Umfang des Vergleichs ab und entschied über die noch strittigen Punkte. Die Gerichtskosten setzte es (ausgehend von einem Streitwert von Fr. 786'500.--) auf Fr. 26'505.80 fest (Ziff. 9 des Dispositivs), auferlegte diese X._ (Ziff. 10 des Dispositivs) und verpflichtete sie zu einer Prozessentschädigung von Fr. 28'190.-- an Y._ (Ziff. 11 des Dispositivs).
C. Dagegen rekurrierte X._ an das Obergericht des Kantons Zürich und verlangte insbesondere die Auferlegung der Gerichtskosten an Y._ sowie deren Verpflichtung zur Zahlung einer angemessenen Parteientschädigung. Eventualiter erhob sie eine Kostenbeschwerde gegen die bezirksgerichtlich festgelegte Höhe der Gerichtskosten.
Mit Beschluss vom 1. Juli 2009 hiess das Obergericht den Rekurs teilweise gut und änderte Ziff. 10 und 11 des bezirksgerichtlichen Dispositivs dahingehend ab, als es die Kosten zu 10% Y._ und zu 90% X._ auferlegte und die Prozessentschädigung an Y._ auf Fr. 25'400.-- reduzierte. Im Übrigen wies es den Rekurs ab. Auch die Kostenbeschwerde wies es (sinngemäss) ab, da es die bezirksgerichtliche Festlegung der Gerichtskostenhöhe nicht beanstandete.
D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführerin) in ihrer Beschwerde vom 3. August 2009 die Aufhebung des obergerichtlichen Urteils betreffend die Abweisung der Kostenbeschwerde und die angemessene Reduktion der Gerichtsgebühr des bezirksgerichtlichen Verfahrens, wobei diese auf höchstens Fr. 3'270.-- festzusetzen sei. Eventualiter verlangt sie die Rückweisung der Sache an das Obergericht zu neuer Beurteilung.
Weiter ersucht die Beschwerdeführerin um aufschiebende Wirkung. Mit Verfügung vom 5. August 2009 hat die Abteilungspräsidentin das Gesuch um aufschiebende Wirkung abgewiesen.
Zudem hat die Abteilungspräsidentin das bundesgerichtliche Verfahren bis zum Entscheid über die von der Beschwerdeführerin am 3. August 2009 beim Kassationsgericht des Kantons Zürich eingereichte Nichtigkeitsbeschwerde (gegen die Abweisung des Rekurses durch das Obergericht) sistiert. Das Kassationsgericht hat die Nichtigkeitsbeschwerde mit Beschluss vom 3. September 2010 teilweise gutgeheissen und den obergerichtlichen Rekursentscheid insoweit abgeändert, als es die Kosten (des bezirksgerichtlichen Verfahrens) zu 25% Y._ (nachfolgend Beschwerdegegnerin) und zu 75% der Beschwerdeführerin auferlegte und die Prozessentschädigung an die Beschwerdegegnerin auf Fr. 14'095.-- reduzierte. Dagegen wurde kein Rechtsmittel ergriffen.
Es sind die Akten, jedoch keine Vernehmlassungen eingeholt worden.
Erwägungen:
1. 1.1 Angefochten ist die kantonal letztinstanzliche (Art. 75 Abs. 1 BGG) Festsetzung der Gerichtskosten in einem Verfahren, das die Vollstreckung eines im Erbteilungsverfahren ergangenen Entscheides (Beschluss vom 5. Dezember 2007) zum Gegenstand hat und damit eine Zivilsache vermögensrechtlicher Natur darstellt (Art. 72 Abs. 2 lit. b Ziff. 1 und Art. 74 Abs. 1 BGG). Es kann offen gelassen werden, ob der vorliegenden Beschwerde ein Streitwert von mindestens Fr. 30'000.-- zugrunde liegt (Art. 74 Abs. 1 lit. b BGG), da die Beschwerdeführerin nur die Verletzung verfassungsmässiger Rechte rügt (Art. 9 und Art. 29 Abs. 1 BV, Art. 6 Ziff. 1 EMRK; zum Begriff der verfassungsmässigen Rechte vgl. BGE 131 I 366 E. 2.2 S. 367 f.).
1.2 Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (Art. 42 Abs. 1 BGG). Anträge auf Geldforderungen sind zu beziffern (BGE 134 III 235 E. 2 S. 236 f.). Dies gilt namentlich auch für die selbständige Anfechtung der kantonalen Kostenregelung. Soweit die Beschwerdeführerin die "angemessene" Reduktion der bezirksgerichtlichen Gerichtsgebühr verlangt, genügt sie diesen Anforderungen nicht. Sie präzisiert aber in ihrem Rechtsbegehren, die Gerichtsgebühr sei auf höchstens Fr. 3'270.-- festzusetzen. Unter diesen Umständen ist ihr Hauptantrag so zu verstehen (BGE 99 II 176 E. 2 S. 180 f.), dass sie die Herabsetzung der umstrittenen Gerichtskosten für das erstinstanzliche Verfahren auf Fr. 3'270.-- begehrt (BGE 119 II 333 E. 3 S. 334; Urteil 4A_43/2008 vom 4. März 2008 E. 2.2 mit Hinweisen, in: Pra 2008 Nr. 121 S. 758).
2. 2.1 Gemäss § 64 Abs. 1 der Zivilprozessordnung des Kantons Zürich vom 13. Juni 1976 (ZPO; LS 271; in Kraft bis zum 31. Dezember 2010) bemessen sich die Gerichtskosten nach den Bestimmungen des Gerichtsverfassungsgesetzes des Kantons Zürich vom 13. Juni 1976 (GVG; LS 211.1; in Kraft bis zum 31. Dezember 2010). In § 202 Abs. 1 GVG wird die Verordnungskompetenz für die Gebührenansätze an das Obergericht delegiert, das am 4. April 2007 die vorliegend massgebende Verordnung über die Gerichtsgebühren erlassen hat (GebV; LS 211.11; in der Fassung bis zum 31. Dezember 2010). Für vermögensrechtliche Streitigkeiten sieht § 4 Abs. 1 GebV einen streitwertabhängigen Tarif vor. Der Streitwert richtet sich nach dem Rechtsbegehren des Klägers zur Zeit des Eintritts der Rechtshängigkeit (§ 18 Abs. 1 ZPO/ZH).
2.2 Mit der Kostenbeschwerde gemäss § 206 GVG, die einen Sonderfall der aus dem Aufsichtsrecht fliessenden Beschwerde im Sinne von § 108 ff. GVG darstellt, kann die Höhe der Kostenansätze der Gerichte, das heisst die den Parteien auferlegten Gerichtsgebühren und Kosten, angefochten werden. Die Festsetzung der Gerichtskosten stellt nicht einen Akt der Rechtsprechung, sondern einen solchen der Justizverwaltung dar (ZR 102/2003 S. 14).
3. 3.1 Das Obergericht hielt fest, der Streitwert richte sich nach dem klägerischen Begehren, vorliegend also der Vollstreckung eines in einem Erbteilungsverfahren zustande gekommenen gerichtlichen Vergleichs. Bei Erbteilungsklagen richte sich der Streitwert regelmässig nach dem Geldwert des klägerischen Erbanteils, der vorliegend Fr. 786'500.-- betrage. Da die Beschwerdeführerin die vollständige Abweisung des Vollstreckungsbegehrens verlangt habe, richte sich demnach auch der Streitwert nach dem gesamten Rechtsbegehren der Beschwerdegegnerin. Demnach sei sowohl die Festsetzung des Streitwerts als auch die darauf basierende Berechnung der Gerichtskosten anhand von § 4 GebV durch das Bezirksgericht nicht zu beanstanden.
3. 3.1 Das Obergericht hielt fest, der Streitwert richte sich nach dem klägerischen Begehren, vorliegend also der Vollstreckung eines in einem Erbteilungsverfahren zustande gekommenen gerichtlichen Vergleichs. Bei Erbteilungsklagen richte sich der Streitwert regelmässig nach dem Geldwert des klägerischen Erbanteils, der vorliegend Fr. 786'500.-- betrage. Da die Beschwerdeführerin die vollständige Abweisung des Vollstreckungsbegehrens verlangt habe, richte sich demnach auch der Streitwert nach dem gesamten Rechtsbegehren der Beschwerdegegnerin. Demnach sei sowohl die Festsetzung des Streitwerts als auch die darauf basierende Berechnung der Gerichtskosten anhand von § 4 GebV durch das Bezirksgericht nicht zu beanstanden.
3.2 3.2.1 Die Beschwerdeführerin bringt dagegen vor, im Vollstreckungsverfahren sei einzig noch die Ablösung einer Hypothek in der Höhe von Fr. 43'000.-- strittig gewesen. Hingegen habe sie sich der Vollstreckung der übrigen Begehren der Beschwerdegegnerin nicht entgegengesetzt. Der Streitwert bestimme sich danach, was die Klägerin fordere und die Beklagte zuzugestehen sich weigere und trotz Anerkennung ihrer Schuldpflicht nicht leiste. Demnach habe der Streitwert im Vollstreckungsverfahren höchstens noch die Hälfte des Wertes der strittigen Hypothek betragen, somit Fr. 21'500.--. In Anwendung von § 4 GebV resultiere damit eine Gerichtsgebühr von Fr. 3'270.--.
Das Obergericht habe wie das Bezirksgericht für die Bemessung des Streitwerts einzig auf ihren Antrag auf Abweisung des Vollstreckungsgesuchs in der Antwort auf das Vollstreckungsgesuch (Eingabe vom 18. August 2008) abgestellt. Hingegen habe es die Begründung dieser Eingabe nicht beigezogen, obwohl daraus ersichtlich geworden wäre, dass sie sich der Vollstreckung mit einer Ausnahme (Hypothek) gar nicht widersetze, sondern erfüllungsbereit gewesen sei.
3.2.2 Damit habe das Obergericht nicht nur den Streitwert gestützt auf § 18 ZPO/ZH willkürlich (Art. 9 BV) berechnet, sondern sei durch die rein formelle Anknüpfung an ihren Antrag auf Abweisung des Vollstreckungsgesuchs (ohne die Begründung heranzuziehen) auch in überspitzten Formalismus verfallen, was eine Form der Rechtsverweigerung darstelle und Art. 29 Abs. 1 BV und Art. 6 Ziff. 1 EMRK verletze.
4. 4.1 Wird eine Verletzung des Willkürverbots nach Art. 9 BV geltend gemacht, muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet. Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkür liegt nur vor, wenn nicht bloss die Begründung eines Entscheides, sondern auch das Ergebnis unhaltbar ist, was die Beschwerdeführerin in ihrer Beschwerde aufzuzeigen hat (BGE 135 V 2 E. 1.3 S. 4 f.; 131 I 217 E. 2.1 S. 219).
4.2 Gemäss § 18 Abs. 1 ZPO/ZH richtet sich der Streitwert wie erwähnt (E. 2.1 oben) nach dem Rechtsbegehren der Klägerin zur Zeit des Eintritts der Rechtshängigkeit. Vorliegend erging der bezirksgerichtliche Entscheid im summarischen Verfahren. Dieses wird beim Einzelrichter mit mündlichem oder schriftlichem Begehren rechtshängig gemacht (§ 205 ZPO/ZH). Die Rechtshängigkeit tritt damit mit der Einreichung des Begehrens ein und hat die entsprechenden Wirkungen, insbesondere auch die Festlegung des Zeitpunkts zur Bemessung des Streitwerts (FRANK/STRÄULI/MESSMER, Kommentar zur zürcherischen Zivilprozessordnung, 3. Aufl. 1997, N. 1 zu § 205 ZPO/ZH).
Aufgrund dieser klaren gesetzlichen Formulierung ("Rechtsbegehren des Klägers") und der zeitlichen Fixierung ("Eintritt der Rechtshängigkeit") stellt sich bereits die Frage, inwiefern für die Streitwertberechnung die Position der Beklagten überhaupt noch zu berücksichtigen ist (vgl. Vogel/Spühler, Grundriss des Zivilprozessrechts, 8. Aufl. 2006, N. 4.100; GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl. 1979, S. 110). Dies umso mehr, als mit der Totalrevision der Zivilprozessordnung des Kantons Zürich im Jahr 1976 die frühere Bestimmung zum Streitwert (§ 21 Abs. 1 aZPO/ZH: "Der Streitwert wird durch das klägerische Rechtsbegehren bestimmt, in der Weise, dass als streitiger Betrag der Wert derjenigen Leistung zu betrachten ist, welche der Kläger von dem Beklagten fordert und dieser zuzugestehen sich weigert") im erwähnten Sinne geändert wurde.
4.3 Jedenfalls kann nicht von einer willkürlichen Anwendung von Art. 18 Abs. 1 ZPO/ZH gesprochen werden, wenn das Obergericht im Ergebnis für den Streitwert auf die Begehren der Beschwerdegegnerin abgestellt hat.
5. 5.1 Das Verbot des (eine nach Art. 29 Abs. 1 BV und Art. 6 Ziff. 1 EMRK verbotene formelle Rechtsverweigerung darstellenden) überspitzten Formalismus wendet sich gegen prozessuale Formenstrenge, die als exzessiv erscheint, durch kein schutzwürdiges Interesse gerechtfertigt ist, zum blossen Selbstzweck wird und die Verwirklichung des materiellen Rechts in unhaltbarer Weise erschwert oder gar verhindert (BGE 135 I 6 E. 2.1 S. 9; 128 II 139 E. 2a S. 142).
5.2 Überspitzt formalistisch wäre es, eine Partei auf der unglücklichen Formulierung oder beim unbestimmten Wortlaut ihres Rechtsbegehrens zu behaften, wenn sich dessen Sinn unter Berücksichtigung der Klagebegründung, der Umstände des zu beurteilenden Falles oder der Rechtsnatur der betreffenden Klage ohne Weiteres ermitteln liesse (Urteil 5P.35/2005 vom 4. Mai 2005 E. 1.1). Weder wird aber von der Beschwerdeführerin behauptet, noch ist ersichtlich, inwiefern das von ihrem Anwalt verfasste Rechtsbegehren auf Abweisung des Vollstreckungsgesuchs unbestimmt oder unglücklich formuliert sein soll. Indem sich das Obergericht auf diesen klaren Antrag abstützte, handelte es nicht überspitzt formalistisch.
6. Aus den dargelegten Gründen muss die Beschwerde abgewiesen werden. Die Beschwerdeführerin wird ausgangsgemäss kostenpflichtig (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 25. Januar 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Bettler