Sachverhalt: A. Y._ betrieb mit Zahlungsbefehl vom 9. Dezember 2011 (Betreibung Nr. xxxx des Betreibungsamts A._) X._ für ausstehende Unterhaltsbeiträge. Der Betriebene erhob Rechtsvorschlag. Mit Urteil vom 10. Februar 2012 erteilte das Bezirksgericht Uster definitive Rechtsöffnung für den Betrag von Fr. 42'755.-- nebst Zins und Kosten. B. Dagegen wandte sich X._ am 28. Februar 2012 mit Beschwerde an das Obergericht des Kantons Zürich. Das Obergericht wies die Beschwerde mit Urteil vom 7. März 2012 ab. C. Am 13. April 2012 hat X._ (Beschwerdeführer) Beschwerde an das Bundesgericht erhoben. Er beantragt die Aufhebung des angefochtenen Urteils und die Verweigerung der definitiven Rechtsöffnung. Zudem ersucht er um aufschiebende Wirkung. Y._ (Beschwerdegegnerin) hat gegen das Gesuch um aufschiebende Wirkung keine Einwände erhoben und das Obergericht hat diesbezüglich auf Vernehmlassung verzichtet. Mit Präsidialverfügung vom 2. Mai 2012 ist der Beschwerde aufschiebende Wirkung zuerkannt worden. Das Bundesgericht hat die Akten beigezogen, in der Sache aber keine Vernehmlassungen eingeholt.