Sachverhalt:
A. Die Gemeinde A._ unterstützte Z._ (geb. xxxx 1965) während einer gewissen Zeit mit Mitteln der Sozialhilfe. Z._ ist die Tochter von X._ (geb. xxxx 1932). X._ ist Rechtsanwalt und Generalsekretär des Vereins Y._ und wohnt in einer eigenen Liegenschaft in B._.
B. Mit Klage vom 16. März 2007 an das Bezirksgericht Uster verlangte die Gemeinde A._ von X._ für die Zeit vom 1. August 2005 bis 31. Juli 2006 eine Summe von Fr. 24'400.-- und ab 1. August 2006 einen monatlichen Beitrag von Fr. 1'997.20 unter dem Titel der Verwandtenunterstützung.
Mit Urteil vom 21. September 2009 hiess das Bezirksgericht die Klage teilweise gut und verpflichtete X._, der Gemeinde A._ rückwirkend ab 1. Januar 2007 monatliche Unterstützungsbeiträge von Fr. 1'997.20 zu bezahlen.
C. Gegen dieses Urteil erklärte X._ Berufung und verlangte die Abweisung der Klage. In der Berufungsantwort schränkte die Gemeinde A._ ihr Rechtsbegehren ein und verlangte nunmehr die Rückerstattung der für Z._ in der Zeit vom 1. Januar 2007 bis 31. Dezember 2009 geleisteten Unterstützungsbeiträge im Gesamtbetrag von Fr. 35'153.30. Die Gemeinde A._ begründete die Änderung damit, dass ihr Z._ mitgeteilt habe, ab 1. Januar 2010 keine Sozialhilfe mehr zu benötigen. Sie (die Gemeinde) habe in der Folge die Sozialhilfeleistungen an Z._ eingestellt.
Mit Beschluss vom 1. Dezember 2010 schrieb das Obergericht des Kantons Zürich die Klage als durch Rückzug erledigt ab, soweit sie sich auf die Zeit nach dem 31. Dezember 2009 bezogen hatte. Es verpflichtete X._, der Gemeinde A._ für die in der Zeit vom 1. Januar 2007 bis 31. Dezember 2009 erbrachten Unterstützungsleistungen Fr. 35'153.30 zu bezahlen.
D. Gegen diesen Beschluss erhob X._ am 23. Dezember 2010 Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich. Soweit er sich dagegen wandte, in günstigen Verhältnissen gemäss <ref-law> zu leben, trat das Kassationsgericht auf die Beschwerde mit Zirkulationsbeschluss vom 27. Dezember 2011 nicht ein, da es sich um eine vom Bundesgericht zu prüfende Rechtsfrage handle.
E. Gegen den Beschluss des Obergerichts vom 1. Dezember 2010 hat X._ (Beschwerdeführer) am 2. Februar 2012 Beschwerde in Zivilsachen erhoben. Er beantragt die Aufhebung des angefochtenen Beschlusses und die Abweisung der Klage der Gemeinde A._ (Beschwerdegegnerin). Zur Neuregelung der Kosten- und Entschädigungsfolgen sei die Sache an das Obergericht zurückzuweisen.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten ist ein Endentscheid in einer Zivilsache mit Fr. 30'000.-- übersteigendem Streitwert (Art. 72 Abs. 2, Art. 74 Abs. 1 lit. b, Art. 90 BGG). Das obergerichtliche Urteil ist im Dezember 2010 und damit zu einem Zeitpunkt versandt worden, in dem die eidgenössische ZPO noch nicht in Kraft getreten war (<ref-law>; zur Bedeutung des Versanddatums: <ref-ruling> E. 2 S. 131 f.). Es konnte folglich aufgrund des anwendbaren kantonalen Prozessrechts (der Zivilprozessordnung des Kantons Zürich) mit kantonaler Nichtigkeitsbeschwerde beim Kassationsgericht des Kantons Zürich angefochten werden und der Beschwerdeführer hat dies auch getan. Bei dieser Konstellation gilt mit Bezug auf den Beginn der Frist für die Anfechtung des obergerichtlichen Urteils beim Bundesgericht das BGG in seiner Fassung vom 17. Juni 2005 (<ref-ruling> E. 1 S. 129; Urteil 5A_355/2011 vom 26. Januar 2012 E. 1.1). Gemäss <ref-law> in der Fassung vom 17. Juni 2005 begann die Frist für die Beschwerde in Zivilsachen gegen beide kantonale Entscheide mit der Eröffnung des Beschlusses des Kassationsgerichts zu laufen (vgl. dazu <ref-ruling> E. 1.3 S. 339 f.). Zugestellt wurde der Beschluss des Kassationsgerichts am 3. Januar 2012. Die am 2. Februar 2012 gegen den obergerichtlichen Beschluss erhobene Beschwerde ist demnach rechtzeitig erfolgt.
1.2 Letztinstanzlichkeit gemäss <ref-law> bedeutet, dass der kantonale Instanzenzug für die Rügen ausgeschöpft sein muss, die dem Bundesgericht vorgetragen werden (<ref-ruling> E. 1.3 S. 527). Die Anfechtung des obergerichtlichen Urteils vor Bundesgericht ist zulässig, soweit der Beschwerdeführer Rügen vorbringt, die das Kassationsgericht nicht hat prüfen können oder mit engerer Kognition geprüft hat, als sie dem Bundesgericht im vorliegenden Verfahren zusteht (vgl. <ref-ruling> E. 1.1 S. 128). Der Beschwerdeführer rügt die Auslegung des Begriffs der "günstigen Verhältnisse" gemäss <ref-law>. Diese Frage kann das Bundesgericht - im Gegensatz zum ehemaligen Kassationsgericht - frei prüfen (vgl. sogleich E. 1.3). Das obergerichtliche Urteil ist insoweit kantonal letztinstanzlich.
1.3 Die Rechtsanwendung überprüft das Bundesgericht grundsätzlich mit freier Kognition (<ref-law>). Für die Verwandtenunterstützung gilt es freilich zu beachten, dass der Richter bei der Auslegung bzw. Anwendung der in <ref-law> enthaltenen unbestimmten Rechtsbegriffe (insbesondere "günstige Verhältnisse" auf Seiten des Pflichtigen) auf sein Ermessen verwiesen ist (<ref-law>). Es obliegt ihm, sämtliche Umstände des Einzelfalles zu berücksichtigen und eine den besonderen Verhältnissen angepasste Lösung zu finden. Das Bundesgericht übt bei der Überprüfung solcher Ermessensentscheide eine gewisse Zurückhaltung. Es schreitet nur ein, wenn die Vorinstanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgewichen ist, wenn sie Tatsachen berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt Umstände ausser Betracht gelassen hat, die zwingend hätten beachtet werden müssen. Ausserdem greift das Bundesgericht in Ermessensentscheide ein, falls sich diese als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 1 S. 99 mit Hinweisen).
2. Wer in günstigen Verhältnissen lebt, ist verpflichtet, Verwandte in auf- und absteigender Linie zu unterstützen, die ohne diesen Beistand in Not geraten würden (<ref-law>). Kommt das Gemeinwesen für den Unterhalt auf, geht der Unterhaltsanspruch auf dieses über (Art. 329 Abs. 3 i.V.m. <ref-law>). Umstritten ist vorliegend einzig, ob der Beschwerdeführer in den Jahren 2007 bis 2009 in günstigen Verhältnissen gelebt hat und er demgemäss der Beschwerdegegnerin die von ihr in dieser Zeit an seine Tochter entrichteten Sozialhilfebeiträge zu vergüten hat.
In günstigen Verhältnissen im Sinn von <ref-law> lebt, wer nebst den notwendigen Auslagen (wie Miet-/Hypothekarzins, Wohnnebenkosten, Krankenkassenprämien, Steuern, notwendige Berufsauslagen, Vorsorge- und eventuelle Pflegefallkosten) auch diejenigen Ausgaben tätigen kann, die weder notwendig noch nützlich zu sein brauchen, zur Führung eines gehobenen Lebensstils jedoch anfallen (wie Ausgaben in den Bereichen Reisen, Ferien, Kosmetik, Pflege, Mobilität, Gastronomie, Kultur etc.), d.h. wer aufgrund seiner finanziellen Gesamtsituation ein wohlhabendes Leben führen kann (<ref-ruling> E. 4 S. 4 mit Hinweisen). Massgeblich für die Beurteilung dieser Gesamtsituation ist nicht nur das Einkommen, sondern auch das Vermögen. Ein Anspruch auf dessen ungeschmälerte Erhaltung besteht nur dann, wenn die Unterstützung das eigene Auskommen des Pflichtigen schon in naher Zukunft gefährdet (<ref-ruling> E. 3.2 S. 105 f.). Diesbezüglich gilt allerdings der Vorbehalt, dass auch die Bedürfnisse des Pflichtigen im Alter berücksichtigt werden müssen (<ref-ruling> E. 3.3 S. 107; vgl. unten E. 3.3). Zu beachten sind ferner die verwandtschaftlichen Beziehungen. Es ist zulässig, bei Verwandtschaft gerader Linie im zweiten Grad (Grosseltern - Enkel) an die Voraussetzungen der Unterstützungspflicht höhere Anforderungen zu stellen als bei der Verwandtschaft ersten Grades zwischen Eltern und ihren Kindern (Urteil 5C.186/2006 vom 21. November 2007 E. 3.2.3, in: FamPra.ch 2008 S. 452 und recht 26/2008 S. 159). Insgesamt sind alle sachlich wesentlichen Umstände des konkreten Einzelfalls zu berücksichtigen und eine den besonderen Verhältnissen angepasste Lösung zu finden (<ref-ruling> E. 1 S. 99; <ref-ruling> E. 4 S. 4).
3. Der Beschwerdeführer bestreitet nicht die vom Obergericht herangezogenen Einkommens- und Vermögenszahlen, sondern rügt, dass ihm keine Rückstellungen für einen allfälligen Alters- oder Pflegeheimaufenthalt und für den Ausfall seines Einkommens aus dem Verein Y._ zugebilligt wurden. Schliesslich hält er es für unzulässig, ihm einen Vermögensverzehr zuzumuten.
3.1 Das Obergericht hat zur Bestimmung der Leistungsfähigkeit des Beschwerdeführers die SKOS-Richtlinien als grobe Richtschnur beigezogen. Dies ist grundsätzlich nicht zu beanstanden, denn diese Richtlinien sind für die Zivilgerichte zwar nicht verbindlich, dürfen aber im konkreten Einzelfall herangezogen werden (<ref-ruling> E. 2.4 S. 103 f.). Das Obergericht hat ausgeführt, eine Verwandtenunterstützungspflicht komme gemäss den Richtlinien bei Alleinstehenden erst bei einem steuerbaren Jahreseinkommen von Fr. 120'000.-- in Frage. Die Pauschale für eine gehobene Lebensführung betrage bei Alleinstehenden Fr. 10'000.-- pro Monat.
Für das Jahr 2007 mache der Beschwerdeführer selber ein monatliches Nettoeinkommen von Fr. 13'949.--. geltend, während der durchschnittliche monatliche Unterstützungsbeitrag, den die Beschwerdegegnerin in diesem Jahr an die Tochter des Beschwerdeführers erbracht habe, Fr. 2'052.30 betrage. Die Verhältnisse in diesem Jahr seien somit günstig.
Das monatliche Nettoeinkommen des Beschwerdeführers im Jahre 2008 betrage Fr. 10'118.--. Sein Nettovermögen Ende 2008 betrage Fr. 1'712'702.--. Demgegenüber habe die Beschwerdegegnerin die Tochter des Beschwerdeführers mit monatlich durchschnittlich Fr. 570.05 unterstützt. Da die Unterstützungspflicht auf drei Jahre beschränkt sei, seien keine Rückstellungen für einen Heim- und Pflegeaufenthalt im Alter und für den Wegfall der Honorare des Vereins Y._ anzurechnen. Würden vom monatlichen Nettoeinkommen der durchschnittliche Unterstützungsbetrag von Fr. 570.05 abgezogen, so verblieben dem Beschwerdeführer monatlich immer noch Fr. 9'547.95. Das Obergericht hat des Weiteren gestützt auf die SKOS-Richtlinien den anrechenbaren Vermögensverzehr berechnet. Dazu hat es vom Vermögen einen Freibetrag von Fr. 250'000.-- abgezogen, was zu einem Vermögen von Fr. 1'462'702.-- führe. Werde ein Zwanzigstel davon als zumutbarer jährlicher Vermögensverzehr betrachtet, so ergebe sich ein zusätzlicher monatlicher Einkommensbestandteil von Fr. 6'094.45, wodurch sich das monatliche Einkommen auf Fr. 16'212.45 erhöhe. So oder anders bestünden auch für das Jahr 2008 günstige Verhältnisse.
Im Jahre 2009 schliesslich habe das monatliche Nettoeinkommen Fr. 7'249.50 betragen und das Nettovermögen Fr. 1'632'702.--. Die Beschwerdegegnerin habe die Tochter des Beschwerdeführers durchschnittlich mit Fr. 307.10 monatlich unterstützt. Aufgrund der auf drei Jahre beschränkten Unterstützungspflicht seien auch in diesem Jahr keine Rückstellungen für einen Heim- oder Pflegeaufenthalt oder den Wegfall der Honorareinnahmen anzurechnen. Werde auch in diesem Jahr nach der erwähnten Formel ein zumutbarer Vermögensverzehr berechnet und zum Einkommen addiert, so resultiere nach Abzug des durchschnittlichen Unterstützungsbeitrags ein monatliches Nettoeinkommen von Fr. 12'703.65 (Fr. 7249.50 + Fr. 5'761.25 - Fr. 307.10). Auch in diesem Jahr lägen günstige Verhältnisse vor.
3.2 Der Beschwerdeführer macht geltend, es bestehe kein Zusammenhang zwischen der Dauer der Unterstützungspflichten und dem Risiko, in ein Alters- oder Pflegeheim eintreten zu müssen. Bei Eintritt des Pflegefalls fehlten unter Umständen gerade diejenigen Rückstellungen, die der Pflichtige wegen der Unterstützung nicht habe bilden können. Entsprechendes gelte auch für Rückstellungen, um den Wegfall des Einkommens aus dem Verein Y._ aufzufangen, der im Jahre 2009 tatsächlich eingetreten sei. Bei älteren Personen müsse die relevante Wohlstandsschwelle weit über Fr. 10'000.-- liegen, da Rückstellungen für einen Alters- und Pflegeheimaufenthalt von Fr. 10'000.-- bis Fr. 20'000.-- zulässig seien.
Der Beschwerdeführer macht weiter geltend, er erziele den grössten Teil seines Einkommens aus den Liegenschaften. Anzehrung von Vermögen durch Verkauf oder Erhöhung einer Hypothek könne jedoch nicht verlangt werden, wenn der Unterhaltspflichtige auf Einnahmen aus diesem Vermögen angewiesen sei, um seinen Lebensstandard zu halten. Wertschriften und Bankguthaben hingegen wären binnen kurzer Zeit aufgebraucht, wenn sie im von der Vorinstanz verlangten Umfang zu seinem Unterhalt herangezogen würden.
3.3 Wie gesagt (oben E. 2), lebt in günstigen Verhältnissen, wem aufgrund seiner finanziellen (Gesamt-) Situation eine wohlhabende Lebensführung möglich ist. Diese muss namentlich auch im Hinblick auf eine im Alter zu erwartende Pflegebedürftigkeit sichergestellt sein, weshalb die wirtschaftliche Sicherheit des Pflichtigen im Alter einer Beurteilung auf längere Sicht standhalten muss (<ref-ruling> E. 3.3 S. 107). Der Anspruch des Pflichtigen auf Bildung einer angemessenen Vorsorge - auch im Hinblick auf eine allfällige Pflegebedürftigkeit - geniesst somit Vorrang gegenüber den Ansprüchen auf Verwandtenunterstützung. So dürfen insbesondere die finanziellen Mittel für einen möglichen Aufenthalt in einem Alters- oder Pflegeheim rechnerisch zur Beurteilung der günstigen Verhältnisse miteinbezogen werden. Die entsprechende Vorsorge muss nicht im Vorrentenalter abgeschlossen sein, sondern entsprechende Rückstellungen können auch im Rentenalter berücksichtigt werden (Urteil 5C.186/2006 vom 21. November 2007 E. 3.2.3 und E. 4.2.2, in: FamPra.ch 2008 S. 452 und recht 26/2008 S. 159).
Die Vorinstanz hat die Anrechnung entsprechender Rückstellungen deshalb verweigert, weil die Unterstützungsleistung zeitlich auf drei Jahre begrenzt ist. Sie hat sich dazu auf das Urteil 5C.299/2006 vom 22. Juni 2007 E. 4 abgestützt und ausgeführt, bei einer zeitlich begrenzten Unterstützung komme dem Vorsorgeelement nicht dieselbe Bedeutung zu wie bei einer zeitlich unbegrenzten Unterstützung. Ob der dem Urteil 5C.299/2006 zugrunde liegende Sachverhalt mit dem vorliegenden vollumfänglich vergleichbar ist, erscheint fraglich, denn in jenem Fall ging es um einen noch im Berufsleben stehenden Pflichtigen, dessen Beiträge an die erste und zweite Säule als Abzüge vom Bruttoeinkommen berücksichtigt worden waren, während der Pflichtige in diesem Fall bereits 79-jährig ist und einzig eine AHV-Rente bezieht. Dennoch erscheint das vorinstanzliche Ergebnis bei einer Betrachtung der finanziellen Gesamtsituation des Beschwerdeführers nicht als stossend ungerecht, wie dies für die Aufhebung eines kantonalen Ermessensentscheids gegeben sein müsste. Die Unterstützung für eine begrenzte Zeitspanne hat mit einer einmaligen Unterstützungsleistung (vgl. zu Letzterem <ref-ruling> E. 5 S. 4 f.) gemein, dass der zu bezahlende Betrag feststeht. Vorliegend geht es um Fr. 35'153.30. Die finanzielle Situation des Beschwerdeführers gestaltet sich nach den Feststellungen der Vorinstanz demgegenüber wie folgt: Sein Nettovermögen sank von fast Fr. 2 Mio. im Jahre 2007 auf etwas über Fr. 1.6 Mio. im Jahre 2009. Sein Vermögen bestand in der ganzen relevanten Zeitspanne zum grössten Teil aus Liegenschaften. So besass er im Jahre 2009 nur rund Fr. 100'000.-- an Wertschriften und Bankguthaben, während der Rest der Aktiven (d.h. vor Abzug der Schulden) von insgesamt fast Fr. 6 Mio. aus vier Liegenschaften bestand. Demgegenüber verfügte er im Jahre 2007 erst über Gesamtaktiven von rund Fr. 4.5 Mio., wobei rund Fr. 250'000.-- auf Wertschriften und Bankguthaben entfielen und der Rest auf zwei Liegenschaften. Die Zunahme der Aktiven bei gleichzeitiger Abnahme des Nettovermögens ging einher mit einer entsprechenden Zunahme der Verschuldung (von rund Fr. 2.5 Mio. im Jahre 2007 auf rund Fr. 4.3 Mio. im Jahre 2009). Die Anzahl der Liegenschaften hat in der fraglichen Periode von zwei auf vier zugenommen. Das Nettoeinkommen sank von Fr. 224'784.60 (2007) auf zunächst Fr. 121'424.-- (2008) und schliesslich auf Fr. 86'994.-- (2009). Angesichts des nach wie vor beträchtlichen Vermögens erscheint eine Einmalzahlung im geltend gemachten Umfang als zumutbar und die wirtschaftliche Sicherheit des Beschwerdeführers - auch im Hinblick auf die Bedürfnisse des Alters - nicht als gefährdet. Soweit der Beschwerdeführer einen Vermögensverzehr nicht für angängig hält, weil er aus den Vermögenserträgen zu grossen Teilen sein Einkommen erziele, ist darauf hinzuweisen, dass er zuletzt (2009) - ausweislich der vorinstanzlichen Feststellungen - einzig mit einer seiner vier Liegenschaften Mietzinseinnahmen erwirtschaftet hat. Insbesondere haben die neu erworbenen Liegenschaften im fraglichen Zeitraum keine Erträge abgeworfen. Wenn die Vorinstanz unter diesen Umständen einen gewissen Vermögensverzehr als zumutbar erachtet hat, erscheint dies nicht als Überschreitung ihres Ermessens. Die Beschwerde ist abzuweisen. Nicht zu entscheiden ist an dieser Stelle, wie die Verhältnisse des Beschwerdeführers zu beurteilen wären, wenn eine dauerhafte oder eine weitere, zeitlich begrenzte Unterstützung in Frage stünde.
4. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 21. Juni 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg