Sachverhalt:
A. B._ bezog von November 2002 bis Mai 2006 von der Fürsorgebehörde Illnau-Effretikon Sozialhilfe von insgesamt Fr. 91'809.45. Mit Verfügung vom 11. Juli 2006 verpflichtete der Präsident der Fürsorgebehörde B._ zur Rückerstattung dieser Leistungen. Den von B._ hiegegen erhobenen Rekurs wies der Bezirksrat Pfäffikon mit Beschluss vom 4. Oktober 2006 ab. B._ reichte Beschwerde ein. Das Verwaltungsgericht des Kantons Zürich hiess diese mit Entscheid vom 8. Februar 2007 teilweise gut und wies die Sache zum neuen Entscheid an die Fürsorgebehörde zurück. Mit Beschluss vom 3. Juni 2008 verlangte die Fürsorgebehörde von B._ die Rückerstattung bezogener Sozialhilfe von Fr. 91'809.45. Den von B._ hiegegen eingereichten Rekurs wies der Bezirksrat mit Beschluss vom 4. November 2008 ab.
B. Beschwerdeweise beantragte B._, in Aufhebung des Rekursentscheids sei die Sache an den Bezirksrat bzw. die Stadt Illnau-Effretikon zurückzuweisen; eventuell sei festzustellen, dass er nicht verpflichtet sei, die Fr. 91'809.45 zurückzuerstatten. Zur Begründung machte B._, wie schon im Rekurs, unter anderem geltend, G._, I._ und Rechtsanwältin Dr. D._, welche an der Vorbereitung des Beschlusses der Fürsorgebehörde vom 3. Juni 2008 mitgewirkt hätten, seien hiebei befangen gewesen. Das Verwaltungsgericht des Kantons Zürich verneinte eine Befangenheit dieser Personen, bestätigte den Beschluss des Bezirksrats auch in der Sache und wies die Beschwerde ab (Entscheid vom 19. März 2009).
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, der kantonale Entscheid sei aufzuheben und die Sache sei an das Verwaltungsgericht, eventuell an die Stadt Illnau-Effretikon zurückzuweisen. Zur Begründung macht er geltend, G._ und Rechtsanwältin Dr. D._ seien entgegen der Beurteilung der Vorinstanz befangen gewesen.
Die Stadt Illnau-Effretikon lässt auf Abweisung der Beschwerde schliessen.
D. Mit Verfügung vom 24. Juni 2009 erkannte das Bundesgericht der Beschwerde die aufschiebende Wirkung zu.

Erwägungen:
1. Angefochten ist ein Endentscheid (<ref-law>) eines kantonalen Gerichts als letzter kantonaler Instanz, der nicht mit Beschwerde beim Bundesverwaltungsgericht angefochten werden kann (<ref-law>) und der in einer Angelegenheit des öffentlichen Rechts ergangen ist (<ref-law>), welche nicht unter eine der in <ref-law> erwähnten Ausnahmen fällt. Der Beschwerdeführer erfüllt die Legitimationsvoraussetzungen (<ref-law>).
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann die Verletzung von Bundesrecht gerügt werden (<ref-law>). Soweit sich der angefochtene Entscheid auf Quellen des kantonalen Rechts stützt, welche nicht in Art. 95 lit. c-e BGG genannt werden, beschränkt sich die Überprüfung durch das Bundesgericht demgegenüber thematisch auf die erhobenen und begründeten Rügen (<ref-law>) und inhaltlich auf die Frage, ob die Anwendung des kantonalen Rechts zu einer Bundesrechtswidrigkeit führt. Im Vordergrund steht dabei eine Verletzung verfassungsmässiger Rechte (<ref-ruling> E. 1 S. 203 mit Hinweisen).
Der Beschwerdeführer rügt, der angefochtene Entscheid verletze direkt und durch eine fehlerhafte Anwendung von kantonalem Recht (§ 5a des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 [nachfolgend: VRG]) Bundesrecht (Art. 9 und Art. 29 BV). Diese Rügen sind zulässig und werden in einer den Anforderungen von <ref-law> genügenden Weise substanziiert. Auf die - auch form- und fristgerecht eingereichte - Beschwerde ist einzutreten.
2. Der Beschwerdeführer bringt vor, Frau Dr. D._ sei aufgrund zweier Äusserungen und G._ aufgrund einer Äusserung als befangen zu betrachten. Diese Personen hätten daher bei der Vorbereitung und Fällung des erneuten Beschlusses der Fürsorgebehörde vom 3. Juni 2008 in den Ausstand treten müssen. Dass dies nicht erfolgt sei, stelle eine Verletzung des früheren Art. 4 aBV und der heute geltenden Art. 9 und Art. 29 BV dar. Diese Bestimmungen garantierten - in ähnlicher Weise wie bei richterlichen Behörden - die Unparteilichkeit und Unabhängigkeit von Mitgliedern der Verwaltungsbehörden und von Personen, die an der Vorbereitung von deren Entscheiden mitwirkten. Diesen Schutz gewährleiste auch die kantonalrechtliche Ausstandsbestimmung des § 5a VRG.
3. Nach <ref-law> (und Art. 6 Ziff. 1 EMRK) hat jede Person Anspruch darauf, dass ihre Streitsache von einem unbefangenen, unvoreingenommenen und unparteiischen Gericht beurteilt wird. Die Garantie wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen. Der Anschein der Befangenheit kann durch unterschiedlichste Umstände und Gegebenheiten erweckt werden. Dazu können nach der Rechtsprechung insbesondere vor oder während eines Prozesses abgegebene Äusserungen eines Richters zählen, die den Schluss zulassen, dass sich dieser bereits eine feste Meinung über den Ausgang des Verfahrens gebildet hat (vgl. <ref-ruling> E. 2.1 S. 240 mit Hinweisen).
Wann Mitglieder einer nicht gerichtlichen Behörde in den Ausstand zu treten haben, bestimmt sich nach dem anwendbaren Verfahrensrecht und nach den aus <ref-law> herzuleitenden Grundsätzen. Die für gerichtliche Verfahren geltenden Garantien von <ref-law> und Art. 6 Ziff. 1 EMRK finden keine Anwendung (Urteil 1P.489/2001 vom 4. Dezember 2001 E. 2c betreffend Rechtsberater eines Gemeinderates mit Hinweisen; zur altrechtlichen Verfassung: <ref-ruling> E. 3b S. 123, 209 E. 8a S. 217 f., je mit Hinweisen; vgl. auch <ref-ruling> E. 2b S. 198; in <ref-ruling> nicht veröffentlichte E. 4.3 des Urteils 2P.81/2002; SVR 2007 IV Nr. 22 S. 77, I 478/04 E. 2.2.2).
Den Mindestanforderungen an die Unabhängigkeit und Unparteilichkeit von Gerichten angenäherte Kriterien gelten zwar auch für Organe der verwaltungsinternen Rechtspflege (in <ref-ruling> nicht veröffentlichte E. 4.3 des Urteils 2P.81/2002 mit Hinweis; Urteil 1P.289/2001 vom 4. Dezember 2001 E. 2d mit Hinweisen). Die Beschwerdegegnerin ist indessen kein solches Rechtspflegeorgan, sondern eine kommunale Verwaltungsbehörde. An deren Unabhängigkeit und Unparteilichkeit ist ein weniger strenger Massstab anzulegen, als an mit richterlichen Aufgaben betraute Administrativbehörden oder gar Gerichte (vgl. SVR 2007 IV Nr. 22 S. 77, I 478/04 E. 2.2.2; Urteil 1P.289/2001 vom 4. Dezember 2001 E. 2d, je mit Hinweisen).
Nach § 5a Abs. 1 VRG treten Personen, die eine Anordnung treffen, dabei mitzuwirken oder sie vorzubereiten haben, in den Ausstand, wenn sie in der Sache persönlich befangen erscheinen.
4. 4.1 Gemäss der in der Beschwerde vertretenen Auffassung ist Frau Dr. D._ aufgrund zweier Äusserungen als befangen zu betrachten. Die erste Äusserung findet sich im Mail der Frau Dr. D._ vom 28. Januar 2008 an G._ und lautet: "Von meinem Auftreten erhoffe ich mir eigentlich, dass Herr X 'klein beigibt'. Was meinen Sie dazu?". Die zweite Äusserung erfolgte im Schreiben an den Beschwerdeführer vom 26. März 2008, worin Frau Dr. D._ ausführte, sie werde der Fürsorgebehörde empfehlen, Strafanzeige wegen Betrugs einzureichen. G._ wiederum wird vom Beschwerdeführer als befangen erachtet, weil er im Mail vom 29. Januar 2008 an I._ ausführte, er denke, das im Mail der Frau Dr. D._ vom 28. Januar 2008 vorgeschlagene Vorgehen sei in Ordnung.
4.2 Das kantonale Gericht ist zum Ergebnis gelangt, die genannten Äusserungen erweckten nicht den Anschein der Befangenheit. Die erste Äusserung der Frau Dr. D._ müsse im gesamten Kontext des Mails vom 28. Januar 2008 gesehen werden. Daraus ergebe sich namentlich, dass sich Frau Dr. D._ erhofft habe, der Beschwerdeführer könne aufgrund ihrer Abklärungen als Fachperson eher geneigt sein, eine Rückerstattungsforderung zu akzeptieren. Bezüglich der Äusserung im Schreiben vom 26. März 2008 hat die Vorinstanz erwogen, es habe der Rolle der Verfasserin als beigezogene "Expertin" entsprochen, der Beschwerdegegnerin ein allenfalls strafrechtlich relevantes Verhalten anzuzeigen. Zudem habe Frau Dr. D._ dem Beschwerdeführer in keiner Weise bedeutet, er könne durch Wohlverhalten eine Strafanzeige verhindern.
4.3 Aus dem Mail vom 28. Januar 2008 ergibt sich, dass Frau Dr. D._ gestützt auf die ihr zur Verfügung gestellten Unterlagen zum Ergebnis gelangt war, eine Rückerstattungsforderung sei rechtlich begründet. Das teilte sie G._ per Mail mit. Die vom Beschwerdeführer beanstandete Äusserung lässt sich in diesem Zusammenhang ohne weiteres so verstehen, dass Frau Dr. D._ ihr Auftreten als Fachperson gegen aussen empfahl, weil dies die Überzeugungskraft des nach ihrer Auffassung gerechtfertigten Entscheides der Fürsorgebehörde erhöhen könnte. Wenn die Vorinstanz keinen Anlass sah, aus dieser Mitteilung den Anschein einer Befangenheit von Frau Dr. D._ herzuleiten, verstösst das, insbesondere auch mit Blick auf den vergleichsweise milden Massstab, der an die Unabhängigkeit und Unparteilichkeit einer Verwaltungsbehörde anzulegen ist (E. 3 hievor), weder in Auslegung und Anwendung kantonalen Rechts noch direkt gegen Art. 9 und Art. 29 BV. Gleiches gilt im Hinblick auf die Äusserung im Schreiben der Frau Dr. D._ vom 26. März 2008. Es kann hiezu vollumfänglich auf die zutreffenden Erwägungen im vorinstanzlichen Entscheid verwiesen werden. Die Vorbringen in der Beschwerde führen zu keiner anderen Betrachtungsweise.
4.4 Ist das Mail vom 28. Januar 2008 nicht geeignet, den Anschein von Befangenheit zu erwecken, gilt dies erst recht für die Aussage von G._ im Mail vom 29. Januar 2008, wonach er das von Frau Dr. D._ vorgeschlagene Vorgehen für in Ordnung befinde.
4.5 Nach dem Gesagten ergibt sich schon aufgrund des Inhalts der beanstandeten Äusserungen nicht der Anschein der Befangenheit. Die Beschwerde ist demnach abzuweisen, ohne dass noch auf die - umstrittenen - Fragen eingegangen werden muss, ob die Äusserungen der Frau Dr. D._ überhaupt der Beschwerdegegnerin zuzurechnen sind und ob behördeninterne Mails überhaupt einen Befangenheitsanschein zu begründen vermöchten.
5. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>). Der Beschwerdegegnerin ist entgegen ihrem Antrag keine Parteientschädigung zuzusprechen (<ref-law>; <ref-ruling>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1500.- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, und dem Bezirksrat Pfäffikon schriftlich mitgeteilt.
Luzern, 9. Oktober 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz