Sachverhalt: A. B._ bezog von November 2002 bis Mai 2006 von der Fürsorgebehörde Illnau-Effretikon Sozialhilfe von insgesamt Fr. 91'809.45. Mit Verfügung vom 11. Juli 2006 verpflichtete der Präsident der Fürsorgebehörde B._ zur Rückerstattung dieser Leistungen. Den von B._ hiegegen erhobenen Rekurs wies der Bezirksrat Pfäffikon mit Beschluss vom 4. Oktober 2006 ab. B._ reichte Beschwerde ein. Das Verwaltungsgericht des Kantons Zürich hiess diese mit Entscheid vom 8. Februar 2007 teilweise gut und wies die Sache zum neuen Entscheid an die Fürsorgebehörde zurück. Mit Beschluss vom 3. Juni 2008 verlangte die Fürsorgebehörde von B._ die Rückerstattung bezogener Sozialhilfe von Fr. 91'809.45. Den von B._ hiegegen eingereichten Rekurs wies der Bezirksrat mit Beschluss vom 4. November 2008 ab. B. Beschwerdeweise beantragte B._, in Aufhebung des Rekursentscheids sei die Sache an den Bezirksrat bzw. die Stadt Illnau-Effretikon zurückzuweisen; eventuell sei festzustellen, dass er nicht verpflichtet sei, die Fr. 91'809.45 zurückzuerstatten. Zur Begründung machte B._, wie schon im Rekurs, unter anderem geltend, G._, I._ und Rechtsanwältin Dr. D._, welche an der Vorbereitung des Beschlusses der Fürsorgebehörde vom 3. Juni 2008 mitgewirkt hätten, seien hiebei befangen gewesen. Das Verwaltungsgericht des Kantons Zürich verneinte eine Befangenheit dieser Personen, bestätigte den Beschluss des Bezirksrats auch in der Sache und wies die Beschwerde ab (Entscheid vom 19. März 2009). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, der kantonale Entscheid sei aufzuheben und die Sache sei an das Verwaltungsgericht, eventuell an die Stadt Illnau-Effretikon zurückzuweisen. Zur Begründung macht er geltend, G._ und Rechtsanwältin Dr. D._ seien entgegen der Beurteilung der Vorinstanz befangen gewesen. Die Stadt Illnau-Effretikon lässt auf Abweisung der Beschwerde schliessen. D. Mit Verfügung vom 24. Juni 2009 erkannte das Bundesgericht der Beschwerde die aufschiebende Wirkung zu.