Sachverhalt: A. Der rumänische Staatsangehörige X._, geb. 6. Mai 1971, studierte von 1999 bis 2002 in der Schweiz, wo seit 1990 auch seine Mutter Y._ (geb. 1943) lebt. Nach Abschluss seines Studiums kehrte er nach Rumänien zurück, weil sein Gesuch um Erteilung einer Arbeitsbewilligung abgewiesen worden war. Im Jahr 2005 wurde der Mutter von X._ das Schweizer Bürgerrecht erteilt. B. Am 8. Juni 2007 ersuchte X._ um Bewilligung der Einreise in die Schweiz; als Zweck der Einreise gab er an, er wolle hier leben und arbeiten, um seiner kranken Mutter beistehen zu können. Mit Verfügung vom 14. November 2007 wies das Migrationsamt des Kantons Zürich das Gesuch ab. Einen dagegen eingereichten Rekurs wies der Regierungsrat des Kantons Zürich am 20. August 2008 ab, im Wesentlichen mit der Begründung, X._ habe keinen Anspruch auf Familiennachzug, weil zwischen ihm als Volljährigem und seiner Mutter kein besonderes Abhängigkeitsverhältnis bestehe. Am 25. Februar 2009 hiess das Verwaltungsgericht des Kantons Zürich eine dagegen gerichtete Beschwerde wegen Verletzung des rechtlichen Gehörs gut. Mit Beschluss vom 19. August 2009 wies der Regierungsrat den Rekurs von X._ erneut ab. Mit Urteil vom 20. Januar 2010 wies das Verwaltungsgericht des Kantons Zürich, 2. Kammer, die von X._ hiegegen eingereichte Beschwerde ab. C. Mit Eingabe vom 20. März 2010 erheben X._ und Y._ beim Bundesgericht Beschwerde mit den Anträgen, den Entscheid des Verwaltungsgerichts vom 20. Januar 2010, den Entscheid des Kantonsrates (recte: Regierungsrates) vom 19. August 2009 und die Verfügung des Migrationsamtes vom 14. November 2007 aufzuheben und dem Beschwerdeführer X._ eine Aufenthaltsbewilligung zu erteilen. Das Verwaltungsgericht des Kantons Zürich, 2. Abteilung, beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. Die Sicherheitsdirektion (Migrationsamt) und der Regierungsrat des Kantons Zürich haben sich nicht vernehmen lassen.