Sachverhalt:
A. Der rumänische Staatsangehörige X._, geb. 6. Mai 1971, studierte von 1999 bis 2002 in der Schweiz, wo seit 1990 auch seine Mutter Y._ (geb. 1943) lebt. Nach Abschluss seines Studiums kehrte er nach Rumänien zurück, weil sein Gesuch um Erteilung einer Arbeitsbewilligung abgewiesen worden war. Im Jahr 2005 wurde der Mutter von X._ das Schweizer Bürgerrecht erteilt.
B. Am 8. Juni 2007 ersuchte X._ um Bewilligung der Einreise in die Schweiz; als Zweck der Einreise gab er an, er wolle hier leben und arbeiten, um seiner kranken Mutter beistehen zu können. Mit Verfügung vom 14. November 2007 wies das Migrationsamt des Kantons Zürich das Gesuch ab. Einen dagegen eingereichten Rekurs wies der Regierungsrat des Kantons Zürich am 20. August 2008 ab, im Wesentlichen mit der Begründung, X._ habe keinen Anspruch auf Familiennachzug, weil zwischen ihm als Volljährigem und seiner Mutter kein besonderes Abhängigkeitsverhältnis bestehe.
Am 25. Februar 2009 hiess das Verwaltungsgericht des Kantons Zürich eine dagegen gerichtete Beschwerde wegen Verletzung des rechtlichen Gehörs gut. Mit Beschluss vom 19. August 2009 wies der Regierungsrat den Rekurs von X._ erneut ab.
Mit Urteil vom 20. Januar 2010 wies das Verwaltungsgericht des Kantons Zürich, 2. Kammer, die von X._ hiegegen eingereichte Beschwerde ab.
C. Mit Eingabe vom 20. März 2010 erheben X._ und Y._ beim Bundesgericht Beschwerde mit den Anträgen, den Entscheid des Verwaltungsgerichts vom 20. Januar 2010, den Entscheid des Kantonsrates (recte: Regierungsrates) vom 19. August 2009 und die Verfügung des Migrationsamtes vom 14. November 2007 aufzuheben und dem Beschwerdeführer X._ eine Aufenthaltsbewilligung zu erteilen.
Das Verwaltungsgericht des Kantons Zürich, 2. Abteilung, beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. Die Sicherheitsdirektion (Migrationsamt) und der Regierungsrat des Kantons Zürich haben sich nicht vernehmen lassen.

Erwägungen:
1. 1.1 Art. 83 lit. c Ziff. 2 BGG schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
1.2 Das streitige Gesuch um Erteilung einer Aufenthaltsbewilligung wurde vor Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) am 1. Januar 2008 eingereicht und beurteilt sich daher noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. Mai 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG) und seinen Ausführungserlassen (Art. 126 Abs. 1 AuG).
1.3 Gemäss Art. 4 ANAG entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Es besteht damit grundsätzlich kein Rechtsanspruch auf Erteilung oder Verlängerung einer Aufenthaltsbewilligung, es sei denn, der Ausländer oder seine in der Schweiz lebenden Angehörigen könnten sich auf eine Sondernorm des Bundesrechts (einschliesslich Bundesverfassungsrecht) oder eines Staatsvertrages berufen (vgl. <ref-ruling> E. 2.3 S. 189; <ref-ruling> E. 2 S. 284; <ref-ruling> E. 1.1.1 S. 148, mit Hinweisen).
1.4 Vorliegend ergibt sich aus dem Gesetzes- und Verordnungsrecht kein solcher Anspruch: Art. 17 Abs. 2 Satz 3 ANAG, welcher den Nachzug von Kindern von Niedergelassenen regelt und auf ausländische Kinder von Schweizer Bürgern analog Anwendung findet (<ref-ruling> E. 2.1 S. 141 mit Hinweisen), setzt voraus, dass das nachzuziehende Kind unter 18 Jahre alt ist, was vorliegend beim Beschwerdeführer seit langem nicht mehr der Fall ist. Ebenso wenig ergeben sich Rechtsansprüche aus der von den Beschwerdeführern angerufenen Bestimmung von Art. 3 Abs. 1 lit. cbis der (früheren) Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer (BVO; AS 1986 1791, gemäss Fassung vom 23. Mai 2001, AS 2002 1796), welche für ausländische Kinder über 21 Jahren von Schweizern bloss eine beschränkte Geltung dieser Verordnung vorsieht. Die Begrenzungsverordnung vermag nach ständiger Rechtsprechung keine über das Gesetz hinausgehenden Bewilligungsansprüche zu begründen; die kantonale Behörde bleibt bei ihrem Entscheid vielmehr im Rahmen des fremdenpolizeilichen Ermessens (Art. 4 ANAG) frei und ist zu einer Bewilligungserteilung selbst dann nicht verpflichtet, wenn die entsprechenden Voraussetzungen - was die Beschwerdeführer vorliegend behaupten - erfüllt wären (BGE <ref-ruling> E. 2.2 S. 284 mit Hinweisen).
1.5 Ein Anspruch kann sich sodann aus dem Recht auf Achtung des Familienlebens (Art. 8 EMRK bzw. Art. 13 Abs. 1 BV) ergeben. Dies ist dann der Fall, wenn einem Ausländer, dessen Angehörige hier weilen und über ein gefestigtes Anwesenheitsrecht verfügen, die Anwesenheit untersagt und damit das Familienleben vereitelt wird (<ref-ruling> E. 1.3.1 S. 145). Art. 8 EMRK schützt in erster Linie die Kernfamilie, d.h. die Gemeinschaft der Ehegatten mit ihren minderjährigen Kindern (<ref-ruling> E. 1.3.2 S. 146; <ref-ruling> E. 1d/aa S. 64 f.). Die Beziehung zu einem volljährigen Kind kann nur ausnahmsweise, wenn ein besonderes Abhängigkeitsverhältnis vorliegt, ein Anwesenheitsrecht verschaffen (<ref-ruling> E. 2 S. 14; <ref-ruling> E. 1d und e S. 261; <ref-ruling> E. 2 S. 4 ff.). Ein besonderes Abhängigkeitsverhältnis kann aus Betreuungs- oder Pflegebedürfnissen resultieren wie bei körperlichen oder geistigen Behinderungen und schwerwiegenden Krankheiten. Denkbar ist dies etwa bei einem Kind, welches aufgrund einer schweren Behinderung über das Erreichen der Volljährigkeit hinaus auf Betreuung durch seine in der Schweiz anwesenheitsberechtigten Eltern angewiesen ist (vgl. etwa BGE <ref-ruling> E. 2d S. 5 f.) oder bei einem schwerwiegend erkrankten Elternteil, bei welchem die Betreuung durch ein hier lebendes erwachsenes Kind als unabdingbar erscheint (vgl. Urteile 2A.20/2002 vom 13. Mai 2002 E. 1 und 2P.84/2002 vom 24. Oktober 2002 E. 3).
Nach bisheriger bundesgerichtlicher Rechtsprechung setzte ein Nachzugsrecht für Verwandte, die nicht (mehr) zur Kernfamilie gehören, grundsätzlich voraus, dass der nachzuziehende Ausländer von der hier fest anwesenheitsberechtigten Person abhängig war und nicht umgekehrt (Urteil 2C_451/2007 vom 22. Januar 2008 E. 2.2 mit Hinweisen). Diese Rechtsprechung wurde mittlerweile relativiert: In einer Fallkonstellation, in welcher es um den Nachzug eines Elternteils zu seinem in der Schweiz anwesenheitsberechtigten, inzwischen erwachsenen jedoch weiterhin pflegebedürftigen Kind ging, erachtete das Bundesgericht die Tatsache einer aufgrund Krankheit oder Behinderung (fort-)bestehenden Abhängigkeit für sich allein als genügend, um auf einen den Rechtsmittelweg der Beschwerde in öffentlich-rechtlichen Angelegenheiten öffnenden grundsätzlichen Nachzugsanspruch gestützt auf Art. 8 Ziff. 1 EMRK zu schliessen (Urteil 2C_942/ 2010 vom 27. April 2011 E. 1.3). Bereits zuvor hatte es in einem Fall, in welchem - wie vorliegend - geltend gemacht wurde, der Nachzug eines erwachsenen Kindes in die Schweiz sei erforderlich für die Pflege eines hier anwesenheitsberechtigten erkrankten Elternteils, Zweifel an der Richtigkeit der bisherigen Rechtsprechung angemeldet (vgl. Urteil 2C_817/2010 vom 24. März 2011 E. 1.1.2). Es rechtfertigt sich vielmehr auch in dieser Konstellation für die Eintretensfrage auf das Erfordernis zu verzichten, wonach ein Anspruch auf Familiennachzug gestützt auf Art. 8 EMRK von vornherein nur dann in Betracht gezogen werden kann, wenn die Abhängigkeit auf Seiten des nachzuziehenden Ausländers liegt. Aus Sicht von Art. 83 lit. c Ziff. 2 BGG muss es genügen, wenn aufgrund einer erwiesenermassen bestehenden ernsthaften Erkrankung oder Behinderung der anwesenheitsberechtigten Person in vertretbarer Weise geltend gemacht wird, es liege zwischen ihr und der zu deren Betreuung nachzuziehenden Person ein besonderes Abhängigkeitsverhältnis vor. Ob ein solches gegenüber dem Nachzuziehenden tatsächlich besteht und dem Bewilligungsersuchen aus diesem Grund mit Blick auf Art. 8 EMRK im Ergebnis stattzugeben ist, ist keine Frage des Eintretens, sondern eine solche der materiellen Beurteilung des Falles.
Die Vorinstanz hat die Pflegebedürftigkeit der Beschwerdeführerin 2, welche an einer fortgeschrittenen Herzerkrankung und zudem an depressiven Verstimmungen mit Angstzuständen leidet, aufgrund der eingereichten ärztlichen Zeugnisse als erwiesen erachtet. Auch wird in diesen Zeugnissen die Anwesenheit des Beschwerdeführers 1 als ihr vertraute Person aus medizinischer Sicht als angezeigt bzw. jedenfalls der Gesundheit förderlich bezeichnet. Unter den gegebenen Umständen ist davon auszugehen, dass ein Anspruch auf die anbegehrte Aufenthaltsbewilligung des Beschwerdeführers 1 gestützt auf das Recht auf Achtung des Familienlebens zufolge eines besonderen Abhängigkeitsverhältnisses in vertretbarer Weise geltend gemacht wurde. Demzufolge erweist sich die vorliegende Beschwerde in öffentlich-rechtlichen Angelegenheiten als zulässig; es ist unter Vorbehalt des nachfolgend Ausgeführten darauf einzutreten.
1.6 Nicht einzutreten ist auf die Beschwerde, soweit sie auch von der Beschwerdeführerin 2 (Mutter des Beschwerdeführers 1) in eigenem Namen erhoben wird. Diese ist im vorinstanzlichen Verfahren lediglich als Vertreterin ihres Sohnes in Erscheinung getreten, ohne sich selber als Beschwerdeführerin daran zu beteiligen. Mangels formeller Beschwer ist sie somit vor Bundesgericht nicht zur Ergreifung eines Rechtsmittels legitimiert (Art. 89 Abs. 1 lit. a BGG).
2. Das Verwaltungsgericht hat im angefochtenen Entscheid nicht näher geprüft, ob - trotz angenommener Pflegebedürftigkeit der Mutter - im Verhältnis zwischen ihr und dem Beschwerdeführer 1 eine besondere Abhängigkeit bestehen könnte, welche dessen Anwesenheit in der Schweiz erforderlich macht. Es begnügte sich einzig mit dem Hinweis, es sei nicht ersichtlich, inwieweit die benötigte Betreuung nicht durch eine der darauf spezialisierten Organisationen, wie beispielsweise die Spitex oder Pro Senectute, erbracht werden könne. Dies allein vermag indessen das Vorliegen eines besonderen Abhängigkeitsverhältnis nicht von vornherein auszuschliessen, zumal in den ärztlichen Zeugnissen die Anwesenheit des Beschwerdeführers 1 gerade als medizinisch hilfreich oder gar angezeigt bezeichnet wird. Entscheidend sind die konkreten Umstände des Einzelfalles, so etwa die Frage, wie eng die familiären Kontakte zwischen Mutter und erwachsenem Sohn bis anhin gepflegt wurden, ob es der Beschwerdeführerin 2 trotz Krankheit zumutbar wäre, ihren Sohn in ihrer (früheren) Heimat aufzusuchen bzw. (vorübergehend) bei diesem zu leben, wie ihr soziales Umfeld in der Schweiz aussieht und ob andere Angehörige hier leben, welche der Beschwerdeführerin 2 in ihrer Krankheit beistehen könnten oder aber hiefür nur der Beschwerdeführer 1 in Betracht kommt und gelegentliche Besuche im Rahmen von Kurzaufenthalten nicht genügen, sondern dessen ständige Anwesenheit erforderlich ist. Es fehlt damit an den erforderlichen tatsächlichen Feststellungen, um auf das effektive Vorhandensein oder Fehlen eines besonderen, den anbegehrten Nachzug als notwendig erscheinen lassenden Abhängigkeitsverhältnisses zwischen den Beschwerdeführern schliessen zu können und eine Interessenabwägung, wie sie Art. 8 Ziff. 2 EMRK bei einem allfälligen Eingriff ins Recht auf Familienleben gebietet, vornehmen zu können. Insofern erweist sich die vorliegende Streitsache vor Bundesgericht nicht als spruchreif, weshalb sie zur Ergänzung des Sachverhalts an die Vorinstanz zurückzuweisen ist.
3. 3.1 Als rumänischer Staatsangehöriger kann sich der Beschwerdeführer 1 - unabhängig von einem allfälligen Anspruch aus Art. 8 EMRK - grundsätzlich auch auf das am 1. Juni 2009 für diesen Staat rechtswirksam gewordene Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen, FZA; SR 0.142.112.681; vgl. das betreffende Protokoll vom 27. Mai 2008, SR 0.142.112.681.1) berufen. Daran ändert nichts, dass im kantonalen Verfahren bis zum Rekursentscheid des Regierungsrates noch nicht auf diesen Staatsvertrag Bezug genommen werden konnte, sind doch die Bestimmungen dieses Abkommens ab deren Inkrafttreten auch bei hängigen Verfahren von den Rechtsmittelinstanzen grundsätzlich von Amtes wegen zu berücksichtigen (vgl. <ref-ruling> E. 3.1 S. 5 mit Hinweis).
3.2 Das Verwaltungsgericht hat im angefochtenen Entscheid das Vorliegen eines Nachzugsanspruches für den Beschwerdeführer 1 gestützt auf das Freizügigkeitsabkommen verneint mit der Begründung, seine Mutter sei Schweizerin und somit nicht Staatsangehörige einer Vertragspartei. Selbst wenn aber die Bestimmungen des Abkommens über den Familiennachzug anwendbar wären, ergäbe sich daraus kein Anspruch auf Bewilligungserteilung, da der Beschwerdeführer 1 nicht zum Kreis der in Art. 3 Abs. 2 Anhang 1 FZA erwähnten nachzugsberechtigten Familienangehörigen zähle.
3.3 Diese (bloss summarisch begründete) Einschätzung der Vorinstanz setzt - soweit sie die Anwendbarkeit von Art. 3 Anhang 1 FZA schlechthin verneint - voraus, dass die Beschwerdeführerin 2 nur noch über das Schweizer Bürgerrecht verfügt, in welchem Fall ihr eine Berufung auf die erwähnte Bestimmung verwehrt wäre und stattdessen grundsätzlich die betreffenden, auf Schweizer anwendbaren "Parallelnormen" von Art. 42 Abs. 2 AuG zum Tragen kämen, welche vorliegend aber - wie eingangs bemerkt (E. 1.2) - (noch) nicht anwendbar sind. Als rumänisch-schweizerische Doppelbürgerin könnte sich die Beschwerdeführerin demgegenüber sehr wohl auf die genannte Familiennachzugsbestimmung des Abkommens berufen (<ref-ruling> E. 2 S. 371 f.). Dem angefochtenen Urteil lässt sich nicht mit Sicherheit entnehmen, ob die Beschwerdeführerin 2 im Zuge ihrer Einbürgerung in der Schweiz ihr angestammtes Bürgerrecht verloren bzw. aufgegeben hat oder ihr dieses erhalten geblieben ist. Demgegenüber wird in der Beschwerdeschrift geltend gemacht, dass die Beschwerdeführerin 2 auch EU-Bürgerin sei, wobei die Kopie eines im August 2005 auf sie ausgestellten, bis zum August 2010 gültigen rumänischen Reisepasses eingereicht wird. Auch in dieser Hinsicht erscheint der Sachverhalt mithin klärungsbedürftig. Im Übrigen kann - entgegen der Vorinstanz - auch nicht darauf geschlossen werden, der Beschwerdeführer 1 befinde sich nicht im Kreis der nachzugsberechtigten Familienangehörigen, erlaubt doch Art. 3 Abs. 2 lit. a Anhang I FZA den Nachzug von über 21 Jahre alten Nachkommen unter der Voraussetzung, dass ihnen Unterhalt gewährt wird. Schliesslich weist das Verwaltungsgericht darauf hin, dass sich für den Beschwerdeführer 1 aus dem Freizügigkeitsabkommen im Hinblick auf die beabsichtigte Ausübung einer Erwerbstätigkeit (allenfalls unter Vorbehalt einer bestehenden übergangsrechtlichen Kontingentierung) ein selbständiger Anwesenheitsanspruch ergeben könnte. Ein solcher Anspruch bilde aber nicht Gegenstand des vorliegenden Verfahrens; es sei dem Beschwerdeführer 1 unbenommen, in einem separaten Verfahren Entsprechendes zu beantragen. Die Vorinstanz übersieht jedoch, dass sich auch für Personen, die (noch) keine Erwerbstätigkeit ausüben, in Anwendung von Art. 1 lit. c und Art. 6 FZA in Verbindung mit Art. 24 Anhang I FZA ein Anwesenheitsrecht ergeben könnte unter der Voraussetzung, dass sie über die zu ihrem Unterhalt erforderlichen finanziellen Mittel verfügen (vgl. <ref-ruling> E. 2; <ref-ruling> E. 2; <ref-ruling>).
3.4 Soweit die Vorinstanz die Möglichkeit, die anbegehrte Bewilligung auf der Grundlage des Freizügigkeitsabkommens zu erteilen, zum Vornherein ausschliesst, beruht der angefochtene Entscheid nach dem Gesagten auf einer unzutreffenden Rechtsauffassung. Gleichzeitig fehlt es an den diesbezüglich notwendigen Sachverhaltsfeststellungen (Frage der Doppelbürgerschaft der Beschwerdeführerin 2, Möglichkeit des Bestreitens des Unterhalts für den Beschwerdeführer 1 aus eigenen Mitteln durch die Beschwerdeführerin 2 oder den Beschwerdeführer 1), welche es dem Bundesgericht erlauben würde, die genannten Anwesenheitsansprüche materiell selber zu prüfen.
4. Nach dem Gesagten ist die Beschwerde - soweit darauf einzutreten ist - gutzuheissen, der angefochtene Entscheid aufzuheben und die Sache an das Verwaltungsgericht zurückzuweisen (Art. 107 Abs. 2 BGG).
Entsprechend diesem Verfahrensausgang sind keine Kosten zu erheben (Art. 66 BGG). Eine Parteientschädigung ist nicht geschuldet (Art. 68 BGG): Die Beschwerdeführer liessen sich nicht durch einen Anwalt, sondern eine andere Privatperson vertreten, ohne darzulegen, inwieweit ihnen dadurch Kosten entstanden sind. Auch liegen keine besonderen Umstände vor, welche die Vergütung eigener Auslagen rechtfertigen könnten.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist. Der Entscheid des Verwaltungsgerichts des Kantons Zürich vom 20. Januar 2010 wird aufgehoben und die Sache wird im Sinne der Erwägungen an das Verwaltungsgericht des Kantons Zürich zurückgewiesen.
2. Es werden keine Kosten erhoben und es wird keine Parteientschädigungen zugesprochen.
3. Dieses Urteil wird den Beschwerdeführern, der Sicherheitsdirektion, dem Regierungsrat (Staatskanzlei) und dem Verwaltungsgericht (2. Kammer) des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 18. Juli 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Moser