Sachverhalt:
A. Der serbische Staatsangehörige X._ (geb. 1973) reiste Ende 2001 illegal in die Schweiz ein und stellte ein Asylgesuch, das am 24. Mai 2002 vom Bundesamt für Flüchtlinge abgewiesen wurde. Am 12. Mai 2003 heiratete X._ eine Schweizer Bürgerin (geb. 1951), die ursprünglich ebenfalls aus Serbien stammt. Gestützt auf die Heirat wurde X._ eine Aufenthaltsbewilligung erteilt. Mit Urteil vom 5. September 2005 wies die Asylrekurskommission die Beschwerde gegen die Asylverweigerung ab, soweit sie die Beschwerde nicht als gegenstandslos abschrieb.
X._ wurde wiederholt straffällig:
Mit Strafbefehl der Bezirksanwaltschaft Hinwil vom 2. Januar 2002 wurde er wegen Vergehens gegen das Bundesgesetz über Aufenthalt und Niederlassung der Ausländer zu 45 Tagen Gefängnis, bei einer Probezeit von zwei Jahren, verurteilt.
Das Bezirksgericht Zürich verurteilte ihn am 11. Januar 2008 wegen Widerhandlung gegen das Betäubungsmittelgesetz, Widerhandlung gegen das Waffengesetz sowie grober und einfacher Verletzung der Verkehrsregeln zu 15 Monaten Freiheitsstrafe, bei einer Probezeit von zwei Jahren. Die Sicherheitsdirektion des Kantons Zürich verwarnte ihn darauf mit Verfügung vom 8. April 2008 und stellte ihm für den Fall einer erneuten Verurteilung schwerwiegende ausländerrechtliche Massnahmen in Aussicht.
Mit Urteil des Obergerichts des Kantons Zürich vom 3. Juli 2009 wurde X._ zweitinstanzlich wegen Verbrechens gegen das Betäubungsmittelgesetz und mehrfacher Übertretung des Betäubungsmittelgesetzes mit einer unbedingten Freiheitsstrafe von 21 Monaten und einer Busse von Fr. 500.-- bestraft. Zudem wurde die mit Urteil vom 11. Januar 2008 angesetzte Probezeit um ein Jahr verlängert.
B. Mit Verfügung vom 18. Dezember 2009 verweigerte die Sicherheitsdirektion (Migrationsamt) des Kantons Zürich die Verlängerung der Aufenthaltsbewilligung von X._ und setzte ihm eine Frist zum Verlassen der Schweiz an. Dagegen erhoben Ehegatten X._ und Y._ ohne Erfolg Rekurs an den Regierungsrat und sodann Beschwerde an das Verwaltungsgericht des Kantons Zürich.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. September 2010 beantragen X._ (Beschwerdeführer 1) und Y._ (Beschwerdeführerin 2), den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 6. August 2010 aufzuheben und die Sicherheitsdirektion anzuweisen, die Aufenthaltsbewilligung zu verlängern.
Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Der Regierungsrat und die Sicherheitsdirektion des Kantons Zürich liessen sich nicht vernehmen. Die Vernehmlassung des Bundesamtes für Migration erfolgte verspätet.
D. Mit Verfügung vom 6. Dezember 2010 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Ausländische Ehegatten von Schweizerinnen und Schweizern haben grundsätzlich Anspruch auf Erteilung und Verlängerung ihrer Aufenthaltsbewilligung, wenn sie mit ihrem Partner zusammenwohnen (Art. 42 Abs. 1 AuG). Nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren haben sie Anspruch auf Erteilung der Niederlassungsbewilligung (Abs. 3).
Der Beschwerdeführer 1, der mit einer Schweizerin verheiratet ist und seit über fünf Jahren mit ihr zusammenwohnt, hat grundsätzlich ein Anwesenheitsrecht nach Art. 42 Abs. 1 und Abs. 3 AuG, womit die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (Art. 83 lit. c Ziff. 2 BGG a contrario).
2. 2.1 Bewilligungsansprüche nach Art. 42 AuG erlöschen jedoch, wenn Widerrufsgründe nach Art. 63 AuG vorliegen (Art. 51 Abs. 1 lit. b AuG). Gemäss Art. 63 Abs. 1 lit. a AuG in Verbindung mit Art. 62 lit. b AuG kann die Niederlassungsbewilligung widerrufen werden, wenn ein Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Als solche gilt eine Freiheitsstrafe, wenn ihre Dauer ein Jahr überschreitet (<ref-ruling> E. 4.2 S. 379 ff.; BGE 2C_415/2010 vom 15. April 2011). Dieser Widerrufsgrund ist vorliegend unbestrittenermassen erfüllt, nachdem der Beschwerdeführer am 3. Juli 2009 zu einer Freiheitsstrafe von 21 Monaten verurteilt wurde. Die Niederlassungsbewilligung kann auch widerrufen werden, wenn der Ausländer in schwerwiegender Weise gegen die öffentliche Sicherheit und Ordnung verstossen hat oder diese gefährdet (Art. 63 Abs. 1 lit. b AuG). Die Vorinstanz hat auch diesen Widerrufsgrund als gegeben erachtet.
2.2 Der Widerruf der Niederlassungsbewilligung - und damit die Nichtverlängerung der Aufenthaltsbewilligung gestützt auf Art. 42 AuG (vgl. Art. 51 Abs. 1 lit. a AuG) - rechtfertigt sich jedoch nur, wenn sich die entsprechende Massnahme aufgrund der im Einzelfall vorzunehmenden Interessenabwägung als verhältnismässig erweist (vgl. Art. 96 Abs. 1 AuG). Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (<ref-ruling> E. 4.3 S. 381). Analoge Kriterien ergeben sich aus Art. 8 Ziff. 2 EMRK (vgl. <ref-ruling> E. 1.3.2 und E. 2 S. 146 ff., 153 E. 2 S. 154 ff.; je mit Hinweisen).
Nach der sogenannten Reneja-Praxis (<ref-ruling>), die auch unter dem AuG anwendbar bleibt (<ref-ruling> E. 4.3 und 4.4 S. 381 ff.), ist bei einem mit einer Schweizer Bürgerin verheirateten Ausländer, der erstmals oder nach kurzer Aufenthaltsdauer um die Erneuerung seiner Bewilligung ersucht, im Falle einer Verurteilung zu zwei Jahren Freiheitsstrafe in der Regel selbst dann kein Aufenthaltstitel mehr zu erteilen, wenn der Ehepartnerin die Ausreise nicht oder nur schwer zuzumuten ist.
3. Die Beschwerdeführer rügen, die Nichtverlängerung der Aufenthaltsbewilligung von Beschwerdeführer 1 sei unverhältnismässig. Sie beanstanden die Anwendung der Reneja-Praxis sowie die Beurteilung des Rückfallrisikos und erblicken eine Verletzung von Art. 8 EMRK, weil der Beschwerdeführerin 2 eine Ausreise nach Serbien nicht zumutbar sei.
3.1 Es trifft zwar zu, dass der Beschwerdeführer 1 nicht zu einer einzelnen Freiheitsstrafe von zwei Jahren verurteilt worden ist und bereits seit einigen Jahren in der Schweiz weilt. Indessen ist nichts dagegen einzuwenden, die Reneja-Praxis im Sinne einer Vergleichsgrösse in die Verhältnismässigkeitsprüfung miteinzubeziehen (vgl. Urteil 2C_825/2008 vom 7. Mai 2009 E. 3.3). Bei der "Zweijahresregel" gemäss Reneja-Praxis handelt es sich ohnehin nur um einen Richtwert und nicht um eine starre Grenze; entscheidend sind die Umstände des Einzelfalls (<ref-ruling> E. 4b S. 14; <ref-ruling> E. 4.4 S. 383).
Wie die Vorinstanz zu Recht erwog, fällt ins Gewicht, dass der Beschwerdeführer 1 innert kurzer Frist zu Freiheitsstrafen von 15 und 21 Monaten verurteilt worden und somit rückfällig geworden ist. Die zuletzt verhängte Freiheitsstrafe (21 Monate) liegt zudem nur wenig unter der Limite von zwei Jahren. Soweit die Beschwerdeführer im vorliegenden Verfahren versuchen, das strafrechtliche Verschulden zu relativieren, sind ihre Vorbringen nicht zu hören. Durch seinen Betäubungsmittelhandel gefährdete der Beschwerdeführer 1 eine Vielzahl von Menschen aus rein egoistischem Antrieb. Noch während der Probezeit der Verurteilung wegen Verkaufs einer beträchtlichen Menge von Marihuana stieg er in den Heroinhandel ein. Gerade bei Drogenhandel rechtfertigt sich eine ausländerrechtliche Strenge (vgl. <ref-ruling> E. 2c S. 436 f.; Urteile des Bundesgerichts 2C_574/2008 vom 9. Februar 2009 E. 2.3.1; 2A.531/2001 vom 10. April 2002 E. 3.4), zumal wenn wie hier keine besonderen Umstände vorhanden sind, die wie eigene Drogenabhängigkeit allenfalls zur teilweisen Entlastung des Täters gewürdigt werden könnten. Im Übrigen hat der Beschwerdeführer trotz seiner ersten Verurteilung zu einer bedingten Freiheitsstrafe und der darauf verfügten fremdenpolizeilichen Verwarnung von der deliktischen Tätigkeit nicht Abstand genommen. Dass er über ein Einkommen aus selbstständiger Erwerbstätigkeit verfügte, vermochte ihn ebenfalls nicht davon abhalten, erneut straffällig zu werden. Die Mutmassungen über Überlegungen des Strafrichters sind nicht geeignet, die vorinstanzliche Würdigung des Rückfallrisikos zu erschüttern. Zu Recht hat die Vorinstanz angenommen, eine Rückfallgefahr könne vorliegend nicht ausgeschlossen werden. Damit bestehen erhebliche öffentliche Interessen, dem Beschwerdeführer 1 die Anwesenheit in der Schweiz zu verweigern.
3.2 Obwohl sich der Beschwerdeführer 1 nicht erst seit Kurzem hier aufhält, verfügt er über keine besonders enge Beziehung zur Schweiz, ist auch beruflich nicht überdurchschnittlich gut integriert und pflegt eigenen Angaben zufolge mehrheitlich Kontakt zu Landsleuten. Dass für den 38-jährigen Beschwerdeführer 1 eine Rückkehr nach Serbien, wo er aufgewachsen ist und über Familienangehörige verfügt, nicht zumutbar wäre, ist nicht ersichtlich.
3.3 Wie die Vorinstanz zutreffend festgestellt hat, ist es auch der Beschwerdeführerin 2 nicht völlig unzumutbar, mit ihrem Ehemann nach Serbien auszureisen: Sie ist dort geboren und hat auch ihre schulische sowie berufliche Ausbildung in ihrem Ursprungsland absolviert. Zwar lebt die Beschwerdeführerin 2 seit ihrem 23. Altersjahr in der Schweiz und hat das Schweizer Bürgerrecht erworben. Dies steht der Annahme der Vorinstanz, dass die Beschwerdeführerin 2 mit der Sprache und auch der Kultur ihres Herkunftslandes, wo zudem ihre drei Brüder leben, nach wie vor vertraut ist, nicht entgegen. Davon, dass sie die Beziehung zu Serbien aufrecht erhalten hat, zeugt auch der Umstand, dass sie viele Jahre nach ihrer Einreise in die Schweiz den aus Serbien stammenden Beschwerdeführer 1 heiratete. Insofern sind die vorliegenden Verhältnisse nicht vergleichbar mit dem Fall einer Schweizerin, die ihrem Ehemann in ein Land folgen müsste, in dem sie nie gelebt hat, dessen Sprache und Kultur ihr unbekannt sind und wo sie weder über Verwandte noch Bekannte verfügt. Seit der am 8. April 2008 erfolgten fremdenpolizeilichen Verwarnung musste die Beschwerdeführerin 2 im Übrigen damit rechnen, im Fall erneuter Straffälligkeit ihres Ehegatten die Ehe nicht auf die Dauer in der Schweiz leben zu können. Ihre beiden Kinder (geb. 1980 bzw. 1983) aus erster Ehe sind erwachsen und wohnen nicht mehr bei ihr. Eine Ausreise würde auch die berufliche Situation der Beschwerdeführerin 2 nicht beeinträchtigen, nachdem sie seit 2007 arbeitslos ist und Sozialhilfe bezieht. Altersbedingt wird es für die Beschwerdeführerin 2 wohl nicht einfach sein, in Serbien eine Erwerbstätigkeit zu finden. Diese Schwierigkeit besteht jedoch in der Schweiz genauso, wie im Übrigen ihre bereits seit einigen Jahren andauernde Arbeitslosigkeit belegt. Von einer Verletzung von Art. 8 EMRK kann somit nicht die Rede sein.
Letztlich kommt der Ehefrau die Wahl zu, ob sie dem Beschwerdeführer 1 nach Serbien folgen will oder nicht. Als Schweizer Bürgerin steht es ihr frei, in der Schweiz zu verbleiben.
3.4 Bei einer Gesamtwürdigung ist nicht zu beanstanden, dass die Vorinstanz die Verweigerung, die Aufenthaltsbewilligung des Beschwerdeführers 1 zu verlängern, als verhältnismässig betrachtet. Der angefochtene Entscheid ist damit bundesrechts- und konventionskonform. Ergänzend wird auf die zutreffenden Ausführungen im Entscheid des Verwaltungsgerichts verwiesen.
4. Die Beschwerde erweist sich somit als offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 BGG mit summarischer Begründung abgewiesen werden kann. Diesem Ausgang entsprechend haben die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens unter solidarischer Haftung zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Sicherheitsdirektion des Kantons Zürich, dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich 4. Kammer und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 20. Juli 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Zünd Dubs