Sachverhalt: A. Der kosovarische Staatsangehörige X._ (geb. 5. November 1969) heiratete am 2. Juli 1990 im Heimatland die Landsfrau Y._ (geb. 23. April 1971). Aus dieser Ehe ging am 19. Juli 1991 der Sohn A._ hervor. Die Ehe wurde am 30. November 1994 geschieden. Am 9. Dezember 1996 reiste X._ in die Schweiz ein und heiratete gleichentags eine 14 Jahre ältere Schweizer Bürgerin. Gestützt auf die Heirat wurde ihm eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau erteilt. In der Folge gebar ihm seine ehemalige Ehefrau zwei weitere Kinder, B._ (geb. 17. September 1998) und C._ (geb. 1. November 2000). Am 5. Dezember 2001 wurde X._ die Niederlassungsbewilligung erteilt. Die kinderlos gebliebene Ehe mit der schweizerischen Ehefrau wurde am 6. Juli 2005 geschieden. Am 6. Dezember 2005 heirateten X._ und Y._ ein zweites Mal im Kosovo, worauf Y._ am 8. August 2006 in die Schweiz einreiste und am 12. September 2006 die Aufenthaltsbewilligung zum Verbleib bei ihrem Ehemann (letztmals verlängert bis zum 7. August 2008) erhielt. Am 13. November 2006 bzw. am 20. September 2007 stellten Y._ und X._ ein Familiennachzugsgesuch für ihre drei Kinder. Darauf stellte ihnen das Migrationsamt des Kantons Zürich am 10. Dezember 2007 den Widerruf der Niederlassungs- bzw. der Aufenthaltsbewilligung in Aussicht und gewährte ihnen das rechtliche Gehör. B. Mit Verfügung vom 12. März 2008 widerrief das Migrationsamt die Niederlassungsbewilligung von X._ sowie die Aufenthaltsbewilligung von Y._ wegen Verschweigens wesentlicher Tatsachen und setzte ihnen Frist zur Ausreise. Gleichzeitig wies es das Gesuch um Nachzug der drei Kinder ab. X._ und Y._ erhoben dagegen ohne Erfolg vorerst Rekurs an den Regierungsrat des Kantons Zürich und sodann Beschwerde an das Verwaltungsgericht des Kantons Zürich. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 6. November 2009 beantragen X._ und Y._, den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 26. August 2009 aufzuheben, die Aufenthalts- und Niederlassungsbewilligung der Beschwerdeführer nicht zu widerrufen, eventualiter die Sache zur Durchführung eines Beweisverfahrens zwecks Feststellung des Sachverhalts an die Vorinstanz zurückzuweisen. Zudem stellen sie das Begehren, der Beschwerde die aufschiebende Wirkung zu erteilen. Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist. Die Staatskanzlei des Kantons Zürich, im Auftrag des Regierungsrates, und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. D. Mit Verfügung vom 10. November 2009 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde aufschiebende Wirkung zuerkannt.