Sachverhalt: A. A.a. A.A._ (geb. 1982) ist serbischer Staatsangehöriger. Im Dezember 2000 heiratete er in seiner Heimat die im Kanton Zürich niedergelassene D._ und erhielt daraufhin eine Aufenthaltsbewilligung. Die Ehe wurde am 27. Dezember 2001 geschieden. Mit Verfügung vom 17. Mai 2002 wies das Migrationsamt des Kantons Zürich (hiernach: Migrationsamt) das Gesuch von A.A._ um Verlängerung der Aufenthaltsbewilligung ab und setzte ihm eine Ausreisefrist. Am 15. August 2002 kehrte A.A._ nach Serbien zurück. A.b. Im Oktober 2003 und im Juli 2007 wurde A.A._ Vater von zwei Töchtern (B.A._ und C.A._), welche aus seiner Beziehung mit der serbischen Staatsangehörigen E._ hervorgingen. A.c. Am 25. März 2010 heiratete er in Winterthur die hier niedergelassene serbische Staatsangehörige F._, woraufhin ihm eine Aufenthaltsbewilligung erteilt wurde. Am 21. Mai 2010 ging beim Migrationsamt ein anonymes Schreiben ein, laut welchem A.A._ eine Scheinehe führe. A.d. Am 18. November 2010 stellte A.A._ ein Gesuch um Familiennachzug für seine beiden Töchter aus der Beziehung mit E._. A.e. Anlässlich eines Augenscheins durch die Stadtpolizei Winterthur in der ehelichen Wohnung am 7. April 2011 wurden die Eheleute sowie der dort anwesende G._ befragt. Dieser gab zu Protokoll, seit einem Jahr der Freund von F._ zu sein. In der Folge stellte das Migrationsamt A.A._ den Widerruf der Aufenthaltsbewilligung in Aussicht. Nachdem die Rechtsvertreterin von A.A._ im Rahmen des rechtlichen Gehörs dem Migrationsamt mitgeteilt hatte, die Ehefrau sei schwanger, verzichtete dieses vorläufig auf den Widerruf der Aufenthaltsbewilligung. Am 18. Oktober 2011 zog F._ aus der ehelichen Wohnung aus. Rund zwei Monate später teilte sie dem Migrationsamt mit, eine Fehlgeburt erlitten zu haben und die Ehe annullieren zu wollen, was sie in einem weiteren Schreiben vom 29. Januar 2012 bestätigte. Am 2. März 2012 ging beim Migrationsamt wiederum ein Schreiben von F._ ein, in welchem diese erklärte, seit Mitte Januar 2012 wieder mit ihrem Ehemann in der gemeinsamen Wohnung zu leben. Am 19. April 2012 wurde A.A._ die Aufenthaltsbewilligung verlängert. Am 23. Dezember 2012 zogen die beiden Töchter von A.A._ in die Schweiz und erhielten eine Aufenthaltsbewilligung. A.f. Anlässlich einer erneuten polizeilichen Kontrolle in der ehelichen Wohnung am 3. September 2013 traf die Polizei die dort schlafende Mutter der beiden Töchter, E._, an, welche seit dem 5. April 2013 mit dem im Kanton Aargau niedergelassenen portugiesischen Staatsbürger H._ verheiratet ist. A.g. Am 31. Januar 2014 ersuchten A.A._ und seine Töchter um Verlängerung ihrer Aufenthaltsbewilligungen. A.h. Seit dem 8. Mai 2014 leben A.A._ und F._ getrennt. A.i. Am 20. August und 3. November 2014 gingen beim Migrationsamt weitere anonyme Schreiben ein, wonach A.A._ eine Scheinehe führe. B. Mit Verfügung vom 29. Mai 2015 verweigerte das Migrationsamt A.A._ und seinen Töchtern die Verlängerung der Aufenthaltsbewilligungen und wies diese aus der Schweiz weg. Zur Begründung gab es an, A.A._ und F._ hätten eine Scheinehe geführt bzw. rechtsmissbräuchlich an der Ehe festgehalten. Den dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich ab (Entscheid vom 14. April 2016). Mit Urteil vom 21. September 2016 wies das Verwaltungsgericht des Kantons Zürich eine dagegen erhobene Beschwerde ebenfalls ab. C. Mit Beschwerde ans Bundesgericht, welche vom 25. Oktober 2016 datiert ist und am 2. November 2016 bei der Post aufgegeben wurde, beantragen A.A._ und seine beiden Töchter die Aufhebung des vorinstanzlichen Urteils. Es seien ihnen die Aufenthaltsbewilligungen zu erteilen. Während das Migrationsamt, die Sicherheitsdirektion und das Staatssekretariat für Migration (SEM) auf Vernehmlassung verzichten, beantragt das Verwaltungsgericht die Abweisung der Beschwerde. Mit Verfügung des präsidierenden Mitglieds der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 7. November 2016 wurde der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.