Sachverhalt: A. Der 1975 geborene kosovarische Staatsangehörige A.A._ heiratete am 23. Oktober 2009 eine damals in der Schweiz aufenthaltsberechtigte Portugiesin, worauf ihm eine bis zum 26. Juni 2013 gültig gewesene Aufenthaltsbewilligung EG/EFTA erteilt wurde. Im Rahmen des Familiennachzugs reisten im Jahr 2011 auch die beiden Söhne von A.A._ aus einer früheren Ehe in die Schweiz ein. Die Aufenthaltsbewilligung EG/EFTA des jüngeren Sohnes B.A._ (geb. 1997) hatte ebenfalls eine Gültigkeit bis zum 26. Juni 2013. Der ältere Sohn C.A._ (geb. 1994) erhielt mit seiner Volljährigkeit im Jahr 2012 eine eigenständige Aufenthaltsbewilligung. B. Nachdem A.A._ am 1. Juli 2013 auf Rückfrage des Migrationsamtes des Kantons Zürich bekannt gab, dass seine Ehefrau bereits im April 2012 nach Portugal ausgereist ist und sich seither wieder in ihrem Heimatland aufhält, verweigerte das Amt mit Verfügung vom 14. Februar 2014 die Verlängerung der Aufenthaltsbewilligungen von A.A._ und seines damals noch minderjährigen jüngeren Sohnes B.A._. Die hiergegen von den Betroffenen ergriffenen kantonalen Rechtsmittel wurden von der Sicherheitsdirektion des Kantons Zürich (Rekursentscheid vom 20. Mai 2014) sowie vom Verwaltungsgericht des Kantons Zürich (Urteil vom 23. Juli 2014) abgewiesen. C. Mit Eingabe vom 25. September 2014 führen A.A._ und B.A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht und beantragen im Wesentlichen, es seien ihre Aufenthaltsbewilligungen zu verlängern. Während die Sicherheitsdirektion des Kantons Zürich auf eine Vernehmlassung verzichtet, schliessen das damalige Bundesamt für Migration (seit 1. Januar 2015: Staatssekretariat für Migration) sowie das Verwaltungsgericht des Kantons Zürich auf Abweisung der Beschwerde. Mit Verfügung vom 29. September 2014 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde aufschiebende Wirkung zu.