Sachverhalt: A. Der 1982 geborene X._, Staatsangehöriger von Guinea, ist am 31. März 2003 unter Angabe eines falschen Namens in die Schweiz eingereist. Er hat hier gleichentags ein Asylgesuch gestellt, auf welches mit Verfügung vom 7. April 2003 nicht eingetreten wurde. In der Folge hielt sich X._ illegal in der Schweiz auf. Am 9. August 2006 heiratete er die drogenabhängige Schweizerin Y._. Aufgrund dieser Eheschliessung erhielt X._ eine Aufenthaltsbewilligung, welche zuletzt bis zum 8. Februar 2008 verlängert wurde. X._ wurde in der Schweiz wiederholt straffällig: Der Einzelrichter in Strafsachen des Bezirks Affoltern verurteilte ihn am 30. April 2007 wegen Widerhandlung gegen das Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG) zu einer bedingt vollziehbaren Geldstrafe von 90 Tagessätzen zu je Fr. 30.-- sowie zu einer Busse von Fr. 100.--; Mit Urteil des Bezirksgerichts Affoltern vom 19. November 2007 wurde er wegen Widerhandlungen gegen das Bundesgesetz vom 3. Oktober 1951 über die Betäubungsmittel und die psychotropen Stoffe (Betäubungsmittelgesetz; BetmG; SR 812.121) zu einer Freiheitsstrafe von 27 Monaten und einer Busse von Fr. 500.--, als Zusatzstrafe zum Urteil des Einzelrichters in Strafsachen vom 30. April 2007, verurteilt. Der Vollzug der Freiheitsstrafe wurde im Umfang von 15 Monaten bedingt aufgeschoben; im Umfang von 12 Monaten wurde der unbedingte Vollzug angeordnet. Vom 9. Mai 2007 bis zum 9. Mai 2008 befand sich X._ in Untersuchungshaft bzw. im Strafvollzug. B. Mit Verfügung vom 2. Mai 2008 lehnte das Migrationsamt des Kantons Zürich die Verlängerung der Aufenthaltsbewilligung von X._ unter Hinweis auf dessen Delinquenz ab. Hiergegen rekurrierten dieser sowie Y._ erfolglos beim Regierungsrat des Kantons Zürich. Eine beim Verwaltungsgericht des Kantons Zürich eingereichte Beschwerde wurde von diesem mit Urteil vom 25. Februar 2009 abgewiesen. C. Mit Eingabe vom 7. Mai 2009 führen X._ und Y._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragen im Wesentlichen die Aufhebung des vorinstanzlichen Urteils und die Gutheissung des Gesuchs um Verlängerung der Aufenthaltsbewilligung von X._. Eventualiter seien "weitere Sachabklärungen vorzunehmen oder vornehmen zu lassen". Das Bundesamt für Migration und der Regierungsrat des Kantons Zürich schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich beantragt, es sei die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Mit Verfügung vom 12. Mai 2009 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.