Faits: A. X._, ressortissant camerounais né en 1981 (ci-après: l'intéressé) est entré en Suisse le 3 octobre 2002 et a déposé une demande d'asile. Par décision du 16 octobre 2002, l'Office fédéral des réfugiés (aujourd'hui, Office fédéral des migrations) a rejeté cette demande et prononcé le renvoi de l'intéressé. Cette décision a été confirmée par arrêt du 7 décembre 2002 de la Commission de recours en matière d'asile. Par décision du 25 septembre 2003, l'Office fédéral des migrations a prononcé une interdiction d'entrée en Suisse valable jusqu'au 24 septembre 2005. Le 12 octobre 2004, l'intéressé a épousé Y._ ressortissante suisse. Le couple n'a pas eu d'enfant. Le 14 janvier 2005, l'Office fédéral des migrations a annulé l'interdiction d'entrée en Suisse prononcée le 25 septembre 2003. Par décision du 7 février 2005, le Service de la population du canton de Vaud (ci-après: le Service cantonal de la population) a mis l'intéressé au bénéfice d'une autorisation de séjour pour regroupement familial. Le 21 août 2007, le Service cantonal de la population a appris que les époux ne vivaient plus ensemble. Il ressort d'un rapport de police que l'intéressé se plaignait de la violence de son épouse à son égard. Cette dernière a confirmé avoir proféré des cris à son encontre et l'avoir giflé une seule fois en raison de difficultés de communication que connaissait le couple. Le divorce des époux X._ a été prononcé le 4 juillet 2008. Le 7 juillet 2008, le Service cantonal de la population a informé l'intéressé qu'il envisageait de révoquer son autorisation de séjour et lui a donné la possibilité de déposer des observations. B. Par décision du 3 décembre 2008, le Service cantonal de la population a refusé de prolonger l'autorisation de séjour de l'intéressé. Par mémoire du 24 décembre 2008, ce dernier a déposé un recours contre la décision rendue le 3 décembre 2008 auprès du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). C. Par arrêt du 24 juin 2009, le Tribunal cantonal a rejeté le recours, sans entendre l'intéressé en audience. La vie commune des époux ayant cessé en août 2007, l'union conjugale au sens de l'art. 50 al. 1 let. a de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr ou loi sur les étrangers; RS 142.20) n'avait pas duré trois ans. La question de savoir s'il fallait qualifier les cris et la gifle de violence conjugale pouvait rester ouverte, du moment que la réintégration sociale de l'intéressé, jeune et en bonne santé, dans son pays d'origine, où toute sa famille résidait, n'était pas fortement compromise. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt rendu le 24 juin 2009 par le Tribunal cantonal du canton de Vaud en ce sens que son autorisation de séjour est renouvelée. Il dépose en outre une demande d'assistance judiciaire totale ou, à tout le moins, partielle. Le 14 juillet 2009, la mandataire de l'intéressé a adressé un courrier au Tribunal fédéral pour préciser que les époux avaient vécu séparément dès le 20 août 2007 mais que des contacts réguliers avaient perduré entre eux jusqu'à la fin de l'année, de sorte que l'on devait considérer que l'union conjugale avait duré plus de trois ans. Le Service cantonal de la population conclut au rejet du recours. Le Tribunal cantonal renonce à déposer des observations. E. Par ordonnance du 21 juillet 2009, le Président de la IIe Cour de droit public a admis la requête d'effet suspensif déposée par l'intéressé. F. Le 3 août 2009, l'intéressé a adressé au Tribunal fédéral un courrier de son ex-épouse.