Faits: A. X._, ressortissant du Kosovo, né en 1985, et Y._, également ressortissante du Kosovo, née en 1986, se sont mariés à Prizren (Kosovo) le 15 novembre 2005. Aucun enfant n'est issu de cette union. Y._ est titulaire d'une autorisation d'établissement en Suisse. Elle habite Payerne. X._ est arrivé en Suisse le 18 mars 2006. Le 1er mai 2006, le Service de la population du canton de Vaud (ci-après SPOP) lui a octroyé une autorisation de séjour pour vivre auprès de son épouse. Y._ et X._ ont cessé la vie commune le 4 février 2009. B. Par courriers des 20 février et 13 mars 2009, Y._ a informé le SPOP qu'elle était en instance de divorce. Après avoir fait entendre X._ par la Police de sûreté à plusieurs reprises, le SPOP a, le 17 décembre 2010, refusé à celui-ci la prolongation de son autorisation de séjour et lui a imparti un délai de trois mois pour quitter la Suisse. X._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud. Celui-ci a, par arrêt du 8 avril 2011, rejeté son recours et confirmé la décision rendue par le SPOP. C. Par acte du 13 mai 2011, X._ a interjeté un recours en matière de droit public. Il demande au Tribunal fédéral, avec suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 8 avril 2011 et de prolonger son autorisation de séjour. II requiert en outre l'octroi de l'effet suspensif à son recours. Le SPOP a renoncé à se déterminer sur le recours. Le Tribunal cantonal s'est référé aux motifs de l'arrêt attaqué. L'Office fédéral des migrations propose le rejet du recours en se référant aux considérants des instances précédentes. Par ordonnance présidentielle du 19 mai 2011, l'effet suspensif a été accordé au recours.