Faits: A. X._, ressortissant du Burkina Faso né en 1971, a déposé une demande d'asile en Suisse qui a été définitivement rejetée le 20 février 2006. Le 27 octobre suivant, le prénommé a épousé une ressortissante ivoirienne titulaire d'un permis d'établissement et a obtenu une autorisation de séjour au titre du regroupement familial pour vivre avec son épouse. A la suite de difficultés conjugales, les époux se sont séparés dans le courant de l'année 2009, puis ont divorcé selon jugement du 6 avril 2010. Par décision du 4 octobre 2010, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service cantonal) a refusé de renouveler l'autorisation de séjour de X._. B. X._ a recouru contre la décision précitée, en faisant valoir qu'il avait droit à une autorisation de séjour, car son union conjugale avait duré plus de trois ans et son intégration en Suisse était réussie au sens de l'art. 50 al. 1 let. a LEtr. Par arrêt du 3 mars 2011, le Tribunal cantonal du canton de Fribourg, Ie Cour administrative (ci-après: le Tribunal cantonal), a rejeté le recours, estimant que l'union conjugale avait duré moins de trois ans et qu'il n'existait pas, lorsque les époux se sont séparés, de raisons majeures justifiant de faire exception à l'exigence d'un ménage commun au sens de l'art. 49 LEtr. C. Contre cet arrêt, X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué, sous suite de frais et dépens, et au renvoi de la cause au Tribunal cantonal pour nouvelle décision au sens des considérants. Le Service cantonal, le Tribunal cantonal et l'Office fédéral des migrations (ODM) proposent le rejet du recours.