Faits: A. Ressortissant kosovar né en 1973, X._ est entré en Suisse le 28 août 1991 pour y déposer une demande d'asile, qui a été rejetée le 2 septembre 1992. Il a cependant été admis provisoirement en Suisse. Sa demande, formée en 1998, en vue de l'obtention d'une autorisation de séjour a été rejetée en raison de son comportement délictuel. Le 16 août 1999, l'admission collective provisoire dont X._ avait bénéficié a été levée et un délai lui a été imparti pour quitter la Suisse. Le 19 novembre 1999, il a épousé en Suisse une compatriote disposant actuellement d'un permis d'établissement et a obtenu une autorisation de séjour au titre du regroupement familial. Deux enfants, nés en 2003 et 2007, sont issus de cette union. B. X._ a fait l'objet de plusieurs condamnations pénales. Le 15 avril 1997, il a été condamné pour complicité de vol, recel et infraction à l'ordonnance fédérale sur l'acquisition et le port d'armes à feu à quatre mois d'emprisonnement avec sursis durant un délai d'épreuve de deux ans ainsi qu'à l'expulsion avec sursis du territoire suisse pendant cinq ans durant un délai d'épreuve de cinq ans. Le 11 février 2000, il a été condamné à trois jours d'arrêts et une amende de 500 fr. pour infraction aux règles de la circulation routière et violation des devoirs en cas d'accident. Par jugement, entré en force (cf. arrêt 1P.675/2006 du 10 janvier 2007), du 10 mai 2005, il a été condamné à quatre ans de peine privative de liberté, sous déduction de 473 jours de détention préventive, pour infraction à la loi fédérale sur les stupéfiants, participation à une organisation criminelle, blanchiment d'argent et violation de la législation sur les armes. Le sursis à l'expulsion de cinq ans a été révoqué à cette occasion. X._ a été mis au bénéfice de la libération conditionnelle le 11 novembre 2008. C. Par décision du 9 janvier 2009, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service cantonal) a refusé de renouveler l'autorisation de séjour de X._ et a ordonné son renvoi de Suisse. Le recours formé contre cette décision a été rejeté par la Ie Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) en date du 23 mars 2011. D. Agissant par la voie du recours en matière de droit public, doublé d'un recours constitutionnel subsidiaire, X._ demande au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt du Tribunal cantonal du 23 mars 2011. Sur recours en matière de droit public, il conclut principalement au renouvellement de son autorisation de séjour, subsidiairement, à ce qu'il soit ordonné au Tribunal cantonal de motiver sa décision de ne pas organiser des débats, plus subsidiairement, au renvoi de la cause au Tribunal cantonal pour qu'il organise des débats. Sur recours constitutionnel subsidiaire, X._ demande que la cause soit renvoyée au Tribunal cantonal pour que ce dernier, principalement, motive sa décision de ne pas organiser des débats, et, plus subsidiairement, organise de tels débats. Le Service cantonal conclut à la confirmation de sa décision du 9 janvier 2009 et l'Office fédéral des migrations au rejet du recours. Constatant que les débats demandés par le recourant n'ont pas été organisés, le Tribunal cantonal propose l'admission de la conclusion plus subsidiaire du recourant, tendant à ce que l'affaire lui soit renvoyée pour qu'il organise de tels débats. Par ordonnance présidentielle du 16 mai 2011, la IIe Cour de droit public a admis la requête d'effet suspensif formée par X._. Par ordonnance du 30 mai 2011, le Tribunal fédéral a rejeté la requête d'assistance judiciaire déposée par le recourant, la condition de l'indigence n'étant pas réalisée.