Faits: A. X._, ressortissant du Kosovo, né en 1982, est semble-t-il entré une première fois en Suisse avec ses parents en 1991 et y aurait séjourné jusqu'en 1993. Il serait ensuite retourné quelques mois au Kosovo, avant de demeurer en Allemagne pendant plusieurs années, de 1994 à 2000. Après un nouveau séjour de quelques mois dans son pays d'origine, il est finalement revenu en Suisse le 28 juin 2001. Il a alors déposé une demande d'asile qui a été rejetée par décision de l'Office fédéral des réfugiés du 4 mars 2003. Dans l'intervalle, à la suite de son mariage le 14 décembre 2001 avec une ressortissante suisse, X._ a obtenu une autorisation de séjour annuelle (permis B) dans le canton du Jura. Le couple s'est toutefois séparé après quelques mois. L'intéressé a en outre fait l'objet de différents rapports de dénonciation pour vols et dommages à la propriété de la part des polices jurassienne et neuchâteloise, ce qui lui a finalement valu, le 16 janvier 2003, une condamnation par le Tribunal de police de Neuchâtel à 75 jours d'emprisonnement avec sursis pendant trois ans, ainsi qu'une peine de quatre mois d'emprisonnement avec sursis pendant cinq ans, assortie d'une expulsion du territoire suisse pendant trois ans avec sursis pendant cinq ans, peine prononcée le 4 mai 2006 par la Cour pénale du Tribunal cantonal du canton du Jura. B. Sur la base des rapports de dénonciation et en raison de la séparation du couple, le Service de la population du canton du Jura (ci-après: le SPOP) a refusé de renouveler l'autorisation de séjour de l'intéressé et ordonné son renvoi par décision du 10 janvier 2003, confirmée sur opposition le 2 avril 2003, puis par arrêt du 16 septembre 2003 de la Cour administrative du Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal). L'intéressé a été renvoyé dans son pays d'origine le 28 novembre 2003. L'Office fédéral des migrations (ci-après: l'ODM) a par ailleurs prononcé le 23 novembre 2003 une mesure d'interdiction d'entrée, laquelle a été contestée en vain, puisque, par décision du 26 janvier 2006, le Département fédéral de justice et police a rejeté le recours dirigé contre elle. C. Le 31 décembre 2003, X._ a épousé, au Kosovo, Y._, ressortissante du Kosovo, titulaire d'une autorisation de séjour en Suisse (permis B). X._ a dès lors déposé une demande de regroupement familial, laquelle a été rejetée par décision du SPOP du 31 mars 2005, confirmée sur opposition le 9 juin 2005, puis sur recours le 29 septembre 2005. Une deuxième requête de regroupement familial a été déposée le 29 mai 2006, qui a également été rejetée par décision du 25 juillet 2006, confirmée sur opposition le 16 novembre 2006. D. Une troisième requête a été déposée le 23 mai 2007, Y._, l'épouse de l'intéressé, ayant obtenu une autorisation d'établissement en Suisse (permis C). Nanti de cette information, l'ODM a annulé le 26 juillet 2007 avec effet immédiat la décision d'interdiction d'entrée en Suisse prononcée le 23 novembre 2003. De son côté, le SPOP a autorisé le regroupement familial le 3 août 2007. L'intéressé est entré en Suisse le 22 août 2007 et a été mis au bénéfice d'une autorisation de séjour annuelle, renouvelée régulièrement jusqu'au 22 août 2011. De l'union des époux X._ et Y._ sont nés trois enfants: A._, en 2006, B._, en 2008 et C._, en 2011. Le 29 avril 2009, X._ a été condamné à une peine pécuniaire de 10 jours-amende pour dommages à la propriété, ainsi que, le 22 décembre 2009, à une amende pour conduite inconvenante. En outre, par jugement de la Cour d'assises du canton de Neuchâtel du 8 décembre 2009, il a été condamné à une peine privative de liberté de 15 mois avec sursis pendant 5 ans pour infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (RS 812.121; LStup). L'arrêt de la Cour d'assises met en évidence les circonstances particulières liées à cette condamnation en les termes suivants (p. 47 s) : "X._ n'est condamné que pour une opération de recherche d'héroïne totalement infructueuse, mais grave néanmoins par la quantité de stupéfiants en jeu. La quotité de la peine doit tenir compte du minimum prévu à l'art. 19 ch. 2 LStup, mais également des antécédents pénaux du prévenu, assez lourds pour certains (mais les peines infligées en Allemagne, par le Tribunal pénal des mineurs, remontent à près de dix ans). La Cour tiendra assez largement compte, cependant, du fait que X._ a visiblement agi à l'insistance de son frère (ses réticences ont été décrites par D._ et il n'a d'ailleurs pas participé aux expéditions suivantes). Sa situation personnelle semble par ailleurs stabilisée et il serait inopportun de la mettre en péril par une sanction trop sévère de cette faute commise dans un cadre très particulier. La peine de quatre mois d'emprisonnement infligée le 4 mai 2006 s'accompagnait d'un sursis de cinq ans, dont la révocation doit indiscutablement être envisagée, vu l'importance du délit commis. Ni l'attitude, ni les antécédents du prévenu ne permettent de faire abstraction, ici encore, de toute exécution de peine, mais il est permis de penser qu'après exécution de la peine de 4 mois de privation de liberté dont le sursis est révoqué, X._ comprendra la nécessité de s'abstenir de tout délit, durant un délai d'épreuve qu'il convient de fixer à 5 ans, s'il ne veut pas exécuter la nouvelle peine prononcée. Ainsi donc, la Cour renoncera à infliger à X._ une peine d'ensemble et, pour l'infraction retenue ce jour, elle lui infligera une peine de 15 mois de privation de liberté avec sursis pendant 5 ans." E. Alors que X._ sollicitait une nouvelle prolongation de son autorisation de séjour, le SPOP l'a rendu attentif au fait qu'à la suite des nombreux jugements pénaux rendus à son encontre en Suisse, il envisageait de refuser de renouveler son autorisation de séjour et de prononcer son renvoi. Après lui avoir donné la possibilité d'exercer son droit d'être entendu, le SPOP a refusé le renouvellement de son autorisation de séjour et lui a imparti un délai de huit semaines dès l'entrée en force de la décision pour quitter la Suisse. Cette décision a été confirmée sur opposition. Saisi d'un recours contre le prononcé sur opposition, le Tribunal cantonal l'a rejeté par arrêt du 11 mars 2013. F. A l'encontre de cet arrêt, X._ forme un recours en matière de droit public auprès du Tribunal fédéral. Il requiert, sous suite de frais et dépens, principalement l'octroi d'une autorisation de séjour, subsidiairement le renvoi de la cause au Tribunal cantonal pour nouveau jugement dans le sens des considérants. Le Tribunal cantonal, l'ODM et le SPOP concluent au rejet du recours. X._ s'est à nouveau déterminé sur ces prises de position. Le 25 avril 2013, il a demandé le bénéfice de l'assistance judiciaire.