Faits: A. X._, ressortissant de Serbie et Monténégro, né le *** 1976, est entré en Suisse le 21 mars 1996 en tant que requérant d'asile. Après le rejet de sa requête, il a épousé, le 26 mars 1999, A._, ressortissante italienne titulaire d'une autorisation d'établissement. X._ a ainsi été mis au bénéfice d'une autorisation de séjour pour regroupement familial. De cette union est né un fils, B._, le *** 2000. Par ordonnance du 18 avril 2002, le juge d'instruction de l'arrondissement de Lausanne a condamné l'intéressé, pour faux dans les certificats et délit manqué d'usage abusif de permis et de plaques, à dix jours d'emprisonnement avec sursis pendant deux ans et à 500 fr. d'amende avec délai d'épreuve et de radiation à deux ans. X._ a été interpellé le 8 avril 2004 en possession d'une importante quantité d'héroïne. Il a été placé en détention préventive dès le lendemain. Il travaillait alors comme ouvrier pour une entreprise sise à C._. Des mesures protectrices de l'union conjugale ont été prononcées, le 24 juin 2004, par le Président du Tribunal d'arrondissement de la Broye et du Nord vaudois, aux termes desquelles les époux X._ ont convenu de vivre séparés dans l'hypothèse où le mari serait relâché, la jouissance du domicile et la garde des enfants ayant été attribuées à l'épouse. Le 16 juin 2006, X._ a été condamné par le Tribunal criminel de l'arrondissement de La Broye et du Nord-Vaudois, pour escroquerie, recel, faux dans les titres, infraction au droit des étrangers et infraction grave à la loi fédérale sur les stupéfiants (LStup; RS 812.121), à dix ans de réclusion, sous déduction de 792 jours de détention préventive et à l'expulsion du territoire suisse pour une durée de dix ans avec sursis pendant cinq ans. Le sursis octroyé le 18 avril 2002 a également été révoqué. Cet arrêt a été confirmé par la Cour de cassation pénale du Tribunal cantonal du canton de Vaud le 25 août 2006. Il retient en substance que l'activité de l'accusé a consisté à acquérir, vendre et transporter des stupéfiants, à agir en qualité de courtier et à prendre des mesures aux fins d'importer et plus généralement trafiquer des stupéfiants. Celle-ci a porté sur une quantité de stupéfiants pouvant mettre en danger la santé de nombreuses personnes et correspondant environ à 230 fois le cas grave, s'agissant uniquement du trafic d'héroïne de la fin de l'hiver 2004. En outre, X._ avait agi en bande. Lors de l'exécution de sa peine aux Etablissements de la Plaine de l'Orbe, X._ a fait l'objet d'un rapport d'évaluation. Celui-ci a notamment relevé ceci: "Au vu de ce qui précède, nous ne pouvons écarter un risque de récidive si l'intéressé se retrouve dans une situation financière précaire et ce, même si X._ prétend le contraire. Nous tenons à préciser qu'il nous a paru flagrant que l'intéressé avait tendance à se surestimer «ne se voyant aucun défaut» lors des entretiens afin de progresser dans l'exécution de sa peine (...)". B. Par requête du 1er février 2007, X._ a sollicité la prolongation de son autorisation de séjour. Après lui avoir donné la possibilité de se déterminer, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé, par décision du 7 septembre 2009, de donner suite à cette requête. Par jugement du 16 mars 2010, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de X._. En substance, il a retenu que la gravité du comportement de l'intéressé, lequel avait abouti à une condamnation de dix ans de réclusion, faisait obstacle à toute autorisation de séjour en Suisse, qu'elle soit fondée sur l'Accord entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113) ou l'art. 8 CEDH. C. X._ a formé un "recours en matière de droit public, subsidiairement, de droit constitutionnel". Il demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 16 mars 2010 du Tribunal cantonal en ce sens que l'autorisation de séjour "n'est pas révoquée", subsidiairement, de renvoyer la cause audit Tribunal pour nouvelle instruction et décision dans le sens des considérants. L'intéressé requiert également le bénéfice de l'assistance judiciaire. Appelés à se déterminer sur ce recours, le Tribunal cantonal et l'Office fédéral des migrations ont conclu à son rejet, alors que le Service de la population a renoncé à se déterminer. Par ordonnance du 22 avril 2010, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.