Faits:
A. X._, ressortissant turc né en 1980, est entré en Suisse le 17 juillet 2001. Il y a déposé une demande d'asile, laquelle a été rejetée le 14 août 2002. Il a été autorisé à attendre en Suisse l'issue de la procédure de recours qu'il avait diligentée contre ce prononcé.
X._ a travaillé, dès janvier 2003, en qualité de vendeur dans un restaurant vendant des spécialités turques, puis d'aide de cuisine.
Le 15 mars 2003, X._ a épousé une ressortissante de l'ex-Serbie et Monténégro titulaire d'une autorisation d'établissement, ce qui lui a permis de bénéficier d'une autorisation annuelle de séjour. Celle-ci étant parvenue à échéance le 15 mars 2004, il en a demandé le "renouvellement", notamment le 17 avril 2004, le 18 janvier 2005, le 7 août 2006 et le 9 janvier 2007. Le Service de la population du canton de Vaud (ci-après: le Service de la population) n'a pas rendu de décision à la suite de ces requêtes.
Avant son divorce, prononcé le 15 mai 2007, X._ a vécu en ménage commun, dès le 1er février 2004, avec sa compatriote Y._, titulaire d'un permis d'établissement et alors elle-même en instance de divorce. De cette union est née une fille, en 2004.
B. X._ a été détenu préventivement du 12 octobre 2004 au 26 janvier 2005 parce qu'il était soupçonné de s'être livré à un trafic de drogue. De fait, il a été définitivement condamné le 5 novembre 2007 par la Cour de cassation pénale du Tribunal cantonal du canton de Vaud à trois ans et demi de réclusion, sous déduction de 107 jours de détention préventive, pour infraction grave à la loi fédérale sur les stupéfiants (LStup; RS 812.121) et pour blanchiment d'argent. Il avait en effet accepté d'entreposer, à la demande d'un compatriote et par amitié, deux kilos d'héroïne dans sa cave. A la suite de l'emprisonnement de l'ami en question, il s'était trouvé en possession de cette importante quantité d'héroïne sans avoir eu à la payer. Il l'a alors vendue.
X._ a bénéficié de l'aide sociale à concurrence de 3'280 fr. du 1er juin au 31 juillet 2004 et pour un montant de 39'133 fr. 40 du 1er février au 31 décembre 2005. Dès le 1er mai 2007, il a travaillé à 50% dans le restaurant que sa compagne, Y._, exploitait.
Le 26 décembre 2007, X._ a épousé Y._ avec laquelle il avait eu une deuxième fille, née en 2006.
Depuis l'incarcération de X._, le 6 octobre 2008, sa famille vit également de l'aide sociale, sa femme ayant cessé d'exploiter l'établissement public dont elle s'occupait. Au 23 janvier 2009, Y._ faisait l'objet de vingt-trois poursuites pour un montant de 41'315 fr. 60 et vingt-deux actes de défauts de biens pour un total de 35'512 fr. 65 avaient été délivrés à son encontre.
C. Par décision du 2 avril 2009, le Service de la population a refusé le renouvellement de l'autorisation de séjour de X._ en raison, notamment, de la condamnation pénale à trois ans et demi de réclusion dont il avait fait l'objet. Il lui a imparti un délai d'un mois dès la fin de sa détention pour quitter la Suisse.
Contre cette décision, X._ a recouru auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), lequel a rejeté son recours par arrêt du 10 février 2010. En substance, le Tribunal cantonal a retenu que la gravité des faits ayant conduit à la condamnation pénale de l'intéressé, ainsi que la situation économique de celui-ci - recours à l'aide sociale - permettaient d'exiger un départ de Suisse en dépit des conséquences que cela ne manquerait pas d'avoir sur la poursuite de sa vie de famille.
D. X._ a recouru auprès du Tribunal fédéral contre l'arrêt du 10 février 2010 du Tribunal cantonal. Il se prévaut de la violation du droit des étrangers et de l'art. 8 CEDH. X._ requiert également le bénéfice de l'assistance judiciaire.
Invité à se déterminer sur le recours, le Tribunal cantonal s'est référé aux considérants de l'arrêt attaqué. Le Service de la population a renoncé à se déterminer sur le recours, alors que l'Office fédéral des migrations a conclu à son rejet.
Par ordonnance du 29 avril 2010, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.

Considérant en droit:
1. La loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113) a été abrogée par l'entrée en vigueur, le 1er janvier 2008, de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20; cf. ch. I de l'annexe 2 à l'art. 125 LEtr). Selon l'art. 126 al. 1 LEtr, les demandes déposées avant l'entrée en vigueur de la nouvelle loi sont régies par l'ancien droit.
Il ressort des constatations cantonales que les demandes qui sont à la base du présent litige sont toutes antérieures au 1er janvier 2008. Elles se sont échelonnées entre le 17 avril 2004 et le 9 janvier 2007, sans que le Service de la population se soit matériellement déterminé à leur sujet avant le 2 avril 2009. Il n'en demeure pas moins qu'elles sont toutes antérieures au 1er janvier 2008, de sorte que la LSEE s'applique, à l'exclusion de la LEtr. Le fait que ce ne soit que le 22 septembre 2008 que le Service de la population ait informé le recourant qu'il envisageait de refuser le renouvellement de son autorisation de séjour, respectivement qu'il ait rendu sa décision le 2 avril 2009 seulement, ne change rien à ce constat. Il y a donc lieu d'appliquer l'ancien droit.
2. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 444).
2.1 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit.
2.1.1 Le recourant se prévaut du droit au regroupement familial de l'art. 43 LEtr, alléguant en particulier que son épouse et ses enfants n'ont pas la possibilité de le suivre en Turquie, qu'un contrat de travail l'attend à sa sortie de prison et que le risque de récidive est faible.
La fausse désignation du droit fédéral applicable - à savoir la LEtr à la place de la LSEE - ne saurait pourtant lui nuire, dans la mesure où le Tribunal fédéral applique le droit d'office (<ref-law>) et que le Tribunal cantonal a également fait application de cette norme, parallèlement à l'art. 17 LSEE.
L'art. 17 al. 2 LSEE dispose que le conjoint d'un étranger possédant l'autorisation d'établissement a droit à l'autorisation de séjour aussi longtemps que les époux vivent ensemble (1ère phrase). Tel est le cas en l'espèce, le recourant étant marié depuis le 26 décembre 2007 avec une ressortissante turque titulaire d'un permis d'établissement. Par conséquent, le recours en matière de droit public est recevable au regard de l'art. 83 let. c ch. 2 LTF.
2.1.2 Un étranger peut aussi, selon les circonstances, se prévaloir de l'art. 8 par. 1 CEDH, qui garantit le respect de la vie privée et familiale, pour s'opposer à l'éventuelle séparation de sa famille. Encore faut-il, pour pouvoir invoquer cette disposition, que la relation entre l'étranger et une personne de sa famille ayant le droit de résider durablement en Suisse (sur cette notion, cf. <ref-ruling> consid. 1.3.1 p. 145 s.; <ref-ruling> consid. 3.1 p. 285) soit étroite et effective (cf. <ref-ruling> consid. 5 p. 269; <ref-ruling> consid. 5.3.1 p. 211). D'après la jurisprudence, les relations familiales qui peuvent fonder, en vertu de l'art. 8 par. 1 CEDH, un droit à une autorisation de police des étrangers sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (<ref-ruling> consid. 1.3.2 p. 146; <ref-ruling> consid. 1d/aa p. 65; <ref-ruling> consid. 1d p. 26).
Cette condition est aussi remplie en l'espèce, étant rappelé que le point de savoir si le recourant peut déduire un droit de séjour en Suisse de cette norme ressortit au fond et non à la recevabilité.
2.2 Au surplus, le recours est dirigé contre une décision rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) et a été déposé en temps utile (<ref-law>) ainsi que dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il convient donc d'entrer en matière.
3. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>).
4.1 4.1.1 Le droit à une autorisation de séjour ou d'établissement fondé sur l'art. 17 al. 2 LSEE n'est pas absolu. Il s'éteint si l'ayant droit a enfreint l'ordre public (art. 17 al. 2 4ème phrase LSEE), en particulier s'il existe un motif d'expulsion au sens de l'art. 10 al. 1 LSEE. Cette dernière disposition prévoit notamment que l'étranger peut être expulsé de Suisse ou d'un canton s'il a été condamné par une autorité judiciaire pour crime ou délit (let. a) ou si sa conduite, dans son ensemble, et ses actes permettent de conclure qu'il ne veut pas ou n'est pas capable de s'adapter à l'ordre établi dans le pays qui lui offre l'hospitalité (let. b). Même si, selon la lettre de l'art. 17 al. 2 in fine LSEE, une simple violation de l'ordre public suffit à entraîner la déchéance du droit à l'autorisation de séjour du conjoint étranger d'un étranger titulaire d'une autorisation d'établissement, cette extinction doit respecter le principe de la proportionnalité (cf., au sujet de l'expulsion, art. 10 al. 2 et 11 al. 3 LSEE).
Quand le refus d'octroyer, respectivement de prolonger, une autorisation de séjour se fonde sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère à prendre en considération pour évaluer la gravité de la faute et procéder à la pesée des intérêts. Selon la jurisprudence applicable au conjoint étranger d'un ressortissant suisse, une condamnation à deux ans de privation de liberté constitue la limite à partir de laquelle, en général, il y a lieu de refuser l'autorisation de séjour, du moins quand il s'agit d'une demande d'autorisation initiale ou d'une requête de prolongation d'autorisation déposée après un séjour de courte durée. La référence à une quotité de peine de détention de deux ans n'a cependant qu'un caractère indicatif (cf. <ref-ruling> consid. 4.3 p. 24; <ref-ruling> consid. 4.1 p. 185). Cette jurisprudence s'applique par analogie au conjoint étranger d'un ressortissant étranger titulaire d'une autorisation d'établissement, étant précisé que les conditions de refus d'autorisation de séjour sont moins strictes dans le cadre de l'art. 17 al. 2 LSEE que dans celui de l'art. 7 al. 1 LSEE (<ref-ruling> consid. 3a p. 390).
Au demeurant, il existe un intérêt public prépondérant à éloigner des étrangers qui ont, en particulier, commis des infractions graves à la LStup, même lorsque ces étrangers vivent en Suisse depuis de nombreuses années. En pareil cas, seules des circonstances exceptionnelles permettent de faire pencher la balance des intérêts en faveur de l'étranger en cause (<ref-ruling> consid. 2c p. 436).
4.1.2 De la même manière, le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale, ou à la protection des droits et libertés d'autrui. La question de savoir si, dans un cas d'espèce, les autorités de police des étrangers sont tenues d'accorder une autorisation de séjour fondée sur l'art. 8 CEDH doit être résolue sur la base d'une pesée de tous les intérêts privés et publics en présence (<ref-ruling> consid. 2.1 p. 147; <ref-ruling> consid. 2e p. 639; <ref-ruling> consid. 3c p. 5). En ce qui concerne l'intérêt public, il faut retenir que la Suisse mène une politique restrictive en matière de séjour des étrangers, pour assurer un rapport équilibré entre l'effectif de la population suisse et celui de la population étrangère résidante, ainsi que pour améliorer la situation du marché du travail et assurer un équilibre optimal en matière d'emploi (cf. art. 16 LSEE et 1er de l'ordonnance du 6 octobre 1986 limitant le nombre des étrangers [OLE; RO 1986 p. 1791] abrogée depuis l'entrée en vigueur du nouveau droit des étrangers). Ces buts sont légitimes au regard de l'art. 8 par. 2 CEDH (<ref-ruling> consid. 2.2 p. 147, 153 consid. 2.2.1 p. 156; <ref-ruling> consid. 2a p. 67). L'application de cette disposition implique aussi la pesée des intérêts en présence et l'examen de la proportionnalité de la mesure (cf. <ref-ruling> consid. 2.1 et 2.2 p. 154 ss; <ref-ruling> consid. 4.3 p. 381 s.).
4.2 Le recourant remplit les conditions de l'art. 10 al. 1 let. a LSEE, car "il a été condamné par une autorité judiciaire pour crime ou délit". En effet, par jugement du 5 novembre 2007, il s'est vu infliger une peine de trois ans et demi d'emprisonnement, sous déduction de 107 jours de détention préventive, pour blanchiment d'argent et violation grave de la LStup, pour avoir notamment entreposé, puis vendu, 2 kg d'héroïne. Or, il s'agit d'un domaine où la jurisprudence se montre particulièrement rigoureuse (cf. consid. 4.1.1). A cela s'ajoute que le recourant et sa famille ont largement eu recours à l'aide sociale - cf. l'art. 10 al. 1 let. d LSEE - , et ce depuis des années. Ainsi, les motifs permettant de contre-balancer cette situation doivent être importants.
Or, il apparaît que le recourant n'a pas de qualifications professionnelles particulières puisqu'il a travaillé comme aide de cuisine et "vendeur" dans divers restaurants. Sa maîtrise du français n'était pas bonne au moment de son jugement en 2006 et son intégration sociale n'a rien de remarquable. D'autre part, il n'est arrivé en Suisse qu'à l'âge de 21 ans, sous le couvert d'une demande d'asile infondée, qualifiée même d'abusive par le juge pénal. Le retour dans son pays natal n'est, dès lors, pas insurmontable. A cela s'ajoute que rien ne l'empêchera, à l'avenir, si sa famille reste en Suisse, d'entretenir des contacts téléphoniques avec celle-ci.
Son épouse est turque, comme le recourant, de sorte qu'il n'y a pas de motif de principe à ce qu'elle ne le suive pas en Turquie. Elle motive d'ailleurs son refus de retourner dans ce pays, notamment, par le fait que celui-ci ne distribue pas d'aide sociale, à la différence de la Suisse. Au moment de l'arrestation du recourant, le 12 octobre 2004, elle ne l'avait pas encore épousé, de sorte qu'elle a clairement pu intégrer le fait qu'il y aurait un risque, pour le couple, de devoir poursuivre la vie commune à l'étranger. Leurs enfants, nés en 2004 et en 2006 en Suisse, auront sans doute plus de peine à s'intégrer en Turquie, sans que cela n'apparaisse pourtant insurmontable au vu de leur jeune âge.
4.3 En définitive, l'intérêt public à l'éloignement de Suisse du recourant qui a commis des actes inadmissibles, attestant du mépris de celui-ci pour les valeurs respectées dans son pays d'accueil et qui, en outre, a démontré son incapacité à s'adapter à l'ordre établi, l'emporte sur l'intérêt privé de l'intéressé à rester dans notre pays. Ainsi, le Tribunal cantonal n'a pas violé le droit applicable en rendant l'arrêt attaqué. En particulier, il a respecté les art. 17 al. 2 LSEE et 8 CEDH.
5. Compte tenu de ce qui précède, le recours doit être rejeté.
Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Son recours se révélant d'emblée dénué de chances de succès, il ne saurait bénéficier de l'assistance judiciaire (<ref-law>). Les frais seront toutefois fixés en tenant compte de sa situation financière (cf. <ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au recourant, au Service de la population, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 4 octobre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Kurtoglu-Jolidon