Faits:
A. X._, se disant ressortissant de Sierra Leone né en 1980, est entré illégalement en Suisse le 7 avril 1998. Le lendemain, il y a déposé une demande d'asile, laquelle a été rejetée le 10 mai 1999 par l'Office fédéral des réfugiés - devenu entre-temps l'Office fédéral des migrations. Le prénommé est toutefois resté en Suisse. Il est devenu père de deux garçons, à savoir de A._, né en d'une relation avec une ressortissante somalienne au bénéfice d'une admission provisoire, et de B._, né en 2006 de sa relation avec une citoyenne suisse, avec laquelle il avait entamé en 2005 une procédure de mariage n'ayant finalement pas abouti. En 2009, est née C._, fille de X._ et de Y._, citoyenne suisse, que celui-ci a épousée en 2011.
X._ a fait l'objet des condamnations suivantes:
- par ordonnance du 29 mars 2000, le Juge d'instruction de Genève l'a condamné pour infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants (LStup ; RS 812.121) à une peine de 30 jours d'emprisonnement;
- par jugement du 11 mai 2000, le Tribunal correctionnel du district de la Vallée l'a condamné pour contravention et infraction grave à la LStup, recel et blanchiment à une peine de 20 mois d'emprisonnement, a ordonné la suspension de l'exécution de la peine et le placement de l'intéressé dans un établissement pour toxicomanes, ainsi que son expulsion du territoire suisse pour une durée de dix ans, avec sursis pendant cinq ans;
- par ordonnance du 29 janvier 2002, le Juge d'instruction de Genève l'a condamné pour infraction (délit) à la LStup à une peine d'un mois d'emprisonnement;
- par prononcé du 10 février 2006, la préfecture d'Yverdon lui a infligé une amende de 100 fr. pour avoir dissimulé en octobre 2004 des revenus alors qu'il était au bénéfice de l'aide sociale;
- par jugement du 12 décembre 2007, le Tribunal correctionnel de la Broye et du Nord vaudois l'a condamné pour infraction (délit) à la LStup et contraventions à la loi sur les transports publics à une peine de cinq mois d'emprisonnement;
- par jugement en la forme simplifiée du 30 mai 2011, le Tribunal d'arrondissement de la Broye et du Nord vaudois l'a condamné à une peine privative de liberté de 30 mois, dont 18 mois avec sursis et délai d'épreuve de quatre ans, ainsi qu'à une amende de 100 fr. pour infraction grave et contravention à la LStup, ainsi que pour infraction à la législation sur les étrangers. La sortie de prison de l'intéressé a été fixée au 16 novembre 2011.
Par décision du 4 novembre 2008, le Service de la population du canton de Vaud a rejeté la demande de X._ tendant à l'octroi d'une autorisation de séjour sur la base de l'art. 14 al. 2 de la loi fédérale du 26 juin 1998 sur l'asile (LAsi; RS 142.31). La demande de de réexamen déposée par le prénommé contre ce prononcé a été rejetée par le Service de la population en date du 19 août 2009.
Le 16 novembre 2010, X._ a été arrêté dans le cadre d'une opération policière anti-drogue. En 2011, alors qu'il se trouvait en détention provisoire, il a épousé Y._, citoyenne suisse, comme il a été dit. A la suite de cette union, il a déposé une demande d'autorisation de séjour aux fins de vivre avec son épouse et leur fille C._. Par courrier du 24 mai 2011, le Service de la population l'a informé de son intention de ne pas lui délivrer l'autorisation sollicitée, de lui impartir un délai pour quitter la Suisse et de proposer à son encontre une mesure d'interdiction d'entrée en Suisse, compte tenu de ses diverses condamnations pénales et du fait qu'il était impliqué dans une nouvelle affaire de stupéfiants.
B. Après lui avoir donné la possibilité de s'exprimer, le Service de la population a refusé, par décision du 15 août 2011, de délivrer à X._ une autorisation de séjour au titre du regroupement familial et a prononcé son renvoi de Suisse, dès qu'il aurait satisfait à la justice.
Contre cette décision, X._ a recouru à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après : le Tribunal cantonal), lequel a rejeté le recours par jugement du 9 janvier 2012. Cette autorité a considéré qu'au vu de la quotité et de la nature des condamnations prononcées à l'égard du prénommé, l'intérêt public à son éloignement de Suisse l'emportait sur son intérêt privé à demeurer dans ce pays auprès de sa famille.
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que, principalement, une autorisation de séjour lui est octroyée et, subsidiairement, la cause est renvoyée à l'instance précédente pour complément d'instruction et nouvelle décision dans le sens des considérants. Il requiert également que son recours soit doté de l'effet suspensif et d'être mis au bénéfice de l'assistance judiciaire.
Il n'a pas été requis de déterminations.
Par ordonnance présidentielle du 14 février 2012, la requête d'effet suspensif a été admise.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43 et la jurisprudence citée).
1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit.
L'art. 42 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) dispose que le conjoint étranger d'un citoyen suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité, à condition de vivre en ménage commun avec lui. En l'occurrence, le recourant est marié à une citoyenne suisse. Par conséquent, le présent recours est recevable au regard de l'art. 83 let. c ch. 2 LTF. En outre, un étranger peut, selon les circonstances, se prévaloir de l'art. 8 par. 1 CEDH, qui garantit le respect de la vie privée et familiale (comme d'ailleurs l'art. 13 al. 1 Cst.), pour s'opposer à l'éventuelle séparation de sa famille. Encore faut-il, pour pouvoir se réclamer de cette disposition, que la relation entre l'étranger et une personne de sa famille ayant le droit de résider durablement en Suisse (sur cette notion, cf. <ref-ruling> consid. 1.3.1 p. 145 s.; <ref-ruling> consid. 3.1 p. 285) soit étroite et effective (cf. <ref-ruling> consid. 5 p. 269; <ref-ruling> consid. 5.3.1 p. 211). D'après la jurisprudence, les relations familiales qui peuvent fonder, en vertu de l'art. 8 par. 1 CEDH, un droit à une autorisation de police des étrangers sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (<ref-ruling> consid. 1.3.2 p. 146; <ref-ruling> consid. 1d/aa p. 65; <ref-ruling> consid. 1d p. 261). Dans le cas particulier, il est constant que le recourant vit, hors périodes d'incarcération, avec sa femme, citoyenne suisse, et leur fille. Son recours est donc aussi recevable, sous l'angle de l'art. 8 par. 1 CEDH, au regard de l'art. 83 let. c ch. 2 LTF.
1.2 Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b, ainsi que <ref-law>), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>), en particulier en violation de l'interdiction de l'arbitraire (<ref-ruling> consid. 2.1 p. 450). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (cf. <ref-law>). Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 3 p. 104; <ref-ruling> consid. 5.2.2 p. 322). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 3 p. 104 s.; <ref-ruling> consid. 5.2.2 p. 322).
En l'espèce, le recourant allègue des faits qui n'ont pas été retenus par l'autorité précédente ou qui divergent de l'état de fait ressortant du jugement entrepris et qui lie le Tribunal fédéral, conformément à ce qui vient d'être dit, dans la mesure où il n'est nullement démontré que les faits auraient été établis de manière arbitraire. En outre, le recourant ne fait pas valoir qu'une rectification de l'état de fait dans le sens qu'il propose serait de nature à modifier le sort de la cause. Le Tribunal fédéral est ainsi fondé à vérifier l'application du droit sur la seule base des faits retenus dans le jugement du 9 janvier 2012.
2. D'après l'art. 51 al. 1 LEtr, les droits prévus à l'art. 42 LEtr s'éteignent notamment s'il existe des motifs de révocation au sens de l'art. 63 LEtr. Tel est le cas, entre autres situations, si l'étranger a été condamné à une peine privative de liberté de longue durée (art. 62 let. b LEtr par renvoi de l'art. 63 al. 1 let. a LEtr). Selon la jurisprudence, une peine privative de liberté est considérée comme de longue durée lorsqu'elle dépasse un an d'emprisonnement (<ref-ruling> consid. 4.2 p. 379 ss; <ref-ruling> consid. 2.1 p. 299), indépendamment du fait qu'elle ait été prononcée avec un sursis complet ou partiel, respectivement sans sursis (arrêts 2C_651/2009 du 1er mars 2010 consid. 4.1.2; 2C_515/2009 du 27 janvier 2010 consid. 2.1).
Ces conditions sont manifestement remplies en l'espèce au regard de la condamnation du recourant, le 30 mai 2011, à 30 mois d'emprisonnement dont 18 mois avec sursis, ce qui n'est du reste pas contesté.
3. 3.1 Selon la jurisprudence, le refus de l'autorisation de séjour ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée aux circonstances. Ce faisant, il convient de prendre en considération notamment la gravité de la faute commise par l'étranger, son degré d'intégration respectivement la durée de son séjour en Suisse et le préjudice que l'intéressé et sa famille auraient à subir en raison de la mesure. S'agissant de ce préjudice, l'on tiendra compte notamment de l'existence ainsi que de l'âge des enfants et du fait que, lors du mariage, le conjoint avait connaissance de l'activité délictuelle et par là du risque que la relation conjugale doive être vécue à l'étranger (cf. art. 96 al. 1 LEtr; <ref-ruling> consid. 4.3 p. 381 s.).
3.2 En l'espèce, le Tribunal cantonal a procédé à une pesée des intérêts en tenant compte de ces principes. La gravité des actes du recourant - multirécidiviste dans le trafic de drogue -, le fait que son mariage a été célébré alors qu'il se trouvait en détention préventive et que son conjoint ne pouvait ignorer le risque de renvoi, le faible niveau d'intégration en Suisse du recourant, de même que les conséquences d'un renvoi pour lui et sa famille ont ainsi été correctement mis en balance par l'autorité précédente et il suffit pour le surplus de renvoyer aux considérants pertinents de l'arrêt entrepris (cf. <ref-law>). Le recourant tente en vain d'intégrer à cette analyse de la proportionnalité du refus de lui délivrer une autorisation de séjour des faits nouveaux et des éléments qui sont en contradiction avec la jurisprudence constante du Tribunal fédéral. Il en va ainsi en particulier de la durée du séjour non autorisé en Suisse, qui, contrairement à ce qui est allégué par lui, ne saurait interférer de manière déterminante sur le résultat de la balance des intérêts (cf. <ref-ruling> consid. 4.3 p. 24).
4. 4.1 Le recourant se prévaut également de la protection de l'art. 8 CEDH. Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible, selon l'art. 8 par. 2 CEDH, entre autres conditions, lorsqu'une telle mesure est nécessaire à la défense de l'ordre et à la prévention des infractions pénales. La mise en oeuvre de cette disposition suppose aussi la pesée des intérêts et l'examen de la proportionnalité de la mesure (<ref-ruling> consid. 4.3 p. 381; <ref-ruling> consid. 2.1 et 2.2 p. 154 ss). Dans ce cadre, l'on doit aussi prendre en compte la nature des infractions commises et, à cet égard, comme dans la pesée d'intérêts à effectuer en vertu de l'art. 96 LEtr, il s'agit de se montrer particulièrement rigoureux avec les ressortissants étrangers qui se livrent au trafic de drogue. Tel est le cas en l'espèce, où le recourant a été condamné à réitérées reprises pour de tels agissements.
4.2 Au vu de ce qui précède, la pesée des intérêts à effectuer en vertu de l'art. 8 par. 2 CEDH conduit au même résultat que celle à laquelle il a été procédé plus haut en relation avec l'art. 96 LEtr. Il peut donc également être renvoyé au considérant 3d de l'arrêt entrepris. Le grief de violation de l'art. 8 CEDH doit ainsi être rejeté.
5. Les considérants qui précèdent conduisent au rejet du recours. Celui-ci étant d'emblée dénué de chances de succès, le recourant ne peut être mis au bénéfice de l'assistance judiciaire (cf. <ref-law>).
Succombant, le recourant doit ainsi supporter les frais judiciaires (cf. <ref-law>), qui seront fixés compte tenu de sa situation patrimoniale. Le recourant n'a en outre pas droit à des dépens (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 22 mars 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin