Faits: A. X._, ressortissant chilien né en 1959, son épouse et leurs deux enfants sont arrivés en Suisse en avril 1983. La demande d'asile déposée par X._ a été rejetée en janvier 1985; l'intéressé et sa famille, agrandie par la naissance subséquente d'un troisième enfant, ont néanmoins obtenu en 1987 une autorisation de séjour pour cas de rigueur, qui a été régulièrement renouvelée jusqu'en mai 2003. X._ et son épouse ont divorcé. En 1991, l'intéressé a eu un quatrième enfant avec une amie dont il s'est séparé. A fin 1994, il s'est mis en ménage avec une compatriote titulaire d'un permis d'établissement née en 1961, Y._, qui lui a donné un cinquième enfant, né en 1996. B. B.a En décembre 1996, le Tribunal correctionnel du district de Lausanne a condamné X._ à la peine de seize mois d'emprisonnement et de cinq ans d'expulsion de Suisse, avec sursis durant trois ans, pour infraction grave et contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), commises entre fin 1992 et début 1995. Par décision du 15 janvier 1998, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a refusé de renouveler l'autorisation de séjour de X._ et lui a imparti un délai pour quitter le canton; cette décision a été annulée par le Tribunal administratif vaudois en mars 1999, qui a toutefois précisé que "toute nouvelle infraction ne pourrait qu'impliquer une révocation". B.b En novembre 2002, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à la peine de dix mois d'emprisonnement, avec sursis pendant trois ans, et prononcé une expulsion pour une durée de cinq ans, avec sursis et délai d'épreuve pendant trois ans, pour infraction grave à la LStup et infraction à l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (aLSEE); il a en outre révoqué le sursis accordé en 1996, en ordonnant l'exécution de la peine de seize mois d'emprisonnement moins 102 jours de détention préventive. Par décision du 21 juillet 2003, le Service cantonal a refusé de renouveler l'autorisation de séjour de X._ et lui a imparti un délai immédiat pour quitter le canton de Vaud. Le Tribunal administratif vaudois a confirmé cette décision par arrêt du 14 avril 2005, contre lequel X._ a recouru avant de retirer son recours devant le Tribunal fédéral (cf. ordonnance du 23 juin 2005 rendue dans la cause 2A.312/2005). Le 21 juillet 2006, l'Office fédéral des migrations a étendu les effets du renvoi à tout le territoire suisse. Libéré conditionnellement le 10 juillet 2004, X._ s'est annoncé, avec Y._, auprès du Contrôle des habitants de Lausanne; il n'a pas donné suite à l'injonction de quitter la Suisse. B.c Invoquant, en octobre 2006, une détérioration de son état de santé, X._ a sollicité la reconsidération de la décision du 21 juillet 2003, demande qui a été rejetée par le Service cantonal. Le recours formé contre cette dernière décision a été rejeté par la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) le 9 juillet 2009. Une seconde demande de reconsidération, présentée en novembre 2009 toujours pour des motifs de santé, a été rejetée par le Service cantonal le 21 décembre 2009, qui a fixé un nouveau délai de départ à X._; le 5 janvier 2010, son départ a été enregistré pour une destination inconnue. C. Le 22 décembre 2010, X._ a sollicité auprès du bureau des étrangers de Lausanne l'octroi d'une autorisation de séjour en vue de son mariage avec Y._. Par décision du 22 mars 2011, l'état civil a déclaré la demande d'ouverture de la procédure préparatoire de mariage irrecevable; il a toutefois accepté de reconsidérer cette décision et de poursuivre la procédure le 15 juin 2011. Par décision du 2 mai 2011, le Service cantonal a rejeté la demande d'autorisation de séjour et a prononcé le renvoi de Suisse de X._. Par arrêt du 19 décembre 2011, le Tribunal cantonal a rejeté le recours formé par X._ et Y._ contre la décision du 2 mai 2011. D. Le 1er février 2012, X._ et Y._ ont interjeté un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 19 décembre 2011. Ils concluent, sous suite de frais et dépens, à l'annulation de cet arrêt cantonal, ainsi qu'à l'octroi d'une autorisation de séjour à X._ en vue de son mariage avec Y._. Le Service cantonal renonce à se déterminer sur le recours; le Tribunal cantonal et l'Office fédéral des migrations concluent à son rejet.