A.- D._, ressortissant guinéen né en 1974, est arrivé en Suisse au début du mois de décembre 1998. Il a déposé une demande d'asile sous un faux nom le 7 décembre 1998. Sa véritable identité n'a été découverte que le 4 janvier 1999, alors qu'il était interrogé par la police municipale de Lausanne après avoir été interpellé en possession de six boulettes de cocaïne.
Le 17 février 1999, l'Office fédéral des réfugiés a refusé d'entrer en matière sur sa demande d'asile et prononcé son renvoi de Suisse en lui impartissant un délai de départ au 3 mars 1999, sous commination de refoulement. Le canton de Vaud était en outre chargé de l'exécution du renvoi et l'effet suspensif d'un éventuel recours retiré.
Convoqué le 12 mars 1999 par l'Office cantonal des requérants d'asile du canton de Vaud (ci-après: l'Office cantonal) pour le 23 du même mois, l'intéressé ne s'est pas présenté. L'enquête effectuée par cet Office a permis d'établir qu'il avait quitté son dernier logement connu en Suisse (centre X._ à Y._) le 3 mars 1999 sans laisser d'adresse. Dénoncé à l'Office fédéral de la police, section système de recherches informatisées de police (RIPOL), il a été arrêté par la police cantonale de Bâle-Ville le 18 octobre 1999 et remis aux autorités vaudoises le lendemain.
B.- Le 21 octobre 1999, statuant sur réquisition de l'Office cantonal, le Juge de paix du cercle de Lausanne (ci-après: le Juge de paix) a ordonné la mise en détention de D._ dès le 19 octobre 1999. Il a en outre transmis son dossier au président du Tribunal cantonal vaudois pour qu'il lui désigne un avocat d'office.
L'intéressé a recouru à l'encontre de cette ordonnance auprès de la Chambre des recours du Tribunal cantonal (ci-après: la Chambre des recours). Il a invoqué en substance le fait que son amie était enceinte et qu'il ne pouvait l'abandonner pour rentrer dans son pays d'origine.
C.- Par arrêt du 25 novembre 1999, la Chambre des recours a confirmé la décision précitée du 21 octobre 1999. Elle a en particulier estimé que la cause ne présentait pas de difficultés justifiant la désignation d'un avocat d'office. Par ailleurs, le comportement de D._ démontrait qu'il n'entendait pas se soumettre au renvoi prononcé à son encontre, de sorte que sa détention était justifiée au regard de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20). En outre, la grossesse de son amie - dont l'existence n'était au demeurant pas démontrée - ne pouvait empêcher sa détention, aucun élément ne démontrant qu'il était soutien de famille.
D.- Par lettre du 7 décembre, mise à la poste le 14 décembre 1999, l'intéressé a recouru à l'encontre de cet arrêt auprès de la Chambre des recours, sans en informer son avocat. Il prétend avoir quitté la Suisse le 28 janvier 1999 "pour aller chercher de l'argent pour [ses] études". Il aimerait en outre pouvoir éduquer son enfant à naître et ne pas devoir l'abandonner. Par ailleurs, au cas où il ne pourrait pas continuer ses études en Suisse, il voudrait pouvoir rejoindre sa famille vivant en France. Il soutient enfin que le ramadan est trop dur en prison.
Le 16 décembre 1999, la Chambre des recours a transmis cette écriture au Tribunal fédéral, considérant qu'elle était "éventuellement un recours de droit public".
Dans un courrier adressé à l'autorité de céans le 21 décembre 1999, D._ affirme que son renvoi en Guinée est un acte de haine et demande 24 heures pour quitter la Suisse. Par fax du 24 décembre 1999 - transmis au Tribunal fédéral par la Chambre des recours -, il indique que son amie est hospitalisée dans un état grave depuis trois jours et qu'il souhaite une décision rapide.
E.- Informé le 22 décembre 1999 du recours formé par l'intéressé, Me Basile Schwab - son avocat d'office selon une décision prise le 26 octobre 1999 par le président du Tribunal cantonal - a déposé des observations le 28 décembre 1999. Il prétend que son client ne pouvait être mis en détention car il était au bénéfice d'une autorisation de séjour pour étudiant valable du 3 décembre 1998 au 2 décembre 1999 qui avait rendu sans objet la décision prise le 17 février 1999 par l'Office fédéral des réfugiés. Il se serait en outre rendu en France à partir du 28 janvier 1999 afin de gagner l'argent nécessaire à la poursuite de ses études en Suisse. Il n'aurait dès lors eu aucunement l'intention de se soustraire à un refoulement. De plus, il serait revenu dans notre pays afin de se présenter à un test qui devait se dérouler le 20 octobre 1999 au Cours de Z._ de l'Ecole polytechnique fédérale de Lausanne (ci-après: le Cours de Z._). Par ailleurs, il serait actuellement détenu depuis dix semaines sans qu'aucune démarche n'ait été entreprise pour organiser son refoulement.
F.- La Chambre des recours se réfère à son arrêt. L'Office cantonal s'est déterminé après l'échéance du délai qui lui avait été imparti. Le Département fédéral de justice et police ne s'est pas déterminé.

Considérant en droit :
1.- Toujours détenu, D._ bénéficie d'un intérêt pratique et actuel à recourir (cf. art. 103 lettre a OJ). Par ailleurs, déposé en temps utile (cf. art. 107 OJ) contre une décision prise par une autorité judiciaire statuant en dernière instance cantonale au sens de l'art. 98 lettre g OJ, échappant aux exceptions prévues aux art. 99 à 102 OJ - en particulier à l'art. 100 lettre b OJ - et fondée sur le droit public fédéral, son recours est recevable au regard des art. 97 ss OJ.
2.- a) Le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'abus ou l'excès du pouvoir d'appréciation (art. 104 lettre a OJ). Le Tribunal fédéral vérifie d'office l'application du droit fédéral (<ref-ruling> consid. 3 p. 330), sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ).
b) Conformément à l'art. 104 lettre b OJ, un tel recours peut également être formé pour constatation inexacte ou incomplète des faits pertinents, sous réserve de l'art. 105 al. 2 OJ. Selon cette dernière disposition, si le recours est dirigé, comme en l'espèce, contre la décision d'une autorité judiciaire, l'autorité de céans est liée par les faits qui y sont constatés, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure. La possibilité de faire valoir des faits nouveaux ou de nouveaux moyens de preuve est dès lors très restreinte. Seules sont admissibles les preuves que l'instance inférieure aurait dû retenir d'office et dont le défaut d'administration constitue une violation de règles essentielles de procédure (<ref-ruling> consid. 3a p. 420-421 et la jurisprudence citée).
Le recourant prétend, pour la première fois devant le Tribunal fédéral, avoir bénéficié d'une autorisation de séjour pour étudiant entre le 3 décembre 1998 et le 2 décembre 1999. La Chambre des recours savait, au vu des pièces figurant dans son dossier, que l'intéressé avait "obtenu un visa par l'intermédiaire de l'EPFL" pour venir étudier en Suisse (cf. ses déclarations du 4 janvier 1999 à la police municipale de Lausanne). Comme il est pour le moins curieux qu'une personne souhaitant effectuer des études universitaires en Suisse se contente de déposer une demande d'asile, on peut dès lors se demander si l'autorité intimée n'aurait pas dû d'office s'enquérir auprès des autorités cantonales de police des étrangers de l'éventuelle existence d'une autorisation de séjour pour étudiant. La recevabilité du nouveau fait invoqué par le recourant peut toutefois demeurer indécise, le grief qu'il en tire devant de toute façon être écarté (cf. consid. 3).
3.- a) En vigueur jusqu'au 30 septembre 1999, l'art. 12f al. 3 de la loi fédérale du 5 octobre 1979 sur l'asile (LAsi; RS 142. 31) prévoit que les autorisations de séjour déjà délivrées au moment du dépôt d'une demande d'asile conservent leur validité et peuvent être prolongées conformément aux dispositions prévues en matière de police des étrangers. Cette disposition permet ainsi au requérant d'asile de déposer, au cours de la procédure d'asile, une demande de prolongation d'une autorisation de séjour dont il bénéficie déjà.
Elle constitue dès lors une exception au principe selon lequel la procédure d'asile empêche, pendant toute sa durée, l'introduction d'une demande d'autorisation de police des étrangers (cf. <ref-law>) et rend sans objet toute demande qui serait encore pendante (cf. <ref-law>; cf. également Message du Conseil fédéral du 25 avril 1990 à l'appui d'un arrêté fédéral sur la procédure d'asile [APA] et d'une loi fédérale instituant un Office fédéral pour les réfugiés, in FF 1990 II p. 537 ss, p. 585).
b) En déposant sa demande d'asile le 7 décembre 1998 - au demeurant, uniquement pour des raisons financières (cf. ses déclarations du 4 janvier 1999 à la police municipale de Lausanne) -, l'intéressé n'a pas rendu caduque l'autorisation de séjour pour étudiant dont il bénéficiait depuis le 3 décembre 1998. L'<ref-law> lui conférait en effet expressément la faculté d'en demander le renouvellement nonobstant la procédure d'asile en cours. Cette autorisation a dès lors continué d'exister en parallèle à cette dernière procédure; contrairement à ce que pense le recourant, elle n'a toutefois pas rendu sans objet la décision du 17 février 1999 mettant un terme à celle-ci.
Aucune pièce du dossier n'indique que le Juge de paix connaissait l'existence de cette autorisation au moment où il a ordonné la mise en détention de l'intéressé le 21 octobre 1999; ce dernier ne le prétend d'ailleurs pas. L'autorité intimée n'en a pas non plus eu connaissance. Cette ignorance reste cependant sans conséquence dans la mesure où même si son existence avait été connue, elle n'empêchait pas l'emprisonnement du recourant en vue de son refoulement. En effet, elle arrivait à échéance peu de temps après (2 décembre 1999) et l'intéressé n'avait aucun droit d'obtenir son renouvellement (cf. <ref-ruling> consid. 1a p. 364); il ne l'a d'ailleurs pas demandé. De plus, son renvoi de Suisse reposait sur une décision depuis longtemps entrée en force et les conditions de l'art. 13b al. 1 lettre c LSEE étaient remplies (cf. consid. 4 ci-dessous). Or, dans la mesure où la jurisprudence autorise une mise en détention au sens de l'art. 13b LSEE quand bien même la décision d'expulsion n'est pas encore entrée en force et le renvoi n'est pas encore exécutable mais possible dans un avenir proche (cf. <ref-ruling>; <ref-ruling> consid. 2 p. 61-63; cf. également Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in RDAF 1997 1ère partie p. 267 ss, p. 329-331), il doit être possible d'incarcérer en vertu de cette même disposition une personne faisant l'objet d'une décision de renvoi lorsque, comme en l'espèce, cette décision est en force mais ne peut être exécutée avant l'échéance connue et proche (moins d'un mois et demi plus tard dans le cas particulier) d'une autorisation de séjour dont elle bénéficie encore.
4.- a) Selon l'art. 13b al. 1 LSEE, si une décision de renvoi ou d'expulsion de première instance a été notifiée, l'autorité cantonale compétente peut, aux fins d'en assurer l'exécution, mettre la personne concernée en détention, en particulier, "lorsque des indices concrets font craindre qu'elle entend se soustraire au refoulement, notamment si son comportement jusqu'alors mène à conclure qu'elle se refuse à obtempérer aux instructions des autorités" (lettre c; sur les indices de danger de fuite, cf. notamment <ref-ruling> consid. 2a p. 50-51 et Wurzburger, op. cit. , p. 332-333).
b) En déposant sa demande d'asile sous un faux nom et en acquérant de la cocaïne, le recourant a démontré qu'il se souciait peu de respecter notre ordre juridique, ce qui constitue déjà un indice de risque de fuite au sens de l'art. 13b al. 1 lettre c LSEE (cf. Wurzburger, op. cit. , p. 333).
Il prétend en outre avoir quitté la Suisse le 28 janvier 1999 afin de se rendre en France y gagner de l'argent permettant de financer ses études. Cette affirmation est toutefois en contradiction avec les faits retenus par la décision attaquée (cf. art. 105 al. 2 OJ) ainsi d'ailleurs qu'avec les pièces du dossier. Il ressort en effet d'une attestation établie par la police municipale de Y._ qu'il a quitté sans laisser d'adresse le foyer dans lequel il logeait le 3 mars 1999. Or, le fait de quitter son logement si abruptement le jour même où, selon la décision prononçant son renvoi, il aurait dû quitter le pays, est sans conteste un indice de danger de fuite au sens de l'art. 13b al. 1 lettre c LSEE, comme l'a constaté à bon droit l'autorité intimée. Par ailleurs, le fait qu'il soit revenu en Suisse le 18 octobre 1999 car il devait passer un test au Cours de Z._ le 20 octobre 1999 est invoqué pour la première fois devant l'autorité de céans et ne peut être pris en compte (cf. consid. 2b ci-dessus). Au surplus, son opposition résolue à rentrer dans son pays d'origine, car il souhaite s'occuper de l'enfant que son amie résidant en Allemagne mettra prochainement au monde, constitue également un indice de danger de fuite au sens de l'art. 13b al. 1 lettre c LSEE (cf. Wurzburger, op. cit. , p. 333).
c) La présente procédure porte uniquement sur la légalité et la proportionnalité de la détention de l'intéressé. Le Tribunal fédéral n'a dès lors pas à examiner le bien-fondé de la décision prononçant son renvoi (cf. <ref-ruling> consid. 2 p. 220), de sorte que son grief, selon lequel son retour en Guinée le contraindrait à s'éloigner de son amie et l'empêcherait d'éduquer son enfant, est irrecevable.
Au surplus, le Tribunal fédéral est en principe lié par cette décision de renvoi, sauf si elle est manifestement inadmissible (cf. <ref-ruling> consid. 2 p. 220 et la jurisprudence citée). Tel n'est toutefois pas le cas, le recourant n'ayant interjeté aucun recours à son encontre auprès de la Commission suisse de recours en matière d'asile (cf. ATF <ref-ruling> consid. 2c p. 61-62).
5.- L'intéressé affirme que "le ramadan est trop dur en prison". Il n'explique toutefois pas en quoi ses conditions de détention (cf. art. 13c al. 3 LSEE) rendraient plus difficile voire impossible l'accomplissement de ses obligations religieuses.
Ce grief, qui ne satisfait pas aux exigences de motivation posées par l'art. 108 al. 2 OJ (cf. <ref-ruling> consid. 2 p. 135-136), est irrecevable.
6.- Le recourant se plaint enfin qu'aucune démarche en vue de son refoulement n'a été entreprise depuis le début de sa détention. Ce grief est mal fondé. En effet, vu le court laps de temps séparant la date de son incarcération (19 octobre 1999) de celle à laquelle la décision attaquée a été prise (25 novembre 1999), l'autorité intimée n'avait pas à examiner plus avant la diligence des autorités compétentes pour procéder à son renvoi (cf. art. 13b al. 3 LSEE). Par ailleurs, le Tribunal fédéral ne tient compte de la situation de fait postérieure à la décision entreprise - et dès lors, notamment, du comportement desdites autorités - que si le juge de la détention a refusé de se saisir d'une demande de libération présentée depuis sa première décision (cf. dans ce sens <ref-ruling> consid. 3 p. 221-225). Tel n'est toutefois pas le cas en l'espèce, dans la mesure où, comme cela ressort du dossier transmis par l'Office cantonal, le Juge de paix a rejeté le 17 décembre 1999 une demande de mise en liberté présentée par l'intéressé le 11 novembre 1999.
7.- Vu ce qui précède, le présent recours doit être rejeté dans la mesure où il est recevable.
Succombant, D._ devrait normalement supporter les frais judiciaires (art. 156 al. 1 OJ). Compte tenu de sa situation, il se justifie cependant de statuer sans frais (art. 154 al. 2 OJ). Il n'a pas droit à des dépens (art. 159 al. 1 OJ). Aucune demande d'assistance judiciaire n'a été déposée.
En outre, la désignation d'un avocat d'office dans la procédure cantonale ne vaut pas pour la procédure devant le
Tribunal fédéral.

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable.
2. Dit qu'il n'est pas perçu d'émolument judiciaire.
3. Dit qu'il n'est pas alloué de dépens.
4. Communique le présent arrêt en copie au mandataire du recourant, à l'Office cantonal des requérants d'asile et à la Chambre des recours du Tribunal cantonal du canton de Vaud, ainsi qu'au Département fédéral de justice et police.
_
Lausanne, le 7 janvier 2000
DBA/elo
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,