A.- D._, ressortissant guinéen né en 1974, est arrivé en Suisse au début du mois de décembre 1998. Il a déposé une demande d'asile sous un faux nom le 7 décembre 1998. Sa véritable identité n'a été découverte que le 4 janvier 1999, alors qu'il était interrogé par la police municipale de Lausanne après avoir été interpellé en possession de six boulettes de cocaïne. Le 17 février 1999, l'Office fédéral des réfugiés a refusé d'entrer en matière sur sa demande d'asile et prononcé son renvoi de Suisse en lui impartissant un délai de départ au 3 mars 1999, sous commination de refoulement. Le canton de Vaud était en outre chargé de l'exécution du renvoi et l'effet suspensif d'un éventuel recours retiré. Convoqué le 12 mars 1999 par l'Office cantonal des requérants d'asile du canton de Vaud (ci-après: l'Office cantonal) pour le 23 du même mois, l'intéressé ne s'est pas présenté. L'enquête effectuée par cet Office a permis d'établir qu'il avait quitté son dernier logement connu en Suisse (centre X._ à Y._) le 3 mars 1999 sans laisser d'adresse. Dénoncé à l'Office fédéral de la police, section système de recherches informatisées de police (RIPOL), il a été arrêté par la police cantonale de Bâle-Ville le 18 octobre 1999 et remis aux autorités vaudoises le lendemain. B.- Le 21 octobre 1999, statuant sur réquisition de l'Office cantonal, le Juge de paix du cercle de Lausanne (ci-après: le Juge de paix) a ordonné la mise en détention de D._ dès le 19 octobre 1999. Il a en outre transmis son dossier au président du Tribunal cantonal vaudois pour qu'il lui désigne un avocat d'office. L'intéressé a recouru à l'encontre de cette ordonnance auprès de la Chambre des recours du Tribunal cantonal (ci-après: la Chambre des recours). Il a invoqué en substance le fait que son amie était enceinte et qu'il ne pouvait l'abandonner pour rentrer dans son pays d'origine. C.- Par arrêt du 25 novembre 1999, la Chambre des recours a confirmé la décision précitée du 21 octobre 1999. Elle a en particulier estimé que la cause ne présentait pas de difficultés justifiant la désignation d'un avocat d'office. Par ailleurs, le comportement de D._ démontrait qu'il n'entendait pas se soumettre au renvoi prononcé à son encontre, de sorte que sa détention était justifiée au regard de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20). En outre, la grossesse de son amie - dont l'existence n'était au demeurant pas démontrée - ne pouvait empêcher sa détention, aucun élément ne démontrant qu'il était soutien de famille. D.- Par lettre du 7 décembre, mise à la poste le 14 décembre 1999, l'intéressé a recouru à l'encontre de cet arrêt auprès de la Chambre des recours, sans en informer son avocat. Il prétend avoir quitté la Suisse le 28 janvier 1999 "pour aller chercher de l'argent pour [ses] études". Il aimerait en outre pouvoir éduquer son enfant à naître et ne pas devoir l'abandonner. Par ailleurs, au cas où il ne pourrait pas continuer ses études en Suisse, il voudrait pouvoir rejoindre sa famille vivant en France. Il soutient enfin que le ramadan est trop dur en prison. Le 16 décembre 1999, la Chambre des recours a transmis cette écriture au Tribunal fédéral, considérant qu'elle était "éventuellement un recours de droit public". Dans un courrier adressé à l'autorité de céans le 21 décembre 1999, D._ affirme que son renvoi en Guinée est un acte de haine et demande 24 heures pour quitter la Suisse. Par fax du 24 décembre 1999 - transmis au Tribunal fédéral par la Chambre des recours -, il indique que son amie est hospitalisée dans un état grave depuis trois jours et qu'il souhaite une décision rapide. E.- Informé le 22 décembre 1999 du recours formé par l'intéressé, Me Basile Schwab - son avocat d'office selon une décision prise le 26 octobre 1999 par le président du Tribunal cantonal - a déposé des observations le 28 décembre 1999. Il prétend que son client ne pouvait être mis en détention car il était au bénéfice d'une autorisation de séjour pour étudiant valable du 3 décembre 1998 au 2 décembre 1999 qui avait rendu sans objet la décision prise le 17 février 1999 par l'Office fédéral des réfugiés. Il se serait en outre rendu en France à partir du 28 janvier 1999 afin de gagner l'argent nécessaire à la poursuite de ses études en Suisse. Il n'aurait dès lors eu aucunement l'intention de se soustraire à un refoulement. De plus, il serait revenu dans notre pays afin de se présenter à un test qui devait se dérouler le 20 octobre 1999 au Cours de Z._ de l'Ecole polytechnique fédérale de Lausanne (ci-après: le Cours de Z._). Par ailleurs, il serait actuellement détenu depuis dix semaines sans qu'aucune démarche n'ait été entreprise pour organiser son refoulement. F.- La Chambre des recours se réfère à son arrêt. L'Office cantonal s'est déterminé après l'échéance du délai qui lui avait été imparti. Le Département fédéral de justice et police ne s'est pas déterminé.