A.- X._, ressortissant guinéen né en 1974, est arrivé en Suisse le 3 décembre 1998. Le 7 de ce même mois, il a déposé une demande d'asile sous un faux nom. Sa véritable identité n'a été découverte que le 4 janvier 1999, lors de son interrogatoire par la Police municipale de Lausanne qui l'avait interpellé en possession de six boulettes de cocaïne.
Le 11 janvier 1999, la Police des étrangers du canton de Vaud lui a octroyé une autorisation de séjour valable du 3 décembre 1998 au 2 décembre 1999 afin de lui permettre d'étudier à l'Ecole polytechnique fédérale de Lausanne (ci-après: l'EPFL).
Le 17 février 1999, l'Office fédéral des réfugiés a refusé d'entrer en matière sur sa demande d'asile et prononcé son renvoi de Suisse en lui impartissant un délai de départ au 3 mars 1999, sous commination de refoulement. Le canton de Vaud était en outre chargé de l'exécution du renvoi et l'effet suspensif d'un éventuel recours retiré.
Convoqué le 12 mars 1999 par l'Office cantonal des requérants d'asile du canton de Vaud (ci-après: l'Office cantonal) pour le 23 du même mois, l'intéressé ne s'est pas présenté. L'enquête effectuée par cet Office a permis d'établir qu'il avait quitté son dernier logement connu en Suisse (centre Y._ à Z._) le 3 mars 1999 sans laisser d'adresse. Dénoncé à l'Office fédéral de la police, section système de recherches informatisées de police (RIPOL), il a été arrêté par la Police cantonale de Bâle-Ville le 18 octobre 1999 et remis aux autorités vaudoises le lendemain.
B.- Le 21 octobre 1999, statuant sur réquisition de l'Office cantonal, le Juge de Paix du cercle de Lausanne (ci-après: le Juge de Paix) a ordonné la mise en détention de X._ dès le 19 octobre 1999.
Le 25 novembre 1999, la Chambre des recours du Tribunal cantonal vaudois (ci-après: la Chambre des recours) a confirmé cette décision. Elle a estimé en substance que le comportement de l'intéressé démontrait qu'il n'entendait pas se soumettre au renvoi prononcé à son encontre, de sorte que sa détention était justifiée au regard de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20).
Par arrêt du 7 janvier 2000, le Tribunal fédéral a rejeté dans la mesure où il était recevable le recours de X._. Il a notamment considéré que l'autorisation de séjour dont il bénéficiait n'empêchait pas son incarcération.
Cette dernière respectait en outre les conditions posées par l'art. 13b al. 1 lettre c LSEE.
C.- Le 11 novembre 1999, l'intéressé a adressé au Juge de Paix une requête de mise en liberté. Il affirmait qu'après le rejet de sa demande d'asile, il s'était rendu en Allemagne où séjournait sa fiancée qui était enceinte. En possession d'une autorisation de séjour pour étudiant qu'il croyait de bonne foi valable, il était revenu en Suisse le 18 octobre 1999 pour se présenter à un examen d'admission à l'EPFL. Par ailleurs, il n'avait donné aucun indice concret laissant penser qu'il souhaitait se soustraire à l'exécution de son renvoi.
Statuant le 17 décembre 1999, le Juge de Paix a rejeté cette requête. Il a notamment considéré que l'incarcération de X._ était justifiée par son refus de se soumettre à la décision de renvoi exécutoire prononcée à son encontre.
En outre, ni la grossesse de son amie résidant en Allemagne, ni l'autorisation de l'EPFL de se présenter à un examen d'admission ne faisaient obstacle à sa détention. Enfin, sa demande d'asile avait annulé l'autorisation de séjour dont il bénéficiait.
D.- Le 11 février 2000, la Chambre des recours a rejeté le recours de l'intéressé et confirmé cette dernière décision.
Elle a en particulier estimé que le départ abrupt de son logement sans laisser d'adresse le jour même (3 mars 1999) où il aurait dû quitter la Suisse selon la décision prononçant son renvoi justifiait sa détention au regard de l'art. 13b al. 1 lettre c LSEE. L'autorisation de séjour dont il bénéficiait depuis le 3 décembre 1998 n'empêchait en outre pas son emprisonnement. De plus, le fait d'avoir été autorisé à se présenter à un examen d'admission à l'EPFL ne se substituait pas à ladite décision de renvoi. Enfin, un premier départ avait dû être annulé le 27 décembre 1999; un second, prévu pour le 31 janvier 2000, avait en outre échoué en raison de son refus de monter dans l'avion, ce qui nécessitait l'organisation de son rapatriement par vol privé. On ne pouvait dès lors reprocher à l'Office cantonal de ne pas avoir entrepris les démarches nécessaires à l'exécution de son renvoi.
E.- Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral d'annuler cet arrêt et d'ordonner sa libération immédiate; subsidiairement, de renvoyer la cause à l'"autorité cantonale" pour nouvelle instruction et nouvelle décision. Il prétend être venu en Suisse pour étudier à l'EPFL et avoir déposé sa demande d'asile, sur la base de mauvais conseils de compatriotes, dans le seul but de remédier au dénuement matériel dans lequel il se serait trouvé peu après son arrivée. Il aurait en outre quitté le sol helvétique à la fin du mois de janvier 1999 et non pas le 3 mars 1999, comme l'avait constaté de manière inexacte l'autorité intimée. De plus, dans la mesure où il bénéficiait d'une autorisation de séjour lors de son incarcération, cette dernière serait "dépourvue de tout fondement légal". Elle serait en outre disproportionnée car les "autorités cantonales" auraient pu se contenter de ne pas renouveler son autorisation de séjour. Par ailleurs, s'il n'avait pas été placé en détention, il aurait pu se présenter aux examens d'admission organisés par l'EPFL le 20 octobre 1999. En l'en empêchant, les "autorités cantonales" auraient commis un abus de droit et une violation des règles de la bonne foi. Enfin, il ne serait pas responsable de l'annulation de son renvoi prévu pour le 27 décembre 1999 et se serait opposé au deuxième départ car la destination du vol était la Côte d'Ivoire et non pas son pays d'origine.
L'Office cantonal lui aurait en outre indiqué le 8 mars 2000 qu'aucun rapatriement n'était prévu pour le jour suivant ou pour une date ultérieure. Sa détention s'éterniserait dès lors de manière inadmissible.
La Chambre des recours se réfère à son arrêt. Le Juge de Paix renonce à déposer une réponse. Le Département fédéral de justice et police ne s'est pas déterminé.
Dans le délai qui lui a été imparti, l'intéressé a fait valoir ses observations sur la détermination de la Chambre des recours et maintenu les conclusions de son recours.
F.- Interpellés le 5 avril 2000 par le Juge délégué de la IIe Cour de droit public, l'Office cantonal a indiqué préparer le renvoi de X._ en Guinée par avion spécial et avoir déposé une demande de prolongation de sa détention auprès du Juge de Paix à la fin du mois de janvier 2000; ce magistrat a confirmé qu'une telle demande était pendante devant lui.
L'Office cantonal n'a pas donné suite à l'invitation de produire des pièces confirmant ses dires.

Considérant en droit :
1.- Toujours détenu, X._ bénéficie d'un intérêt pratique et actuel à recourir (cf. art. 103 lettre a OJ).
Par ailleurs, déposé en temps utile contre une décision prise par une autorité judiciaire statuant en dernière instance cantonale au sens de l'art. 98 lettre g OJ, échappant aux exceptions prévues aux art. 99 à 102 OJ - en particulier à l'art. 100 lettre b OJ - et fondée sur le droit public fédéral, son recours est recevable au regard des art. 97 ss OJ.
2.- a) Le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'abus ou l'excès du pouvoir d'appréciation (art. 104 lettre a OJ). Le Tribunal fédéral vérifie d'office l'application du droit fédéral (<ref-ruling> consid. 3 p. 330), sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ).
b) Conformément à l'art. 104 lettre b OJ, un tel recours peut également être formé pour constatation inexacte ou incomplète des faits pertinents, sous réserve de l'art. 105 al. 2 OJ. Selon cette dernière disposition, si le recours est dirigé, comme en l'espèce, contre la décision d'une autorité judiciaire, l'autorité de céans est liée par les faits qui y sont constatés, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure. La possibilité de faire valoir des faits nouveaux ou de nouveaux moyens de preuve est dès lors très restreinte. Seules sont admissibles les preuves que l'instance inférieure aurait dû retenir d'office et dont le défaut d'administration constitue une violation de règles essentielles de procédure (<ref-ruling> consid. 3a p. 221; <ref-ruling> consid. 3a p. 420-421 et la jurisprudence citée).
Pour la première fois devant le Tribunal fédéral, le recourant explique en détail les difficultés auxquelles il a été confronté lors de son arrivée en Suisse à la fin de l'année 1998 ainsi que les raisons pour lesquelles il a alors déposé une demande d'asile. Il affirme également avoir réussi les examens d'entrée à l'EPFL le 18 décembre 1998. Il ne prétend toutefois pas avoir été empêché d'invoquer ces éléments devant l'autorité intimée, de sorte qu'il s'en prévaut en vain dans le cadre de la présente procédure (cf. <ref-ruling> consid. 1c p. 100).
L'intéressé affirme par ailleurs que la Chambre des recours a constaté les faits de manière inexacte en retenant qu'il avait quitté la Suisse le 3 mars 1999. Il ne démontre toutefois pas l'inexactitude de l'attestation établie par la Police municipale de Z._ sur laquelle s'est fondée l'autorité intimée. Son grief est dès lors sans fondement.
3.- Le Tribunal fédéral a déjà jugé que l'autorisation de séjour dont a bénéficié le recourant du 3 décembre 1998 au 2 décembre 1999 n'empêchait pas sa mise en détention initiale le 19 octobre 1999 qui reposait en outre sur des motifs suffisants (cf. arrêt du 7 janvier 2000 en la cause X._ contre Office cantonal des requérants d'asile du canton de Vaud). Vu l'issue du recours, les griefs qu'il soulève à l'encontre de son incarcération initiale n'ont pas à être examinés.
4.- L'art. 13c al. 4 LSEE prévoit notamment que l'étranger en détention peut déposer une demande de levée de détention un mois après que la légalité de cette dernière a été examinée; l'autorité judiciaire se prononce dans un délai de huit jours ouvrables, au terme d'une procédure orale.
Le recourant a adressé sa demande de levée de détention au Juge de Paix le 11 novembre 1999, soit moins d'un mois après la décision judiciaire confirmant le bien-fondé de son incarcération (21 octobre 1999). Certes, selon l'art. 6b de la loi cantonale du 12 novembre 1996 modifiant celle du 29 août 1934 d'application dans le canton de Vaud de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (ci-après: la loi cantonale), la personne détenue peut en tout temps demander sa mise en liberté. La question de savoir si cette disposition de droit cantonal est compatible avec le droit fédéral (cf. art. 13c al. 4 LSEE), comme l'a admis, du moins implicitement, l'autorité intimée (cf.
consid. 1c de l'arrêt attaqué), peut toutefois demeurer indécise vu l'issue du recours. Il n'est de même pas nécessaire de décider quelles conséquences devrait avoir le fait que la Chambre des recours n'a pas tenu compte de la violation par le Juge de Paix de son obligation de statuer dans les huit jours ouvrables (cf. art. 13c al. 4 LSEE).
5.- a) En vertu de l'art. 13b al. 2 LSEE, la durée de la détention ne peut pas excéder trois mois; si des obstacles particuliers s'opposent à l'exécution du renvoi ou de l'expulsion, elle peut, avec l'accord de l'autorité judiciaire cantonale, être prolongée de six mois au maximum.
Cette prolongation doit être décidée par le Juge de Paix (cf. art. 6a et 6d ch. 2 de la loi cantonale) avant l'échéance de la durée d'incarcération fixée initialement.
Si tel n'est pas le cas, le détenu doit être remis en liberté (cf. Andreas Zünd, Zwangsmassnahmen im Ausländerrecht:
Verfahrensfragen und Rechtsschutz, in PJA 1995 p. 854 ss,p. 862; Nicolas Wisard, Les renvois et leur exécution en droit des étrangers et en droit d'asile, thèse Genève 1996, p. 294).
b) L'intéressé est emprisonné depuis le 19 octobre 1999. La décision du Juge de Paix du 21 octobre 1999 prononçant formellement son incarcération ne précise pas la durée de celle-ci. On peut toutefois présumer qu'elle a été fixée à la durée maximum prévue par la loi (trois mois; cf. art. 13b al. 2 LSEE), ce qui ne paraît pas disproportionné dans le cas particulier. Cette durée - dont le point de départ est le 19 octobre 1999 - est dès lors arrivée à échéance le 19 janvier 2000, de sorte qu'une éventuelle prolongation aurait dû être décidée au plus tard ce jour-là par le Juge de Paix. Certes, selon les renseignements recueillis par le Tribunal fédéral, une demande de prolongation a été déposée auprès de ce magistrat par l'Office cantonal à la fin du mois de janvier 2000. Toutefois, même si elle avait été formée à temps, ce qui n'est pas certain, elle n'était pas encore tranchée au moment où la Chambre des recours a pris sa décision. Revoyant librement celle du Juge de Paix, tant au niveau des faits que du droit (cf. art. 6h al. 1 et 2 de la loi cantonale), cette autorité était placée dans la même situation que celui-ci et devait notamment relever d'office tous les éléments nouveaux de fait et de droit qui n'avaient pas pu être invoqués lors de l'examen de la mise en détention initiale et qui s'avéraient pertinents pour déterminer la légalité de la poursuite de celle-ci (cf. Wisard, op.
cit. , p. 324-325). Statuant plus de trois mois après l'incarcération du recourant, elle ne pouvait dès lors omettre de relever que sa détention n'avait pas valablement été prolongée (cf. art. 13b al. 2 LSEE). Au demeurant, selon les informations dont dispose l'autorité de céans, la demande de prolongation déposée par l'Office cantonal n'a pas encore été tranchée à l'heure actuelle par le Juge de Paix.
c) Contraire au droit fédéral, l'arrêt attaqué doit être annulé.
Détenu illégalement depuis le 20 janvier 2000, l'intéressé doit être immédiatement libéré.
6.- Il n'est pas perçu d'émolument judiciaire (cf. art. 156 al. 2 OJ). Le recourant a droit à des dépens pour la procédure devant le Tribunal fédéral (cf. art. 159 al. 1 OJ), ce qui rend sans objet sa requête d'assistance judiciaire.

Par ces motifs,
le Tribunal fédéral :
1. Admet le recours dans la mesure où il est recevable et annule l'arrêt rendu le 11 février 2000 par la Chambre des recours du Tribunal cantonal du canton de Vaud.
2. Ordonne la remise en liberté immédiate de X._.
3. Dit qu'il n'est pas perçu d'émolument judiciaire.
4. Dit que le canton de Vaud versera à X._ une indemnité de 1'000 fr. à titre de dépens.
5. Déclare la requête d'assistance judiciaire sans objet.
6. Communique le présent arrêt en copie au mandataire du recourant, au Juge de Paix du cercle de Lausanne, à la Chambre des recours du Tribunal cantonal et à l'Office cantonal des requérants d'asile du canton de Vaud (le dispositif leur est communiqué par fax), ainsi qu'au Département fédéral de justice et police.
_
Lausanne, le 12 avril 2000 DBA/mnv
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Juge présidant,
Le Greffier,