A.- X._, né en 1978, de nationalité incertaine, est entré en Suisse le 16 juillet 1999 et y a déposé une demande d'asile le 19 juillet 1999, en se présentant comme un ressortissant guinéen. Le 3 décembre 1999, l'Office fédéral des réfugiés (ci-après: l'Office fédéral) a rejeté cette demande et prononcé le renvoi de Suisse de l'intéressé en lui impartissant un délai de départ échéant le 31 janvier 2000, sous commination d'un refoulement, le canton de Fribourg étant chargé de l'exécution du renvoi. B.- Le 25 octobre 1999, le Juge d'instruction de l'arrondissement de Lausanne a condamné X._ à quinze jours d'emprisonnement avec sursis pendant deux ans pour infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants; LStup; RS 812. 121). Le 22 décembre 1999, le juge précité a condamné l'intéressé à quarante jours d'emprisonnement, sous déduction de vingt jours de détention préventive subis, pour infraction et contravention à la loi sur les stupéfiants et révoqué le sursis susmentionné. Le 11 mai 2000, le Juge d'instruction cantonal vaudois a condamné X._ à trois mois d'emprisonnement pour infraction à la loi sur les stupéfiants et prononcé son expulsion du territoire suisse pour une durée de trois ans. L'intéressé a été incarcéré à la prison de Vevey du 28 avril au 1er septembre 2000, date à laquelle il a été transféré à Fribourg par "train-cellule". C.- Le 1er septembre 2000, la Direction de la justice, de la police et des affaires militaires du canton de Fribourg (ci-après: la Direction cantonale) a décidé de placer X._ en détention en vue de son refoulement pour une durée de trois mois sur la base en particulier de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20) et de l'art. 13b al. 1 lettre b LSEE en relation avec l'art. 13a lettre e LSEE. Par décision du 5 septembre 2000, le Président de la Ière Cour administrative du Tribunal administratif du canton de Fribourg (ci-après: le Président) a déclaré que la détention en vue du refoulement prise le 1er septembre 2000 par la Direction cantonale était conforme aux principes de la légalité et de l'adéquation. D.- Le 23 novembre 2000, la Direction cantonale a sollicité l'accord du Président à la prolongation de six mois au maximum de la durée de la détention de X._. Par décision du 28 novembre 2000, le Président a donné son accord à la prolongation pour six mois de la détention de l'intéressé, soit jusqu'au 1er juin 2001. E.- Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de dépens, l'annulation de la décision du Président du 28 novembre 2000 ainsi que, principalement, sa remise en liberté immédiate et, subsidiairement, le renvoi du dossier à "l'autorité cantonale" pour nouvelle décision. Il reproche en substance à l'autorité intimée d'avoir estimé que les démarches entreprises par le Service de la police des étrangers et des passeports du canton de Fribourg (ci-après: le Service cantonal) répondaient aux exigences légales, alors qu'elles auraient violé les principes de la célérité et de la proportionnalité. Il invoque les art. 13b al. 2 et 3 et 13c al. 2 LSEE ainsi que l'art. 5 par. 1 lettre f CEDH. Il requiert l'assistance judiciaire. Le Président et la Direction cantonale concluent au rejet du recours. Le recourant a déposé des déterminations le 17 janvier 2001. L'Office fédéral des étrangers n'a pas fait parvenir de prise de position.