gemäss Art. 13b Abs. 2 ANAG, hat sich ergeben:
A.- A._ reiste nach eigener Darstellung am 2. Oktober 2000 illegal in die Schweiz ein und stellte gleichentags ein Asylgesuch, wobei er angab, aus Sierra Leone zu stammen. Vom 22. Februar bis zum 2. März 2001 galt er behördlich als verschwunden. Mit Verfügung vom 29. März 2001 trat das Bundesamt für Flüchtlinge auf das Asylgesuch nicht ein und wies A._ aus der Schweiz weg. Zur Begründung führte es unter anderem aus, die Unkenntnisse des Gesuchstellers betreffend Sierra Leone liessen den Schluss zu, er stamme aus einem anderen Land; die Hinweise auf eine Verfolgung in Sierra Leone seien offensichtlich haltlos, und es sprächen weder die im vermutlichen Heimatstaat herrschende Situation noch andere Gründe gegen die Zumutbarkeit der Rückführung in diesen.
Am 14. Juni und 11. September 2001 wurde A._ in der Drogenszene in Solothurn festgenommen. In der Folge wurde gegen ihn ein Strafverfahren wegen des Verdachts der Widerhandlung gegen das Betäubungsmittelgesetz (Besitz und Verkauf bzw. Anstaltentreffen zum Verkauf von Kokain, evtl.
Heroin) eingeleitet. Am 12. September 2001 verfügte das Amt für öffentliche Sicherheit, Ausländerfragen, des Kantons Solothurn die Ausgrenzung von A._ aus der Stadt Solothurn.
Am 13. September 2001 ordnete dasselbe Amt die Ausschaffungshaft an. Der Präsident des Verwaltungsgerichts prüfte und bestätigte die Haft am 14. September 2001.
Bei der behördlichen Vorbereitung der Ausschaffung traten in der Folge Zweifel über die Herkunft von A._ auf. Nebst der behaupteten Herkunft aus Sierra Leone ergaben sich Hinweise auf eine mögliche Herkunft aus Nigeria.
Mit Verfügung vom 4. Dezember 2001 beantragte das Amt für öffentliche Sicherheit die Verlängerung der Ausschaffungshaft bis zum 11. März 2002. Mit Urteil vom 11. Dezember 2001 genehmigte der Vizepräsident des Verwaltungsgerichts des Kantons Solothurn diese Verlängerung.
B.- Gegen diesen Haftverlängerungsentscheid führt A._ Verwaltungsgerichtsbeschwerde beim Bundesgericht mit folgenden Anträgen:
"1Das Urteil des Verwaltungsgerichts vom 11. Dezember
2001 sei aufzuheben.
2Die über den Beschwerdeführer verhängte Ausschaffungshaft
sei nicht zu verlängern.
3Der Beschwerdeführer sei unverzüglich aus der
Ausschaffungshaft zu entlassen.
4Eventuell sei die über den Beschwerdeführer verhängte
Ausschaffungshaft nur bis zum Vorliegen
des Entscheids der nigerianischen Vertretung zu
verlängern.
..."
Zur Begründung führt A._ im Wesentlichen aus, die Behörden hätten gegen das Beschleunigungsgebot verstossen, da sie während geraumer Zeit lediglich Schritte unternommen hätten, um ihn nach Sierra Leone auszuschaffen, was von vornherein unzulässig sei. Weiter beanstandet A._ die Haftbedingungen, weil ihm lediglich Verpflegung angeboten werde, die er nicht vertrage, und weil seinen Kolleginnen und Kollegen nicht gestattet worden sei, ihm (afrikanische) Lebensmittel und Zigaretten zu bringen.
Das Verwaltungsgericht sowie das Amt für öffentliche Sicherheit des Kantons Solothurn beantragen die Abweisung der Beschwerde, soweit darauf eingetreten werden könne.
A._ nahm die Gelegenheit wahr, sich nochmals zur Sache zu äussern. Das Bundesamt für Ausländerfragen hat sich innert Frist nicht vernehmen lassen.

Das Bundesgericht zieht in Erwägung:
1.- Der Beschwerdeführer bestreitet nicht, dass die grundsätzlichen Voraussetzungen der Verlängerung der Ausschaffungshaft bestehen, insbesondere dass weiterhin ein Haftgrund vorliegt. Angesichts der bestehenden Unklarheiten über die Herkunft und Identität des Beschwerdeführers und seines bisherigen Verhaltens gibt es denn auch offensichtlich genügend Anhaltspunkte für die Annahme von Untertauchensgefahr im Sinne von Art. 13b Abs. 1 lit. c ANAG.
2.- a) Der Beschwerdeführer rügt, die Behörden hätten gegen das Beschleunigungsgebot nach Art. 13b Abs. 3 ANAG verstossen, weil sie während langer Zeit einzig eine Ausschaffung nach Sierra Leone vorbereitet hätten. Nach der Wegweisungsverfügung des Bundesamts für Flüchtlinge sei eine solche jedoch von vornherein ausgeschlossen, weshalb davon auszugehen sei, die Behörden seien bisher im Hinblick auf den rechtmässigen Vollzug der Wegweisung untätig geblieben.
Dies werde sich spätestens mit dem Entscheid der Vertretung von Nigeria, ob sie den Beschwerdeführer als Staatsangehörigen dieses Landes anerkenne oder nicht, bestätigen.
b) Gegenstand des Entscheids des Haftrichters ist einzig die Rechtmässigkeit und Angemessenheit der Haftanordnung (vgl. Art. 13c Abs. 2 ANAG). Vor dem Bundesgericht stellt sich damit lediglich die Frage der Rechtmässigkeit der Haft (vgl. Art. 104 lit. a und c OG). Namentlich ist das Bundesgericht in keiner Weise (auch nicht als Beschwerdeinstanz) zuständig, Asylbegehren zu beurteilen (vgl. insbes.
Art. 100 Abs. 1 lit. b Ziff. 2 OG). Auch den Wegweisungsentscheid kann es nur dann überprüfen, wenn er offensichtlich rechtswidrig ist (vgl. Art. 100 Abs. 1 lit. b Ziff. 4 OG sowie <ref-ruling> E. 2c).
Soweit sich der Beschwerdeführer einlässlich mit dem Entscheid des Bundesamts für Flüchtlinge befasst, kann somit auf die Beschwerde grundsätzlich nicht eingetreten werden. Zu prüfen ist einzig, ob der Wegweisungsentscheid offensichtlich rechtswidrig ist.
c) Das Bundesamt für Flüchtlinge hat geschlossen, der Beschwerdeführer könne nicht aus Sierra Leone stammen.
Gleichzeitig hat es festgehalten, die Hinweise des Beschwerdeführers auf eine Verfolgung in Sierra Leone seien offensichtlich haltlos und es gäbe keine Gründe, die gegen die Rückführung in den vermutlichen Heimatstaat sprächen. Aus dem Zusammenhang ergibt sich, dass mit dem "vermutlichen Heimatstaat" doch wieder Sierra Leone gemeint sein muss, was von der Begriffswahl her unglücklich erscheinen mag.
Entscheidend ist aber, dass das Bundesamt - entgegen der Auffassung des Beschwerdeführers - nicht nur eine Verfolgung in Sierra Leone ausdrücklich verneint, sondern auch eine Rückführung dorthin als grundsätzlich möglich beurteilt hat. Es hat auch festgehalten, dass der Vollzug der Wegweisung selbst dann grundsätzlich als möglich gilt, wenn der Asylgesuchsteller seine wahre Identität oder Nationalität verheimlicht.
Der Beschwerdeführer beruft sich darauf, das Bundesamt für Flüchtlinge habe zusätzlich angeordnet, die Ausschaffung habe in den tatsächlichen Heimatstaat und damit nach Auffassung des Bundesamts gerade nicht nach Sierra Leone zu erfolgen. Das trifft in dieser absoluten Form allerdings nicht zu. Immerhin hat das Bundesamt im Verteiler seiner Verfügung zuhanden des Amts für öffentliche Sicherheit des Kantons Solothurn beigefügt:
"Der Gesuchsteller ist unbekannter Herkunft. ...
Der Vollzug der Wegweisung hat in den tatsächlichen
Herkunftsstaat zu erfolgen. Indizien sprechen
für ein anglofones Land Westafrikas.. "
Es ist zwar unklar, welche rechtliche Bedeutung diesem ergänzenden Hinweis im Verteiler zukommt, der formell weder Bestandteil des Dispositivs noch der Begründung des Asyl- und Wegweisungsentscheids bildet. Dies braucht im vorliegenden Zusammenhang aber nicht vertieft zu werden. Klar ist jedenfalls, dass das Bundesamt die Vollzugsbehörde darauf hinweisen wollte, die Herkunft des Beschwerdeführers sei noch näher abzuklären. Gleichzeitig hat es eine Ausschaffung nach Sierra Leone - sofern es sich dabei doch um den Heimatstaat des Beschwerdeführers handeln sollte - nicht ausgeschlossen, sondern im Gegenteil in der Begründung seiner Verfügung als zulässig erachtet. Dass dies offensichtlich rechtswidrig wäre, ist nicht ersichtlich, zumal das Bundesamt die Behauptung des Beschwerdeführers, er werde in Sierra Leone verfolgt, als "offensichtlich haltlos" beurteilt hat.
d) Der Beschwerdeführer scheint im Übrigen den Asyl- und Wegweisungsentscheid nicht angefochten zu haben.
Er bestreitet denn auch nicht grundsätzlich die Vollziehbarkeit der Wegweisung. Seine Argumentation vor Bundesgericht erscheint daher insofern widersprüchlich, als er selber weiterhin behauptet, aus Sierra Leone zu stammen.
Er kann nicht geltend machen, eine Ausschaffung in ein anderes Land sei ausgeschlossen, gleichzeitig verletze es aber das Beschleunigungsgebot, die Ausschaffung in sein angebliches Heimatland (Sierra Leone), die vom Bundesamt für Flüchtlinge grundsätzlich als zulässig erachtet worden ist, vorzubereiten.
3.- a) Der Beschwerdeführer rügt sodann in dem Sinne die Haftbedingungen, als er geltend macht, er vertrage die ihm verabreichte Verpflegung nicht und es werde seinem Freundeskreis nicht gestattet, ihm andere Kost sowie Zigaretten zu überbringen.
Der angefochtene Entscheid äussert sich dazu genauso wenig wie die Vernehmlassung des Amts für öffentliche Sicherheit an das Bundesgericht. Auch das Verwaltungsgericht hält dazu in seiner Stellungnahme einzig fest, im Rahmen des Haftprüfungsverfahrens bleibe kein Raum für Beweismassnahmen im Zusammenhang mit der Rüge des Vorenthaltens adäquater Ernährung oder von Zigaretten; Ausschaffungshäftlinge könnten sich wie alle anderen Insassen des Bezirksgefängnisses in einem Verwaltungsverfahren über die Behandlung in der Haft beschweren.
b) Zwar trifft es durchaus zu, dass Ausschaffungshäftlinge jederzeit auf dem Beschwerdeweg gegen eine unzureichende Behandlung in der Haft vorgehen können. Das schliesst aber entgegen der Auffassung des Verwaltungsgerichts nicht aus, punktuell auch bei der Überprüfung der Haft im Zusammenhang mit deren Anordnung oder Verlängerung oder bei der Behandlung eines Haftentlassungsgesuchs die Haftbedingungen zu kontrollieren. Der Haftrichter ist nach Art. 13c Abs. 3 ANAG sogar ausdrücklich gehalten, nebst anderem die Umstände des Haftvollzugs, wenn auch gezielt im Hinblick auf die Frage der Zulässigkeit der Haft, zu berücksichtigen. Er kann sich daher der Überprüfung der Haftbedingungen nicht mit dem Hinweis auf die Möglichkeit des ordentlichen administrativen Beschwerdewegs entziehen.
Das Bundesgericht hat denn auch in seiner Rechtsprechung im Rahmen von Haftentscheiden die Rechtmässigkeit der Haftbedingungen immer geprüft, wenn deren Unzulässigkeit in genügender Weise gerügt worden war (vgl. etwa EuGRZ 1995 609; <ref-ruling> E. 5a S. 53, 299; Urteile des Bundesgerichts vom 6. November 1996 i.S. L., sowie zuletzt vom 4. Januar 2002 [2A. 545/2001] und vom 10. Dezember 2001 [2A. 506/2001]).
Dies gilt namentlich auch für die Frage der Verpflegung (vgl. etwa <ref-ruling> E. 7b S. 312 f.), obwohl diese in der bisherigen Rechtsprechung zur ausländerrechtlichen Administrativhaft keine grössere Rolle gespielt hat.
Unter diesen Umständen fragt sich, ob die Vorinstanz dem Beschwerdeführer allenfalls sogar das Recht verweigert hat, nachdem sie sich - jedenfalls im schriftlichen Hafturteil - zu den vor dem Haftrichter rechtsgenüglich gerügten Haftbedingungen überhaupt nicht geäussert hat und anscheinend, gemäss ihrer Vernehmlassung an das Bundesgericht, der fälschlichen Ansicht unterliegt, sie habe sich mit den entsprechenden Vorbringen auch nicht zu befassen bzw. keine diesbezüglichen Beweismassnahmen zu treffen. Dies kann jedoch offen bleiben, da sich im vorliegenden Fall eine Rückweisung nicht rechtfertigt und das Bundesgericht ausnahmsweise unmittelbar über die Frage der Haftbedingungen befinden kann.
Dabei ist immerhin vom Sachverhalt auszugehen, wie er vom Beschwerdeführer dargelegt wird. Weder das Verwaltungsgericht noch das Amt für öffentliche Sicherheit haben sich inhaltlich zu den vom Beschwerdeführer vorgetragenen Beanstandungen der Haftbedingungen geäussert oder auch nur seine tatsächlichen Behauptungen bestritten. Da seine entsprechenden Vorbringen weder den Akten widersprechen noch in sich widersprüchlich oder unglaubwürdig erscheinen, ist daher von ihrer grundsätzlichen Richtigkeit auszugehen.
c) Die Beschränkung der Freiheitsrechte von Gefangenen darf nicht über das hinausgehen, was zur Gewährleistung des Haftzwecks und zur Aufrechterhaltung eines ordnungsgemässen Anstaltsbetriebs erforderlich ist. Für die fremdenpolizeilich Inhaftierten muss grundsätzlich ein liberaleres Haftregime als für Untersuchungs- oder Strafgefangene gelten (<ref-ruling> E. II.1b S. 231; <ref-ruling> E. 2a/bb S. 226 f.). Gemäss der Rechtsprechung des Bundesgerichts stehen Strafgefangenen bestimmte Minimalansprüche im Zusammenhang mit der ihnen im Gefängnis verabreichten Verpflegung zu. So haben Vegetarier das Recht auf nichttierische Ernährung, wobei ihre entsprechende Haltung auf religiöser, medizinischer, weltanschaulicher oder ethischer Grundlage oder auf dem spezifische kulturellen Hintergrund der betroffenen Person beruhen kann (<ref-ruling> E. 3h S. 79 f.; 360 E. 3a S. 361 f.). Nach der Doktrin und der wohl einheitlichen Praxis in allen Kantonen haben Juden Anspruch auf koschere Nahrung und Muslime auf solche ohne Schweinefleisch (vgl.
Jörg Paul Müller, Grundrechte in der Schweiz, 3. Aufl. , Bern 1999, S. 73). Einer angepassten und zufriedenstellenden Ernährung kommt im Übrigen für die physische und psychische Gesundheit gerade auch in besonderen Stresssituationen, wie sie sich bei einer Inhaftierung ergeben können, wesentliche Bedeutung zu.
Der Beschwerdeführer trägt vor, er vertrage Milchprodukte, Eier und mastige Speisen nicht. Er beruft sich dabei auf seine körperliche Veranlagung und seinen kulturellen Hintergrund. Seine Argumentation erscheint nicht mutwillig. Vielmehr kann es als notorisch gelten, dass die von ihm genannten Nahrungsmittel bei einzelnen Menschen zu Unverträglichkeit führen können. Auch der kulturelle Zusammenhang ist nicht von vornherein abwegig, wenn auch nicht endgültig belegt, gibt es doch auch in Afrika Milchprodukte und Eier, wobei regionale Besonderheiten freilich nicht ausgeschlossen werden können. Unter diesen Umständen und da die tatsächlichen Behauptungen des Beschwerdeführers, wie dargelegt, nicht bestritten werden, kann - selbst ohne strikten medizinischen Beweis - von der geltend gemachten Unverträglichkeit ausgegangen werden. Die Gefängnisverwaltung wird künftig bei der Zubereitung der Verpflegung auf die Bedürfnisse des Beschwerdeführers gewisse Rücksicht nehmen müssen.
Immerhin hat er nicht einen Anspruch darauf, seine Verpflegung selbst bestimmen zu können bzw. eigentliche afrikanische Kost zu erhalten. Ein Recht auf grundsätzlich leichte Kost ohne Milchprodukte und Eier kann ihm aber nicht abgesprochen werden, zumal sich daraus auch nicht überhöhte Anforderungen an die Gefängnisverwaltung ergeben.
d) Was die Zustellung von Zigaretten und Nahrungsmitteln betrifft, so ist es nach der Rechtsprechung selbst bei Strafgefangenen unzulässig, nur eine eng umschriebene Auswahl von möglichen Geschenken und eine weitgehende Beschränkung von Nahrungsmittelpaketen vorzusehen. Anderseits kann die Notwendigkeit eines geordneten Gefängnisbetriebs gewisse Einschränkungen im Hinblick auf die Häufigkeit von Geschenken sowie das Erfordernis von Kontrollen mit sich bringen (vgl. <ref-ruling> E. 6 S. 330; <ref-ruling> E. 6 S. 288 ff.; <ref-ruling> E. V.7 S. 279 f.; Müller, a.a.O., S. 75). Dabei ist für Administrativhäftlinge immerhin zu beachten, dass - wie das Bundesgericht für Besuche und den Postverkehr festgehalten hat - entsprechende Kontrollen nur zulässig sind, soweit besondere Sicherheits- oder Ordnungsbedürfnisse (unter Einschluss von Hygienegesichtspunkten) bestehen (vgl. etwa <ref-ruling> E. 6 S. 310 f.). Dass für den Beschwerdeführer von solchen auszugehen wäre, wird nicht geltend gemacht und ist auch nicht ohne weiteres ersichtlich.
So oder so wendet er sich aber gar nicht gegen allfällige Kontrollen; er ist vielmehr der Ansicht, es obliege einzig der Gefängnisverwaltung, sich entsprechend zu organisieren, um ihm den Bezug der fraglichen Waren zu ermöglichen.
Anerbotene Geschenke überhaupt nicht zuzulassen, wie dies im vorliegenden Fall nach der - unbestritten gebliebenen - Darstellung des Beschwerdeführers zutreffen soll, dürfte sich daher kaum je rechtfertigen. Die Gefängnisverwaltung wird ihre Praxis entsprechend anzupassen haben, wobei es ihr im hier vorgezeichneten Rahmen überlassen bleibt, die genaueren Modalitäten für die Abgabe und den Empfang von Gaben festzulegen.
e) Die festgestellten Unzulänglichkeiten bedeuten zwar einen Verstoss gegen Bundesrecht, es handelt sich dabei aber ausschliesslich um relativ geringfügige organisatorische Mängel, die sich ohne Verzug korrigieren lassen. Damit rechtfertigt es sich nicht, den Beschwerdeführer wegen unzulässiger Haftbedingungen freizulassen (vgl. <ref-ruling> E. 8 S. 313 f.; Urteile des Bundesgerichts vom 4. Januar 2002 [2A. 545/2001] und vom 10. Dezember 2001 [2A. 506/2001]).
Die zuständigen kantonalen Behörden werden indessen im Sinne der Erwägungen die entsprechenden Anpassungen unverzüglich vorzunehmen haben. Es kann davon ausgegangen werden, dass sie dies auch tun werden. Angesichts des Umstands, dass es sich um geringfügige Anpassungen handelt, ist davon abzusehen, den Behörden eine entsprechende Frist zu setzen. Bei einer allfälligen nächsten Haftverlängerung oder bei der Behandlung eines Haftentlassungsgesuchs des Beschwerdeführers wird die Einhaltung der fraglichen Haftbedingungen vom Haftrichter freilich zu kontrollieren sein.
4.- Damit ist die Verwaltungsgerichtsbeschwerde im Sinne der Erwägungen abzuweisen, soweit darauf eingetreten werden kann.
Dem mittellosen Beschwerdeführer, dessen Begehren nicht als von vornherein aussichtslos erscheinen, ist antragsgemäss die unentgeltliche Rechtspflege und Verbeiständung zu bewilligen (Art. 152 OG). Damit sind keine Kosten zu erheben, und der Rechtsvertreter des Beschwerdeführers ist für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse angemessen zu entschädigen.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird im Sinne der Erwägungen abgewiesen, soweit darauf einzutreten ist.
2.- Dem Beschwerdeführer wird die unentgeltliche Rechtspflege bewilligt, und es wird ihm Fürsprech Jürg Walker als unentgeltlicher Rechtsbeistand beigegeben.
3.- Es werden keine Kosten erhoben.
4.- Dem Vertreter des Beschwerdeführers, Fürsprech Jürg Walker, wird für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 1'500.-- aus der Bundesgerichtskasse ausgerichtet.
5.- Dieses Urteil wird dem Beschwerdeführer, dem Amt für öffentliche Sicherheit, Ausländerfragen, und dem Verwaltungsgericht des Kantons Solothurn sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 25. Januar 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: