Aufenthaltsbewilligung, hat sich ergeben:
A.- Der aus Albanien stammende G.A._, geboren ........ 1978, reiste am 1. Juli 1998 als Asylbewerber in die Schweiz ein und wurde dem Kanton Zürich zugeteilt. Auf das Asylgesuch wurde nicht eingetreten. Im September 1998 zog G.A._ in den Kanton Luzern und lebte seit November 1998 mit der Schweizer Bürgerin C.B._ in deren Wohnung in D._. Gemäss seinen Aussagen in der Strafuntersuchung reiste er Mitte Januar 1999 in sein Heimatland, um Papiere für die geplante Heirat mit C.B._ zu beschaffen. Ende Februar/anfangs März 1999 reiste er sodann illegal von Albanien über Italien wieder in die Schweiz zurück.
Am 28. Dezember 1998 erliess die Bezirksanwaltschaft Zürich gegen G.A._ einen Strafbefehl wegen Ladendiebstahls, lautend auf sieben Tage Gefängnis, bedingt vollziehbar bei einer Probezeit von zwei Jahren. Dieser Strafbefehl konnte ihm nicht eröffnet werden. Am 13. Juli 1999 wurde G.A._ wegen Verdachts auf Widerhandlung gegen das Betäubungsmittelgesetz verhaftet und am 6. Oktober 1999 nach Albanien ausgeschafft. Das Bundesamt für Ausländerfragen verfügte gegen ihn am 5. Oktober 1999 eine Einreisesperre auf unbestimmte Dauer. Am 13. Juli 2000 heirateten G.A._ und C.B._ in Albanien. Am 18. Juli 2000 stellte G.A._ ein Einreisegesuch und mit Datum vom 4. Dezember 2000 stellte C.A._-B. _ das Gesuch um Erteilung einer Aufenthaltsbewilligung im Rahmen des Familiennachzugs. In der Folge hob das Bundesamt für Ausländerfragen die gegen G.A._ verfügte Einreisesperre am 18. Juni 2001 wieder auf.
Mit Urteil vom 6. April 2001 verurteilte das Kriminalgericht des Kantons Luzern G.A._ wegen mehrfachen Widerhandelns gegen Art. 19 Ziff. 1 des Betäubungsmittelgesetzes (BtmG; SR 812. 121), begangen als schwerer Fall nach Art. 19 Ziff. 2 lit. a und b BtmG, sowie wegen Verstosses gegen Art. 23 Abs. 1 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) zu 18 Monaten Gefängnis, bedingt vollziehbar bei einer Probezeit von drei Jahren. Zusätzlich wurde eine bedingte Landesverweisung von fünf Jahren ausgesprochen.
In der Folge lehnte das Amt für Migration die Gesuche um Einreise bzw. um Erteilung der Aufenthaltsbewilligung mit Verfügung vom 9. August 2001 ab.
B.- Dagegen beschwerten sich G. und C.A._-B. _ beim Verwaltungsgericht des Kantons Luzern. Mit Urteil vom 15. November 2001 wies das Verwaltungsgericht des Kantons Luzern die Beschwerde ab, soweit es darauf eintrat.
C.- Mit Eingabe vom 19. Dezember 2001 erhoben G.A._ und C.A._-B. _ Verwaltungsgerichtsbeschwerde beim Bundesgericht mit dem Antrag, das Urteil des Verwaltungsgerichts des Kantons Luzern aufzuheben und das Gesuch um Erteilung einer Aufenthaltsbewilligung im Rahmen des Familiennachzugs sowie das persönliche Einreisegesuch gutzuheissen.
Das Verwaltungsgericht des Kantons Luzern, das Amt für Migration des Kantons Luzern und das Bundesamt für Ausländerfragen beantragen die Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesgericht zieht in Erwägung:
1.- a) Art. 100 lit. b Ziff. 3 OG schliesst die Verwaltungsgerichtsbeschwerde aus gegen die Erteilung oder Verweigerung von fremdenpolizeilichen Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt. Gemäss Art. 4 ANAG entscheidet die zuständige Behörde im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Der Ausländer hat damit grundsätzlich keinen Anspruch auf Erteilung einer Aufenthaltsbewilligung, und die Verwaltungsgerichtsbeschwerde ist ausgeschlossen, soweit er sich nicht auf eine Norm des Bundesrechts oder eines Staatsvertrags berufen kann, die ihm einen Anspruch auf eine solche Bewilligung einräumt (BGE 127 II 161 E. 1a S. 164; 126 II 335 E. 1a S. 337 f.)
Nach Art. 7 Abs. 1 ANAG hat der ausländische Ehegatte eines Schweizer Bürgers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung. Das Gleiche ergibt sich aus dem in Art. 8 Ziff. 1 EMRK garantierten Schutz des Familienlebens, wenn die eheliche Beziehung tatsächlich gelebt wird (BGE 122 II 289 E. 1c S. 292 f., mit Hinweisen).
Die Beschwerdeführer sind verheiratet. Sie können sich für die Erteilung der verlangten Aufenthaltsbewilligung auf Art. 7 Abs. 1 ANAG und, weil ihre Ehe im Rahmen des Möglichen gelebt wird, auch auf Art. 8 EMRK berufen (BGE 126 II 265 E. 1b S. 266, mit Hinweis).
b) Auf das Begehren, "das persönliche Einreisegesuch des Beschwerdeführers 1" sei gutzuheissen, kann indessen nicht eingetreten werden. Die Verwaltungsgerichtsbeschwerde ist in diesem Punkt gemäss Art. 100 Abs. 1 lit. b Ziff. 1 OG nicht zulässig.
c) Hat - wie hier - eine richterliche Behörde als Vorinstanz entschieden, ist das Bundesgericht an deren Sachverhaltsfeststellung gebunden, sofern diese nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen erfolgt ist (Art. 105 Abs. 2 OG).
2.- a) Der Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung gemäss Art. 7 Abs. 1 ANAG erlischt, wenn ein Ausweisungsgrund vorliegt. Nach Art. 10 Abs. 1 lit. a ANAG ist dies der Fall, wenn der Ausländer wegen eines Verbrechens oder eines Vergehens gerichtlich bestraft worden ist. Die Ausweisung soll aber nur angeordnet werden, wenn sie nach den gesamten Umständen verhältnismässig erscheint (Art. 11 Abs. 3 ANAG). Dabei ist namentlich auf die Schwere des Verschuldens des Beschwerdeführers, auf die Dauer seiner Anwesenheit in der Schweiz sowie auf die dem Betroffenen und seiner Familie drohenden Nachteile abzustellen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer [ANAV; SR 142. 201]).
b) Die Nichterteilung einer Aufenthaltsbewilligung an den wegen eines Verbrechens oder Vergehens verurteilten ausländischen Ehegatten eines Schweizer Bürgers setzt gleich wie die Ausweisung eine Interessenabwägung voraus. Der Anspruch auf Erteilung der Bewilligung gemäss Art. 7 Abs. 1 ANAG erlischt somit nicht bereits dann, wenn ein Ausländer wegen eines Verbrechens oder Vergehens verurteilt wurde, sondern erst, wenn auch die Interessenabwägung ergibt, dass die Bewilligung zu verweigern ist. Das Ergebnis dieser Interessenabwägung braucht allerdings nicht dasselbe zu sein, wie wenn eine Ausweisung angeordnet würde. Wenn ein Ausländer ausgewiesen wird, darf er die Schweiz nicht mehr betreten, während dies bei der Verweigerung der Aufenthaltsbewilligung möglich bleibt. Aufgrund dieses Unterschieds in der Schwere der Massnahme kann sich in Grenzfällen ergeben, dass die Verweigerung der Aufenthaltsbewilligung zulässig ist, die Anordnung einer Ausweisung aber unverhältnismässig wäre (BGE 120 Ib 6 E. 4a S. 12 f.).
c) Ob die Ausweisung im Sinne von Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV angemessen, das heisst verhältnismässig ist, ist eine Rechtsfrage, die das Bundesgericht im Verfahren der Verwaltungsgerichtsbeschwerde frei überprüfen kann (Art. 104 lit. a OG). Dem Bundesgericht ist es jedoch verwehrt, sein eigenes Ermessen - im Sinne einer Überprüfung der Zweckmässigkeit (Opportunität) - an die Stelle desjenigen der zuständigen kantonalen Behörde zu setzen (BGE 125 II 105 E. 2a S. 107, mit Hinweisen).
d) Verübt ein Ausländer ein Verbrechen oder Vergehen, hat bereits der Strafrichter die Möglichkeit, die strafrechtliche Landesverweisung anzuordnen (Art. 55 StGB).
Sieht er davon ab oder wird im Falle einer bedingten Entlassung aus dem Strafvollzug die Landesverweisung probeweise aufgeschoben, steht dies der fremdenpolizeilichen Ausweisung nicht entgegen. Zu beachten ist, dass strafrechtliche und fremdenpolizeiliche Fernhaltemassnahmen unterschiedliche Ziele verfolgen. Die strafrechtliche Landesverweisung ist vorab auf die Person des betreffenden Ausländers ausgerichtet.
So ist für den Entscheid über den bedingten Vollzug der strafrechtlichen Landesverweisung die Prognose über ein künftiges Wohlverhalten des Ausländers in der Schweiz entscheidend.
Für denjenigen über den probeweisen Aufschub nach Art. 55 Abs. 2 StGB ist einzig auf die Resozialisierungschancen abzustellen, wobei regelmässig die Aussichten auf Wiedereingliederung in der Schweiz denjenigen im Heimatland gegenüberzustellen sind. Für den Entscheid über die fremdenpolizeiliche Ausweisung steht dagegen das allgemeine Interesse der öffentlichen Ordnung und Sicherheit im Vordergrund.
Der konkreten Prognose über das Wohlverhalten sowie dem Resozialisierungsgedanken des Strafrechts ist zwar im Rahmen der umfassenden fremdenpolizeilichen Interessenabwägung ebenfalls Rechnung zu tragen. Die beiden Umstände geben aber nicht den Ausschlag (BGE 125 II 105 E. 2c S. 109 f., mit Hinweisen).
3.- a) Der Beschwerdeführer ist wegen mehrfacher Widerhandlung gegen das Betäubungsmittelgesetz, begangen als schwerer Fall, sowie wegen Widerhandlungen gegen das Bundesgesetz über Aufenthalt und Niederlassung der Ausländer zu 18 Monaten Gefängnis, bedingt auf drei Jahre, und zu einer bedingt ausgesprochenen Landesverweisung von fünf Jahren verurteilt worden. Damit ist ein Ausweisungsgrund im Sinne von Art. 10 Abs. 1 lit. a ANAG gegeben.
Bei einem mit einer Schweizer Bürgerin verheirateten Ausländer, der erstmals um eine Bewilligung ersucht oder nach bloss kurzer Aufenthaltsdauer deren Erneuerung beantragt, nimmt die Rechtsprechung an, dass die Grenze, von der an in der Regel selbst dann keine Bewilligung mehr erteilt wird, wenn dem schweizerischen Ehepartner die Ausreise nur schwer zumutbar ist, bei einer Freiheitsstrafe von zwei Jahren liegt (BGE 120 Ib 6 E. 4b S. 14). Dieses Strafmass bildet allerdings keine feste Grenze, die zu über- oder unterschreiten im Einzelfall nicht zulässig wäre.
b) Hinsichtlich der Schwere des Verschuldens ist festzuhalten, dass der Beschwerdeführer wegen Widerhandlungen gegen das Betäubungsmittelgesetz verurteilt wurde.
Dabei lag in zweifacher Hinsicht ein schwerer Fall vor.
Einerseits hat der Beschwerdeführer mit dem Verkauf bzw.
der Abgabe von mindestens 157 Gramm Heroingemisch Art. 19 Ziff. 2 lit. a BetmG erfüllt, andererseits wurde er auch als Mitglied einer Bande nach Art. 19 Ziff. 2 lit. b BetmG verurteilt. Sodann wurde er der illegalen Einreise in die Schweiz schuldig gesprochen, und bereits früher war er wegen Diebstahls verurteilt worden. Das Bundesgericht verfolgt bei Straftaten im Zusammenhang mit dem Betäubungsmittelgesetz eine strenge Praxis (BGE 125 II 521 E. 4a, S. 527 mit Hinweis auf Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de Police des étrangers, in: RDAF 1997 267, S. 308 mit Hinweisen). Das Kriminalgericht des Kantons Luzern hat das Verschulden des Angeklagten als nicht leicht bezeichnet. So habe er sich der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz schuldig gemacht, wobei ein schwerer Fall vorliege. Ausserdem habe er gegen die Ausländergesetzgebung verstossen. Der Beschwerdeführer habe recht intensiv und während längerer Zeit delinquiert. Bei dem von ihm verkauften respektive abgegebenen Heroin handle es sich um ein gefährliches, so genanntes hartes Betäubungsmittel, mit dessen Umsatz eine erhebliche Gefährdung für die Gesundheit einer grossen Anzahl von Menschen (Suchtpotential) verbunden sei. In persönlicher Hinsicht sei zudem festzuhalten, dass der Angeklagte dazu neige, sein Verhalten zu bagatellisieren. Er sei grösstenteils nicht geständig und dementsprechend auch nicht einsichtig. Zu Gute wurde dem Beschwerdeführer gehalten, dass er in der Händlerhierarchie relativ weit unten gestanden habe und seine Aktivitäten eher von untergeordneter Natur gewesen seien. Die nachgewiesene Drogenmenge sei nicht extrem gross gewesen und seine Suchtabhängigkeit führe zu einer im mittleren Grad verminderten Zurechnungsfähigkeit. Bei der Strafzumessung führte das Gericht sodann aus, die Gefängnisstrafe werde in Anbetracht der bundesgerichtlichen Praxis, wonach die Grenze von 18 Monaten für die Gewährung des bedingten Strafvollzugs bei der Strafzumessung mit zu berücksichtigen sei, wenn eine Freiheitsstrafe von nicht erheblich längerer Dauer in Betracht falle und die Voraussetzungen des bedingten Vollzugs im Übrigen erfüllt seien (BGE 118 IV 337 ff.; 121 IV 101), auf 18 Monate festgesetzt.
Das Verwaltungsgericht hat sich die Erwägungen des Strafgerichts zu eigen gemacht und zudem ausgeführt, dass fremdenpolizeilich weiter ins Gewicht falle, dass der Beschwerdeführer nach dem Nichteintretensentscheid auf sein Asylgesuch ungefähr ein Jahr ohne Bewilligung in der Schweiz gelebt habe und zudem wegen Ladendiebstahls zu sieben Tagen Gefängnis bedingt verurteilt worden sei. Zu berücksichtigen sei im Weiteren, dass er während einer bloss kurzen Aufenthaltsdauer fortgesetzt delinquiert habe. Erstellt sei sodann, dass der Beschwerdeführer nicht als integriert gelten könne und ausser seiner ehelichen Beziehung zu C.A._-B. _ keine besondere Verbundenheit zur Schweiz darzutun vermöge. Aufgrund der gesamten Umstände bestehe deshalb ein grosses Interesse der Öffentlichkeit, den Beschwerdeführer von der Schweiz fernzuhalten.
Mit diesen Erwägungen hat das Verwaltungsgericht kein Bundesrecht verletzt. Aufgrund der erwähnten mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz, begangen als schwerer Fall, der Verurteilung wegen Diebstahls und der Tatsache, dass der Beschwerdeführer trotz Nichteintreten auf das Asylgesuch längere Zeit in der Schweiz lebte und auch nach einer Ausreise wiederum illegal in die Schweiz einreiste, besteht ein erhebliches sicherheitspolizeiliches Interesse, den Beschwerdeführer von der Schweiz fern zu halten.
Das Verwaltungsgericht hat auch kein Bundesrecht verletzt, indem es das öffentliche Interesse an der Fernhaltung als "gross" bezeichnet hat, währenddem das Kriminalgericht des Kantons Luzern das Verschulden als "nicht leicht" erachtete.
Wie erwähnt (E. 2d) verfolgen strafrechtliche und fremdenpolizeiliche Fernhaltemassnahmen unterschiedliche Ziele.
Kann eine Verfehlung im strafrechtlichen Sinne noch als "nicht leicht" bezeichnet werden, so darf das öffentliche Interesse an der fremdenpolizeilichen Fernhaltung dennoch als "gross" beurteilt werden.
c) Entgegen der Behauptung der Beschwerdeführer hat das Verwaltungsgericht eine Interessenabwägung vorgenommen.
Es hat festgestellt, dass die Beschwerdeführerin bereits vor Eheschliessung mit ihrem späteren Ehemann zusammengelebt und ihn mehrmals in Albanien besucht habe. Im Rahmen des Möglichen habe sie versucht, die eheliche Beziehung zu leben.
Eine Übersiedlung nach Albanien sei ihr zudem nicht zuzumuten.
Die Gründung einer Familie könne zwar in der Schweiz unter ungleich besseren Voraussetzungen und Bedingungen ins Auge gefasst werden. Das Interesse der Öffentlichkeit an der Fernhaltung des Beschwerdeführers gehe indessen vor, da dieser, kaum in das Gastland eingereist, fortgesetzt und in schwerer Weise gegen das Betäubungsmittelgesetz verstossen habe.
Die vom Verwaltungsgericht vorgenommene Interessenabwägung ist nicht zu beanstanden. In Betracht fällt, dass der Beschwerdeführer nicht nur wiederholt gegen die schweizerische Rechtsordnung verstossen hat, sondern auch in der Schweiz nicht integriert ist. Er spricht die deutsche Sprache kaum. Ausser seiner Beziehung zur Beschwerdeführerin hat er keinen weiteren Freundeskreis in der Schweiz. Mit seiner Heimat ist er nach wie vor verbunden; dort lebt auch seine ganze Familie. Er konnte nicht davon ausgehen, trotz seiner Verfehlungen und mangelnden Integration seine Ehe mit der Beschwerdeführerin in der Schweiz leben zu können. Aber auch die Beschwerdeführerin musste sich angesichts der gesamten Umstände bewusst sein, dass der Beschwerdeführer nicht ohne weiteres in die Schweiz einreisen durfte. Wie aus dem Urteil des Kriminalgerichts des Kantons Luzern hervorgeht, hatte die Beschwerdeführerin Kenntnis vom Drogenkonsum und vom Drogenhandel des Beschwerdeführers. Teilweise wickelte sich der Drogenhandel sogar in ihrer Wohnung in D._ ab.
Allein in den Monaten Dezember 1998 und Januar 1999 hat sie zwischen zehn bis zwanzig Mal Stanniolpäckchen mit jeweils fünf bis zehn Gramm "Sugar" (insgesamt 100 bis 200 Gramm) zwischen den Sitzelementen ihrer Polstergruppe festgestellt.
Dass sie sich gegen den Drogenkonsum und den Drogenhandel zur Wehr gesetzt hätte, wird nicht einmal behauptet. Als sie am 13. Juli 2000 in Albanien mit dem Beschwerdeführer die Ehe einging, wusste sie nicht nur um die Straftaten, sondern auch um die damals bestehende Einreisesperre gegenüber ihrem Ehemann. Sie konnte deshalb nicht davon ausgehen, ihre Ehe in der Schweiz leben zu können. Wie eingangs erwähnt ist zudem bei der Interessenabwägung zu beachten, dass im vorliegenden Fall der Beschwerdeführer nicht aus der Schweiz ausgewiesen, sondern ihm lediglich die Aufenthaltsbewilligung verweigert wird. Möglich bleibt daher die Einreise zu Besuchszwecken.
4.- Die Verwaltungsgerichtsbeschwerde erweist sich somit als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Ausgang des bundesgerichtlichen Verfahrens haben die Beschwerdeführer die Kosten zu tragen (Art. 156 Abs. 1 und 7 OG). Eine Parteientschädigung ist nicht geschuldet.
Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 1'000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
3.- Dieses Urteil wird den Beschwerdeführern, dem Amt für Migration und dem Verwaltungsgericht (Verwaltungsrechtliche Abteilung) des Kantons Luzern sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 29. April 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: