hat sich ergeben:
A.- Der in Frankreich wohnhafte Pascal Bürgelin wurde mit Arbeitsvertrag vom 4. Oktober 1993 von B._, die in Birsfelden ein Montage-Unternehmen betreibt, als Schweisser angestellt. Der Arbeitnehmer sollte in Regie bei verschiedenen Drittfirmen eingesetzt werden. Die Arbeitszeit dauerte gemäss Vertrag von "7.00 bis 16.00, während 5 Arbeitstagen pro Woche, Überstunden bei Bedarf" (Ziff. 1.c). Gemäss Ziff. 2.a) betrug die normale Arbeitszeit 42,0 Stunden in der Woche.
Am 12. März 1999, einem Freitag, teilte die Arbeitgeberin A._ telefonisch mit, es sei für ihn ab nächstem Montag eine neue Arbeit als Rohrschlosser/Schweisser für ca. 4 bis 6 Wochen gefunden worden. Der Arbeitsort sei in Würenlingen nahe Brugg, und er habe dort mindestens zehn "Normalstunden" zu arbeiten. Als sich A._ weigerte, diese Arbeit anzunehmen, sprach die Arbeitgeberin mit Schreiben vom gleichen Tag die fristlose Kündigung des Arbeitsverhältnisses aus.
B.- Am 29. März 1999 erhob A._, der die Kündigung für unberechtigt hielt, beim Gewerblichen Schiedsgericht Basel-Stadt Klage gegen B._ mit den Anträgen, diese zur Zahlung von Fr. 19'944.--, zur Erstellung eines Arbeitszeugnisses sowie zur Aushändigung seines Schweisser-Ausweises zu verpflichten. Mit Entscheid vom 21. Juni 1999 verurteilte das Gericht die Beklagte zur Zahlung von Fr. 614.60 netto und behaftete sie bei ihrer Bereitschaft, dem Kläger den Schweisser-Ausweis auszuhändigen und ein Arbeitszeugnis auszustellen.
Der Kläger erhob Beschwerde beim Appellationsgericht des Kantons Basel-Stadt, die von dessen Ausschuss mit Urteil vom 18. Oktober 1999 abgewiesen wurde.
C.- Mit seiner Berufung beantragt der Kläger dem Bundesgericht, das Urteil des Appellationsgerichts vom 18. Oktober 1999 aufzuheben und die Beklagte zur Zahlung von Fr. 18'881.60 brutto nebst 5 % Zins seit 12. März 1999 zu verpflichten.
Die Beklagte schliesst auf Abweisung der Berufung.

Das Bundesgericht zieht in Erwägung:
1.- a) Das Appellationsgericht ist wie bereits das Gewerbliche Schiedsgericht zum Ergebnis gelangt, dass der Kläger die Annahme der Arbeit nicht hätte verweigern dürfen. Die Beklagte sei deshalb berechtigt gewesen, nach einer entsprechenden Androhung, die auch erfolgt sei, den Kläger fristlos zu entlassen. Der Kläger vertritt demgegenüber die Meinung, zu dem von ihm geforderten Einsatz sei er nicht verpflichtet gewesen. Er habe die Arbeit verweigern dürfen, weshalb die fristlose Kündigung widerrechtlich erfolgt sei. Das Appellationsgericht habe die arbeitsvertraglichen Bestimmungen über die Pflichten des Arbeitnehmers einschliesslich des konkreten Vertrages falsch ausgelegt. Der Kläger rügt eine Verletzung von Bundeszivilrecht, namentlich von Art. 328 sowie Art. 337 OR, und insoweit ist auf die Berufung einzutreten.
b) Soweit der Kläger indessen die tatsächlichen Feststellungen der Vorinstanz kritisiert, ist auf seine Ausführungen nicht einzugehen. Das Bundesgericht hat im Berufungsverfahren seinem Entscheid die tatsächlichen Feststellungen der letzten kantonalen Instanz zugrunde zu legen (Art. 63 Abs. 2 OG). Nicht zu hören ist namentlich, was der Kläger zur Frage vorbringt, ob er die Arbeit im Kanton Aargau nicht hätte antreten dürfen, weil er als Grenzgänger keine Arbeitsbewilligung für diesen Kanton besessen habe. Wie im angefochtenen Entscheid unter Hinweis auf das erstinstanzliche Urteil und für das Bundesgericht verbindlich festgestellt wird, hätte die Einsatzfirma die Zustimmung der zuständigen Fremdenpolizei einholen können; die Einsatzfirma befinde sich vor Ort und hätte die Bewilligung in Kürze beschaffen können, weshalb sie dem Kläger bei Arbeitsbeginn am Montag hätte ausgehändigt werden können. Ob diese Feststellung willkürlich ist, kann im Berufungsverfahren nicht überprüft werden.
2.- Gemäss Art. 337 OR kann jede Partei den Arbeitsvertrag aus einem wichtigen Grund fristlos auflösen. Als solcher Grund gilt jeder Umstand, bei dessen Vorhandensein der kündigenden Partei nach Treu und Glauben die Fortsetzung des Arbeitsverhältnisses nicht mehr zugemutet werden darf (Art. 337 Abs. 2 OR). Unzumutbar ist die Fortsetzung des Arbeitsvertrages, wenn das Vertrauensverhältnis zwischen den Parteien derart gestört ist, dass die sofortige und fristlose Auflösung als einziger Ausweg erscheint (<ref-ruling> E. 5c S. 144). Nach der Rechtsprechung rechtfertigen nur besonders schwere Pflichtverletzungen eine solche Kündigung (<ref-ruling> E. 3 S. 73 f.). Es kann sich entweder um eine Verletzung der Treuepflicht oder der Arbeitspflicht handeln. Leichtere Vertragsverletzungen rechtfertigen eine fristlose Kündigung nur im Wiederholungsfall und nach Abmahnung (<ref-ruling> E. 4d S. 472; Adrian von Kaenel, Die Entschädigung aus ungerechtfertigter fristloser Entlassung nach Art. 337c Abs. 3 OR, Diss. Zürich 1995, S. 66). Eine klare Abmahnung muss verlangt werden, wenn einem Arbeitnehmer oder einer Arbeitnehmerin wegen einer Arbeitsverweigerung gekündigt werden soll. Als ultima ratio ist die fristlose Kündigung erst zulässig, wenn dem Vertragspartner nicht mehr zugemutet werden kann, das Arbeitsverhältnis durch ordentliche Kündigung aufzulösen oder bei fester Vertragsdauer deren Ende abzuwarten (<ref-ruling> E. 3b S. 562).
Über das Vorhandensein solcher Gründe entscheidet das Gericht nach seinem Ermessen. Ermessensentscheide überprüft das Bundesgericht im Berufungsverfahren grundsätzlich frei. Es übt aber Zurückhaltung und schreitet nur ein, wenn die Vorinstanz grundlos von den in Lehre und Rechtsprechung anerkannten Grundsätzen abgewichen ist, wenn sie Tatsachen berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt Umstände ausser Betracht gelassen hat, die zwingend hätten beachtet werden müssen. Das Bundesgericht greift ausserdem in Ermessensentscheide ein, falls sich diese als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 6a S. 255 und 274 E. 1a/cc S. 279 f.; <ref-ruling> E. 2a/bb S. 267 mit Hinweisen).
3.- Die Beklagte hat die fristlose Kündigung mit dem Argument ausgesprochen, der Kläger habe die ihm zugewiesene Arbeit verweigert. Eine Arbeitsverweigerung stellt eine schwere Verletzung der vertraglichen Pflichten dar. Die Beklagte hat den Kläger darauf aufmerksam gemacht, dass sie ihm fristlos kündige, falls er bei seiner abweisenden Haltung bleibe. Sie hat somit auch die notwendige Abmahnung ausgesprochen, so dass die Kündigung als gerechtfertigt erscheint, sofern der Kläger nicht einen triftigen Grund hatte, die ihm zugewiesene Arbeit zu verweigern. Ein solcher Grund liegt vor, wenn vom Arbeitnehmer eine Arbeit verlangt wird, zu welcher dieser nach Vertrag nicht verpflichtet ist.
a) Es ist unbestritten, dass nach dem zwischen den Parteien geschlossenen Vertrag vom Arbeitnehmer Regiearbeit geschuldet war. Der Kläger musste somit von Anfang an damit rechnen, an verschiedenen Orten eingesetzt zu werden. Verbindlich festgestellt ist sodann, dass dem Kläger mitgeteilt wurde, es sei beim Einsatz in Würenlingen mit ca. zehn Stunden Arbeit pro Tag zu rechnen. Nach Ansicht des Klägers war eine so lange Arbeitszeit nicht zumutbar, namentlich wenn sie in Würenlingen zu verrichten war, so dass auch noch ein langer Arbeitsweg dazu gekommen wäre. Der Kläger betrachtet deshalb die Arbeitsverweigerung als gerechtfertigt.
aa) Wie die Vorinstanz zu Recht festhält, ergibt sich entgegen der Ansicht des Klägers aus dem Arbeitsgesetz (Bundesgesetz über die Arbeit in Industrie, Gewerbe und Handel vom 13. März 1964; ArG; SR 822.11) keine Unzulässigkeit eines solchen Arbeitseinsatzes. Als gewerbliche Arbeit fällt die hier zu beurteilende Tätigkeit unter Art. 9 Abs. 1 Bst. b ArG, der eine maximale wöchentliche Arbeitszeit von fünfzig Stunden zulässt. Dass auch vorgesehen gewesen wäre, an Samstagen zu arbeiten, ist - wie die Vorinstanz für das Bundesgericht verbindlich feststellt - nicht erwiesen.
Gemäss Arbeitsgesetz bzw. zugehöriger Verordnung des Bundesrates gilt der Weg zum und vom Arbeitsort nicht als Arbeitszeit (Art. 30 Abs. 1 der Verordnung 1 zum Arbeitsgesetz vom 14. Januar 1966; SR 822.111; Walther Hug, Kommentar zum Arbeitsgesetz, Bern 1971, N. 2 zu Art. 9 ArG). Ob es sich anders verhielte, wenn die Beklagte den Kläger angewiesen hätte, auf dem Arbeitsweg noch einen anderen Arbeitnehmer mitzunehmen, kann dahingestellt bleiben. Dem angefochtenen Urteil ist keinerlei Feststellung zu entnehmen, dass eine solche Weisung bestanden hätte.
bb) Vertraglich waren zweiundvierzig Arbeitsstunden pro Woche vereinbart. Die Beklagte verlangte vom Kläger somit offensichtlich eine Mehrleistung. Gemäss Art. 321c OR ist der Arbeitnehmer auch ohne besondere Vereinbarung verpflichtet, unter bestimmten Voraussetzungen über die vereinbarte Arbeitszeit hinaus Arbeit zu leisten.
Überstunden charakterisieren sich dadurch, dass sie vom Arbeitgeber einseitig angeordnet werden können und vom Arbeitnehmer bei Vorliegen der gesetzlich vorgeschriebenen Voraussetzungen geleistet werden müssen. Der Arbeitnehmer hat die Überstunden zu leisten, soweit sich diese als notwendig erweisen, er sie zu leisten vermag und ihm diese zusätzliche Leistung nach Treu und Glauben zugemutet werden kann. Von diesen drei Elementen kommt der Voraussetzung, dass der Arbeitnehmer die Überstunden zu leisten vermag, keine selbständige Bedeutung zu (Manfred Rehbinder, Berner Kommentar, N. 4 zu Art. 321c OR, bezeichnet dieses Erfordernis als einen Anwendungsfall der Unzumutbarkeit). Das Gesetz schliesst damit die Verpflichtung aus, Überstunden leisten zu müssen, welche die Kräfte des Arbeitnehmers übersteigen oder welche er aus gesundheitlichen Gründen nicht zu leisten vermag (Jürg Brühwiler, Kommentar zum Einzelarbeitsvertrag, 2. Auflage, Bern 1996, N. 5 zu Art. 321c OR; Christiane
Brunner/Jean-Michel Bühler/Jean-Bernard Waeber, Commentaire du contrat de travail, 2. Auflage, Lausanne 1996, N. 4 zu Art. 321c OR). Überstunden sind zudem nur zu leisten, soweit dies nach Treu und Glauben zugemutet werden kann. Art. 321c Abs. 1 OR bezweckt damit eine Interessenabwägung im konkreten Fall (Brühwiler, N. 6 zu Art. 321c OR). Dabei sind die persönlichen Verhältnisse des Arbeitnehmers zu berücksichtigen (Streiff/von Kaenel, Arbeitsvertrag, 5. Auflage, Zürich 1991, N. 2 zu Art. 321c OR). Namentlich ist zu prüfen, ob durch die Überstunden das Privat- und Familienleben des Arbeitnehmers übermässig gestört wird (Brunner/Bühler/
Waeber, N. 4 zu Art. 321c OR). Es ist auch auf die praktische Organisation des Alltags durch den Arbeitnehmer Rücksicht zu nehmen (Adrian Staehelin, Zürcher Kommentar, N. 9 zu Art. 321c OR; Streiff/von Kaenel, N. 2 zu Art. 321c OR; einschränkend Brühwiler, N. 6 zu Art. 321c OR). Aufseiten des Arbeitgebers sind dessen wirtschaftliche Interessen an den Überstunden zu berücksichtigen. Es kommt entscheidend darauf an, ob diese Interessen auch auf andere Weise als mit den Überstunden hätten befriedigt werden können. Dies bringt das Gesetz mit dem letzten Erfordernis zum Ausdruck, wonach die Überstunden notwendig sein müssen. Eine absolute Notwendigkeit ist indessen nicht gefordert. Es genügt, dass die Überstunden nicht leicht vermieden werden können (Streiff/
von Kaenel, N. 2 zu Art. 321c OR). Überstunden haben die Ausnahme zu bleiben. Mit ihnen soll ausserordentlichen Situationen begegnet werden. Art. 321c Abs. 1 OR ist zwar absolut zwingend (vgl. Art. 361 Abs. 1 OR). Die Ausgestaltung des Einzelarbeitsvertrages beeinflusst aber die Interessenabwägung, die auf Grund der konkreten Umstände des Einzelfalles vorzunehmen ist. So können beispielsweise die unterschiedlichen Gründe, warum jemand eine Teilzeitstelle annimmt, die Überstunden eher als zumutbar erscheinen lassen oder sie weitgehend ausschliessen (Staehelin, N. 9 am Ende zu Art. 321c OR; Wilhelm Boner, Teilzeitarbeit, Diss. Zürich, Bern 1985, S. 85 ff.). Wird schon im Arbeitsvertrag in Aussicht genommen, dass in einem gewissen Umfang und unter bestimmten Voraussetzungen Überstunden anfallen werden, kann der Arbeitnehmer sich darauf einstellen und die Leistung der Überstunden erscheint häufiger zumutbar.
Es liegt auf der Hand, dass bei Regiearbeit der Arbeitsanfall weniger organisier- und voraussehbar ist als bei einer Arbeit ausschliesslich im gleichen Betrieb. Bei der Regiearbeit ist zudem eher mit Überstunden zu rechnen als bei einem anderen Arbeitsverhältnis. Einzuräumen ist freilich, dass es kaum als zumutbar betrachtet werden kann, wenn der Arbeitnehmer über längere Zeit täglich 1,6 Überstunden leisten muss. Dann stellt sich nämlich die Frage, ob es sich tatsächlich um notwendige Überstunden handelt oder ob nicht vielmehr der gewöhnliche Arbeitsanfall innerhalb der normalen Arbeitszeit nicht mehr bewältigt werden kann und deshalb organisatorische Massnahmen zu ergreifen sind, wie zum Beispiel die Einstellung zusätzlichen Personals. Was als längere Zeit anzusehen ist, hängt vom konkreten Arbeitsverhältnis ab. Mehrere Wochen lassen die Zumutbarkeit jedenfalls als fraglich erscheinen. Andererseits ist aber auch nicht dargetan, dass besondere persönliche Gründe die Überstunden unzumutbar gemacht hätten. Mit Blick auf diese Umstände erscheint es immerhin verständlich, dass der Kläger die Zulässigkeit der Arbeitszuweisung als zweifelhaft ansah. Daraus kann jedoch nicht geschlossen werden, dass er die Arbeit verweigern durfte. Die vertragliche Arbeit war ihm zumutbar und es durfte von ihm während einer beschränkten Zeit die Leistung der entsprechenden Überstunden verlangt werden. Er hätte die Arbeit unter diesem Gesichtspunkt weisungsgemäss erbringen müssen und erst die nachfolgenden, weiteren Überstunden verweigern dürfen, die als nicht mehr zumutbar erschienen. Es war ihm somit zuzumuten, die Arbeit vorerst weisungskonform auszuführen und der Arbeitgeberin zu erklären, ab wann er die Überstunden als nicht mehr zumutbar ansah.
cc) Ebenfalls nicht als Weigerungsgrund kann der Arbeitsort angesehen werden. Aus der Vereinbarung von Regiearbeit ergibt sich, dass der Arbeitsort nicht im Voraus bestimmt ist, und der Kläger deshalb damit rechnen musste, ausserhalb von Basel eingesetzt zu werden. Überdies war im Arbeitsvertrag als erster Einsatzbetrieb eine Firma in Zofingen, also auch nicht in der Region Basel vorgesehen. Schliesslich ist bereits vorne (E. 1) festgehalten worden, dass es nach verbindlicher Feststellung der Vorinstanz möglich gewesen wäre, rechtzeitig die für den Kläger als Grenzgänger nötige Bewilligung des Einsatzkantons zu beschaffen.
b) Nicht zu hören ist die Behauptung, der Kläger habe davon ausgehen müssen, dass die Überstunden nicht entschädigt würden. Dabei handelt es sich um unzulässige Kritik an den tatsächlichen Feststellungen der Vorinstanz. Diese hält fest, dass die Beklagte den von ihr verwendeten Begriff "Normalstunden" so verstanden hat, dass die Arbeitszeit bei diesem Einsatz um die zehn Stunden pro Tag betrage, nicht aber so, dass es sich dabei um normale vertragliche Arbeitszeit handle. Hat sich die Beklagte aber nie geweigert, die Überstunden zu entschädigen, kann der Kläger seine Arbeitsverweigerung auch nicht damit begründen.
4.- Aus diesen Gründen ist die Berufung abzuweisen, soweit auf sie eingetreten werden kann, und das angefochtene Urteil ist zu bestätigen.
Gemäss Art. 343 Abs. 3 OR sind keine Gerichtskosten zu erheben. Dagegen hat der Kläger die obsiegende Beklagte für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 Abs. 1 und 2 OG; <ref-ruling> E. 5c S. 42).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf einzutreten ist, und das Urteil des Appellationsgerichts des Kantons Basel-Stadt vom 18. Oktober 1999 wird bestätigt.
2.- Es werden keine Kosten erhoben.
3.- Der Kläger hat die Beklagte für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
_
Lausanne, 13. Juni 2000
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: