(Art. 13 lit. f BVO), hat sich ergeben:
A.- R._ (geboren 1962), bosnischer Staatsangehöriger, arbeitete zwischen 1990 und 1996 als Saisonnier in der Schweiz. In den Zwischensaisons wurde sein Aufenthalt jeweils im Rahmen der sog. "Aktion Bosnien-Herzegowina" mit Kurzaufenthaltsbewilligungen geregelt, letztmals bis 30. April 1997. Die Kurzaufenthaltsbewilligungen seiner Ehefrau (geboren 1969) sowie des gemeinsamen Sohnes (geboren 1986), welche beide am 28. März 1994 in die Schweiz eingereist waren, liefen ebenfalls auf diesen Zeitpunkt ab.
B.- Mit Schreiben vom 17. Oktober 1994 wies die Fremdenpolizei des Kantons Basel-Landschaft ein Gesuch von R._ um Umwandlung der Saison- in eine Jahresbewilligung ab, da er die zeitlichen Voraussetzungen hiefür nicht erfülle. Am 5. November 1996 bzw. am 18. März 1997 verweigerte die Fremdenpolizei bzw. der Regierungsrat des Kantons Basel-Landschaft die Erteilung einer Aufenthaltsbewilligung aus humanitären Gründen. Den dagegen von R._ eingereichten Rekurs hiess das Verwaltungsgericht des Kantons Basel-Landschaft am 10. Dezember 1997 gut und entschied, R._ sei gestützt auf Art. 14 der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer (BVO, Begrenzungsverordnung, SR 823. 21) zulasten des kantonalen Kontingentes eine Jahresbewilligung zu erteilen. Das Bundesamt für Ausländerfragen (BFA) verweigerte indessen am 3. November 1998 die gemäss Art. 18 Abs. 3 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG, SR 142. 20) erforderliche Zustimmung. Überdies lehnte es die von R._ anbegehrte Ausnahme von den Höchstzahlen nach Art. 13 lit. f BVO ab. Die einzig gegen die Aberkennung eines schwerwiegenden persönlichen Härtefalls eingereichte Beschwerde wies das Eidgenössische Justiz- und Polizeidepartement am 20. September 1999 ab, soweit darauf einzutreten war.
Am 5. November 1997 forderte das Bundesamt für Ausländerfragen R._ sowie seine Familie auf, das Gebiet der Schweiz bis zum 30. April 1998 zu verlassen. Das dagegen beim Eidgenössischen Justiz- und Polizeidepartement am 27. November 1997 eingeleitete Beschwerdeverfahren ist noch hängig.
C.- Gegen den Entscheid des Eidgenössischen Justiz- und Polizeidepartementes vom 20. September 1999 hat R._ am 21. Oktober 1999 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben mit den Anträgen, den angefochtenen Entscheid aufzuheben, und festzustellen, dass er, R._, die Voraussetzungen für eine Ausnahme von den Höchstzahlen im Sinne von Art. 13 lit. f BVO erfülle, sowie das Bundesamt für Ausländerfragen anzuweisen, der Erteilung einer Aufenthaltsbewilligung wegen eines schwerwiegenden persönlichen Härtefalles zuzustimmen.
Das Eidgenössische Justiz- und Polizeidepartement schliesst auf Abweisung der Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- a) Gegenstand des Verfahrens vor dem Eidgenössischen Justiz- und Polizeidepartement war einzig noch die Frage, ob der Beschwerdeführer in Anwendung von Art. 13 lit. f BVO von der zahlenmässigen Begrenzung der Ausländer auszunehmen sei.
Die Frage wurde in Bestätigung der vorinstanzlichen Verfügung im angefochtenen Entscheid verneint. Dagegen ist die Verwaltungsgerichtsbeschwerde an das Bundesgericht gegeben, mithin beschränkt auf die sog. Unterstellungsfrage: Zulässig ist ausschliesslich die Rüge, die Frage der Unterstellung unter die Begrenzungsverordnung sei falsch entschieden worden (vgl. <ref-ruling> E. 1a S. 35). Soweit die Begehren des Beschwerdeführers darüber hinaus gehen, ist darauf nicht einzutreten. Nicht zu prüfen ist ausserdem, ob dem Beschwerdeführer im Verfahren nach Art. 13 lit. h in Verbindung mit Art. 28 Abs. 1 BVO die Umwandlung der Saison- in eine Jahresbewilligung hätte gewährt werden können, zumal diesbezüglich ein rechtskräftiger Entscheid der kantonalen Fremdenpolizei aus dem Jahre 1994 vorliegt.
b) Soweit wie vorliegend nicht eine richterliche Behörde als Vorinstanz entschieden hat, stellt das Bundesgericht im Fremdenpolizeirecht in formeller wie auch in materieller Hinsicht grundsätzlich auf die aktuellen tatsächlichen und rechtlichen Umstände im Zeitpunkt des bundesgerichtlichen Urteils ab (vgl. Art. 105 OG; <ref-ruling> E. 1b S. 4). Der vom Beschwerdeführer erstmals im bundesgerichtlichen Verfahren vorgebrachte Hinweis auf die seit längerem notwendige Behandlung seiner psychischen Störungen ist daher zu berücksichtigen (vgl. auch <ref-ruling> E. 3b S. 249).
2.-a) Nach Art. 13 lit. f BVO sind Ausländer von den vom Bundesrat festgelegten Höchstzahlen ausgenommen, wenn ein schwerwiegender persönlicher Härtefall vorliegt. Diese Ausnahme von der zahlenmässigen Begrenzung hat zum Ziel, die Anwesenheit in der Schweiz solchen Ausländern erleichtert zu ermöglichen, bei denen sich die Unterstellung unter die Höchstzahlen infolge der besonderen Umstände als Härte auswirken würde. Aus dem Verordnungstext sowie aufgrund des Ausnahmecharakters der Bestimmungen ergibt sich, dass die Voraussetzungen zur Anerkennung eines Härtefalles grundsätzlich restriktiv zu handhaben sind. Ein solcher setzt nach der bundesgerichtlichen Rechtsprechung deshalb voraus, dass sich der betreffende Ausländer in einer persönlichen Notlage befindet. Das bedeutet, dass seine Lebens- und Daseinsbedingungen gemessen am durchschnittlichen Schicksal von Ausländern in gesteigertem Masse in Frage gestellt sein müssen bzw. die Verweigerung von der Ausnahme der zahlenmässigen Begrenzung für den Betroffenen schwere Nachteile zur Folge hätte. Bei der Beurteilung des Härtefalles sind alle Gesichtspunkte und Besonderheiten des Einzelfalles zu berücksichtigen (<ref-ruling> E. 2 S. 112, mit Hinweisen). Die Tatsache, dass ein Ausländer längere Zeit in der Schweiz gelebt und sich gut integriert hat, begründet für sich keinen Härtefall; erforderlich ist zusätzlich, dass die Beziehung zur Schweiz derart eng geworden ist, dass man von ihm nicht verlangen kann, in einem andern Land, namentlich dem Heimatstaat, zu leben (<ref-ruling> E. 2 S. 112; <ref-ruling> E. 2 S. 127, mit Hinweisen). Wesentlich ist insofern ein Vergleich mit der Situation von Landsleuten in ähnlicher Ausgangslage (vgl. BGE <ref-ruling> E. 5b/dd S. 133).
b) Der Beschwerdeführer hält sich nunmehr seit neun Jahren in der Schweiz auf. Entsprechend der Übergangsregelung zu den Änderungen der Begrenzungsverordnung erhielt er als bosnischer Staatsangehöriger 1995/96 letztmals eine Saisonbewilligung (vgl. Art. 8 Abs. 4 BVO; Massnahmenpapiere bzw. Weisungen des Bundesamtes für Wirtschaft und Arbeit sowie des Bundesamtes für Ausländerfragen vorab vom 1. Juli 1994, vom 1. November 1995, vom 26. Juni 1996 und vom 6. November 1996). Im Übrigen wurde sein Aufenthalt im Rahmen der "Aktion Bosnien-Herzegowina" geregelt. Damit aber musste ihm, wie die Vorinstanz zu Recht festhält, jederzeit klar sein, dass sein Aufenthalt in der Schweiz lediglich vorübergehenden Charakter hat und mit der Erwartung der Rückkehr in seinen Heimatstaat nach Beendigung der Kriegswirren verbunden ist. Dass sich der Beschwerdeführer in beruflicher und sozialer Hinsicht in der Schweiz zu integrieren vermochte, seit rund fünf Jahren gemeinsam mit seiner Familie hier lebt, zu keinen Klagen Anlass gab, wirtschaftlich unabhängig ist und die deutsche Sprache beherrscht, vermag daran nichts zu ändern. Wohl darf nicht übersehen werden, dass der Beschwerdeführer bei seiner Rückkehr in die Heimat in politischer, wirtschaftlicher und sozialer Hinsicht schwierige Verhältnisse antreffen wird, sich erst wieder ein Beziehungsnetz aufbauen und allenfalls auch eine örtliche Verschiebung in Kauf nehmen muss. Die Schwierigkeiten der Anpassung an die veränderten Lebensverhältnisse treffen indessen alle Rückkehrer gleichermassen, so dass sich der Beschwerdeführer im allgemeinen Vergleich nicht in einer besonderen Lage befindet. Im Übrigen dient die Härtefallregel, entgegen seiner Auffassung, nicht dem Schutz vor staatlichen Übergriffen bzw. vor staatlicher Untätigkeit im Falle ethnisch motivierter Übergriffe durch Private. Dafür ist, wie bereits die Vorinstanz ausgeführt hat, auf das Asylverfahren oder den Aufschub des Vollzugs einer Wegweisungsverfügung zu verweisen (BGE <ref-ruling> E. 3 S. 128; <ref-ruling> E. 4b S. 42 f.). Die ausserdem geltend gemachten psychischen Störungen des Beschwerdeführers werden in den ärztlichen Zeugnissen nicht näher dargelegt. Sie dürften wohl in erster Linie mit der Ungewissheit seiner Lebenssituation in Zusammenhang stehen, schränken ihn aber nicht derart ein, dass er nicht mehr in der Lage wäre, einer Arbeit nachzugehen und entsprechend auch sein Leben unter veränderten Verhältnissen in seinem Heimatstaat neu zu organisieren. Insgesamt erfüllt der Beschwerdeführer somit die eingangs dargelegten, strengen Voraussetzungen für die Annahme eines Härtefalles im Sinne von Art. 13 lit. f BVO nicht.
3.- Nach dem Gesagten erweist sich die Verwaltungsgerichtsbeschwerde als unbegründet, soweit darauf eingetreten werden kann.
Entsprechend dem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG). Eine Parteientschädigung ist nicht geschuldet (Art. 159 OG).

Demnach erkennt das Bundesgericht:
1.-Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'000. -- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer und dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
_
Lausanne, 5. Januar 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: