(Art. 13 lit. f BVO), hat sich ergeben:
A.- Der im Jahre 1970 geborene, aus Bosnien-Herzegowina stammende A.K._ kam erstmals 1988 mit einer Kurzaufenthaltsbewilligung in die Schweiz. 1990 hielt er sich hier bei seiner Mutter auf, die ab März 1990 über eine Aufenthaltsbewilligung verfügte. Anfangs 1991 reisten sein Vater und seine Schwester im Familiennachzug in die Schweiz ein. Nachdem A.K._ vom 1. März bis 30. Juni 1991 wiederum im Besitz einer Kurzaufenthaltsbewilligung gewesen war, verheiratete er sich am 23. September 1992 in Brienz, Kanton Bern, mit seiner jetzigen Ehefrau. Am 16. November 1992 kam der gemeinsame Sohn C. zur Welt. Auf Grund der Kriegssituation in Jugoslawien wurde die Familie gestützt auf den Bundesratsbeschluss vom 21. April 1993 kollektiv aufgenommen. Infolge der Aufhebung der Gruppenaufnahme der Personen mit letztem Wohnsitz in Bosnien-Herzegowina durch den Bundesrat hätte die Familie die Schweiz bis spätestens 30. April 1998 verlassen müssen. Diese Frist wurde mehrmals erstreckt.
Am 22. Dezember 1998 ersuchte A.K._ die Fremdenpolizei der Stadt Thun um Erteilung einer Jahresaufenthaltsbewilligung aus humanitären Gründen für sich und seine Familie. Am 8. Januar 1999 unterbreitete die Fremdenpolizei der Stadt Thun das Gesuch dem Bundesamt für Ausländerfragen zum Entscheid über die Ausnahme von der zahlenmässigen Begrenzung der Ausländer wegen eines schwerwiegenden persönlichen Härtefalls gemäss Art. 13 lit. f der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer (Begrenzungsverordnung, BVO; SR 823. 21). Mit Verfügung vom 3. März 1999 verneinte das Bundesamt für Ausländerfragen das Vorliegen eines schwerwiegenden persönlichen Härtefalles. Die dagegen erhobene Beschwerde wies das Eidgenössische Justiz- und Polizeidepartement mit Entscheid vom 26. August 1999 ab.
B.- Mit Verwaltungsgerichtsbeschwerde vom 24. September 1999 an das Bundesgericht beantragen A.K._ und B.K._ für sich und im Namen ihres Sohnes Aufhebung des Departementsentscheids vom 26. August 1999 und Anweisung des Bundesamtes für Ausländerfragen, ihnen eine Aufenthaltsbewilligung gemäss Art. 13 lit. f BVO zu erteilen. Ferner ersuchen sie um Bewilligung der aufschiebenden Wirkung.
C.- In seiner Vernehmlassung vom 22. Oktober 1999 beantragt das Eidgenössische Justiz- und Polizeidepartement Abweisung der Verwaltungsgerichtsbeschwerde, soweit darauf eingetreten werden könne.
D.- Nachdem sich die Fremdenpolizei der Stadt Thun zur Frage des Aufenthalts der Beschwerdeführer während des bundesgerichtlichen Verfahrens nicht geäussert hatte, gestattete der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts den Beschwerdeführern die Anwesenheit im Kanton Bern bis zum Abschluss des vorliegenden Verfahrens.
E.- Mit Eingabe vom 19. Februar 2000 teilte A.K._ dem Bundesgericht mit, seine Mutter verfüge jetzt über eine Niederlassungsbewilligung und sei auf Grund ihrer 100%igen Invalidität für die Haushaltsführung auf die Hilfe ihrer Schwiegertochter B.K._ angewiesen.

Das Bundesgericht zieht in Erwägung:
1.- a) Auf dem Gebiet der Fremdenpolizei ist die Verwaltungsgerichtsbeschwerde unzulässig gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt (Art. 100 lit. b Ziff. 3 OG). Sie ist nach der Rechtsprechung aber zulässig gegen Entscheide über die von der Bewilligungserteilung zu trennende Frage, ob für die Erteilung einer Aufenthaltsbewilligung, auch wenn darauf kein Anspruch besteht, die Höchstzahlen der Begrenzungsverordnung anwendbar sind (<ref-ruling> E. 2 S. 127; <ref-ruling> E. 1 S. 116, 403 E. 1 S. 404/405). Die Verwaltungsgerichtsbeschwerde ist somit zulässig.
b) Gegenstand des angefochtenen Entscheids und damit des vorliegenden Rechtsmittelverfahrens bildet ausschliesslich die Frage der Unterstellung der Beschwerdeführer unter die Begrenzungsvorschriften und nicht die Gewährung eines Anwesenheitsrechts. Das auf Erteilung einer Aufenthaltsbewilligung abzielende Beschwerdebegehren ist daher unzulässig, und es kann darauf nicht eingetreten werden (vgl. <ref-ruling> E. 1b S. 36).
c) Die Berücksichtigung neuer Tatsachen bzw. neuer tatsächlicher Vorbringen der Beschwerdeführer ist vorliegend zwar zulässig (vgl. <ref-ruling> E. 1c S. 99 e contrario; <ref-ruling> E. 2b S. 331). Was die Beschwerdeführer aber neu vorbringen, erweist sich indessen als nicht stichhaltig. Die Invalidität der Mutter des Beschwerdeführers 1 ist für die Unterstellungsfrage nicht von Belang, da der Härtefall bei den Beschwerdeführern vorliegen muss. Dass der Mutter die Niederlassungsbewilligung erteilt wurde, ist hier ebenfalls nicht relevant. Der Umstand, dass ein naher Angehöriger über ein gefestigtes Anwesenheitsrecht in der Schweiz verfügt, kann allenfalls für die Erteilung einer ordentlichen Aufenthaltsbewilligung gestützt auf Art. 8 EMRK, was nicht Gegenstand des vorliegenden Verfahrens bildet, eine Rolle spielen (vgl. <ref-ruling> E. 3a S. 366; <ref-ruling> E. 1e S. 261).
2.- a) Nach Art. 13 lit. f BVO sind Ausländer von den Höchstzahlen der Begrenzungsverordnung ausgenommen, wenn ein schwerwiegender persönlicher Härtefall vorliegt. Die Ausnahme von der zahlenmässigen Beschränkung nach Art. 13 lit. f BVO hat zum Ziel, Ausländern die Anwesenheit in der Schweiz erleichtert zu ermöglichen, bei denen sich die Unterstellung unter die Höchstzahlen als schwerwiegende Härte auswirken würde. Aus dem Verordnungstext sowie aus dem Ausnahmecharakter der Bestimmung geht hervor, dass die Voraussetzungen für die Anerkennung eines Härtefalles grundsätzlich restriktiv zu handhaben sind. Ein Härtefall setzt daher nach der bundesgerichtlichen Rechtsprechung voraus, dass sich der betreffende Ausländer in einer persönlichen Notlage befindet (grundsätzlich: <ref-ruling> E. 4 S. 321 ff.; <ref-ruling> E. 4 S. 42 ff.). Das bedeutet, dass seine Lebens- und Daseinsbedingungen gemessen am durchschnittlichen Schicksal von Ausländern in gesteigertem Masse in Frage gestellt sein müssen beziehungsweise die Verweigerung von der Ausnahme der zahlenmässigen Beschränkung für den Betroffenen schwere Nachteile zur Folge hätte. Bei der Beurteilung des Härtefalles sind alle Gesichtspunkte und Besonderheiten des Einzelfalles zu berücksichtigen ( <ref-ruling> E. 2 S. 112; <ref-ruling> E. 2 S. 126/127; <ref-ruling> E. 4c S. 43; Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in: RDAF 53/1997 S. 291).
b) Die bisherige Anwesenheit begründet für sich allein keinen Härtefall. Bei der Beurteilung des konkreten Einzelfalls ist jedoch zu berücksichtigen, dass sich die persönlichen Verhältnisse eines Ausländers, etwa als Folge eines langjährigen Aufenthalts, nachhaltig verändern können. Von Bedeutung kann insbesondere sein, ob Kinder des Gesuchstellers hier in Schule und Ausbildung derart integriert sind, dass ein Verlassen der Schweiz für diese eine neue Entwurzelung bewirken und ihre Entwicklung gefährden würde. Generell ist der Umstand mitzuberücksichtigen, wieweit es dem Ausländer zumutbar ist, sich in einem andern Land, namentlich in seiner Heimat aufzuhalten oder sich dorthin zu begeben (<ref-ruling> E. 2 S. 127 mit Hinweisen).
3.- a) Der Beschwerdeführer 1 ist erstmals 1988 in die Schweiz eingereist und hat sich hier auf Grund einer drei Monate gültigen Kurzaufenthaltsbewilligung aufgehalten. Im September 1990 reiste er wiederum in die Schweiz ein und verblieb bei seiner Mutter, welche seit März 1990 über eine Aufenthaltsbewilligung verfügte. Der Beschwerdeführer 1 kritisiert die im angefochtenen Entscheid enthaltene Annahme, dass er damals als Tourist einreiste, ohne allerdings darzulegen, auf Grund welcher Bewilligung seine damalige Einreise erfolgt sein soll. Vom 1. März bis 30. Juni 1991 war der Beschwerdeführer erneut im Besitz einer Kurzaufenthaltsbewilligung. Welcher Art seine Bewilligung war, als er sich am 23. September 1992 in Brienz mit der Beschwerdeführerin verheiratete, ist den vorliegenden Akten nicht zu entnehmen. Durch die Wohnsitzbescheinigung der Einwohnergemeinde Brienz vom 29. April 1994 ist nachgewiesen, dass der Beschwerdeführer 1 vom 1. Juni 1992 bis 21. Oktober 1992 in Brienz wohnte, während sich die Beschwerdeführerin gemäss Bescheinigung der Einwohnerkontrolle der Stadt Thun vom 27. September 1994 am 10. Februar 1992 dort angemeldet hatte. Es ist somit davon auszugehen, dass die Beschwerdeführer 1 und 2 seit gut 7 1/2 Jahren ununterbrochen in der Schweiz leben. Am 16. November 1992 ist hier ihr Sohn C. zur Welt gekommen.
b) Aus der Tatsache, dass die Beschwerdeführer vor Ausbruch der Kriegswirren in ihrem Heimatstaat in die Schweiz gekommen sind, ergibt sich unter dem hier massgeblichen Gesichtspunkt des schwerwiegenden persönlichen Härtefalles nichts zu ihren Gunsten. Die Integration der Beschwerdeführer hält sich nach den Darlegungen im angefochtenen Entscheid im Rahmen des Üblichen. Regelmässige Arbeit ohne Fürsorgeabhängigkeit und anstandsloser Leumund vermögen nach bundesgerichtlicher Rechtsprechung keine besondere Härte zu begründen für den Fall, dass die Beschwerdeführer die Schweiz verlassen müssten. Es liegt damit keine Integration vor, die über diejenige einer Vielzahl seit mehreren Jahren in der Schweiz lebender Ausländer hinausgeht.
c) Die Beschwerdeführer machen im Weiteren geltend, ihr siebenjähriger Sohn C. sei fest in der Schweiz verwurzelt und werde Schwierigkeiten haben, sich in der bosnischen Gesellschaft zurechtzufinden. Beantragt eine Familie gestützt auf Art. 13 lit. f BVO von den Höchstzahlen der Begrenzungsverordnung ausgenommen zu werden, so wird grundsätzlich die Situation der einzelnen Familienmitglieder nicht isoliert gewürdigt, sondern es ist die Situation der Familie als Ganze massgebend (vgl. <ref-ruling> E. 4a S. 129). Was das Kind C. anbetrifft, so ist dieses im November 1992 in der Schweiz geboren, bis anhin hier aufgewachsen, im August 1998 in den Kindergarten X._ eingetreten und besucht gemäss den Feststellungen der Vorinstanz derzeit die erste Primarklasse. Nach der Rechtsprechung des Bundesgerichts vermag das Aufwachsen ausländischer Kinder in der Schweiz und ihre schulische Integration nur dann die Annahme eines schwerwiegenden persönlichen Härtefalles zu begründen, wenn die Kinder die zur Entwicklung ihrer Persönlichkeit entscheidenden Jugendjahre in der Schweiz verbracht haben. Kleinere Kinder sind noch stark an ihre Eltern gebunden und werden durch die von diesen vermittelte Lebensweise und Kultur geprägt. Dies trifft im vorliegenden Fall umso eher zu, als sich nahe Verwandte der Beschwerdeführer in der Schweiz aufhalten. Es ist daher anzunehmen, dass sich jüngere Kinder im Gegensatz zu solchen, die sich bereits in der Adoleszenz befinden, nach anfänglichen Anpassungsschwierigkeiten in der Heimat ihrer Eltern zurechtfinden werden (vgl. <ref-ruling> E. 4b S. 129). Der Umstand, dass das Kind C. hier geboren ist und nun die erste Primarklasse besucht, vermag somit die Annahme eines schwerwiegenden persönlichen Härtefalles nicht zu begründen.
d) Ein solcher ergibt sich auch nicht aus dem gesundheitlichen Zustand der Beschwerdeführerin. Gemäss den vorliegenden ärztlichen Zeugnissen leidet die Beschwerdeführerin an Zellveränderungen am Gebärmutterhals. Gemäss dem Bericht von Oberärztin Dr. S._ vom 3. Dezember 1998 ist der Befund nicht progredient, weshalb zurzeit auf eine operative Intervention verzichtet werden könne. Weitere spezialärztliche Kontrollen mit Kolposkopie, Abstrichentnahme sowie eventuellen Gewebeprobeentnahmen seien jedoch unabdingbar. Ob diese Kontrollen in Bosnien-Herzegowina durchgeführt werden könnten, konnte Frau Dr. S._ nicht abschätzen. Im angefochtenen Entscheid wird diesbezüglich ausgeführt, gemäss den dem Departement zur Verfügung stehenden Informationen sei die Kosevo-Klinik in Sarajevo als führendes medizinisches Zentrum in Bosnien- Herzegowina verhältnismässig gut und modern ausgestattet. Behandlungen, wie sie die Beschwerdeführerin benötige, seien möglich. Zudem bestehe die Möglichkeit, eine Krankenversicherung abzuschliessen. Die Beschwerdeführer setzen sich mit diesen Ausführungen nicht auseinander, sondern machen nur geltend, das medizinische Risiko der Beschwerdeführerin sei unterschätzt worden. Sie berufen sich auf den Arztbericht von Frau Dr. S._, dem jedoch zu Grunde liegt, dass Frau Dr. S._ nicht beurteilen konnte, ob die für die Beschwerdeführerin notwendigen Kontrollen in Bosnien- Herzegowina vorgenommen werden können. Nachdem nun aber die Vorinstanz festgestellt hat, dass die von der Beschwerdeführerin benötigten Behandlungen in Sarajevo durchgeführt werden können und die Beschwerdeführer diese Feststellung nicht in Abrede stellen, besteht für das Bundesgericht kein Anlass, dies in Zweifel zu ziehen. Es geht dabei um die Würdigung tatsächlicher Verhältnisse, welche für die Verwaltungsbehörden besser überblickbar sind als für das Bundesgericht, weshalb es sich rechtfertigt, trotz freier Kognition hinsichtlich der Auslegung des Begriffs des schwerwiegenden persönlichen Härtefalles der Vorinstanz diesbezüglich einen gewissen Beurteilungsspielraum zuzubilligen (vgl. <ref-ruling> E. 3b S. 40).
e) Schliesslich berufen sich die Beschwerdeführer sinngemäss auf die Rechtsgleichheit. Sie machen geltend, die Krebserkrankung der Beschwerdeführerin und deren Behandlungsschwierigkeiten würden sich mindestens gleichwertig darstellen wie die Hüftgelenkdisplasie der Tochter von Bekannten, bei denen das Vorliegen eines Härtefalls bejaht worden sei. Diesbezüglich ist vorweg festzustellen, dass nach den Arztberichten zurzeit keine eigentliche Krebserkrankung der Beschwerdeführerin besteht. Im Übrigen ist kaum je ein Fall gleich gelagert wie ein anderer. Es steht auch keineswegs fest, ob in dem von den Beschwerdeführern genannten Fall ein Härtefall im Einklang mit der bundesgerichtlichen Rechtsprechung angenommen worden ist. Ein Recht auf Gleichbehandlung im Unrecht besteht nicht (vgl. Alain Wurzburger, a.a.O., S. 292). Aus dem von ihnen genannten Fall können die Beschwerdeführer somit nichts zu ihren Gunsten ableiten.
4.- Die Beschwerdeführer sind in ihrer Heimat aufgewachsen und haben den grössten Teil ihres Lebens dort verbracht. Der Beschwerdeführer verfügt gemäss dem vorliegenden Zeugnis des medizinischen Schulzentrums in Sarajevo über eine abgeschlossene Fachausbildung als Krankenpfleger, welche die Annahme erlaubt, dass es ihm möglich sein wird, in seiner Heimat für sich und seine Familie eine neue Existenz aufzubauen. Beruflich ist der Beschwerdeführer in der Schweiz nicht besonders stark verwurzelt, hat er doch nach den Ausführungen in der Beschwerdeschrift erst am 1. Oktober 1999 wieder einen neuen Arbeitsplatz angetreten. Dass nach über siebenjähriger Anwesenheit in der Schweiz die Rückkehr in die Heimat mit verschiedensten Nachteilen und Erschwernissen vor allem wirtschaftlicher, aber auch persönlicher Art verbunden sein kann, ist keineswegs aussergewöhnlich. Die Lage der Beschwerdeführer unterscheidet sich diesbezüglich nicht von derjenigen mancher Ausländer, die gehalten sind, in ihr Heimatland zurückzukehren, ohne dort Angehörige oder ein soziales Netz vorzufinden.
5.- a) Eine Gesamtwürdigung aller Umstände ergibt, dass die Beschwerdeführer die Voraussetzungen für die Annahme eines schwerwiegenden persönlichen Härtefalles im Sinne von Art. 13 lit. f BVO nicht erfüllen.
Die Verwaltungsgerichtsbeschwerde erweist sich somit als unbegründet, soweit darauf eingetreten werden kann.
b) Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 und 7 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'000. -- wird den Beschwerdeführern unter Solidarhaft auferlegt.
3.- Dieses Urteil wird den Beschwerdeführern, dem Eidgenössischen Justiz- und Polizeidepartement sowie der Fremdenpolizei der Stadt Thun schriftlich mitgeteilt.
_
Lausanne, 25. Februar 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: