Erwägungen:
1.
1.1. A.A._ (geb. 1981) ist kosovarischer Staatsangehöriger. Er reiste am 6. Juni 1991 im Rahmen des Familiennachzugs zu seiner Mutter in die Schweiz ein und erhielt die Niederlassungsbewilligung. Am 19. Mai 2010 heiratete er die nordmazedonische Staatsangehörige B.A._ (geb. 1984). Diese beantragte in der Folge die Einreise in die Schweiz, ohne ein Nachzugsgesuch zu stellen. Am xxx 2012 kam die gemeinsame Tochter C.A._ zur Welt. Am 27. August 2012 beantragte A.A._ den Familiennachzug für seine Frau und seine Tochter. Das Migrationsamt des Kantons Schaffhausen wies das Gesuch am 24. Januar 2013 ab. Nach einem Umzug nach Genf stellte A.A._ ein neues Nachzugsgesuch. Während des Verfahrens kam am yyy 2014 der gemeinsame Sohn D.A._ zur Welt. Die Genfer Behörden lehnten das Gesuch am 3. September 2015 ab. In der Folge zog A.A._ nach Schaffhausen zurück. Sowohl in Genf als auch in Schaffhausen lebte er teilweise mit seiner Ehefrau und seinen Kindern zusammen, ohne dass diese über die erforderliche Bewilligung verfügten, und an beiden Orten kam es zu polizeilichen Interventionen wegen häuslicher Gewalt.
1.2. Am 29. Juni 2016 sowie am 8. Februar 2017 stellte A.A._ weitere Nachzugsgesuche für seine Ehefrau und Kinder. Das Migrationsamt des Kantons Schaffhausen verweigerte den Nachzug mit Verfügung vom 20. Juni 2018. Die dagegen erhobenen Rechtsmittel wiesen der Regierungsrat des Kantons Schaffhausen am 19. März 2019 und das Obergericht des Kantons Schaffhausen am 29. November 2019 ab.
1.3. Mit Beschwerde vom 13. Januar 2020 beantragen A.A._ und B.A._ dem Bundesgericht, der Familiennachzug sei zu bewilligen. Das Bundesgericht hat die vorinstanzlichen Akten, aber keine Vernehmlassungen eingeholt.
2.
Der Beschwerdeführer 1 ist Inhaber der Niederlassungsbewilligung. Ein Anspruch der Ehefrau und Kinder auf Erteilung einer Aufenthaltsbewilligung wird deshalb in vertretbarer Weise vorgebracht (Art. 43 Abs. 1 AuG [SR 142.20; in der hier noch massgebenden, bis 31. Dezember 2018 geltenden Fassung]). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig (Art. 82 lit. a, Art. 83 lit. c Ziff. 2 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG).
3.
3.1. Ausländische Ehegatten und ledige Kinder unter 18 Jahren von Personen mit Niederlassungsbewilligung haben Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen (Art. 43 Abs. 1 AuG). Kinder unter zwölf Jahren haben Anspruch auf Erteilung der Niederlassungsbewilligung (Art. 43 Abs. 3 AuG). Der Anspruch auf Familiennachzug muss innerhalb von fünf Jahren geltend gemacht werden. Kinder über zwölf Jahre müssen innerhalb von zwölf Monaten nachgezogen werden (Art. 47 Abs. 1 AuG). Die Fristen beginnen mit der Erteilung der Aufenthalts- oder Niederlassungsbewilligung oder der Entstehung des Familienverhältnisses (Art. 47 Abs. 3 lit. b AuG) und sind auch beim Nachzug des Ehegatten zu beachten (vgl. Urteile 2C_323/2018 vom 21. September 2018 E. 4.2.2; 2C_386/2016 vom 22. Mai 2017 E. 2.2). Ein nachträglicher Familiennachzug wird nur bewilligt, wenn wichtige familiäre Gründe geltend gemacht werden (Art. 47 Abs. 4 Satz 1 AuG).
3.2. Unbestritten ist, dass das Nachzugsgesuch für die Kinder rechtzeitig erfolgt ist. Die Vorinstanz hat allerdings erwogen, dass ein alleiniger Nachzug der Kinder weder angestrebt werde noch im Kindeswohl liege (vgl. E. 3.4 des angefochtenen Entscheids). Dies wird von den Beschwerdeführern nicht infrage gestellt. Auch vor Bundesgericht verlangen sie nicht (eventualiter) den Nachzug nur der Kinder. Folglich ist darauf nicht näher einzugehen.
3.3. Wie die Vorinstanz zutreffend festgehalten hat (vgl. E. 3.5 f. des angefochtenen Entscheids), wurde die fünfjährige Frist für den Nachzug der Ehefrau, die mit der Heirat am 19. Mai 2010 zu laufen begonnen hatte, mit dem Nachzugsgesuch vom 29. Juni 2016 bzw. 8. Februar 2017 offensichtlich nicht eingehalten. Die früheren fristgerecht eingereichten und rechtskräftig abgewiesenen Gesuche spielen für die Rechtzeitigkeit des vorliegenden Gesuchs keine Rolle. Der Beschwerdeführer 1 verfügte bereits bei der Heirat über eine Niederlassungsbewilligung, weshalb die Rechtsprechung zum ausländerrechtlichen Statuswechsel (<ref-ruling> E. 3.3 S. 395 ff.) nicht anwendbar ist. Auch der Umstand, dass der Nachzug der Kinder rechtzeitig beantragt wurde, führt entgegen den Ausführungen in der Beschwerde nicht dazu, dass die Ehefrau trotz Fristablauf in den Familiennachzug einbezogen werden müsste. Zu prüfen ist folglich, ob die Voraussetzungen für einen nachträglichen Familiennachzug der Beschwerdeführerin 2 gemäss Art. 47 Abs. 4 AuG vorliegen.
4.
4.1. Das Obergericht hat die Rechtsprechung zu den wichtigen familiären Gründen für einen nachträglichen Familiennachzug nach Art. 47 Abs. 4 AuG zutreffend dargelegt, worauf verwiesen wird (vgl. E. 4.1 des angefochtenen Entscheids). Insbesondere besteht entgegen der Auffassung der Beschwerdeführer ein wichtiger familiärer Grund nicht schon darin, dass nur für einen Teil der Familienmitglieder die Nachzugsfrist eingehalten ist (Urteile 2C_1070/2018 vom 3. Februar 2020 E. 5.1; 2C_1/2017 vom 22. Mai 2017 E. 3.2.2 und E. 4.1.4).
4.2.
4.2.1. Die Vorinstanz hat erwogen, dass der (teilweise illegale) Aufenthalt der Beschwerdeführerin 2 keinen wichtigen Grund darstelle. Die Beschwerdeführer hätten sich zwar während der Nachzugsfrist um eine Familienzusammenführung bemüht; diese sei aber an den nicht adäquaten Wohnverhältnissen und den fehlenden finanziellen Mitteln gescheitert (vgl. E. 4.4 des angefochtenen Entscheids). Der Beschwerdeführer 1 halte sich seit rund 28 Jahren in der Schweiz auf und habe hier die prägenden Jugendjahre verbracht. Er verfüge heute über eine feste Anstellung und erziele ein Bruttoeinkommen von monatlich rund Fr. 5'000.--. Er habe aber lange Schwierigkeiten gehabt, sich beruflich zu integrieren. Von 2000 bis 2011 habe er Sozialhilfe im Umfang von rund Fr. 75'000.-- bezogen und sei deshalb gemahnt worden. Auch nach dem Umzug nach Genf habe er weiterhin Sozialhilfe bezogen. Er sei strafrechtlich in Erscheinung getreten und die Polizei habe wiederholt wegen Vorfällen häuslicher Gewalt ausrücken müssen. Insgesamt könne deshalb von keiner guten Integration ausgegangen werden. Er habe seine Kindheit im Kosovo verbracht, verfüge dort über Verwandte, spreche wie seine Ehefrau Albanisch und sei mit dem albanischen Kulturraum vertraut. Eine Rückkehr in den Kosovo bzw. der Umzug zu seiner Ehefrau nach sei zumutbar (vgl. E. 4.5 des angefochtenen Entscheids).
4.2.2. Auch der Ehefrau könne ein Leben in ihrem Herkunftsstaat zugemutet werden. Zwar verfüge sie über einen Abschluss als Elektrotechnikerin und scheine gewillt zu sein, sich um Arbeit zu bemühen. Sodann erscheine die Perspektive auf eine berufliche und soziale Integration aufgrund ihres jungen Alters von 35 Jahren als gegeben. Diese Perspektive werde allerdings durch die von Gewalt geprägte Ehe getrübt. Verschiedene Vorfälle in der Vergangenheit gäben zur Befürchtung Anlass, dass es zu weiteren Streitigkeiten komme. Die Verwandten der Ehefrau lebten grösstenteils in der Schweiz und in Deutschland, doch verfüge sie im Herkunftsstaat über sechs Tanten, zu denen sie lose Kontakt pflege (vgl. E. 4.6.2 des angefochtenen Entscheids). Schliesslich seien die Integrationschancen der Kinder aufgrund ihres Alters nicht schlecht, würden allerdings durch die konfliktgeprägte Ehe getrübt. Sie könnten auch in die Schule besuchen; dass ihre berufliche Integration dort angesichts der hohen Arbeitslosigkeit schwieriger sei, stelle keinen wichtigen Grund dar. Ein Zusammenleben der Familie in oder im Kosovo sei möglich, auch wenn dies im Hinblick auf die dortigen wirtschaftlichen Verhältnisse nicht einfach erscheine. Selbst wenn der Beschwerdeführer 1 in der Schweiz bleiben sollte, bliebe die Möglichkeit von (Ferien-) Besuchen und die Kontaktpflege mittels elektronischen Kommunikationsmitteln. Folglich widerspreche die Verweigerung des Familiennachzugs nicht dem Kindeswohl (vgl. E. 4.7 des angefochtenen Entscheids).
4.3. Soweit sich die Beschwerdeführer überhaupt mit diesen Erwägungen auseinandersetzen, vermögen sie den angefochtenen Entscheid nicht infrage zu stellen.
4.3.1. Die Beschwerdeführer rügen, der grosse familiäre Zusammenhalt sei unberücksichtigt geblieben. Es ist indessen weder ersichtlich noch wird dargetan, inwieweit sich dieser Zusammenhalt manifestiert. Im Gegenteil hat die Vorinstanz eingehend dargelegt, dass die Beziehung der Beschwerdeführer - auch zu den Kindern - äusserst konflikt- und gewaltbehaftet gewesen sei und wiederholt zu polizeilichen Interventionen geführt habe. Darauf gehen die Beschwerdeführer nur insofern ein, als dass sie vorbringen, diese Ereignisse lägen mehrere Jahre zurück und seien auf die unsichere ausländerrechtliche Situation zurückzuführen. Was das zeitliche Element betrifft, so haben die Ehefrau und Kinder die Schweiz bereits Ende September 2016 wieder verlassen und sich seitdem nur besuchsweise hier aufgehalten, weshalb die Beschwerdeführer nichts aus dem Umstand ableiten können, dass der letzte aktenkundige Streit - der Beschwerdeführer 1 hat seiner Tochter ins Gesicht geschlagen und danach seine Ehefrau mit einem Messer am Arm verletzt - im August 2016 stattgefunden hat.
4.3.2. Sodann hat die Vorinstanz zutreffend festgehalten, dass die Beschwerdeführer nichts zu ihren Gunsten aus dem (teilweise illegalen) Aufenthalt in der Schweiz ableiten können. Ihr Vorwurf, die Genfer Behörden hätten den gemeinsamen Aufenthalt geduldet und ihnen "damit einen Bärendienst erwiesen", weil dadurch eine korrekte aufenthaltsrechtliche Regelung unterblieben sei, ist offensichtlich unbegründet. Die Beschwerdeführer hatten genaue Kenntnisse von den ausländerrechtlichen Bestimmungen, wie ihre früheren Nachzugsgesuche beweisen. Der Beschwerdeführerin 2 war ihr widerrechtlicher bzw. unsicherer Aufenthaltsstatus folglich bewusst. Es hätte an ihr gelegen, sich um einen Aufenthaltstitel zu bemühen.
4.3.3. Was schliesslich der Einwand betrifft, der Beschwerdeführer 1 habe fast sein ganzes Leben in der Schweiz verbracht und sei hier "wie ein Schweizer" verwurzelt, so ist darauf hinzuweisen, dass er trotz seiner langen Aufenthaltsdauer grosse Schwierigkeiten hatte, sich beruflich zu integrieren. Er musste in den Jahren 2000 bis 2011 in erheblichem Umfang von der Sozialhilfe unterstützt werden und hat es auch während der fünfjährigen Nachzugsfrist nicht geschafft, eine stabile finanzielle Basis aufzubauen. Zwar vermochte er sich in jüngerer Zeit beruflich zu integrieren, doch kann angesichts des jahrelangen Sozialhilfebezugs, der strafrechtlichen Verurteilung und der Vorfälle häuslicher Gewalt von keiner besonders tiefgreifenden Integration ausgegangen werden. Deshalb ist der Schluss der Vorinstanz nicht zu beanstanden, wonach dem Beschwerdeführer 1 das gemeinsame Familienleben im Ausland zugemutet werden könne und das Kindeswohl keinen Nachzug der Ehefrau gebiete.
4.4. Zusammenfassend sind keine wichtigen familiären Gründe für einen nachträglichen Familiennachzug ersichtlich. Bei diesem Ergebnis wird auch der Anspruch auf Achtung des Familienlebens (<ref-law> bzw. Art. 8 Ziff. 1 EMRK) nicht verletzt; soweit sich die Beschwerdeführer darauf berufen können, ist die Einschränkung des Anspruchs zulässig (<ref-law> und Art. 8 Ziff. 2 EMRK).
5.
Die Beschwerde erweist sich als offensichtlich unbegründet und ist im vereinfachten Verfahren abzuweisen (<ref-law>). Die Gerichtskosten sind den Beschwerdeführern aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Obergericht des Kantons Schaffhausen und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 21. April 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger