Erwägungen:
1.
1.1. A._ (geboren 1965) ist kosovarischer Staatsangehöriger. Er hielt sich zwischen 1982 und 1993 als Saisonnier jeweils für mehrere Monate pro Jahr in der Schweiz auf, erhielt 1993 eine Aufenthaltsbewilligung und am 18. Juni 2007 die Niederlassungsbewilligung. Am 4. April 1997 reiste seine Ehefrau zusammen mit den beiden gemeinsamen Söhnen im Rahmen des Familiennachzugs ein; sie erhielten ebenfalls zuerst eine Aufenthaltsbewilligung und danach die Niederlassungsbewilligung. Am 27. Juni 2003 wurde A._ wegen Sozialhilfebezugs und Überschuldung ausländerrechtlich verwarnt. Mit Urteil des Kantonsgerichts Luzern vom 28. August 2015 wurde er wegen mehrfacher sexueller Handlung mit einem Kind, mehrfacher sexueller Nötigung sowie mehrfacher Vergewaltigung zu einer Freiheitsstrafe von fünf Jahren verurteilt; das Bundesgericht wies die dagegen erhobene Beschwerde mit Urteil 6B_21/2016 vom 14. April 2016 ab.
1.2. Am 3. September 2018 widerrief das Amt für Migration des Kantons Luzern die Niederlassungsbewilligung von A._ und wies ihn aus der Schweiz weg. Die dagegen erhobenen Rechtsmittel wiesen das Justiz- und Sicherheitsdepartement des Kantons Luzern am 17. Juni 2019 und das Kantonsgericht Luzern am 21. Oktober 2019 ab.
1.3. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 25. November 2019 beantragt A._ dem Bundesgericht, vom Widerruf der Niederlassungsbewilligung sei abzusehen und er sei zu verwarnen. Zudem sei der vorliegenden Beschwerde die aufschiebende Wirkung zuzuerkennen. Das Bundesgericht hat keine Instruktionsmassnahmen verfügt.
2.
Die gegen den Widerruf der Niederlassungsbewilligung gerichtete Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig (Art. 82 lit. a, Art. 83 lit. c Ziff. 2 e contrario, Art. 86 Abs. 1 lit. d, Abs. 2 und Art. 90 BGG; vgl. <ref-ruling> E. 1.2.1 S. 4). Mit dem vorliegenden Entscheid in der Sache wird das Gesuch um Erteilung der aufschiebenden Wirkung gegenstandslos.
3.
3.1. Unbestritten ist, dass der Beschwerdeführer zu einer längerfristigen Freiheitsstrafe verurteilt worden ist und dadurch einen Widerrufsgrund gesetzt hat (Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 Abs. 1 lit. b AIG [SR 142.20]; vgl. <ref-ruling> E. 4.2 S. 379 ff.). Der Beschwerdeführer bringt vor, der Widerruf sei nicht verhältnismässig.
3.2. Der Widerruf der Niederlassungsbewilligung muss verhältnismässig sein (Art. 5 Abs. 2 BV und Art. 96 AIG). Abzuwägen ist das öffentliche Interesse an der Wegweisung gegen das private Interesse des Betroffenen am Verbleib in der Schweiz (<ref-ruling> E. 2.1 S. 147). Massgebliche Kriterien sind dabei unter anderem die Schwere des Delikts, das Verschulden, die Dauer der Anwesenheit und der Grad der Integration, die familiären Verhältnisse sowie die Wiedereingliederungschancen im Herkunftsstaat (<ref-ruling> E. 2.2 S. 19 ff.; <ref-ruling> E. 2.3 S. 33 ff.).
3.3.
3.3.1. Das Kantonsgericht hat erwogen, dass der Beschwerdeführer Sexualstraftaten begangen habe, die nach Art. 121 Abs. 3 lit. a BV als besonders verwerflich gelten. Dies sei bei der Verhältnismässigkeitsprüfung zu berücksichtigen (vgl. E. 4.2 des angefochtenen Urteils). Das Strafmass von fünf Jahren Freiheitsstrafe impliziere ein erhebliches ausländerrechtliches Verschulden. Das Strafgericht habe die objektive Tatschwere als erheblich eingestuft, weil der Beschwerdeführer seine Körpergewalt eingesetzt habe, um seine minderjährigen Opfer gefügig zu machen. Er habe seine familiäre und kulturell begründete Machtposition eingesetzt, um seine sexuellen Bedürfnisse zu befriedigen. Auch die subjektive Tatschwere sei beträchtlich, weil der Beschwerdeführer rücksichtslos gehandelt und sein Vorgehen systematisch geplant habe. Es bestehe folglich ein gewichtiges öffentliches Interesse am Widerruf (vgl. E. 5.1 des angefochtenen Urteils). Dieses werde nicht dadurch relativiert, dass die Straftaten vor 11 bis 21 Jahren begangen worden seien. Die lange Dauer des Strafverfahrens sei vom Strafgericht berücksichtigt worden. Auch die Dauer des erstinstanzlichen Widerrufsverfahrens wirke sich nicht zugunsten des Beschwerdeführers aus (vgl. E. 5.2.3 des angefochtenen Urteils). Von ihm gehe weiterhin eine Bedrohung aus, die mit Rücksicht auf die zu befürchtenden Rechtsgutverletzungen nicht hinzunehmen sei (vgl. E. 5.3 des angefochtenen Urteils).
3.3.2. In Bezug auf das private Interesse des Beschwerdeführers am Verbleib in der Schweiz hat das Kantonsgericht die lange Aufenthaltsdauer von 26 Jahren sowie den Aufenthalt davor als Saisonnier berücksichtigt (vgl. E. 6.1 des angefochtenen Urteils). Er und seine Familie seien ab Oktober 1998 von der Sozialhilfe unterstützt worden, und zwar auch, nachdem ihm rückwirkend eine Invalidenrente wegen eines Arbeitsunfalls zugesprochen worden sei. Zudem sei der Beschwerdeführer damals überschuldet gewesen und deshalb ausländerrechtlich verwarnt worden. Erst ab November 2003 habe sich die Familie dank Ergänzungsleistungen von der Sozialhilfe lösen können. Auch vor dem Arbeitsunfall habe der Beschwerdeführer Mühe gehabt, seinen finanziellen Verpflichtungen nachzukommen (vgl. E. 6.2 des angefochtenen Urteils). Ihm sei somit weder in beruflicher, finanzieller noch strafrechtlicher Hinsicht eine Integration gelungen. Nachdem er sich vorwiegend im Kreis seiner Familie oder seiner Landsleute bewege, seien auch keine nennenswerten Integrationsbemühungen auf sozial-gesellschaftlicher Ebene ersichtlich. Seine Deutschkenntnisse bewegten sich im erwarteten Rahmen (vgl. E. 6.3 des angefochtenen Urteils).
3.3.3. Das Kantonsgericht hat weiter ausgeführt, dass die Ehefrau des Beschwerdeführers ebenfalls die kosovarische Staatsangehörigkeit besitze. Es könne davon ausgegangen werden, dass sie vor ihrer Einreise im Kosovo gelebt habe und mit der dortigen Sprache, Kultur und Lebensweise vertraut sei. Deshalb sei es der Ehefrau zumutbar, ihrem Ehemann in den Kosovo zu folgen. Verbleibe sie in der Schweiz, könne der Kontakt mit Besuchen und Kommunikationsmitteln aufrecht erhalten werden (vgl. E. 6.4 des angefochtenen Urteils). Der Beschwerdeführer sei im Alter von 17 Jahren zum ersten Mal in die Schweiz gekommen und habe in der Folge noch weitere elf Jahre hauptsächlich im Kosovo gelebt. Erst im Alter von 28 Jahren sei er definitiv übersiedelt. Er sei mit Sprache und Kultur seines Heimatlandes bestens vertraut. Er habe den Kosovo regelmässig besucht und verfüge dort über ein tragendes Familiennetz. Zudem werde ihm die Invalidenrente auch im Kosovo ausbezahlt. Dadurch dürfte seine Wiedereingliederung erheblich erleichtert sein und die Ausreise sei zumutbar (vgl. E. 6.5 des angefochtenen Urteils). Die Rückkehr sei auch aus medizinischen Gründen zumutbar. Die vom Beschwerdeführer benötigte medikamentöse Behandlung sei im Kosovo ausreichend gewährleistet; die meisten Medikamente würden sogar gratis abgegeben (vgl. E. 6.6 des angefochtenen Urteils). Ausser der langen Aufenthaltsdauer spreche nichts gegen den Widerruf der Niederlassungsbewilligung; das öffentliche Interesse überwiege deshalb (vgl. E. 7 des angefochtenen Urteils).
3.4. Was der Beschwerdeführer gegen diese ausführliche Interessenabwägung vorbringt, überzeugt nicht.
3.4.1. Der Beschwerdeführer stellt die vorinstanzlichen Erwägungen zum öffentlichen Interesse ausdrücklich nicht infrage. Unklar ist, was er daraus ableiten will, dass die Vorinstanz in sprachlicher Hinsicht "bloss" von einem erheblichen öffentlichen Interesse ausgegangen sei und nicht von einem "grossen" oder gar "sehr grossen". Nachdem der Duden (Band 8, Synonymwörterbuch, 6. A. 2014) für "erheblich" Synonyme wie "ausserordentlich", "enorm", "gross" oder "exorbitant" anführt, kann ausgeschlossen werden, dass das Kantonsgericht durch seine Wortwahl eine Abschwächung des öffentlichen Interesses beabsichtigt hat. Entgegen der Auffassung des Beschwerdeführers hat es das öffentliche Interesse auch nicht wegen der seit der Tatbegehung verstrichenen Zeit relativiert (vgl. E. 5.2.3 des angefochtenen Urteils, 2. Absatz). Angesichts der besonders verwerflichen Natur der Straftaten und des hohen Strafmasses ist von einem aussergewöhnlich grossen öffentlichen Interesse am Widerruf und der Wegweisung auszugehen.
3.4.2. Das Kantonsgericht hat die sehr lange Anwesenheitsdauer des Beschwerdeführers berücksichtigt. Er hält sich seit 1993 und damit seit 26 Jahren in der Schweiz auf. Ob der Aufenthalt als Saisonnier von 1982 bis 1993 zusätzlich voll oder teilweise anzurechnen ist, spielt vor dem Hintergrund des öffentlichen Interesses und der nicht sehr tiefgreifenden Integration (vgl. dazu nachfolgend E. 3.4.3) keine entscheidende Rolle. Dasselbe gilt für die Übertretungen des Beschwerdeführers, die angesichts der Sexualdelikte vernachlässigbar sind und von der Vorinstanz lediglich der Vollständigkeit halber aufgeführt wurden. Darauf ist nicht weiter einzugehen.
3.4.3. Was die Integration in beruflicher und finanzieller Hinsicht betrifft, so liegt die Schuldenwirtschaft und der Sozialhilfebezug des Beschwerdeführers über fünfzehn Jahre zurück und hat die Vorinstanz ausdrücklich anerkannt, dass der Beschwerdeführer einen Arbeitsunfall hatte und unverschuldet nicht mehr erwerbstätig ist. Gleichwohl ist der Beschwerdeführer wegen des Sozialhilfebezugs ausländerrechtlich verwarnt worden und er konnte sich nur deshalb von der Sozialhilfe lösen, weil er Ergänzungsleistungen zu seiner Invalidenrente erhalten hatte. Eine erfolgreiche berufliche Integration kann deshalb nicht bejaht werden. Der Beschwerdeführer übersieht mit seinen Ausführungen zudem, dass er nicht wegen seiner nicht tiefgreifenden sozialen oder beruflichen Integration weggewiesen wird, sondern aufgrund seiner massiven Straffälligkeit. Selbst eine durchschnittliche Integration würde die Interessenabwägung nicht entscheidend beeinflussen.
3.4.4. In Bezug auf das durch die Wegweisung tangierte Familienleben lässt sich der Beschwerde nichts Substanzielles entnehmen. Dass sich die Ehefrau im Kosovo zuerst einleben müsste und sie mit der Ausreise ihre Lebensumstände in der Schweiz aufgeben würde, widerspricht nicht den vorinstanzlichen Erwägungen zur Zumutbarkeit der Ausreise. Und selbst wenn ihr die Ausreise unzumutbar wäre, würde dies Angesichts des erheblichen öffentlichen Interesses nicht massgeblich ins Gewicht fallen. Wie die Vorinstanz zutreffend erwogen hat, ist es letztlich ihre Entscheidung, ob sie zusammen mit dem Beschwerdeführer in ihr Heimatland zurückkehren oder die Beziehung durch Besuche und Kommunikationsmittel aufrechterhalten will.
3.5. Zusammenfassend überwiegt das öffentliche Interesse am Widerruf der Niederlassungsbewilligung das private Interesse des Beschwerdeführers am Verbleib in der Schweiz deutlich. Die Beschwerde erweist sich als offensichtlich unbegründet und ist im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a und Abs. 3 BGG abzuweisen.
4.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonsgericht Luzern, 4. Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 4. Dezember 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger