Sachverhalt:
A.
A.a. Der aus dem Kosovo stammende A.A._ (geb. 1973) reiste am 5. März 1991 im Rahmen des Familiennachzugs in die Schweiz ein und erhielt eine Aufenthaltsbewilligung, welche regelmässig verlängert wurde (zuletzt bis zum 29. November 2012). Am 27. April 2000 heiratete er seine Landsfrau B.A._. Die beiden haben drei Kinder, C.A._ (geb. 2001), D.A._ (geb. 2003) und E.A._ (geb. 2004). B.A._ und die Kinder sind ebenfalls im Besitz einer Aufenthaltsbewilligung.
Am 19. Oktober 2011 wurde die Ehe geschieden; das Sorgerecht und die Obhut über die Kinder verblieben bei der Mutter. Das damals eingeräumte gerichtsübliche Besuchsrecht für A.A._ wurde angesichts entstandener Schwierigkeiten im März 2015 von der zuständigen Behörde für die Dauer von zwei Jahren ganz aufgehoben. Auf Beschwerde hin genehmigte das Kantonsgericht Luzern am 2. November 2015 eine Vereinbarung der geschiedenen Eheleute über ein begleitetes Besuchsrecht, jeweils einen Samstag pro Monat während vier Stunden.
A.A._ ist seit November 2003 bei der X._AG als Taxichauffeur angestellt. Gegen ihn bestehen 15 Betreibungen im Gesamtbetrag von etwas über Fr. 23'000.-- und offene Verlustscheine in der Höhe von etwas über Fr. 25'000.--.
A.b. Am 25. Mai 2012 bestrafte das Kriminalgericht Luzern A.A._ mit zwei Jahren Freiheitsstrafe bedingt wegen Vergewaltigung gemäss <ref-law> und wegen mehrfacher Widerhandlung gegen das Waffengesetz. A.A._ hatte im Februar 2010 - unter Einsatz eines Brotmessers als Drohmittel - seine (Noch-) Ehefrau vergewaltigt. Die Verurteilung wurde zweitinstanzlich vom Kantonsgericht und auch vom Bundesgericht (Urteil 6B_567/2014 vom 14. Oktober 2014) geschützt.
B.
Mit Verfügung vom 9. März 2015 wies das Amt für Migration des Kantons Luzern das Gesuch von A.A._ um eine weitere Verlängerung der Aufenthaltsbewilligung ab und wies ihn aus der Schweiz weg. Die hiegegen erhobenen kantonalen Rechtsmittel blieben erfolglos (Entscheid des kantonalen Justiz- und Sicherheitsdepartements vom 13. August 2015, Urteil des Kantonsgerichts Luzern vom 9. Februar 2016).
C.
Mit "Beschwerde (Art. 82 ff.) " vom 14. März 2016 beantragt A.A._ dem Bundesgericht, das Urteil des Kantonsgerichts vom 9. Februar 2016 aufzuheben, auf eine Nichtverlängerung der Aufenthaltsbewilligung bzw. Wegweisung zu verzichten, und ihn - den Beschwerdeführer - bloss zu verwarnen (Art. 96 Abs. 2 AuG). Eventuell sei die Sache an die Vorinstanz zurückzuweisen. Gleichzeitig wird um "vollumfängliche" unentgeltliche Rechtspflege und Verbeiständung ersucht.
D.
Mit Verfügung vom 15. März 2016 wurde der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt. Die Akten sind beigezogen, ein Schriftenwechsel ist nicht durchgeführt worden.

Erwägungen:
1.
1.1. Gegen Entscheide über ausländerrechtliche Bewilligungen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nur zulässig, falls das Bundesrecht oder das Völkerrecht einen Rechtsanspruch auf deren Erteilung bzw. Verlängerung einräumt (<ref-law> e contrario). Für das Eintreten genügt, wenn die betroffene Person in vertretbarer Weise darlegt, dass potenziell ein solcher Anspruch besteht (<ref-ruling> E. 1.1 S. 179 f. mit Hinweisen).
Der Beschwerdeführer lebt seit vielen Jahren in der Schweiz und hat drei minderjährige Kinder. Er beruft sich in vertretbarer Weise auf Art. 8 EMRK (Schutz des Familien- bzw. Privatlebens); ein diesbezüglicher Anspruch ist in solchen Konstellationen materiell zu prüfen (vgl. <ref-ruling> E. 3.2.1 S. 286 sowie Urteil 2C_512/2013 vom 17. Februar 2014 E. 3.1); ob und in welchem Umfang der behauptete Anspruch tatsächlich besteht, bildet Gegenstand dieser materiellen Beurteilung und nicht des Eintretens (vgl. <ref-ruling> E. 2.5 S. 315; <ref-ruling> E. 1.1 S. 179; Urteil 2C_195/2014 vom 12. Januar 2015 E. 1.1, nicht publ. in: <ref-ruling>).
1.2. Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil die Sachverhaltsfeststellungen der Vorinstanz zugrunde (<ref-law>). Mit einer Beschwerde in öffentlich-rechtlichen Angelegenheiten können diese nur dann gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich sind (<ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398) oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen. Zudem ist vom Beschwerdeführer aufzuzeigen, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
2.
2.1. Das Kantonsgericht erwog, aufgrund der rechtskräftig gewordenen Verurteilung vom 25. Mai 2012 wegen Vergewaltigung sei die gesetzliche Voraussetzung für eine Nichtverlängerung der Aufenthaltsbewilligung (Verurteilung zu einer längerfristigen Freiheitsstrafe) grundsätzlich erfüllt. Einen Anspruch auf ein Anwesenheitsrecht gestützt auf Art. 8 Ziff. 1 EMRK (Garantien des Familien- bzw. Privatlebens) verneinte es, prüfte aber im Rahmen einer Interessenabwägung (Art. 8 Abs. 2 EMRK) trotzdem, ob die Bewilligungsverweigerung im Lichte der entsprechenden Konventionsgarantien verhältnismässig sei. Dabei berücksichtigte es die Dauer der Anwesenheit des Beschwerdeführers, den Grad seiner Integration sowie die ihm und seiner Familie drohenden Nachteile (namentlich auch das Alter der Kinder und die massiv eingeschränkte Besuchsrechtsregelung). Das Kantonsgericht kam zum Schluss, die Nichtverlängerung der Aufenthaltsbewilligung sei verhältnismässig. Der Beschwerdeführer habe es sich selber zuzuschreiben, dass er die Beziehung zu seinen Kindern in Zukunft in erschwerter, jedoch nicht unzumutbarer Weise (überwindbare Distanz zum Herkunftsland, technische Kommunikationsmittel) aufrechterhalten müsse.
2.2. Was der Beschwerdeführer dem Bundesgericht vorträgt, ist nicht geeignet, den angefochtenen Entscheid als bundesrechts- bzw. konventionswidrig erscheinen zu lassen:
Zunächst beruft er sich auf den durch Art. 8 EMRK garantierten Schutz des Familienlebens. Diesbezüglich mangelt es indessen schon am gefestigten Anwesenheitsrecht der geschiedenen Ehefrau und der gemeinsamen Kinder, welche alle nur im Besitz einer Aufenthaltsbewilligung sind, was für eine Berufung auf diese Garantie grundsätzlich nicht ausreicht (vgl. <ref-ruling> E. 1.3.1 S. 145 f.). Der Beschwerdeführer macht zwar - dem Kantonsgericht widersprechend - geltend, die Kinder und deren Mutter hätten ein gefestigtes Anwesenheitsrecht; inwiefern diese eine Aufenthaltsbewilligung besitzen sollten, die ihrerseits auf einem gefestigten Rechtsanspruch beruht, lässt sich mit den Ausführungen in der Beschwerdeschrift (Rz. 25 und 26) aber nicht dartun. Unabhängig davon erscheint die Feststellung der Vorinstanz, die Beziehung zu seinen Kindern werde zeitweise gar nicht und zum heutigen Zeitpunkt nur sehr beschränkt gelebt, nicht offensichtlich unrichtig (vgl. vorne lit. A.a). Sie entzieht - angesichts des Umstandes, dass diese eingeschränkte Beziehung auch vom Herkunftsland aus gepflegt werden kann (vorne E. 2.1) - den Ausführungen des Beschwerdeführers, die Nichtverlängerung der Bewilligung stehe in krassem Gegensatz zum Kindeswohl und sei damit unverhältnismässig, die Grundlage.
Für sich selber beruft sich der Beschwerdeführer sodann auf die ebenfalls durch Art. 8 EMRK geschützte Garantie des Privatlebens und erwähnt seine lange Anwesenheit in der Schweiz und seine gute berufliche Integration. Aus seinen Ausführungen zu den notorisch unregelmässigen Arbeitszeiten als Taxifahrer und zu seinem Bekanntenkreis geht aber nicht hervor, dass er - zumal eine langjährige Anwesenheit für sich allein nicht genügt (vgl. Urteil 2C_536/2013 vom 30. Dezember 2013 E. 2.2, nicht publ. in: <ref-ruling>; ferner <ref-ruling> E. 3.2.1 S. 286) - über die als Anspruchsgrundlage erforderlichen besonders intensiven, über eine normale Integration hinausgehenden privaten Bindungen gesellschaftlicher oder beruflicher Natur bzw. über entsprechende vertiefte soziale Beziehungen zum ausserfamiliären bzw. ausserhäuslichen Bereich verfügt (vgl. ebenda mit Hinweis auf <ref-ruling> E. 4c/aa S. 432); solche sind bei ihm, der erst im Alter von 17 1⁄2 Jahren in die Schweiz einreist war und nicht als so genannter "Ausländer der zweiten Generation" gilt, auch nicht ersichtlich (vgl. zu seinen wirtschaftlichen Verhältnissen vorne lit. A.a., am Ende).
Zudem wäre angesichts der gravierenden Delinquenz auch ein Eingriff in das Privatleben verhältnismässig, wozu auf die rechtskonformen Ausführungen der Vorinstanz verwiesen werden kann (<ref-law>).
Ebenso wenig unverhältnismässig erscheint die Nichtverlängerung der Bewilligung im Lichte des Umstandes, dass der Beschwerdeführer bisher noch nie ausländerrechtlich verwarnt worden ist (Art. 96 Abs. 2 AuG). Angesichts der Natur und Schwere des begangenen Delikts (Anlasstat im Sinne von <ref-law> [dazu bzw. zur sog. "praktischen Konkordanz" vgl. <ref-ruling> E. 4.2, 4.3 und 5.3, 31 E. 2.3.2 S. 34]) musste vorliegend keine ausländerrechtliche Verwarnung angeordnet werden.
3.
Auch die Rüge des Beschwerdeführers, die Vorinstanz habe ihm in verfassungswidriger Weise (<ref-law>) die unentgeltliche Rechtspflege verweigert, ist unbegründet: In E. 6.3 des angefochtenen Urteils legt die Vorinstanz ausführlich dar, aus welchen Gründen sie dem Beschwerdeführer die unentgeltliche Rechtspflege verweigerte. Zu seinen Gunsten hat sie dabei weder seine lange Anwesenheitsdauer noch dessen Festanstellung und seine damit verbundene gute berufliche Integration übersehen. Zutreffenderweise hat sie aber auch erwogen, pauschale Hinweise auf ein Abhängigkeitsverhältnis zu den Familienangehörigen genügten der Substanzierungspflicht nicht. Zu Recht hat sie sodann festgestellt, dass der bei ihr angefochtene Entscheid im Einklang mit der bundesgerichtlichen Rechtsprechung steht. Im Umstand, dass die Vorinstanz die bei ihr erhobene Beschwerde als aussichtslos bezeichnet hat, liegt daher keine Verfassungsverletzung.
4.
Damit ist die Beschwerde im vereinfachten Verfahren (<ref-law>) unter Verweisung auf den vorinstanzlichen Entscheid für alles Übrige abzuweisen. Ausgangsgemäss trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege und Verbeiständung kann aus den in E. 3 genannten Gründen auch für das bundesgerichtliche Verfahren nicht entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonsgericht Luzern, 4. Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 29. April 2016
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Klopfenstein