Erwägungen:
1.
1.1. Der aus dem Kosovo stammende A._ (geb. 1958) reiste im März 1990 in die Schweiz ein, nachdem er sich bereits früher als Saisonnier hier aufgehalten hatte, und erhielt inzwischen die Niederlassungsbewilligung. Mit Urteil des Obergerichts des Kantons Bern vom 1. März 2017 wurde er wegen Vergewaltigung und sexueller Nötigung zu einer Freiheitsstrafe von 32 Monaten verurteilt. In der Folge widerrief das Amt für Migration und Personenstand des Kantons Bern am 16. April 2018 seine Niederlassungsbewilligung und wies ihn aus der Schweiz weg. Die dagegen erhobenen Rechtsmittel wiesen die Polizei- und Militärdirektion des Kantons Bern am 7. Februar 2019 und das Verwaltungsgericht des Kantons Bern am 30. Dezember 2019 ab.
1.2. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde vom 3. Februar 2020 beantragt A._ dem Bundesgericht, vom Widerruf der Niederlassungsbewilligung sei abzusehen. Zudem sei ihm für das kantonale Verfahren sowie für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege und Verbeiständung zu gewähren und der Beschwerde die aufschiebende Wirkung zu erteilen. Das Bundesgericht hat die Akten, aber keine Vernehmlassungen eingeholt. Mit Verfügung des Abteilungspräsidenten vom 5. Februar 2020 wurde der Beschwerde aufschiebende Wirkung zuerkannt.
2.
Die gegen den Widerruf der Niederlassungsbewilligung gerichtete Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig (Art. 82 lit. a, Art. 83 lit. c Ziff. 2 e contrario, Art. 86 Abs. 1 lit. d, Abs. 2 und Art. 90 BGG; vgl. <ref-ruling> E. 1.2.1 S. 4). Für die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde bleibt daneben kein Raum; darauf ist nicht einzutreten (<ref-law> e contrario).
3.
Unbestritten ist, dass der Beschwerdeführer mit seiner rechtskräftigen Verurteilung zu einer Freiheitsstrafe von 32 Monaten einen Widerrufsgrund gesetzt hat (Art. 63 Abs. 1 lit. a in Verbindung mit <ref-law> [SR 142.20]). Streitig ist, ob der Widerruf der Niederlassungsbewilligung verhältnismässig ist.
4.
4.1. Der Widerruf der Niederlassungsbewilligung muss verhältnismässig sein (<ref-law> und <ref-law>). Abzuwägen ist das öffentliche Interesse an der Wegweisung gegen das private Interesse des Betroffenen am Verbleib in der Schweiz (<ref-ruling> E. 2.1 S. 147). Massgebliche Kriterien sind dabei unter anderem die Schwere des Delikts, das Verschulden, die Dauer der Anwesenheit und der Grad der Integration, die familiären Verhältnisse sowie die Wiedereingliederungschancen im Herkunftsstaat (<ref-ruling> E. 2.2 S. 19 ff.; <ref-ruling> E. 2.3 S. 33 ff.). Die Niederlassungsbewilligung eines Ausländers, der sich seit langer Zeit in der Schweiz aufhält, soll nur mit besonderer Zurückhaltung widerrufen werden. Der Widerruf ist indessen bei wiederholter bzw. schwerer Straffälligkeit selbst dann nicht ausgeschlossen, wenn der Betroffene in der Schweiz geboren ist und sein ganzes Leben hier verbracht hat (<ref-ruling> E. 3.3.3 S. 341 f.; <ref-ruling> E. 2.2.1 S. 19).
4.2.
4.2.1. Der Beschwerdeführer ist wegen Vergewaltigung und sexueller Nötigung verurteilt worden und hat damit Sexualdelikte begangen, die nach dem Willen des Verfassungsgebers als besonders verwerflich gelten und grundsätzlich zu einer Beendigung des Aufenthalts in der Schweiz führen (<ref-law>), was bei der Interessenabwägung zu berücksichtigen ist (BGE <ref-ruling> E. 2.3.2 S. 34). Das Strafgericht hat das Ausmass des Taterfolgs als erheblich eingestuft. Das Opfer - eine Angestellte im Bistro des Beschwerdeführers - sei durch die Vergewaltigung überdurchschnittlich traumatisiert worden. Neben einer vorübergehenden Arbeitsunfähigkeit nach der Tat mit medikamentöser Behandlung sei eine posttraumatische Belastungsstörung diagnostiziert worden, die zu mehreren Suizidversuchen geführt habe. Die Vergewaltigung wirke sich bis heute aus und werde sich wohl bis in unbestimmter Zukunft weiter auswirken (vgl. Urteil des Obergerichts des Kantons Bern SK 16 317 vom 1. März 2017 E. 16.1.1 S. 36; <ref-law>).
4.2.2. Vor diesem Hintergrund ist die Vorinstanz völlig zu Recht von einem schweren ausländerrechtlichen Verschulden ausgegangen (vgl. E. 4.1 des angefochtenen Urteils). Es kann keine Rede davon sein, dass die Vorinstanz den Schweregrad des Verschuldens offengelassen hat, wie der Beschwerdeführer rügt. Ebenso ist er angesichts der rechtskräftigen Verurteilung nicht zu hören, soweit er die Würdigung des Strafgerichts kritisiert. Weiter kann er nichts zu seinen Gunsten daraus ableiten, dass das Obergericht von einem gerade noch leichten strafrechtlichen Verschulden ausgegangen ist. Wie die Vorinstanz zutreffend festgehalten hat und sich auch ausdrücklich aus dem Strafurteil ergibt, bezieht sich diese Einordnung auf die "Bandbreite von denkbaren Vergewaltigungen, welche als solche stets gravierende Delikte darstellen" (vgl. Urteil des Obergerichts des Kantons Bern SK 16 317 vom 1. März 2017 E. 16.1.3).
4.2.3. Schliesslich kann der Beschwerdeführer nichts zu seinen Gunsten aus der geringen Rückfallgefahr ableiten. Einerseits hat die Vorinstanz zu Recht erwogen, dass auch eine nur geringe Rückfallgefahr angesichts der schweren Delinquenz in einem sensiblen Bereich nicht hinnehmbar sei (vgl. E. 4.3 des angefochtenen Urteils). Andererseits muss beim Beschwerdeführer mangels Anwendbarkeit des Freizügigkeitsabkommens zwischen der Schweiz und der Europäischen Gemeinschaft und ihren Mitgliedstaaten vom 21. Juni 1999 (FZA; SR 0.142.112.681) keine Rückfallgefahr vorliegen, damit die Wegweisung zulässig ist, sondern es dürfen auch generalpräventive Gesichtspunkte berücksichtigt werden (Urteil 2C_945/2019 vom 15. Januar 2020 E. 3.3.2).
4.2.4. Zusammenfassend ist der Schluss der Vorinstanz nicht zu beanstanden, wonach ein erhebliches öffentliches Interesse am Widerruf der Niederlassungsbewilligung besteht.
4.3.
4.3.1. In Bezug auf das persönliche Interesse des Beschwerdeführers am Verbleib in der Schweiz hat die Vorinstanz die sehr lange Aufenthaltsdauer von rund 30 Jahren berücksichtigt (vgl. E. 5.1 des angefochtenen Urteils). Er sei über mehrere Jahre hinweg erfolgreich einer selbständigen Erwerbstätigkeit nachgegangen, habe aber Schulden von über Fr. 396'000.--. Auch wenn er für einen Grossteil der Schulden nicht verantwortlich gemacht werden könne, seien ihm zumindest die Schulden aus dem Strafverfahren (Fr. 64'000.--) zuzurechnen. Zudem sei nicht ersichtlich, dass er zumindest die ratenweise Zahlung des Schadenersatzes und der Genugtuung an das Opfer seiner Sexualdelikte (Fr. 22'000.--) aufgenommen habe. Es bestünden keine Anhaltspunkte, dass er im Erwerbsleben demnächst wieder fest Fuss fassen oder immerhin die opferhilferechtlichen Schulden zeitnah tilgen könne (vgl. E. 5.2.1 des angefochtenen Urteils). Weiter könne nicht von vertieften, über eine normale Integration hinausgehende soziale Bindungen gesprochen werden. Die Empfehlungsschreiben bestätigten lediglich die äusseren Eindrücke von Dritten aufgrund ihren Begegnungen mit dem Beschwerdeführer vorab im Bistro. Dass der Beschwerdeführer Deutsch spreche, dürfe angesichts der Aufenthaltsdauer erwartet werden. Zusammenfassend sei von einer eher unterdurchschnittlichen Integration auszugehen (vgl. E. 5.2.2 des angefochtenen Urteils). Der Beschwerdeführer habe die ersten und prägendsten (mindestens 26) Lebensjahre im Herkunftsstaat verbracht. Er sei mit den kulturellen Gepflogenheiten vertraut, spreche die Sprache und verfüge dort über Familienangehörige. Dass die Lebensbedingungen im Herkunftsstaat schwieriger als in der Schweiz seien, führe nicht zur Unzumutbarkeit der Rückkehr. Dasselbe gelte für die behaupteten gesundheitlichen Probleme des Beschwerdeführers, die im Herkunftsstaat behandelt werden könnten (vgl. E. 5.3.1 des angefochtenen Urteils). Die familiären Beziehungen des Beschwerdeführers zu seiner Ehefrau, von der er seit Jahren getrennt lebe, und zu der hier lebenden volljährigen Tochter würden nicht wesentlich ins Gewicht fallen (E. 5.3.2 des angefochtenen Urteils).
4.3.2. Angesichts des erheblichen öffentlichen Interesses am Widerruf müsste der Beschwerdeführer ein aussergewöhnlich grosses privates Interesse am Verbleib in der Schweiz aufweisen, damit das öffentliche Interesse nicht überwiegt. Dies ist offensichtlich nicht der Fall. Ob sich der Beschwerdeführer - wie die Vorinstanz ausführt - seit rund 30 Jahren in der Schweiz aufhält oder ob sein Aufenthalt in den 80er-Jahren als Saisonnier ganz oder teilweise anzurechnen ist, spielt keine entscheidende Rolle. Was die soziale Integration betrifft, so genügt der pauschale Hinweis auf die zahlreichen Bestätigungsschreiben nicht, nachdem die Vorinstanz deren Beweiswert angezweifelt hat (<ref-law>). Im Übrigen würde auch eine gemessen an der Aufenthaltsdauer durchschnittliche soziale Integration die Interessenabwägung nicht massgebend beeinflussen. Dasselbe gilt für den engen Kontakt des Beschwerdeführers zu seiner hier lebenden volljährigen Tochter. Was die berufliche Integration betrifft, hat die Vorinstanz die jahrelange erfolgreiche selbständige Erwerbstätigkeit berücksichtigt. Der Beschwerdeführer bestreitet indessen nicht, dass er massiv überschuldet ist. Auch wenn ihm ein Grossteil der Schulden nicht angelastet werden kann, trifft dies nicht auf die Schulden aus dem Strafverfahren zu. Folglich ist die schlechte finanzielle Situation zumindest nicht hauptsächlich auf den Gesundheitszustand des Beschwerdeführers zurückzuführen. Vor diesem Hintergrund spielt es keine Rolle, wie es sich mit den umstrittenen Schulden beim Sozialamt verhält. Von einer willkürlichen Sachverhaltsfeststellung der Vorinstanz kann keine Rede sein. Was die Zumutbarkeit der Rückkehr betrifft, so setzt sich der Beschwerdeführer mit dem pauschalen Verweis auf seine Krankheit nicht mit den vorinstanzlichen Erwägungen auseinander, wonach seine gesundheitlichen Probleme im Herkunftsstaat behandelt werden können. Weiter bestreitet der Beschwerdeführer nicht, dass er im Herkunftsstaat über Familienangehörige verfügt, sodass keine Rede davon sein kann, er sei bei einer Ausreise auf sich alleine gestellt.
4.4. Zusammenfassend überwiegt das öffentliche Interesse am Widerruf das private Interesse des Beschwerdeführers am Verbleib in der Schweiz deutlich. Der Widerruf der Niederlassungsbewilligung und die Wegweisung erweisen sich als verhältnismässig. Vor diesem Hintergrund kann offengelassen werden, inwieweit der Beschwerdeführer einen Aufenthaltsanspruch aus <ref-law> bzw. Art. 8 Ziff. 1 EMRK ableiten kann, weil die Einschränkung des entsprechenden Anspruchs zulässig wäre (<ref-law> und Art. 8 Ziff. 2 EMRK).
5.
Der Beschwerdeführer rügt weiter, die Vorinstanz habe ihm zu Unrecht die unentgeltliche Rechtspflege und Verbeiständung verweigert.
5.1. Jede Person, die nicht über die erforderlichen Mittel verfügt, hat Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand (<ref-law>). Als aussichtslos sind nach der bundesgerichtlichen Rechtsprechung Prozessbegehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde; eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet (<ref-ruling> E. 2.3.1 S. 135 f. mit Hinweisen).
5.2. Wie erwähnt steht im vorliegenden Fall dem erheblichen öffentlichen Interesse am Widerruf der Niederlassungsbewilligung eine allenfalls durchschnittliche Integration des Beschwerdeführers gegenüber. Zudem ist die Rückkehr in den Herkunftsstaat zumutbar. Wenn die Vorinstanz vor diesem Hintergrund davon ausgegangen ist, dass die Gewinnaussichten beträchtlich geringer erscheinen als die Verlustgefahren, ist dies auch unter Berücksichtigung der langen Aufenthaltsdauer bundesrechtlich nicht zu beanstanden. Es kann angesichts der ausführlichen Interessenabwägung keine Rede davon sein, dass die Vorinstanz die "Frage der Verhältnismässigkeit [...] ausgeblendet" hat und die Beschwerde alleine deshalb nicht aussichtslos gewesen sei. Ebenso ändern die umstrittenen Schulden beim Sozialamt nichts an der Aussichtslosigkeit, nachdem sie die Interessenabwägung nicht beeinflussen. Eine Verletzung von <ref-law> liegt folglich nicht vor. Soweit sich der Beschwerdeführer zudem auf Art. 6 Ziff. 1 EMRK beruft, ist darauf hinzuweisen, dass diese Norm im ausländerrechtlichen Verfahren nicht anwendbar ist (<ref-ruling> E. 4.4.2 S. 133 f.).
5.3. Unklar ist, ob sich der Beschwerdeführer auch gegen die Verweigerung der unentgeltlichen Rechtspflege und Verbeiständung durch die Polizei- und Militärdirektion des Kantons Bern wendet. Er stellt in der Beschwerde einen entsprechenden Antrag, ohne sich mit den diesbezüglichen Erwägungen der Vorinstanz (vgl. E. 7 des angefochtenen Urteils) auseinanderzusetzen. Nachdem sich seine Ausführungen ausschliesslich auf die unentgeltliche Rechtspflege im verwaltungsgerichtlichen Verfahren beziehen (vgl. S. 11 f. der Beschwerde), ist darauf nicht näher einzugehen.
6.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich als offensichtlich unbegründet und ist im vereinfachten Verfahren abzuweisen (<ref-law>). Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Sein Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist wegen Aussichtslosigkeit abzuweisen (Art. 64 Abs. 1 und 2 BGG e contrario).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
4.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 9. März 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger