Erwägungen:
1.
1.1. A._ (geb. 1976) ist kosovarischer Staatsbürger und kam am 17. Februar 1999 im Familiennachzug zu seiner Gattin in die Schweiz. Aus der Ehe, die am 29. September 2011 geschieden wurde, sind zwei Kinder hervorgegangen (geb. 2000 und 2003). Seit dem 1. Juli 2007 verfügte A._ über eine Niederlassungsbewilligung. Das Obergericht des Kantons Aargau sprach ihn am 3. Mai 2012 vom Vorwurf der mehrfachen Vergewaltigung seiner früheren Ehefrau frei; ein Schuldspruch erfolgte wegen mehrfacher Tätlichkeit und wegen Drohung.
1.2. Das Migrationsamt des Kantons St. Gallen widerrief am 26. April 2017 die Niederlassungsbewilligung von A._ und hielt ihn an, das Land zu verlassen. Der entsprechende Entscheid wurde rechtskräftig, nachdem das Bundesgericht am 4. Februar 2020 eine Beschwerde im Zusammenhang mit der Rechtzeitigkeit bzw. einer Fristwiederherstellung im kantonalen Beschwerdeverfahren abgewiesen hatte (2C_764/2019). A._ reiste nicht aus.
1.3. Am 24. August 2020 ersuchte er das Migrationsamt des Kantons St. Gallen darum, ihm eine Härtefallbewilligung zu erteilen bzw. dem SEM seine vorläufige Aufnahme zu beantragen, was das Amt am 9. Oktober 2020 ablehnte. Am 13. November 2020 wies das Sicherheits- und Justizdepartement des Kantons St. Gallen das Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das Rekursverfahren ab. Das Verwaltungsgericht des Kantons St. Gallen bestätigte diesen Entscheid am 4. März 2021; das mit der Beschwerde verbundene Gesuch um unentgeltliche Rechtspflege und Verbeiständung wies es ebenfalls wegen Aussichtslosigkeit der Begehren ab.
1.4. A._ beantragt vor Bundesgericht mit subsidiärer Verfassungsbeschwerde, den Entscheid des Verwaltungsgerichts aufzuheben, ihm für das Rekursverfahren vor der Sicherheitsdirektion sowie dem Beschwerdeverfahren vor dem Verwaltungsgericht die unentgeltliche Rechtspflege zu gewähren und seinen Rechtsvertreter als unentgeltlichen Rechtsbeistand zu bezeichnen. Für das vorliegende Verfahren stellt er analoge Anträge. Das Bundesgericht hat weder Vernehmlassungen noch die Akten eingeholt.
2.
2.1. Der vor einem Sachurteil ergangene Entscheid über ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung bildet einen Zwischenentscheid; der Rechtsmittelentscheid darüber ebenfalls. Die Beschwerde ist gestützt auf Art. 117 i.V.m. <ref-law> möglich: Es liegt ein nicht wieder gutzumachender Nachteil vor, da die kantonalen Behörden die Anhandnahme des Rechtsmittels von der Bezahlung eines Kostenvorschusses abhängig machen. Weil der Beschwerdeführer keinen Rechtsanspruch auf die beantragte Ermessensbewilligung hat, ist nach dem Grundsatz der Einheit des Verfahrens die Beschwerde in öffentlich-rechtlichen Angelegenheiten ausgeschlossen (<ref-law>); die Eingabe ist als subsidiäre Verfassungsbeschwerde zu behandeln.
2.2. In Bezug auf Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>; <ref-ruling> E. 2.2; <ref-ruling> E. 2.5). Inwiefern die vorinstanzliche Beweiswürdigung und die Sachverhaltsfeststellung klarerweise unhaltbar sein sollen, muss in der Beschwerdeschrift detailliert aufgezeigt werden (<ref-ruling> E. 2.2; <ref-ruling> E. 1.3). Der Beschwerdeführer beanstandet das angefochtene Urteil weitgehend appellatorisch, d.h. er wiederholt seine Sicht der Dinge und stellt diese derjenigen der Vorinstanz gegenüber, ohne sich aber in gezielter Auseinandersetzung mit deren für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen in gedrängter Form sach- und verfassungsbezogen auseinanderzusetzen. Zur Beschwerdebegründung im bundesgerichtlichen Verfahren genügt dies nicht (LAURENT MERZ, in: Niggli/Uebersax/ Wiprächtiger/Kneubühler [Hrsg.], BSK BGG, 3. Aufl. 2018, N. 53 zu <ref-law>).
3.
3.1. Rechtsbegehren sind aussichtslos, wenn deren Gewinnaussichten zur Zeit der Verfahrenseinleitung betrachtet deutlich geringer sind als die Verlustgefahren. Entscheidend ist, ob auch eine nicht bedürftige Partei sich vernünftigerweise zu einem Prozess entschliessen würde (<ref-ruling> E. 7.1). Eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht auf Kosten des Gemeinwesens anstrengen können. Die Prozesschancen sind in vorläufiger und summarischer Prüfung des Prozessstoffes abzuschätzen. Ob ein Begehren aussichtslos erscheint, beurteilt sich aufgrund der Verhältnisse im Zeitpunkt der Gesuchstellung (<ref-ruling> E. 5). Soweit es zur Wahrung der Rechte der betroffenen Person erforderlich ist, besteht zudem ein Anspruch auf einen unentgeltlichen Rechtsbeistand (vgl. <ref-law>).
3.2.
3.2.1. Die Niederlassungsbewilligung des Beschwerdeführers ist rechtskräftig widerrufen worden, weil er angesichts seines strafbaren Verhaltens die hiesige Rechtsordnung nicht respektiert und aufgrund seiner Verschuldung seinen öffentlich- und privatrechtlichen Verpflichtungen mutwillig nicht nachgekommen ist. Auf diese Einschätzung kann im Verfahren um die Erteilung einer Härtefallbewilligung nicht zurückgekommen werden. Der Beschwerdeführer bringt keine Elemente vor, welche es ihm erlauben würden, erneut um die Erteilung einer Bewilligung zu ersuchen. Dass er trotz seiner rechtskräftigen Wegweisung das Land nicht verlassen hat, führt offenkundig nicht zu einem Aufenthaltsanspruch (Urteil 2C_271/2021 vom 12. April 2021 E. 2.2); sein entsprechendes Verhalten spricht in Bezug auf die beantragte Härtefallbewilligung gegen ihn, nachdem die Zumutbarkeit seiner Rückkehr bereits Gegenstand des Widerrufsentscheids gebildet hat. In der Sache selber wird der Beschwerdeführer wegen seines fehlenden Bewilligungsanspruchs keine Willkürrügen erheben können, die im Ergebnis zur Überprüfung des Sachentscheids führen (Urteil 2C_271/2021 vom 12. April 2021 E. 3.1; <ref-ruling> E. 2), was geeignet erscheint, die Erfolgsaussichten seines Gesuchs zu beeinträchtigen.
3.2.2. Die Vorinstanz hat die Praxis für das Vorliegen eines allgemeinen Härtefalls im Rahmen von <ref-law> - und insbesondere die dabei zu berücksichtigenden Elemente (vgl. <ref-law> [SR 142.201]) - zutreffend wiedergegeben. Sie ist davon ausgegangen, dass der Beschwerdeführer trotz seiner gesundheitlichen Probleme ("schizoaffektive Störung" oder "paranoide Schizophrenie") in seine Heimat zurückkehren könne, da der Kosovo über eine funktionierende medizinische Grundversorgung - auch für psychiatrische Fälle - verfüge. Der Beschwerdeführer legt nicht dar, inwiefern diese Annahme verfassungsrechtlich unhaltbar sein soll. Er hat selber erklärt, im Kosovo einen Psychiater zu haben, mit dem er albanisch sprechen könne und der ihm bereits geholfen habe. Gemäss Einschätzung des Psychiaters Dr. med. K. Begle vom 24. August 2020 ist seine Reisefähigkeit nicht beeinträchtigt; es liege kein erheblich instabiler Zustand vor; dieser sei durch die Psychotherapie und die Medikation vielmehr in Remission. Der Beschwerdeführer kritisiert diese Annahme rein appellatorisch; es ist auf seine diesbezüglichen Vorbringen nicht weiter einzugehen.
3.2.3. Der Beschwerdeführer stellt zwar in Abrede, selbstverschuldet nicht gearbeitet und sich mutwillig verschuldet zu haben; er legt indessen wiederum nicht verfassungsbezogen dar, inwiefern die abweichende Annahme der Vorinstanz offensichtlich unhaltbar wäre. Der Beschwerdeführer ist wegen Tätlichkeit, Hehlerei und Diebstahls verurteilt worden; er hat seit 2008 Sozialhilfeschulden von gegen Fr. 200'000.-- angehäuft; zudem bestehen beträchtliche Alimentenschulden gegenüber den Kindern und der ehemaligen Gattin. Der Beschwerdeführer bestreitet nicht, dass er seit zehn Jahren keinen Kontakt zu seinen beiden Kindern mehr gehabt hat; die Schlussfolgerung der Vorinstanz, die Beziehung könne deshalb über die heutigen Kommunikationsmittel bzw. über Kurzaufenthalte auch vom Kosovo aus gelebt werden, stellt er nicht rechtsgenügend begründet infrage.
3.3. Dasselbe gilt bezüglich seiner Rückkehrmöglichkeiten in den Kosovo: Inwiefern die Annahme offensichtlich unhaltbar sein soll, dass dem Beschwerdeführer die Rückkehr in die Heimat zuzumuten sei, legt er nicht dar. Der Beschwerdeführer ist regelmässig jedes Jahr für mehrere Wochen in den Kosovo zurückgekehrt. Auch wenn sein Bruder verstorben ist, leben dort noch drei Geschwister, diverse Nichten und Neffen, seine Partnerin und ein weiteres Kind (geb. 2011). Der Beschwerdeführer tut auch diesbezüglich nicht dar, inwiefern gestützt hierauf die Annahme der Vorinstanz, dass er über ein funktionierendes Beziehungsnetz verfüge, offensichtlich unhaltbar wäre.
4.
4.1. Wenn das Verwaltungsgericht St. Gallen davon ausgegangen ist, dass das Gesuch um unentgeltlicher Rechtspflege und Verbeiständung wegen Aussichtslosigkeit der Begehren abzuweisen sei, ist dies nicht zu beanstanden. Die vorliegende Beschwerde ist unter ergänzendem Verweis auf die zutreffenden Ausführungen im angefochtenen Entscheid im Verfahren nach <ref-law> abzuweisen.
4.2. Ausgangsgemäss sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Sein Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist wegen Aussichtslosigkeit der Begehren abzuweisen (Art. 64 Abs. 1 und 2 BGG e contrario).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten sowie dem Verwaltungsgericht des Kantons St. Gallen, Abteilung II, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 5. Mai 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Hugi Yar