Erwägungen:
1. 1.1 Der aus Serbien bzw. aus dem Kosovo stammende X._ (geb. 1953) reiste 1991 in die Schweiz ein. Im darauf folgenden Jahr wechselte er vom Kanton Zürich in den Kanton Basel-Stadt, wo ihm eine Aufenthaltsbewilligung erteilt wurde. Im gleichen Jahr zogen seine Ehefrau (geb. 1957), ein Sohn und eine Tochter (geb. 1974 und 1985) nach. Diese Familienangehörigen verfügen heute je über eine Niederlassungsbewilligung, während X._ eine solche wegen Schulden, die er angehäuft hatte, verweigert wurde. Am 13. Juni 2008 lehnte das basel-städtische Migrationsamt schliesslich auch die Verlängerung der Aufenthaltsbewilligung von X._ ab und wies ihn weg. Zur Begründung wurde im Wesentlichen angeführt, seine finanziellen Schulden seien trotz mehrfacher Verwarnungen und Androhungen von fremdenpolizeilichen Massnahmen weiter angewachsen. Er sei inzwischen im Register mit Betreibungen in Höhe von Fr. 99'730.-- und Verlustscheinen über Fr. 225'341.-- verzeichnet. Die dagegen im Kanton erhobenen Rechtsmittel wurden vom Justiz- und Sicherheitsdepartement sowie anschliessend - nach Übermittlung durch den Regierungsrat - vom Appellationsgericht abgewiesen.
1.2 Mit als Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde bezeichneter Eingabe vom 12. Mai 2011 beantragt X._ dem Bundesgericht, das im Kanton zuletzt ergangene Urteil vom 17. März 2011 "zur Neuverhandlung an das Appellationsgericht Basel-Stadt im Sinne der Begründung zurückzuweisen". Eventualiter sei dieses Urteil und die Verfügung des Migrationsamts vom 13. Juni 2008 vollumfänglich aufzuheben und dem Beschwerdeführer die Aufenthaltsbewilligung zu verlängern, "evtl. unter der Auflage, für die Abzahlung von Schulden durch eine vom Gericht zu bestimmende Stelle (Schuldenberatung, Treuhand, Dritte) anhand seiner jeweiligen geschäftlichen Einnahmen Rückzahlungen zu veranlassen". Für den Fall, dass die Sache nicht an das Appellationsgericht zurückgewiesen werde, stellt X._ "Beweisantrag für alle in der Begründung nachfolgend erwähnten Fakten, Antrag auf eine mündliche Verhandlung und Antrag auf einen zweiten Schriftenwechsel."
Das kantonale Migrationsamt hat sich nicht vernehmen lassen. Das Appellationsgericht hat sich geäussert, stellt aber keinen Antrag. Das kantonale Justiz- und Sicherheitsdepartement beantragt, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Das Bundesamt für Migration ersucht um Abweisung der Beschwerde. Innert der eingeräumten Frist hat X._ dem Bundesgericht unter dem 4. Oktober 2011 Bemerkungen zukommen lassen.
1.3 Mit Verfügung vom 18. Mai 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde hinsichtlich der Ausreiseverpflichtung die aufschiebende Wirkung zuerkannt.
2. Der Beschwerdeführer macht vor Bundesgericht erstmals geltend, es sei entgegen der Ansicht der Vorinstanz und des kantonalen Justiz- und Sicherheitsdepartements ausschliesslich das am 1. Januar 2008 in Kraft getretene Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) anwendbar und nicht das seither aufgehobene Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121 und Änderungen gemäss der Fussnote zur Ziff. I des Anhangs 2 zum AuG). Damit irrt er sich. Die erwähnten Vorinstanzen haben in materieller Hinsicht zu Recht entsprechend Art. 126 Abs. 1 AuG noch auf das ANAG abgestellt, da das Verfahren, das zur Nichterneuerung der Bewilligung führte, noch im Jahr 2007 eingeleitet wurde. Damals ersuchte der Beschwerdeführer um die Verlängerung seiner in jenem Jahr ablaufenden Bewilligung und das kantonale Migrationsamt teilte ihm im April 2007 mit, dass es erwäge, dem nicht stattzugeben. Entgegen der Ansicht des Beschwerdeführers ändert daran nichts, dass das kantonale Migrationsamt ein kurz vor Erlass seiner Verfügung eingereichtes Beweismittel nicht berücksichtigt hatte und dieser Mangel erst im anschliessenden Rechtsmittelverfahren geheilt wurde.
3. Gemäss Art. 17 Abs. 2 ANAG (AS 1991 1034 1043) hat der Ehepartner eines Ausländers mit Niederlassungsbewilligung grundsätzlich Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung. Dementsprechend ist vorliegend mit Blick auf Art. 83 lit. c Ziff. 2 und 113 BGG die Beschwerde in öffentlich-rechtlichen Angelegenheiten und nicht die subsidiäre Verfassungsbeschwerde zulässig. Wegen des Devolutiveffekts ist der Antrag auf Aufhebung auch der Verfügung des Migrationsamtes vom 13. Juni 2008 bei keiner der Beschwerdearten statthaft (BGE 134 II 142 E. 1.4 S. 144).
4. Der Beschwerdeführer rügt, das Appellationsgericht habe vom kantonalen Justiz- und Sicherheitsdepartement keine Rekursantwort eingeholt. Dadurch werde sein Anspruch auf rechtliches Gehör verletzt. Er wisse nicht, was das Departement geltend gemacht hätte. Zudem habe er selber auch nicht mehr die Gelegenheit erhalten, dazu - schriftlich oder in einer mündlichen Verhandlung - Stellung zu nehmen. Die Ausländerbehörden hätten zudem die Pflicht, auch Tatsachen und rechtliche Überlegungen in einer Rekursantwort einzubringen, die sich für ihn günstig auswirken können.
Es fragt sich, ob und inwieweit aus dem Anspruch auf rechtliches Gehör nach Art. 29 Abs. 2 BV überhaupt eine Pflicht des Gerichts besteht, Vernehmlassungen bei den Vorinstanzen einzuholen. Das kantonale Departement hatte sich bereits durch seinen ausführlich begründeten Rechtsmittelentscheid vom 27. April 2010 geäussert, gegen den der Beschwerdeführer anschliessend an den Regierungsrat bzw. an das Appellationsgericht gelangte. Dadurch hatte das Departement der aus dem Anspruch auf rechtliches Gehör abgeleiteten Begründungspflicht entsprochen (s. dazu BGE 136 V 351 E. 4.2 S. 355; 133 III 439 E. 3.3 S. 445; je mit Hinweisen). Der Beschwerdeführer hatte in der Folge die Möglichkeit, dessen Entscheid sachgerecht anzufechten. Er konnte sich jedoch nicht darauf verlassen, eine vertiefte oder zusätzliche Begründung seines Rechtsmittels erst nach Einholung einer Rekursantwort zu formulieren. Dass die Vorinstanz durch ihre Vorgehensweise gegen eine ständige Praxis verstossen oder kantonales Verfahrensrecht willkürlich angewendet hätte, behauptet der Beschwerdeführer denn auch nicht. Es entspricht zudem einem allgemeinen Prozessgrundsatz, nicht mehr als notwendig prozessualen Aufwand und Verfahrensweiterungen zu betreiben, weshalb allenfalls auf die Einholung von Vernehmlassungen verzichtet werden kann. Das gilt gemäss Art. 102 Abs. 1 BGG namentlich im bundesgerichtlichen Verfahren (vgl. Meyer/Dormann, in Basler Kommentar zum Bundesgerichtsgesetz, 2. Aufl. 2011, N. 5 zu Art. 102 BGG).
Der Beschwerdeführer macht im Übrigen weder geltend noch legt er substanziiert dar (vgl. Art. 42 Abs. 2 und 106 Abs. 2 BGG), er habe - in zulässiger Weise (dazu BGE 135 II 369 E. 3.3 S. 374) - neue rechtserhebliche Tatsachen oder Beweismittel im Verfahren beim Appellationsgericht vorgebracht, zu denen sich das kantonale Departement nicht äussern konnte. Er bestreitet ausserdem auch nicht, dass dem Departement seine Eingaben zugestellt worden waren, so dass dieses - wie die Vorinstanz bemerkt - die Gutheissung des Rekurses hätte beantragen oder seinen Entscheid in Wiedererwägung ziehen können.
Aus dem Dargelegten ergab sich somit aus Art. 29 Abs. 2 BV keine Pflicht der Vorinstanz, eine Rekursantwort des kantonalen Departements einzuholen und dem Beschwerdeführer anschliessend nochmals schriftlich oder im Rahmen einer mündlichen Verhandlung die Gelegenheit zur Äusserung zu geben.
5. 5.1 Der Anspruch auf Verlängerung der Aufenthaltsbewilligung nach Art. 17 Abs. 2 ANAG erlischt, wenn der Anspruchsberechtigte gegen die öffentliche Ordnung verstossen hat (Art. 17 Abs. 2 letzter Satz ANAG). Die Voraussetzungen für ein Erlöschen des Anspruchs sind weniger streng als bei ausländischen Ehegatten eines Schweizer Bürgers, wo ein Ausweisungsgrund im Sinne von Art. 10 ANAG (AS 1949 I 221 227) vorliegen muss. Weil bereits geringere öffentliche Interessen für ein Erlöschen des Anspruches genügen, sind im Rahmen der vorzunehmenden Verhältnismässigkeitsprüfung auch die privaten Interessen der betroffenen Personen weniger stark zu werten als bei einer Ausweisung (vgl. BGE 120 Ib 129 E. 4 S. 130 f.; 122 II 385 E. 3a S. 390). Die Vorinstanzen sind der Auffassung, der Beschwerdeführer erfülle sogar den Ausweisungsgrund des Art. 10 Abs. 1 lit. b ANAG, wonach ein Ausländer ausgewiesen werden kann, wenn sein Verhalten im Allgemeinen und seine Handlungen darauf schliessen lassen, dass er nicht gewillt oder fähig ist, sich in die im Gaststaat geltende Ordnung einzufügen. Das wird unter anderem angenommen bei fortgesetzter böswilliger oder liederlicher Nichterfüllung der öffentlich- oder privatrechtlichen Verpflichtungen (vgl. Art. 16 Abs. 2 lin. 3 der Vollziehungsverordnung vom 1. März 1949 zum ANAG [AS 1949 I 228]).
5.2 Der Beschwerdeführer macht eine Verletzung von Art. 5 Abs. 2, 9, 13 bzw. 14 und 27 BV sowie von Art. 8 EMRK geltend. Die Nichterneuerung der Aufenthaltsbewilligung sei unverhältnismässig. Die Feststellungen bzw. Schlussfolgerungen der Vorinstanz zu seinem Verhalten und seinen Verhältnissen seien willkürlich. Sein Vorbringen genügt jedoch nicht den Begründungsanforderungen nach Art. 42 Abs. 2, 97 Abs. 1 und 106 Abs. 2 BGG (vgl. BGE 134 II 244). Es erschöpft sich in appellatorischer Kritik zu einzelnen Punkten und geht nicht auf entscheidende Fragen ein. Der Beschwerdeführer äussert sich nicht zum Vorwurf, er habe über Jahre mehrfache Verwarnungen bzw. Androhungen von Entfernungsmassnahmen unbeachtet gelassen und habe auch nach Einleitung des hier interessierenden Verfahrens im Frühjahr 2007 weitere Schulden von rund Fr. 200'000.-- angehäuft. Inzwischen beträgt gemäss den Feststellungen der Vorinstanz der "Schuldenberg" über Fr. 470'000.--. Dessen Abbau sei nicht absehbar. Insoweit erscheint das nicht weiter substanziierte Vorbringen des Beschwerdeführers denn auch als unbehelflich, wonach ihm eine positive Prognose zu stellen sei, weil er beruflich als Selbständiger nur noch das unternehme, was er "am Besten" könne. Laut Vorinstanz betrug der monatliche Verdienst - ohne Tilgungszahlungen - im ersten Halbjahr 2010 gerade einmal Fr. 1'700.--.
Deshalb ist die Befürchtung der Vorinstanz gerechtfertigt, der Beschwerdeführer werde über kurz oder lang weitere Schulden anhäufen, anstatt sie innert absehbarer Zeit zu reduzieren. Ebenso wenig ist ihr Schluss zu beanstanden, das Finanzgebaren des Beschwerdeführers sei nur noch als liederlich und mutwillig zu bezeichnen. Unter anderem gab dieser wiederholt keine Steuererklärungen ab, zahlte namentlich keine Steuern sowie Versicherungsbeiträge. Auch leitete er von den Löhnen seiner Arbeitnehmer einbehaltene AHV-Beiträge nicht an die zuständige Kasse weiter, sondern verwendete sie anderweitig, weswegen er strafrechtlich belangt wurde.
5.3 Ergänzend wird auf die Ausführungen und Rechtsprechungshinweise der Vorinstanz und deren zutreffend durchgeführte Interessenabwägung verwiesen. Demzufolge erweist sich der Entscheid, die Aufenthaltsbewilligung nicht zu verlängern, als bundesrechtmässig. Dem Beschwerdeführer wurde genügend Gelegenheit geboten, sein Verhalten grundlegend zu ändern, weshalb ihm keine weitere einzuräumen ist. Daran ändert nichts, dass er erstmals im Herbst 2008 eine Schuldenberatung aufsuchte. Wie ausgeführt, stiegen sogar während des laufenden Verfahrens die Schulden drastisch an.
6. 6.1 Nach dem Dargelegten erweist sich die Beschwerde als offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 BGG mit summarischer Begründung behandelt werden kann. Als unzulässig bzw. unbehelflich sind die nicht näher bezeichneten Beweisanträge sowie der Antrag auf Durchführung einer mündlichen Verhandlung zurückzuweisen. Der Beschwerdeführer legt nicht dar, inwiefern die Voraussetzungen für die Abnahme dieser Anträge erfüllt wären (vgl. Art. 57 und 99 Abs. 1 BGG; BGE 133 III 393 E. 3 S. 395; Urteile 2C_9/2010 vom 12. April 2010 E. 1 und 2C_844/2009 vom 22. Dezember 2010 E. 3.2.3; je mit Hinweisen).
6.2 Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Zwar hat er gleichzeitig mit Beschwerdeerhebung unentgeltliche Rechtspflege beantragt. Dieses Gesuch ist bzw. wäre jedoch bereits wegen Aussichtslosigkeit des Rechtsbegehrens abzuweisen (Art. 64 Abs. 1 BGG). Zudem hat er trotz Aufforderung des Bundesgerichts unter anderem keine Nachweise zu seinen durchschnittlichen monatlichen Einkünften vorgelegt und stattdessen den angeforderten Kostenvorschuss geleistet, was als Rücknahme des Gesuchs um unentgeltliche Rechtspflege verstanden werden könnte. Schliesslich sind auch keine Parteientschädigungen zuzusprechen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Prozessführung und Verbeiständung wird abgewiesen, soweit dieses nicht zurückgezogen wurde.
3. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 5. Dezember 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Merz