Sachverhalt:
A. X._, geboren 1980, ist Staatsangehöriger der Republik Serbien und gehört der Volksgruppe der Roma an. Vom fünfzehnten bis zum zwanzigsten Altersjahr hielt er sich in Deutschland auf, während er zuvor und hernach in seiner Heimat lebte. Am 31. Januar 2006 reiste er zusammen mit seiner Lebensgefährtin, einer Bosnierin, und dem gemeinsamen Sohn, geboren 2004, in die Schweiz ein. Seine Lebensgefährtin und er hatten in der Heimat nach dem Brauch der Roma geheiratet. Hierüber bestehen keine amtliche Unterlagen. Alle drei stellten in der Schweiz ein Asylgesuch. Während der Lebensgefährtin und dem Sohn Asyl gewährt wurde, wies das Bundesverwaltungsgericht den Antrag X._s mit Urteil D-1465/2008 vom 12. November 2009 letztinstanzlich ab.
B. Am 26. Juli 2007 heiratete X._ eine österreichische Staatsangehörige, geboren 1989, die in der Schweiz im Besitz der Aufenthaltsbewilligung EU/EFTA ist. In der Folge erteilte ihm der Kanton Solothurn zum Verbleib bei seiner Ehefrau ebenso eine Aufenthaltsbewilligung EU/EFTA. Seit dem 30. Juni 2009 leben die Eheleute nicht mehr in gemeinsamem Haushalt. Seinem Sohn gegenüber verfügt X._ über ein informelles Besuchsrecht, das er wahrnimmt, wogegen er keine Unterhaltsbeiträge entrichtet. Er hat Schulden von rund 65'000 Franken und wurde dreimal bestraft, u. a. wegen einfacher Körperverletzung zu einer Geldstrafe von zehn Tagessätzen zu je 40 Franken.
C. Das Departement des Innern des Kantons Solothurn hielt mit Verfügung vom 7. Dezember 2011 fest, die Aufenthaltsbewilligung werde nicht verlängert und X._ werde aus der Schweiz weggewiesen. Das mit Beschwerde vom 19. Dezember 2011 angerufene Verwaltungsgericht des Kantons Solothurn bestätigte mit Urteil vom 30. April 2012 die Nichtverlängerung der Aufenthaltsbewilligung und setzte X._ Frist zum Verlassen der Schweiz bis zum 31. Juli 2012.
D. Mit Eingabe vom 4. Juni 2012 gelangt X._ an das Bundesgericht. In seiner "Verwaltungsgerichtsbeschwerde" (recte: Beschwerde in öffentlich-rechtlichen Angelegenheiten) lässt er in der Hauptsache beantragen, das angefochtene Urteil vom 30. April 2012 sei aufzuheben und die Aufenthaltsbewilligung sei zu verlängern. Eventualiter beantragt er die Anordnung der vorläufigen Aufnahme. In verfahrensrechtlicher Hinsicht stellt er die Gesuche um Fristansetzung zur weiteren Begründung der gestellten Anträge, Zuerkennung der aufschiebenden Wirkung, Sistierung etwaiger Wegweisungsmassnahmen und Erteilung des Rechts zur unentgeltlichen Prozessführung.
Am 23. Juli 2012 reichte X._ (hiernach: der Beschwerdeführer) eine Ergänzung zu seiner Beschwerde vom 4. Juni 2012 nach.
Das Verwaltungsgericht des Kantons Solothurn und das Departement des Innern des Kantons Solothurn beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Bundesamt für Migration auf Abweisung der Beschwerde schliesst.
Mit Verfügung vom 11. Juni 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. Über die Gesuche um Fristansetzung zur Begründung der gestellten Anträge, Sistierung des Wegweisungsverfahrens und Erteilung des Rechts zur unentgeltlichen Rechtspflege (Prozessführung und Verbeiständung) ist mit der vorliegenden Beschwerde zu entscheiden.

Erwägungen:
1. 1.1 Die Beschwerde richtet sich gegen den (End-)Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist an sich gegeben (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 BGG i.V.m. Art. 112 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer [AuG; SR 142.20]). Von diesem Grundsatz bestehen im Bereich des Ausländerrechts verschiedene Ausnahmen. Die Beschwerde ist namentlich unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch verleiht (<ref-law>).
1.2 Für das Eintreten auf die Sache genügt es in einem solchen Fall, dass die beschwerdeführende ausländische Person durch einen Verwaltungsakt in ihrer Eigenschaft als möglicher Träger des angerufenen Rechtsanspruchs auf Erteilung bzw. Verlängerung der Aufenthaltsbewilligung berührt ist (Urteil 2C_993/2011 vom 10. Juli 2012 E. 1, nicht publ. in: <ref-ruling>; <ref-ruling> E. 2.5 S. 315; <ref-ruling> E. 1.1 S. 179 f.; <ref-ruling> E. 3.3 S. 500 f.). Der behauptete Anspruch ist dabei in vertretbarer Weise geltend zu machen bzw. zu substantiieren (Urteile 2C_821/2011 vom 22. Juni 2012 E. 1, nicht publ. in: <ref-ruling>; 2C_459/2011 vom 26. April 2012 E. 1.1, nicht publ. in: <ref-ruling>; generell zur Geltendmachung von Ansprüchen, die sich aus der EMRK ergeben: <ref-ruling> E. 2.5 S. 315 f.). Zudem muss der potentielle Rechtsanspruch ernsthaft in Betracht fallen (Urteil 2C_382/2012 vom 7. Dezember 2012 E. 1.2 mit Hinweisen). Ob die (weiteren) Bewilligungsvoraussetzungen gegeben sind, ist dann eine Frage der materiellen Beurteilung (<ref-ruling> E. 1.3 S. 287; <ref-ruling> E. 2.5 S. 315; <ref-ruling> E. 1.1 S. 179).
1.3 Der Beschwerdeführer beruft sich hauptsächlich auf Art. 30 Abs. 1 lit. b AuG (allgemeiner Härtefall), Art. 50 Abs. 1 lit. b AuG (nachehelicher Härtefall) und Art. 8 Ziff. 1 EMRK (unter dem Aspekt des Rechts auf Achtung des Familienlebens; <ref-ruling> E. 2.1 S. 155; <ref-ruling> E. 3.2.2 S. 287). Er begründet dies im Wesentlichen mit der gelebten Beziehung zu seinem Sohn, ohne sich näher zur formell noch bestehenden Ehe mit der österreichischen Staatsangehörigen auszusprechen. Dementsprechend macht er von vornherein keinen Anspruch aus dem Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten anderseits über die Freizügigkeit (FZA; SR 0.142.112.681) geltend.
Der Beschwerdeführer liefert für seine Anträge eine knappe Begründung, die sich in recht allgemein gehaltener Weise mit dem angefochtenen Urteil auseinandersetzt. Ob er auf diese Weise seinen Begründungspflichten (<ref-law>) hinreichend nachkommt, kann letztlich offenbleiben, erweist sich die Beschwerde in der Sache selbst doch als unbegründet. Insoweit kann auf die Beschwerde - unter Vorbehalt des Nachfolgenden - eingetreten werden.
1.4 Bei Art. 30 Abs. 1 lit. b AuG (Härtefall) geht es um eine Ermessensbewilligung (<ref-ruling> E. 3.2.1 S. 348). Sie kann vom Kanton erteilt werden (Art. 96 AuG) und bedarf der Zustimmung des Bundesamts für Migration. Nach Art. 83 lit. c Ziff. 2 (fehlender Rechtsanspruch) und <ref-law> (Abweichungen von den Zulassungsvoraussetzungen) ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten hier ausgeschlossen (Urteil 2C_803/2010 vom 14. Juni 2011 E. 3).
1.5 Auch in Bezug auf einen allfälligen Anspruch nach Art. 50 AuG ist auf die Beschwerde nicht einzutreten: Der Beschwerdeführer ersucht zwar im Rechtsbegehren um eine Verlängerung der Bewilligung, u. a. gestützt auf Art. 50 Abs. 1 lit. b bzw. Abs. 2 AuG. Allerdings macht er in der Begründung mit keinem Wort geltend, worin die wichtigen persönlichen Gründe liegen sollen bzw. inwiefern die Erwägungen der Vorinstanz zu Art. 50 AuG unzutreffend sein sollen. Der Anspruch ist damit nicht substantiiert dargetan (E. 1.2 hiervor).
1.6 Eventualiter verlangt der Beschwerdeführer erstmals vor Bundesgericht die Anordnung der vorläufigen Aufnahme. Selbst bei hinreichender Begründung könnte auf den Antrag nicht eingetreten werden. Zum einen dürfen nach dem Prinzip der verpönten Ausweitung des Streitgegenstandes vor Bundesgericht keine Anträge gestellt werden, die nicht bereits vor der Vorinstanz erhoben worden sind (<ref-law>; <ref-ruling> E. 2 S. 121). Zum andern ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auch in Bezug auf die vorläufige Aufnahme unzulässig (<ref-law>; Urteil 2C_769/2012 vom 22. Oktober 2012 E. 1.5).
1.7 Der Beschwerdeführer gelangt zunächst mit Eingabe vom 4. Juni 2012 (Beschwerde), sodann erneut und unaufgefordert am 23. Juli 2012 (Beschwerdeergänzung) an das Bundesgericht. Die Begründung muss in der Beschwerdeschrift selber enthalten sein (<ref-law>). Sie muss nach <ref-law> spätestens am letzten Tag der Frist beim Bundesgericht eingereicht oder zu dessen Handen der Schweizerischen Post oder einer schweizerischen diplomatischen oder konsularischen Vertretung übergeben worden sein. Die gut eineinhalb Monate nach Ablauf der gesetzlichen Frist nachgereichten Ausführungen sind klarerweise verspätet erfolgt. Die Voraussetzungen für eine ergänzende Beschwerdeschrift (<ref-law>) sind nicht gegeben.
Die Eingabe vom 23. Juli 2012 muss damit unberücksichtigt bleiben. Zudem enthält sie auch Sachverhaltselemente, die erstmals vor Bundesgericht geltend gemacht werden. Dies gilt namentlich für die Quittung vom 20. Juni 2012 und der Auszug vom 9. Juli 2012 aus dem Betreibungsregister. Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling> E. 3.1 S. 170, 138 II 217 E. 2.2 f. S. 220; <ref-ruling> E. 3.2 f. S. 364 f.). Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder erst danach entstanden sind ("echte" Noven), können nicht durch das weitergezogene Urteil veranlasst worden sein. Sie sind somit im bundesgerichtlichen Verfahren in jedem Fall unzulässig (<ref-ruling> E. 5.2.4 S. 229; <ref-ruling> E. 5.1.3 S. 103; <ref-ruling> E. 2.1 S. 343 f.).
1.8 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde vorgebrachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann die Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (Motivsubstitution; <ref-ruling> E. 2.2 S. 540; <ref-ruling> E. 3 S. 386; <ref-ruling> E. 2.2. S. 550).
Trotz der Rechtsanwendung von Amtes wegen prüft das Bundesgericht, unter Berücksichtigung der Begründungspflicht der Beschwerde (<ref-law>), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2.2.1 S. 389; <ref-ruling> E. 1.1 S. 104; <ref-ruling> E. 1.4.1 S. 254). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht untersucht es in jedem Fall nur, soweit eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.9 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die tatsächlichen Feststellungen der Vorinstanz können nur berichtigt werden, sofern sie entweder offensichtlich unrichtig, d. h. willkürlich ermittelt worden sind (<ref-law>; <ref-ruling> E. 5.1 S. 356; zum Willkürbegriff: <ref-ruling> E. 7.1 S. 51; <ref-ruling> E. 2.4 S. 5) oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>). Zudem hat die beschwerdeführende Partei aufzuzeigen, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 4.2 S. 234).
2. 2.1 Der Beschwerdeführer bemängelt vorab die tatsächlichen Feststellungen der Vorinstanz. Er bestreitet das Vorliegen einer Scheinehe und hält dazu fest, den anonymen Denunziationen lägen unbewiesene Behauptungen zugrunde. Die Vorinstanz habe zudem übersehen, dass er im Altmetallhandel tätig sei, wozu er einen Lieferwagen verwende, der "restlos bezahlt" sei. Bei Ausübung seiner selbständigen Erwerbstätigkeit habe er sich stets gesetzestreu verhalten. Er trage zum Unterhalt seines Sohnes bei, "wenn es (...) möglich" sei. Zudem habe er begonnen, seine Schulden abzubezahlen und engagiere sich in einem Verein, der sich für die Anliegen der Volksgruppe der Roma einsetze.
2.2 Die gerichtliche Beweiswürdigung, selbst wenn sie auf Indizien beruht, und die sich daraus ergebenden tatsächlichen Schlussfolgerungen sind Tatfragen (<ref-ruling> E. 6.1 S. 485; <ref-ruling> E. 3.2 S. 507; <ref-ruling> E. 3.3 S. 399; zum Ganzen Urteil 2C_92/2012 vom 17. August 2012 E. 4.3, in: StR 67/2012 S. 828). Soweit der Beschwerdeführer unter diesem Titel nicht unzulässige Noven in den Prozess einführt und überhaupt Tatfragen aufwirft, kommt er seiner qualifizierten Begründungspflicht nicht nach (<ref-law>). Die Rügen wären klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen gewesen (<ref-ruling> E. 2.8 S. 494; Urteil 2C_72/2012 vom 7. Dezember 2012 E. 2.1 mit Hinweisen). Die Kritik des Beschwerdeführers an den tatsächlichen Feststellungen der Vorinstanz ist freilich rein appellatorisch ausgefallen und muss für das Bundesgericht unbeachtlich bleiben. Immerhin ist darauf hinzuweisen, dass es die Vorinstanz mit der Feststellung bewenden lassen konnte, die eheliche Gemeinschaft bestehe nicht mehr. Auf die Frage der Scheinehe musste sie unter diesen Umständen gar nicht eingehen. Die Ausübung einer selbständigen Erwerbstätigkeit und die Mitwirkung in einer Roma-Vereinigung - soweit sie überhaupt vor der Vorinstanz behauptet worden sein sollten - mussten im angefochtenen Entscheid nicht Niederschlag finden, da sie nicht rechtserheblich sind.
Auch in Bezug auf die Unterhaltszahlungen legt der Beschwerdeführer nicht dar, inwiefern die vorinstanzlichen Feststellungen offensichtlich unrichtig sein sollen. Dem Anspruch auf rechtliches Gehör (<ref-law>) lässt sich keine allgemeine Pflicht der Behörde zur Abnahme aller angebotenen Beweise und zur Würdigung sämtlicher Argumente entnehmen. Die Abweisung eines Beweisantrags bleibt jedenfalls zulässig, soweit das Gericht sich seine Meinung aufgrund zuvor erhobener Beweise bilden konnte und es ohne Willkür in vorweggenommener, antizipierter Beweiswürdigung annehmen darf, die gewonnene Überzeugung werde durch weitere Beweiserhebungen nicht erschüttert (<ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 3 S. 157).
2.3 Die tatsächlichen Rügen erweisen sich als unbegründet: Weder stellen sich die Sachverhaltsfeststellungen der Vorinstanz als offensichtlich unrichtig im Sinne von <ref-law> dar noch beruhen sie auf einer Rechtsverletzung gemäss <ref-law>.
3. 3.1 Der Beschwerdeführer ersucht um Verlängerung seiner Aufenthaltsbewilligung. Zu prüfen bleibt der Anspruch auf Achtung des Familienlebens (Art. 8 Ziff. 1 EMRK).
3.2 Unter den Schutzbereich des Anspruchs auf Achtung des Familienlebens im Sinne von Art. 8 Ziff. 1 EMRK fällt ein ausländischer Elternteil, falls er sich auf eine intakte Beziehung zu seinem Kind in der Schweiz berufen kann. Dies gilt selbst, wenn er weder sorge- noch obhutsberechtigt ist (<ref-law>; <ref-ruling> E. 1d S. 3 f.), doch wird vorausgesetzt, dass das in der Schweiz lebende Kind über ein gefestigtes Anwesenheitsrecht verfügt (<ref-ruling> E. 1.3.1 S. 145 f.; <ref-ruling> E. 3.1 S. 285 mit Hinweisen).
Zur Ausübung des Besuchsrechts ist nicht zwingend erforderlich, dass der ausländische Elternteil und das Kind sich dauerhaft im selben Staat aufhalten. Die Erteilung des Anwesenheitsrechts stellt insofern für die Wahrnehmung des Besuchsrechts keine Notwendigkeit dar. Ein Anspruch des besuchsrechtsberechtigten ausländischen Elternteils auf Erteilung einer Aufenthaltsbewilligung ist bloss anzunehmen, wenn zwischen ihm und seinem hier lebenden Kind in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung herrscht (positives Anspruchselement). Für den Fall, dass die Bewilligung nicht erteilt oder verlängert wird, darf sich die Beziehung wegen der Entfernung zum Staat, in welchen der ausländische Elternteil vermutlich auszureisen hätte, kaum aufrechterhalten lassen. Vom ausländischen Elternteil ist überdies zu verlangen, dass er sich in der Schweiz tadellos verhalten hat ("comportement irréprochable" bzw. "comportamento irreprensibile" als negatives Anspruchselement; so schon <ref-ruling> E. 3c S. 5; <ref-ruling> E. 4a/b S. 25 f. im Anschluss an das Urteil des EGMR Berrehab gegen Niederlande vom 21. Juni 1988 [10730/84]; Urteil 2C_382/2012 vom 7. Dezember 2012 E. 2.3).
3.3 Allerdings begründet Art. 8 Ziff. 1 EMRK kein absolutes Recht auf Aufenthalt in einem Konventionsstaat, sodass dieser verpflichtet wäre, ausländischen Personen die Einreise, die Erteilung oder Verlängerung der Aufenthaltsbewilligung vorbehaltlos zu gewähren (<ref-ruling> E. 4.1 S. 249; Urteil des EGMR Gezginci gegen Schweiz vom 9. Dezember 2010 [16327/05], § 54 ff.). Vielmehr lässt Art. 8 Ziff. 2 EMRK unter Vorbehalt einer umfassenden Abwägung aller öffentlichen und privaten Interessen durchaus Eingriffe in den Anspruch auf Achtung des Familienlebens zu (<ref-ruling> E. 2.1 S. 147; <ref-ruling> E. 2 S. 6; <ref-ruling> E. 4a S. 24 f.). Entsprechendes gilt mit Blick auf Art. 13 Abs. 1 in Verbindung mit <ref-law>. Das Verfassungsrecht verleiht keine weitergehenden Ansprüche (Urteil 2C_382/2012 vom 7. Dezember 2012 E. 2.2; <ref-ruling> E. 4.2 S. 218 f.; <ref-ruling> E. 4c/bb S. 433).
3.4 Bei Vorliegen einer derart umschriebenen besonders engen Beziehung und tadellosem Verhalten des besuchsberechtigten ausländischen Elternteils kann das private Interesse am Verbleib im Land ausnahmsweise das öffentliche Interesse an einer einschränkenden nationalen Einwanderungspolitik überwiegen (<ref-ruling> E. 4.2.3 S. 251; Urteil des EGMR Rodrigues da Silva gegen Niederlande vom 31. Januar 2006 [50435/99], § 42 f., in: EuGRZ 33/2006 S. 562). Die Durchsetzung einer restriktiven Einwanderungspolitik stellt allerdings ein anerkanntes öffentliches Interesse an der Verweigerung einer auf Art. 8 Ziff. 1 EMRK beruhenden ausländerrechtlichen Bewilligung dar (<ref-ruling> E. 2.1 S. 288; <ref-ruling> E. 2.2 S. 147; <ref-ruling> E. 4b S. 5, 22 E. 4a S. 25). Handelt es sich um ausländische Personen, die nicht unter das FZA fallen, darf auch generalpräventiven Gesichtspunkten Rechnung getragen werden (Urteile 2C_372/2012 vom 7. Dezember 2012 E. 4.1; 2C_768/2011 vom 4. Mai 2012 E. 3; 2C_778/2011 vom 24. Februar 2012 E. 4.5).
3.5 Der Beschwerdeführer ist zwar nicht sorge-, wohl aber besuchsberechtigt. Die Vorinstanz stellte hierzu fest, dass der Beschwerdeführer von seinem Besuchsrecht tatsächlich Gebrauch mache und billigte ihm eine besonders enge affektive Beziehung zum Sohn zu. Demgegenüber verwarf sie das Vorliegen einer (auch) in wirtschaftlicher Hinsicht besonders engen Beziehung zum Knaben. Die Vorinstanz würdigt durchaus die "reale Unterstützung der Kindsmutter", die in Sachleistungen und Hilfestellungen besteht, erkennt aber auch, dass der Beschwerdeführer keine finanzielle Unterstützung an seinen Sohn leistet. Den Feststellungen zufolge belaufen sich die - wachsenden - Schulden auf rund 65'000 Franken.
3.6 Die rechtlichen Schlussfolgerungen der Vorinstanz entsprechen der ständigen Praxis des Bundesgerichts und des EGMR. Vorab ist festzuhalten, dass der Beschwerdeführer strafrechtlich nicht unbescholten ist. Ob er sich damit nicht "tadellos" verhalten habe, kann dahingestellt bleiben. So fehlt es es schon an der in wirtschaftlicher Hinsicht besonders engen Beziehung des Beschwerdeführers zu seinem Sohn. Der Beschwerdeführer trägt hierzu vor, die Vorinstanz verkenne die Tragweite von <ref-law> (Gegenstand und Umfang der Unterhaltspflicht der Eltern). Naturalleistungen seien ebenso zu berücksichtigen wie Geldleistungen. Der Lebensstandard der Eltern und die Bedürfnisse des Kindes bestimmten die Höhe des Kinderunterhalts.
Die Vorinstanz geht von nichts anderem aus. So rechnet sie dem Beschwerdeführer durchaus an, dass er mit einer gewissen Regelmässigkeit im Interesse der Kindsmutter und des Sohnes tätig wird. Die "reale Unterstützung" trage dazu bei, so die Vorinstanz, dass die ehemalige Lebensgefährtin "nicht dekompensiert" werde, was nicht nur in deren privatem, sondern auch im öffentlichen Interesse liege. Die Betreuung des Sohnes während der Besuchszeiten und die Vornahme von Einkäufen und Transportfahrten reichten allerdings "bei Weitem" nicht aus, um eine besonders enge wirtschaftliche Beziehung zu begründen. Der Beschwerdeführer habe keine Unterhaltsbeiträge bezahlt, obwohl er dazu verpflichtet gewesen wäre. Die finanziellen Verhältnisse des Sohnes würden sich daher durch die Wegweisung nicht verschlechtern.
Diese Einschätzung hält vor dem Landes- (namentlich <ref-law>) und Konventionsrecht (Art. 8 EMRK) stand. Die Feststellung der Vorinstanz, der Beschwerdeführer habe keine Unterhaltsbeiträge für den Sohn bezahlt, sind für das Bundesgericht verbindlich (<ref-law>; E. 1.9 und 2 hiervor). Die Unterstützung des Beschwerdeführers beschränkt sich auf die unstreitigen Handreichungen, welche die Vorinstanz zu seinen Gunsten berücksichtigt hat. Angesichts der Schulden von rund 65'000 Franken, die nach den vorinstanzlichen Feststellungen "bis zum Wegweisungsentscheid stetig angewachsen sind", wären ihm Kinderunterhaltsbeiträge wohl auch kaum möglich gewesen. Eine in wirtschaftlicher Hinsicht besonders enge Vater-Kind-Beziehung wird wesentlich von der erheblichen, dauerhaften Unterstützung des Kindes bzw. der Kindsmutter geprägt. Daran fehlt es hier offensichtlich. Weder dem Sohn noch seiner einstigen Lebensgefährtin gegenüber kam es zu Geldleistungen.
Angesichts der Schulden und Vorstrafen besteht ein erhebliches öffentliches Interesse an der Fernhaltung des Beschwerdeführers, welches das Kindsinteresse und sein durchaus nachvollziehbares privates Interesse am Verweilen in der Schweiz deutlich überwiegt. Die Rückkehr in seine Heimat ist dem Beschwerdeführer, der die dortigen Sitten kennt und der Sprache mächtig ist, ohne Weiteres zuzumuten, zumal die Beziehung zu seinem hier lebenden Sohn mit der Rückkehr nach Serbien nicht abreissen muss. Elektronische Fernverkehrsmittel und Besuche, etwa während der Schulferien, bleiben möglich und lassen sich recht mühelos bewerkstelligen.
3.7 Neben einer Verletzung der EMRK rügt der Beschwerdeführer eine solche des Übereinkommens vom 20. November 1989 über die Rechte des Kindes (hiernach: KRK; SR 0.107). Das Kindeswohl ist ausländerrechtlich einer der verschiedenen Gesichtspunkte, die in die Interessenabwägung einzubeziehen sind. Anders als beim zivilrechtlichen Zuteilungsentscheid (Art. 133 Abs. 2 und 3 ZGB), wo einzig dieser Aspekt massgebend ist, herrscht ausländerrechtlich keine derartige exklusive Geltung (dazu Urteil 2C_769/2012 vom 22. Oktober 2012 E. 3.8.4). Das Kindeswohl steht insgesamt der Nichtverlängerung der Aufenthaltsbewilligung und der Wegweisung des Beschwerdeführers nicht entgegen.
4. 4.1 Bundes- (<ref-law>) und Völkerrecht (<ref-law>) werden damit durch den angefochtenen Entscheid nicht verletzt.
4.2 Soweit der Beschwerdeführer im vorliegenden Verfahren ein Sistierungsgesuch stellt, fällt dieses inhaltlich mit dem Gesuch um Zuerkennung der aufschiebenden Wirkung zusammen. Dem Beschwerdeführer ging es in erster Linie darum, das Land nicht vor dem höchstrichterlichen Entscheid verlassen zu müssen. Aufgrund der Zuerkennung der aufschiebenden Wirkung wird das gesondert erhobene Sistierungsgesuch gegenstandslos (Urteile 2C_769/2012 vom 22. Oktober 2012 E. 4.2; 2C_292/2012 vom 19. Juni 2012).
4.3 Bei diesem Ausgang sind dem Beschwerdeführer, der unterliegt, grundsätzlich die Kosten des Verfahrens vor Bundesgericht aufzuerlegen (Art. 66 Abs. 1 i.V.m. <ref-law>). Er stellt ein Gesuch um Erteilung des Rechts zur unentgeltlichen Prozessführung (Rechtspflege und Verbeiständung). Nachdem der Beschwerdeführer sich durch einen Verein vertreten lässt, für welchen ein Nichtanwalt tätig geworden ist, muss das Gesuch um Erteilung des Rechts zur unentgeltlichen Verbeiständung mangels anwaltlicher Vertretung von vornherein abgewiesen werden (<ref-law>; <ref-ruling> E. 7.4.1 S. 4; <ref-ruling> E. 5.1.4 S. 205 f.; Urteil 2C_769/2012 vom 22. Oktober 2012 E. 4.3).
Die unentgeltliche Rechtspflege setzt gemäss <ref-law> die Bedürftigkeit der ersuchenden Person (<ref-ruling> E. 5.1 S. 223) und die fehlende Aussichtslosigkeit des Rechtsbegehrens voraus (<ref-ruling> E. 2.2.4 S. 218; zum Ganzen Urteil 2C_769/2012 vom 22. Oktober 2012 E. 4.3 mit Hinweisen). Die Anfechtung des vorinstanzlichen Entscheids war angesichts der eindeutigen Praxis des Bundesgerichts und des EGMR aussichtslos. Schon die Vorinstanz hat das Gesuch infolge Aussichtslosigkeit abgewiesen. Den finanziellen Verhältnissen des Beschwerdeführers ist mit einer reduzierten Gerichtsgebühr Rechnung zu tragen.
Dem Kanton Solothurn, der obsiegt, steht keine Parteientschädigung zu (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. 2.1 Das Gesuch um unentgeltliche Prozessführung und Verbeiständung wird abgewiesen.
2.2 Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Solothurn und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 22. Februar 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Kocher