Sachverhalt: A. X._, geboren 1980, ist Staatsangehöriger der Republik Serbien und gehört der Volksgruppe der Roma an. Vom fünfzehnten bis zum zwanzigsten Altersjahr hielt er sich in Deutschland auf, während er zuvor und hernach in seiner Heimat lebte. Am 31. Januar 2006 reiste er zusammen mit seiner Lebensgefährtin, einer Bosnierin, und dem gemeinsamen Sohn, geboren 2004, in die Schweiz ein. Seine Lebensgefährtin und er hatten in der Heimat nach dem Brauch der Roma geheiratet. Hierüber bestehen keine amtliche Unterlagen. Alle drei stellten in der Schweiz ein Asylgesuch. Während der Lebensgefährtin und dem Sohn Asyl gewährt wurde, wies das Bundesverwaltungsgericht den Antrag X._s mit Urteil D-1465/2008 vom 12. November 2009 letztinstanzlich ab. B. Am 26. Juli 2007 heiratete X._ eine österreichische Staatsangehörige, geboren 1989, die in der Schweiz im Besitz der Aufenthaltsbewilligung EU/EFTA ist. In der Folge erteilte ihm der Kanton Solothurn zum Verbleib bei seiner Ehefrau ebenso eine Aufenthaltsbewilligung EU/EFTA. Seit dem 30. Juni 2009 leben die Eheleute nicht mehr in gemeinsamem Haushalt. Seinem Sohn gegenüber verfügt X._ über ein informelles Besuchsrecht, das er wahrnimmt, wogegen er keine Unterhaltsbeiträge entrichtet. Er hat Schulden von rund 65'000 Franken und wurde dreimal bestraft, u. a. wegen einfacher Körperverletzung zu einer Geldstrafe von zehn Tagessätzen zu je 40 Franken. C. Das Departement des Innern des Kantons Solothurn hielt mit Verfügung vom 7. Dezember 2011 fest, die Aufenthaltsbewilligung werde nicht verlängert und X._ werde aus der Schweiz weggewiesen. Das mit Beschwerde vom 19. Dezember 2011 angerufene Verwaltungsgericht des Kantons Solothurn bestätigte mit Urteil vom 30. April 2012 die Nichtverlängerung der Aufenthaltsbewilligung und setzte X._ Frist zum Verlassen der Schweiz bis zum 31. Juli 2012. D. Mit Eingabe vom 4. Juni 2012 gelangt X._ an das Bundesgericht. In seiner "Verwaltungsgerichtsbeschwerde" (recte: Beschwerde in öffentlich-rechtlichen Angelegenheiten) lässt er in der Hauptsache beantragen, das angefochtene Urteil vom 30. April 2012 sei aufzuheben und die Aufenthaltsbewilligung sei zu verlängern. Eventualiter beantragt er die Anordnung der vorläufigen Aufnahme. In verfahrensrechtlicher Hinsicht stellt er die Gesuche um Fristansetzung zur weiteren Begründung der gestellten Anträge, Zuerkennung der aufschiebenden Wirkung, Sistierung etwaiger Wegweisungsmassnahmen und Erteilung des Rechts zur unentgeltlichen Prozessführung. Am 23. Juli 2012 reichte X._ (hiernach: der Beschwerdeführer) eine Ergänzung zu seiner Beschwerde vom 4. Juni 2012 nach. Das Verwaltungsgericht des Kantons Solothurn und das Departement des Innern des Kantons Solothurn beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Bundesamt für Migration auf Abweisung der Beschwerde schliesst. Mit Verfügung vom 11. Juni 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. Über die Gesuche um Fristansetzung zur Begründung der gestellten Anträge, Sistierung des Wegweisungsverfahrens und Erteilung des Rechts zur unentgeltlichen Rechtspflege (Prozessführung und Verbeiständung) ist mit der vorliegenden Beschwerde zu entscheiden.