Sachverhalt:
A. Der türkische Staatsangehörige X._, geb. 1955, reiste im Dezember 1983 in die Schweiz zu seiner hier lebenden Ehefrau ein. 1986 wurde ein von ihm gestelltes Asylgesuch abgewiesen. 1990 erhielten er und seine Familie eine Aufenthaltsbewilligung aus humanitären Gründen. In der Folge wurde X._ wiederholt sozialhilfeabhängig, machte Schulden und wurde verschiedentlich wegen Verletzung von Verkehrsdelikten sowie wegen Ungehorsams des Schuldners im Betreibungs- und Konkursverfahren strafrechtlich verurteilt. 1994, 1995 und 2002 verwarnte ihn die jeweils zuständige Migrationsbehörde des Kantons Basel-Stadt. 2004 drohten ihm die Einwohnerdienste Basel-Stadt die Ausweisung an. Am 10. März 2006 wurde ihm die Aufenthaltsbewilligung, nach längeren Abklärungen, letztmals verlängert. Mit Urteil des Strafgerichts Basel-Stadt vom 14. Juni 2006 wurde X._ wegen verschiedener Straftaten, insbesondere mehrfachen Diebstahls, mehrfachen Betrugs, Nötigung sowie mehrfacher einfacher Körperverletzung und Tätlichkeiten zu 22 Monaten Gefängnis und zehn Jahren Landesverweisung verurteilt. Auf ein Gesuch um Verlängerung der Aufenthaltsbewilligung vom 20. April 2007 teilte die Migrationsbehörde Basel-Stadt (Bereich Bevölkerungsdienste und Migration; heute: Migrationsamt des Kantons Basel-Stadt) X._ mit, dass ein Ausweisungsverfahren eingeleitet werde. Mit Urteil des Zivilgerichts Basel-Stadt vom 7. Juni 2007 wurde die Ehe von X._ geschieden. Am 5. Dezember 2007 bestätigte das Appellationsgericht Basel-Stadt das Urteil des Strafgerichts vom 14. Juni 2006, setzte jedoch elf Monate der verhängten Gefängnisstrafe zur Bewährung aus bei einer Probezeit von vier Jahren. Mit Verfügung vom 28. November 2008 verweigerte die Migrationsbehörde die Verlängerung der Aufenthaltsbewilligung von X._ und wies ihn aus der Schweiz weg.
B. Am 20. November 2009 wies das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt einen dagegen erhobenen Rekurs ab, soweit es darauf eintrat. Dagegen reichte X._ Rekurs beim Appellationsgericht Basel-Stadt ein, wobei er je ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung sowie um Bewilligung der aufschiebenden Wirkung stellte. Am 19. Februar 2010 heiratete er eine Schweizerin. Mit Verfügung vom 8. März 2010 wies der Präsident des Appellationsgerichts Basel-Stadt sowohl das Gesuch um unentgeltliche Prozessführung als auch dasjenige um Erteilung der aufschiebenden Wirkung ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 8. April 2010 an das Bundesgericht beantragt X._, den Entscheid des Präsidenten des Appellationsgerichts vom 8. März 2010 aufzuheben, dem vor dem Appellationsgericht hängigen Rekurs die aufschiebende Wirkung zuzuerkennen und X._ für das Verfahren vor dem Appellationsgericht die unentgeltliche Rechtspflege und Verbeiständung zu bewilligen.
D. Das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Der Präsident des Appellationsgerichts Basel-Stadt hat sich zur Beschwerde vernehmen lassen, ohne einen ausdrücklichen Antrag zu stellen, führt inhaltlich aber aus, weshalb seiner Ansicht nach die angefochtene Verfügung zu bestätigen sei.
E. Mit verfahrensleitender Verfügung vom 5. Mai 2010 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung für das bundesgerichtliche Verfahren zuerkannt.

Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Zwischenentscheid über die Verweigerung der aufschiebenden Wirkung bzw. von vorsorglichen Massnahmen, die dem Beschwerdeführer die Anwesenheit in der Schweiz bis zum Abschluss des vorinstanzlichen Verfahrens ermöglichen würden, sowie über die Verweigerung der unentgeltlichen Rechtspflege und Verbeiständung. Gegen einen solchen Zwischenentscheid ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten - von hier nicht interessierenden weiteren Fällen - nur zulässig, soweit er einen nicht wieder gutzumachenden rechtlichen Nachteil bewirken kann (vgl. Art. 93 Abs. 1 lit. a BGG) und wenn in der Hauptsache ebenfalls die Beschwerde offen stünde (Urteil des Bundesgerichts 2C_483/2009 vom 18. September 2009 E. 2.1 und 2.2.; vgl. auch <ref-ruling> E. 1.3.2 - 1.3.4 S. 34 ff.).
1.2 Die Zulässigkeit der Beschwerde in der Hauptsache hängt davon ab, dass das Bundesrecht oder das Völkerrecht einen Anspruch auf die fragliche ausländerrechtliche Bewilligung einräumt (Art. 83 lit. c Ziff. 2 BGG). Der Beschwerdeführer ist mit einer Schweizerin verheiratet. Die Heirat fand statt, bevor der Appellationsgerichtspräsident am 8. März 2010 die angefochtene Verfügung traf, und es war ihm, wie daraus hervorgeht, bekannt, dass sie auf den 19. Februar 2010 angesetzt war. Es handelt sich daher nicht um eine nach Art. 99 BGG unzulässige neue Tatsache. Unabhängig davon, ob hier das alte Recht (Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer, ANAG; BS 1 121) oder das neue Recht (Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer, AuG; SR 142.20) anwendbar ist, hat der Beschwerdeführer einen Anspruch auf Aufenthaltsbewilligung zwecks Zusammenlebens mit seiner schweizerischen Ehefrau (vgl. Art. 7 ANAG und Art. 42 AuG). Überdies hat er einen analogen Anspruch aus Art. 8 EMRK bzw. Art. 13 BV (vgl. <ref-ruling> E. 1.3.1 S. 145 f. mit Hinweis). In der Hauptsache steht damit die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen.
1.3 Die Verpflichtung eines Ausländers, die Schweiz zu verlassen und das Ergebnis eines ausländerrechtlichen Bewilligungsverfahrens im Ausland abzuwarten, schafft für diesen einen irreversiblen Nachteil, der jedenfalls dann rechtlicher Natur ist, wenn wie hier ein Anspruch auf Anwesenheit in der Schweiz besteht (Urteile des Bundesgerichts 2C_483/2009 vom 18. September 2009 E. 2.1 - 2.2 und 2D_98/2008 vom 12. Dezember 2008 E. 1). Soweit die Vorinstanz dem Beschwerdeführer für seinen Rekurs die aufschiebende Wirkung verweigert bzw. von entsprechenden vorsorglichen Massnahmen abgesehen hat, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten demnach zulässig. Gerügt werden kann insofern freilich nur die Verletzung verfassungsmässiger Rechte (vgl. Art. 98 BGG).
1.4 Auch Zwischenentscheide über die Verweigerung der unentgeltlichen Rechtspflege bzw. der Beigabe eines unentgeltlichen Rechtsbeistandes können einen nicht wieder gutzumachenden Nachteil bewirken und sind daher gemäss Art. 93 Abs. 1 lit. a BGG sofort gesondert anfechtbar (vgl. die Urteile des Bundesgerichts 2C_143/2008 vom 10. März 2008 E. 2; 5A_108/2007 vom 11. Mai 2007 E. 1.2 mit weiteren Hinweisen). Auf die vorliegende Beschwerde ist daher ebenfalls insoweit einzutreten, als die Verweigerung der unentgeltlichen Rechtspflege und Verbeiständung angefochten wird.
1.5 Zu prüfen sind hier nur die angefochtenen prozessualen Anordnungen der Vorinstanz. Das vorliegende Bundesgerichtsurteil vermag den inhaltlichen Ausgang des vor dem Appellationsgericht hängigen Verfahrens in keiner Weise zu präjudizieren.
2. 2.1 Der Beschwerdeführer macht geltend, der Appellationsgerichtspräsident habe ihm willkürlich untersagt, das Ergebnis des vorinstanzlichen Verfahrens in der Schweiz abzuwarten. Zugleich verletze dieser Entscheid Art. 8 EMRK in Verbindung mit Art. 13 EMRK.
2.2 Die Gewährung der aufschiebenden Wirkung, um dem Recht auf eine wirksame Beschwerde nach Art. 13 EMRK nachzukommen, spielt vor allem eine Rolle im Zusammenhang mit Art. 3 EMRK, wenn es darum geht, Folter oder eine unmenschliche oder erniedrigende Behandlung zu vermeiden. Bei einer allfälligen vorübergehenden Einschränkung des Familienlebens liegt dies weniger auf der Hand. Ein solcher Zusammenhang könnte allenfalls in Betracht fallen, wenn es für die Ehegatten während der erzwungenen Auslandabwesenheit eines Partners für längere Zeit ausgeschlossen oder gänzlich unzumutbar ist, ihre Ehe an einem anderen Ort gemeinsam zu leben. Dass dies hier zutrifft, ist zu bezweifeln. Das kann aber offen bleiben, denn zu prüfen ist jedenfalls, ob der angefochtene Entscheid insoweit im Sinne von Art. 9 BV willkürlich ist.
2.3 Dem kantonalen Richter kommt beim Entscheid über prozessuale Anordnungen grundsätzlich ein grosses Ermessen zu. Nach der Rechtsprechung soll jedoch, wer in der Schweiz ein Domizil eingerichtet hat und Beziehungen pflegt, nicht - allenfalls bloss vorübergehend - gezwungen werden, seine Verwurzelung aufzugeben und sich vor eine ungewisse Zukunft gestellt zu sehen; dies gilt, solange nicht klar ausgeschlossen erscheint, dass er im Land wird verbleiben können, und wenn von ihm gestützt auf sein bisheriges Verhalten nicht eine bleibende ernsthafte, sondern nur eine abstrakte Gefährdung der hiesigen Ordnung und Sicherheit ausgeht. Bei der Interessenabwägung ist dabei etwa zu berücksichtigen, ob der Betroffene einer geregelten Arbeit nachgeht, ob er über einen eigenen Haushalt verfügt, ob er hier aufgewachsen ist, ob er sich seit einer gewissen Zeit wohl verhalten hat und in welcher Schwere allenfalls in nach Art. 13 BV und Art. 8 EMRK geschützte Beziehungen eingegriffen wird (vgl. die Urteile des Bundesgerichts 2C_483/2009 vom 18. September 2009 und 2A.367/2000 vom 4. Oktober 2000 sowie, unter Hinweis auf Art. 66 AuG, THOMAS MERKLI, Vorsorgliche Massnahmen und die aufschiebende Wirkung bei Beschwerden in öffentlich-rechtlichen Angelegenheiten und subsidiären Verfassungsbeschwerden, in: ZBl 109/2008 S. 416 ff., dort S. 426). Dem entspricht auch die Regelung von Art. 59 Abs. 2 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; SR 142.201), wonach das Ergebnis bei einem Gesuch um Bewilligungsverlängerung grundsätzlich in der Schweiz abgewartet werden darf. In die gleiche Richtung geht die Rechtsprechung ebenfalls im Zusammenhang mit der sofortigen Wegweisung gemäss Art. 66 Abs. 3 AuG (vgl. das Urteil des Bundesgerichts 2C_669/2009 vom 4. Februar 2010). Dem mutmasslichen Verfahrensausgang in der Hauptsache kommt folglich nur dann Bedeutung zu, wenn eine Bewilligungserteilung von vornherein klar ausgeschlossen erscheint oder - umgekehrt - wenn die Bewilligungsvoraussetzungen offensichtlich erfüllt sind (dazu Art. 17 Abs. 2 AuG).
2.4 Die Vorinstanz geht davon aus, die Erteilung einer Bewilligung sei im vorliegenden Fall klar ausgeschlossen. Das ist aber nicht eindeutig. Zwar trifft es zu, dass der Beschwerdeführer grundsätzlich mehrere Gründe erfüllt, die nach neuem Recht (vgl. Art. 63 in Verbindung mit Art. 51 Abs. 1 lit. b AuG) zum Erlöschen des Anspruchs bzw. nach altem Recht zur Ausweisung (vgl. Art. 10 ANAG) führen und damit eine Bewilligungsverweigerung rechtfertigen können. Dazu zählen insbesondere die wiederholte Straffälligkeit und die Sozialhilfeabhängigkeit des Beschwerdeführers. Nicht eindeutig ist indes, ob eine Bewilligungsverweigerung auch verhältnismässig wäre. Der Beschwerdeführer bezieht zurzeit keine staatliche Unterstützung und behauptet, seit seiner Heirat mit einer Schweizerin auch nicht mehr davon abhängig zu sein. Die begangenen Strafdelikte sind nicht zu unterschätzen, aber auch nicht von derartiger Schwere, dass sie in jedem Fall eine weitere Anwesenheit von vornherein ausschliessen. Seit 2004 hat der Beschwerdeführer überdies keine Straftat mehr begangen. Ob insofern nunmehr von stabilen Verhältnissen auszugehen ist, mag zweifelhaft sein. Es gibt aber auch keine Anhaltspunkte für eine aktuelle Bedrohung der öffentlichen Ordnung und Sicherheit oder für eine erneute Sozialhilfeabhängigkeit. Naturgemäss ist dies im Rahmen von prozessualen Zwischenentscheiden nicht vollständig abzuklären, doch können die entsprechenden Unklarheiten nicht einfach zu Lasten des Ausländers gehen. Analoges gilt für die vom Appellationsgerichtspräsidenten in seiner Vernehmlassung an das Bundesgericht angesprochene Möglichkeit, dass der Beschwerdeführer eine Scheinehe eingegangen sein könnte, wofür gewisse besondere Umstände des vorliegenden Falles sprechen könnten. Dieses Argument ist naturgemäss neu, da der Beschwerdeführer vor den Vorinstanzen des Appellationsgerichts noch gar nicht mit einer Schweizerin verheiratet gewesen war, doch bedarf es vertiefter Abklärung, bevor zu Lasten des Beschwerdeführers von einer Scheinehe ausgegangen wird. Jedenfalls darf nicht angenommen werden, eine solche sei ohne weiteres erstellt.
2.5 In privater Hinsicht fällt ins Gewicht, dass der Beschwerdeführer seit mehr als 26 Jahren in der Schweiz lebt, und sich auch seine erwachsenen Kinder hier aufhalten. Zum Heimatland unterhält er zwar noch gewisse Beziehungen, sein Lebensmittelpunkt befindet sich aber eindeutig in der Schweiz. Wieweit seiner Frau ein vorübergehender Aufenthalt in der Heimat des Beschwerdeführers zumutbar ist, erscheint unklar; immerhin muss sie sich wohl entgegenhalten lassen, bei der Eheschliessung Kenntnis davon gehabt zu haben, dass die weitere Anwesenheit des Beschwerdeführers in der Schweiz nicht garantiert ist. Einer geregelten Arbeit geht dieser sodann weiterhin nicht nach, er verfügt jedoch über einen Haushalt und über eine neue familiäre Einbettung, deren Echtheit, wie bereits erwähnt, nicht näher abgeklärt ist. Eine unmittelbare gegenwärtige Bedrohung der öffentlichen Interessen besteht, wie ebenfalls schon dargelegt, nicht. Unter diesen Umständen ist es unhaltbar, aufgrund einer summarischen Einschätzung von vornherein davon auszugehen, die Verweigerung der Bewilligung sei verhältnismässig. Vielmehr erscheint der Verfahrensausgang in der Sache nicht klar festzustehen, und die privaten Interessen, das Ergebnis in der Schweiz abwarten zu können, überwiegen die entgegenstehenden öffentlichen Interessen, die zurzeit nicht unmittelbar gefährdet scheinen. Sollten sich hier Änderungen ergeben, könnte auf die Erlaubnis, den Verfahrensausgang in der Schweiz abzuwarten, im Übrigen jederzeit zurückgekommen werden.
2.6 Soweit dem Beschwerdeführer mit dem angefochtenen Entscheid verweigert wird, den Verfahrensausgang in der Schweiz abzuwarten, erweist sich die Verfügung des Appellationsgerichtspräsidenten mithin als verfassungswidrig.
3. 3.1 Der Beschwerdeführer erachtet den angefochtenen Entscheid auch als willkürlich, soweit ihm damit die unentgeltliche Rechtspflege und Verbeiständung verweigert wird. Mit seiner Beschwerde wendet er sich vor allem gegen die Annahme der Vorinstanz, seine Begehren seien aussichtslos.
3.2 Als aussichtslos sind nach der bundesgerichtlichen Rechtsprechung Begehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde; eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet. Die Prüfung der Prozessaussichten beurteilt sich aufgrund der Verhältnisse im Zeitpunkt des Gesuchs (<ref-ruling> E. 2.3.1 S. 136).
3.3 Daran anschliessend ist auch die unentgeltliche Verbeiständung zu gewähren, wenn Interessen der gesuchstellenden Partei in schwerwiegender Weise betroffen sind und der Fall in tatsächlicher und rechtlicher Hinsicht Schwierigkeiten bietet, die den Beizug eines Rechtsvertreters erforderlich machen, weil ihnen der Gesuchsteller auf sich alleine gestellt nicht gewachsen wäre (vgl. <ref-ruling> E. 2.2 S. 182 mit Hinweisen).
3.4 Aus denselben Gründen, die bereits bei der Frage der aufschiebenden Wirkung bzw. der Anordnung vorsorglicher Massnahmen den Ausschlag geben, kann im vorliegenden Fall nicht von der zum Vornherein feststehenden Aussichtslosigkeit der Begehren des Beschwerdeführers ausgegangen werden. Der angefochtene Entscheid verstösst somit auch in diesem Zusammenhang gegen Verfassungsrecht. Nicht näher geprüft hat der Appellationsgerichtspräsident die weiteren Voraussetzungen der unentgeltlichen Prozessführung, insbesondere die Frage der Bedürftigkeit des Beschwerdeführers. Diese wird sich nun unter Einbezug der finanziellen Verhältnisse der Ehefrau beurteilen. Betreffend die Gewährung der unentgeltlichen Rechtspflege ist die Sache daher an die Vorinstanz zurückzuweisen.
4. 4.1 Die Beschwerde erweist sich als begründet und ist gutzuheissen. Der angefochtene Entscheid muss aufgehoben werden. Dem Beschwerdeführer ist im Sinne einer vorsorglichen Massnahme zu gestatten, den Ausgang des vorinstanzlichen Verfahrens in der Schweiz abzuwarten. Im Übrigen ist die Sache an die Vorinstanz zurückzuweisen zur nochmaligen Prüfung der Frage im Sinne der Erwägungen, ob dem Beschwerdeführer für das Verfahren vor dem Appellationsgericht die unentgeltliche Rechtspflege und Verbeiständung zu bewilligen ist. Es ist nochmals zu unterstreichen, dass der Verfahrensausgang in der Sache durch den vorliegenden prozessualen bundesgerichtlichen Entscheid in keiner Weise vorweggenommen wird.
4.2 Bei diesem Verfahrensausgang sind keine Kosten zu erheben (Art. 66 Abs. 4 BGG). Der Kanton Basel-Stadt hat dem Beschwerdeführer hingegen für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung zu entrichten (vgl. Art. 68 BGG). Das Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung im bundesgerichtlichen Verfahren kann somit als gegenstandslos abgeschrieben werden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, und die Verfügung des Präsidenten des Appellationsgerichts Basel-Stadt vom 8. März 2010 wird aufgehoben.
2. 2.1 Dem Beschwerdeführer wird im Sinne einer vorsorglichen Massnahme gestattet, den Ausgang des Verfahrens vor dem Appellationsgericht Basel-Stadt in der Schweiz abzuwarten.
2.2 Die Sache wird im Sinne der Erwägungen an das Appellationsgericht Basel-Stadt zurückgewiesen zu neuem Entscheid über das Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung im vorinstanzlichen Verfahren.
3. Es werden keine Kosten erhoben.
4. Der Kanton Basel-Stadt hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
5. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird als gegenstandslos abgeschrieben.
6. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt des Kantons Basel-Stadt, dem Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt, dem Appellationsgericht des Kantons Basel-Stadt, Präsident, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 16. Juli 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax