Erwägungen:
1. 1.1 X._, geb. 1976, Staatsangehöriger der Elfenbeinküste, stellte im Jahre 2005 erfolglos ein Asylgesuch in der Schweiz. Am 24. Juli 2006 heiratete er die Schweizerin A._, die am *** 2006 die gemeinsame Tochter B._ geboren hatte. Vom 18. Oktober 2006 bis zum 30. September 2009 war X._ im Besitz der Aufenthaltsbewilligung zwecks gemeinsamen Familienlebens mit Ehefrau und Kind.
1.2 Mit Urteil des Gerichtspräsidiums Baden vom 23. Januar 2008 wurde den Ehegatten das Getrenntleben bewilligt unter Vormerk, dass die Ehe faktisch bereits seit dem 28. August 2007 getrennt gelebt werde. Am 23. Januar 2009 wurde X._ durch das Tribunal pénal de l'arrondissement de la Sarine wegen sexueller Nötigung und Vergewaltigung, begangen am 28. Juni 2006, zu einer bedingten Freiheitsstrafe von 24 Monaten verurteilt. Das Urteil wurde unangefochten rechtskräftig.
1.3 Am 14. Januar 2010 erteilte das Migrationsamt des Kantons Aargau X._ das rechtliche Gehör betreffend Nichtverlängerung der Aufenthaltsbewilligung und Wegweisung. In der Folge stellte dieser ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung, welches das Migrationsamt mit Verfügung vom 20. April 2010 ablehnte. Am 14. Juli 2010 wies das Migrationsamt eine dagegen gerichtete Einsprache ab, und mit Urteil vom 22. Dezember 2010 wies das Rekursgericht im Ausländerrecht des Kantons Aargau eine wiederum dagegen erhobene Beschwerde ab.
1.4 Gegen das Urteil des Rekursgerichts führt X._ Beschwerde beim Bundesgericht mit den Anträgen, das angefochtene Urteil aufzuheben und ihm im hängigen kantonalen Verfahren betreffend Verlängerung der Aufenthaltsbewilligung und Wegweisung sowie im vorliegenden bundesgerichtlichen Verfahren die unentgeltliche Rechtspflege und Verbeiständung zu gewähren.
2. 2.1 Angefochten ist ein in einem hängigen kantonalen Verfahren ergangener kantonal letztinstanzlicher Entscheid über ein Gesuch um unentgeltliche Rechtspflege; hierbei handelt es sich um einen Zwischenentscheid, der in der Regel einen nicht wiedergutzumachenden Nachteil bewirkt (Art. 93 Abs. 1 lit. a BGG; <ref-ruling> E. 4; <ref-ruling> E. 1.1). Der Rechtsweg gegen solche Zwischenentscheide folgt jenem in der Hauptsache (vgl. <ref-ruling> E. 2.2). Da dem Beschwerdeführer mit Blick auf seine familiären Beziehungen gestützt auf Art. 42 Abs. 1 und allenfalls Art. 50 AuG sowie Art. 8 EMRK ein potentieller Anspruch auf ausländerrechtliche Aufenthaltsbewilligung zusteht (dazu Art. 83 lit. b Ziff. 2 BGG), erweist sich in der Hauptsache die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 ff. BGG als grundsätzlich zulässig. Damit ist auf die vorliegende Beschwerde einzutreten. Streitgegenstand bildet hier aber nur die Frage der unentgeltlichen Rechtspflege und Verbeiständung im kantonalen Verwaltungsverfahren.
2.2 Der Beschwerdeführer macht einerseits eine willkürliche Sachverhaltsfeststellung und Beweiswürdigung sowie andererseits einen Verstoss gegen Bundesrecht geltend. Welche Bestimmung des Bundesrechts verletzt worden sein soll, führt er allerdings nicht aus. Überhaupt erscheint seine Begründung in weiten Teilen appellatorisch, weshalb fraglich ist, wieweit darauf einzugehen ist (vgl. Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 4. 156 f.; <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.4 S. 287).
3. 3.1 Der Beschwerdeführer sieht vor allem darin eine willkürliche und daher angeblich offensichtlich unrichtige Feststellung des Sachverhalts, dass die Vorinstanz davon ausgegangen sei, sein Eheleben habe seit dem 28. August 2007 nicht mehr bestanden. Das Rekursgericht vermag sich dafür immerhin auf einen entsprechenden Vermerk des Gerichtspräsidiums Baden vom 23. Januar 2008 im zivilrechtlichen Trennungsverfahren zu stützen, was an sich nicht strittig ist. Damit erweist sich die fragliche Feststellung bereits aus diesem Grund nicht als aktenwidrig und unhaltbar. Selbst wenn aber - als Hypothese und nicht als verbindliche Feststellung für das weitere Verfahren - das gemeinsame Eheleben zumindest bis zum 8. Februar 2010 gedauert haben sollte, wie der Beschwerdeführer geltend macht, würde dies die Rechtslage nicht wesentlich ändern.
3.2 Der Beschwerdeführer beruft sich nicht auf kantonales Verfahrensrecht. Es ist daher nicht weiter zu prüfen, ob und in welchem Umfang dieses die unentgeltliche Prozessführung regelt. Ob der Beschwerdeführer rechtsgenüglich einen Verstoss gegen Art. 29 BV rügt, erscheint fraglich. Selbst wenn davon auszugehen wäre, erwiesen sich seine Rügen als offensichtlich unzutreffend.
3.3 Nach Art. 29 Abs. 3 BV hat die bedürftige Partei in einem für sie nicht aussichtslosen Verfahren Anspruch auf unentgeltliche Rechtspflege und, soweit es zur Wahrung ihrer Rechte notwendig ist, auf Beigabe eines unentgeltlichen Rechtsbeistands. Als aussichtslos gelten praxisgemäss Prozessbegehren, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Die Prozesschancen sind in vorläufiger und summarischer Beurteilung des Prozessstoffs mit Blick auf die Erfolgsaussichten des Rechtsmittels als Ganzes abzuschätzen. Ob ein Begehren aussichtslos erscheint, beurteilt sich aufgrund der Verhältnisse im Zeitpunkt des Gesuchs (<ref-ruling> E. 5 S. 616; <ref-ruling> E. 2.3.1 S. 135 f.).
3.4 Ansprüche gemäss Art. 42 AuG erlöschen, wenn Widerrufsgründe nach Art. 63 AuG vorliegen, wozu unter anderem eine Freiheitsstrafe von mehr als einem Jahr zählt (vgl. Art. 51 Abs. 1 lit. b AuG sowie <ref-ruling>). Bei Vorliegen eines Widerrufsgrunds braucht eine bestehende Bewilligung nicht verlängert zu werden, wenn sich dies als verhältnismässig erweist (dazu ebenfalls <ref-ruling>). Unter analogen Voraussetzungen ist auch ein Eingriff in das Familienleben nach Art. 8 EMRK statthaft, und zwar sowohl im Verhältnis zur Ehefrau als auch, während bestehendem sowie nach aufgelöstem Eheleben, zum Kind. Bei Sexualdelikten besteht überdies ein besonders gewichtiges öffentliches Interesse an der Entfernung eines ausländischen Täters (vgl. <ref-ruling> E. 2c und d S. 436 ff.).
3.5 Der Beschwerdeführer wurde wegen sexueller Nötigung und Vergewaltigung zu einer bedingten Freiheitsstrafe von 24 Monaten verurteilt. Damit hat er nicht nur einen Widerrufsgrund erfüllt, sondern es bestehen erhebliche öffentliche Interessen an der Verweigerung der Bewilligungsverlängerung. Die Delinquenz offenbart zudem eine fehlende Integration. Auch die bisher eher kurze Dauer der Anwesenheit spricht ohne besondere gegenteilige Anhaltspunkte, die der Beschwerdeführer nicht geltend macht, nicht für eine fortgeschrittene Integration.
3.6 Der Beschwerdeführer verweist ergänzend sinngemäss auf die Bestimmung von Art. 50 AuG, die er schon vor der Vorinstanz angerufen hatte. Auch insoweit ist aber offensichtlich, dass er angesichts seiner Delinquenz weder als erfolgreich integriert gelten kann (Art. 50 Abs. 1 lit. a AuG) noch dass wichtige persönliche Gründe die weitere Anwesenheit erfordern würden (Art. 50 Abs. 1 lit. b in Verbindung mit Abs. 2 AuG).
3.7 Damit erweist sich der Standpunkt des Beschwerdeführers selbst ohne Berücksichtigung des neuen, offenbar noch nicht rechtskräftigen Strafurteils des Bezirksgerichts Baden vom 13. Oktober 2010 als aussichtslos. Mit diesem Urteil wurde er gemäss der unangefochtenen und damit verbindlichen Feststellung der Vorinstanz zu einer erneuten Freiheitsstrafe von vier Jahren verurteilt und die bedingte Freiheitsstrafe von 24 Monaten vom 23. Januar 2009 wurde für vollziehbar erklärt. Der Beschwerdeführer macht zwar geltend, er werde seine Unschuld noch beweisen, doch wurde ihm gemäss ebenfalls unwidersprochen gebliebener Feststellung der Vorinstanz am 20. Oktober 2010 der vorzeitige Antritt des Strafvollzugs bewilligt. Diese Entwicklung unterstreicht die Aussichtslosigkeit des Standpunkts des Beschwerdeführers zusätzlich und würde selbst dann, wenn ihm die unentgeltliche Rechtspflege und Verbeiständung ursprünglich zu bewilligen gewesen wäre, nunmehr deren Widerruf rechtfertigen.
4. Die Beschwerde erweist sich als offensichtlich unbegründet und ist ohne weiteren Schriftenwechsel im vereinfachten Verfahren nach Art. 109 BGG abzuweisen. Ergänzend wird auf die zutreffenden Erwägungen im angefochtenen Entscheid verwiesen (Art. 109 Abs. 3 BGG).
Unter diesen Umständen ist auch das Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wegen Aussichtslosigkeit abzuweisen (vgl. Art. 64 BGG). Damit wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Eine Parteientschädigung ist nicht geschuldet (Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt sowie dem Rekursgericht im Ausländerrecht des Kantons Aargau und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 16. Februar 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax