Erwägungen:
1. 1.1 Der kamerunische Staatsangehörige X._ (geb. 1979) heiratete im Herbst 2002 die gleichaltrige Schweizer Bürgerin Y._. Im Februar 2004 reiste er in die Schweiz ein und erhielt im Familiennachzug eine Aufenthaltsbewilligung für den Kanton Zürich, die zuletzt bis zum 12. Februar 2009 verlängert wurde. Aus der Ehe sind zwei Kinder hervorgegangen (geb. 2003 und 2005). Seit Juli 2006 leben die Eheleute getrennt. Am 8. Januar 2010 verweigerte die Sicherheitsdirektion des Kantons Zürich die Verlängerung der Aufenthaltsbewilligung, um welche X._ am 20. Januar 2009 ersucht hatte; sie forderte ihn auf, das Land innert angesetzter Frist zu verlassen. Die dagegen im Kanton beim Regierungsrat und schliesslich beim Verwaltungsgericht erhobenen Rechtsmittel blieben erfolglos.
1.2 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 31. März 2011 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts vom 23. Februar 2011 aufzuheben und die Vorinstanzen anzuweisen, ihm eine "Jahresaufenthaltsbewilligung" zu erteilen.
Das Bundesamt für Migration beantragt die Abweisung der Beschwerde. Das Verwaltungsgericht hat auf eine Vernehmlassung verzichtet. Der Regierungsrat sowie die Sicherheitsdirektion haben sich nicht geäussert.
2. Der Beschwerdeführer macht einen Anspruch auf Aufenthalt nach Art. 42 Abs. 1 AuG (Ausländergesetz; SR 142.20), Art. 8 EMRK und Art. 13 BV geltend. Dabei beruft er sich auf die Beziehung zu seinen Kindern.
2.1 Auf das im Jahr 2009 gestellte Verlängerungsgesuch ist das am 1. Januar 2008 in Kraft getretene Ausländergesetz anzuwenden (vgl. Art. 126 AuG). Gemäss Art. 42 Abs. 1 AuG haben ausländische Ehegatten von Schweizern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Das Erfordernis des Zusammenwohnens besteht nicht, wenn für getrennte Wohnorte wichtige Gründe geltend gemacht werden und die Familiengemeinschaft weiter besteht (Art. 49 AuG). Nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren haben die Ehegatten Anspruch auf Erteilung der Niederlassungsbewilligung (Art. 42 Abs. 3 AuG). Gemäss Art. 50 AuG besteht nach Auflösung der Ehe oder der Familiengemeinschaft der Anspruch auf Verlängerung der Aufenthaltsbewilligung nach Art. 42 AuG weiter, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration gegeben ist (lit. a) oder wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (lit. b).
2.2 Ob bzw. inwieweit sich der Beschwerdeführer überhaupt noch auf Art. 42-50 AuG berufen kann, nachdem er im Anschluss an die Trennung von seiner Ehefrau im Sommer 2006 ab dem Jahr 2007 über zwei Jahre lang ein Verhältnis mit einer anderen Partnerin hatte und seine Aufenthaltsbewilligung seither bloss gestützt auf Art. 8 EMRK bzw. Art. 13 BV wegen der Beziehung zu seinen Kindern verlängert worden ist, kann offen gelassen werden. Auch wenn die Ehe bisher offenbar noch nicht geschieden worden ist bzw. klare Angaben hiezu fehlen, steht fest, dass die Eheleute getrennt leben. Wichtige Gründe für die Trennung im Sinne von Art. 49 AuG liegen nicht vor und haben auch nie vorgelegen. Zudem bestand die Ehegemeinschaft in der Schweiz weniger als drei Jahre. Daher kommt ein Anspruch auf Erneuerung der Bewilligung nach Art. 42 Abs. 1, Art. 49 sowie Art. 50 Abs. 1 lit. a AuG nicht in Betracht (vgl. BGE 136 II 113; Urteil des Bundesgerichts 2C_195/2010 vom 23. Juni 2010 E. 3-5). Zwar hat sich der Beschwerdeführer bereits fünf Jahre ordnungsgemäss und unterbrochen in der Schweiz aufgehalten, jedoch hat das eheliche Zusammenleben bzw. die Haushaltsgemeinschaft nach dem Dargelegten nicht entsprechend lange gedauert, weshalb auch ein eigenständiger Anspruch nach Art. 42 Abs. 3 AuG entfällt (MARTINA CARONI, in: Bundesgesetz über die Ausländerinnen und Ausländer, Caroni et al. [Hrsg.], 2010, N. 55 zu Art. 42 AuG; MARC SPESCHA, in: Migrationsrecht, Spescha/Thür/Zünd [Hrsg.], 2. Aufl. 2009, N. 9 zu Art. 42 AuG; vgl. noch zum ANAG [BS 1 121 und AS 1991 1034 1043]: BGE 130 II 49 E. 3.2.2 S. 53; 127 II 60 E. 1c S. 64).
2.3 Der Beschwerdeführer könnte sich insoweit einzig auf eine Bewilligungsverlängerung nach Art. 50 Abs. 1 lit. b AuG berufen. Ein persönlicher, nachehelicher Härtefall gemäss dieser Bestimmung setzt aufgrund der gesamten Umstände des Einzelfalls eine erhebliche Intensität der Konsequenzen für das Privat- und Familienleben voraus. Dem Schutz des Familienlebens nach Art. 8 EMRK und Art. 13 BV ist im Rahmen von Art. 50 AuG Rechnung zu tragen. Insoweit ist namentlich zu berücksichtigen, ob der Ausländer Kinder in der Schweiz hat (vgl. Botschaft zum AuG, BBl 2002 3739 und 3754 Ziff. 1.3.4.1.1 und 1.3.7.6; erwähntes Urteil 2C_195/2010 E. 6; Urteile des Bundesgerichts 2C_787/2010 vom 16. Juni 2011 E. 3.2 und 2C_830/2010 vom 10. Juni 2011 E. 3). Nach der ständigen Praxis zu den erwähnten Verfassungs- und Konventionsbestimmungen ist dem ausländischen Elternteil, der nicht mit seinen Schweizer Kindern zusammenlebt, der Aufenthalt dann zu gewähren, wenn zwischen ihm und den Kindern in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung besteht, die wegen der Distanz zu seinem Herkunftsland praktisch nicht aufrechterhalten werden könnte, und wenn zusätzlich das bisherige Verhalten des Ausländers zu keinerlei Klagen Anlass gegeben hat (zu Art. 8 EMRK: BGE 120 Ib 1 E. 3c S. 5, 22 E. 4a und b S. 25 f.; zu Art. 50 AuG: erwähnte Urteile 2C_787/2010 E. 3.2 und 2C_195/2010 E. 6.6.
Ein tadelloses Verhalten hat der Beschwerdeführer nicht an den Tag gelegt. Wie die Vorinstanzen festgestellt haben, wurde der Beschwerdeführer zweimal strafrechtlich verurteilt, zunächst im Jahr 2002 zu einer bedingten Gefängnisstrafe von 90 Tagen und sodann im Jahr 2009 wegen einfacher Körperverletzung zu einer bedingten Geldstrafe von 90 Tagessätzen. Dem lagen vorsätzlich begangene Delikte zugrunde. Mithin geht der Einwand des Beschwerdeführers fehl, sein diesbezügliches Verschulden sei als "leicht" einzustufen. Auch war er die überwiegende Zeit seines Aufenthaltes in der Schweiz auf Sozialhilfe angewiesen. Selbst als ihn die kantonale Migrationsbehörde deswegen im April 2008 entsprechend verwarnte, vermochte er nicht bis zum Erlass ihrer Verfügung, mit der ihm die Erneuerung der Aufenthaltsbewilligung verweigert wurde, eine Arbeitsstelle zu finden, die ihn dauerhaft von der Sozialhilfeabhängigkeit befreite. Mit Blick darauf hatte er denn auch keinen Unterhalt für die Kinder geleistet. Zwar beschäftigt ihn die Stadt Zürich seit Ende Juni 2010. Die Vorinstanz hält fest, der Beschwerdeführer habe nicht geltend gemacht und es sei auch nicht aus den Akten ersichtlich, dass er seither Unterhaltszahlungen erbringe. Daher könne nicht davon ausgegangen werden, es bestehe in wirtschaftlicher Hinsicht eine besonders enge Beziehung zwischen den Kindern und dem Beschwerdeführer. Letzterer wendet dagegen ein, diese Ausführungen seien "fehl am Platz". Die "zahlreichen wöchentlichen Besuche" der Kinder würden monatlich Kosten zwischen Fr. 500.-- und 800.-- verursachen. Er koche und kaufe für sie ein. Sein Aufwand würde die Mutter entlasten und sei als Unterhalt zu berücksichtigen.
Entgegen seiner Obliegenheit (vgl. Art. 42 Abs. 2 und Art. 97 Abs. 1 BGG) tut der Beschwerdeführer jedoch nicht dar, er habe Entsprechendes - angesichts seiner Mitwirkungspflicht (vgl. Art. 90 AuG) - bereits bei den Vorinstanzen substantiiert vorgebracht und belegt. Im Übrigen ergibt sich aus den Befragungen seiner Ehefrau, auf die er verweist, dass er nicht zum Unterhalt der Kinder beigetragen hat. Wie es sich mit der Beziehung in wirtschaftlicher Hinsicht letztlich verhält, kann aber offen gelassen werden, da - wie ausgeführt - das bisherige Verhalten des Beschwerdeführers zu Klagen Anlass gegeben hat. Dem Dargelegten zufolge hat er deshalb trotz seiner Besuchskontakte zu den Kindern keinen Anspruch auf Aufenthalt gemäss der zu Art. 8 EMRK und Art. 13 BV zitierten Praxis. Es sind ausserdem keine weiteren Umstände ersichtlich oder geltend gemacht worden, die im Rahmen der Gesamtwürdigung nach Art. 50 Abs. 1 lit. b AuG zu einer anderen Beurteilung führen würden. Namentlich ist der Beschwerdeführer erst als Erwachsener in die Schweiz gelangt und hat seine prägenden Kinder- und Jugendjahre in seinem Heimatland verbracht. Auch ist er weder beruflich noch privat überdurchschnittlich integriert. Ergänzend wird auf die Ausführungen in den Entscheiden des Regierungsrates und des Verwaltungsgerichts vom 29. September 2010 und 23. Februar 2011 verwiesen.
2.4 Demzufolge erweist sich die Beschwerde als offensichtlich unbegründet. Sie kann deshalb im vereinfachten Verfahren nach Art. 109 BGG mit summarischer Begründung behandelt und abgewiesen werden.
3. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Das vom Beschwerdeführer insoweit gestellte Gesuch um unentgeltliche Prozessführung und Verbeiständung ist nach Art. 64 BGG wegen Aussichtslosigkeit des Hauptbegehrens abzuweisen. Parteientschädigungen werden nicht zugesprochen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Prozessführung und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 21. September 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Merz