Sachverhalt:
A. Der aus der demokratischen Republik Kongo stammende X._ (geb. 1968) reiste im Mai 1994 in die Schweiz ein. Nachdem seinem Asylgesuch kein Erfolg beschieden war, verliess er die Schweiz im Januar 1999. Im Juli 1999 heiratete er in Belgien eine in der Schweiz Niedergelassene, worauf er im Februar 2000 erneut in die Schweiz einreiste und eine Aufenthaltsbewilligung erhielt. Die Ehe wurde im Dezember 2001 geschieden. Eine weitere Ehe mit einer Niedergelassenen wurde im Januar 2006 geschieden. Im Juni 2006 heiratete er die Schweizerin Y._, worauf er wiederum eine Aufenthaltsbewilligung erhielt. Dieser Verbindung entstammen zwei Kinder (geb. 2005 und 2007). Die Eheleute leben spätestens seit Ende April 2008 getrennt, weshalb die Einwohnerdienste, Migration und Fremdenpolizei der Einwohnergemeinde Bern X._ die Verlängerung der Aufenthaltsbewilligung verweigerten. Die beiden Kinder, über welche eine Erziehungsbeistandschaft errichtet wurde, stehen gemäss gerichtlich genehmigter Trennungsvereinbarung unter der Obhut der Mutter.
Die von X._ gegen die Nichtverlängerung gerichteten kantonalen Rechtsmittel blieben ohne Erfolg.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde beantragt X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts des Kantons Bern vom 23. Februar 2010 aufzuheben und seine Aufenthaltsbewilligung zu erneuern.
Die Einwohnerdienste, Migration und Fremdenpolizei der Stadt Bern sowie die Polizei- und Militärdirektion des Kantons Bern und das Bundesamt für Migration beantragen die Abweisung der Beschwerde.
Das Verwaltungsgericht des Kantons Bern beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
C. Mit Verfügung vom 8. April 2010 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Auf dem Gebiet des Ausländerrechts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gemäss Art. 83 lit. c Ziff. 2-5 BGG unzulässig gegen Entscheide über die Wegweisung, die vorläufige Aufnahme, über Abweichungen von den Zulassungsvoraussetzungen sowie über Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Soweit der Beschwerdeführer geltend macht, seine Aufenthaltsbewilligung sei gestützt auf Art. 42 Abs. 1, Art. 49 und Art. 50 AuG bzw. Art. 8 EMRK und <ref-law> zu erteilen, ist auf die Beschwerde einzutreten, da sich aus diesen Bestimmungen ein Anspruch ergeben kann (vgl. Urteil 2C_304/2009 vom 9. Dezember 2009 E. 1.1). Dasselbe gilt bezüglich des ebenfalls angerufenen Diskriminierungsverbotes (<ref-ruling> E. 6.2).
1.2 Die Kantone können ausserhalb eines Rechtsanspruches nach Art. 50 AuG allenfalls ermessensweise den weiteren Aufenthalt des Ausländers ermöglichen. Die kantonalen Behörden haben dies ebenfalls abgelehnt. Die Vorinstanz hat die diesbezügliche Ausübung des Ermessens als nicht rechtsfehlerhaft beurteilt (angefochtenes Urteil E. 6). Da insofern kein Rechtsanspruch besteht, ist auf die dazu vorgetragenen Argumente des Beschwerdeführers sowie die gerügte Verletzung von Art. 96 Abs. 1 AuG (Beschwerde IV. Art. 6 und 7 S. 13-15) nicht einzutreten (<ref-law>).
Soweit dem Beschwerdeführer auch die ermessensweise Verlängerung der Aufenthaltsbewilligung verweigert wurde, kann die Eingabe daher nur als subsidiäre Verfassungsbeschwerde entgegengenommen werden.
2. 2.1 Gemäss Art. 42 Abs. 1 AuG haben ausländische Ehegatten von Schweizern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen (Abs. 1). Das Erfordernis des Zusammenwohnens besteht nicht, wenn für getrennte Wohnorte wichtige Gründe geltend gemacht werden und die Familiengemeinschaft weiter besteht (Art. 49 AuG).
2.2 Der Beschwerdeführer macht geltend, in seinem Fall könne auf das Erfordernis des Zusammenlebens verzichtet werden.
2.3 Die Vorinstanz hat festgestellt, dass die Ehefrau des Beschwerdeführers gegenüber den Behörden erklärt habe, die Scheidung verzögere sich einzig aufgrund des Umstandes, dass ihr Ehemann in diese nicht einwillige; sie halte auf jeden Fall am Scheidungswillen fest; eine Wiedervereinigung komme für sie nie wieder in Frage. Die Vorinstanz hat gestützt darauf erkannt, eine Ausnahme vom Erfordernis des Zusammenlebens lasse sich damit nicht begründen, weshalb die Verlängerung der Aufenthaltsbewilligung nach Art. 42 Abs. 1 AuG und Art. 49 AuG zu Recht verweigert worden sei.
2.4 Was der Beschwerdeführer dagegen vorbringt, lässt weder diese Feststellungen als offensichtlich unrichtig noch die rechtlichen Folgerungen der Vorinstanz als bundesrechtswidrig erscheinen. Insbesondere vermag er keine überzeugenden Argumente dafür vorzubringen, dass die Trennung bloss vorübergehender Natur sei. Dafür können auch den Akten keine Anhaltspunkte entnommen werden.
2.5 Mit Blick darauf ist ebenfalls keine Verletzung der Art. 8 EMRK und <ref-law> gegeben. Der Schutz des Familienlebens nach diesen Bestimmungen setzt eine tatsächlich gelebte Ehegemeinschaft und nicht bloss eine formell bestehende Ehe voraus (vgl. <ref-ruling> E. 2a S. 427).
2.6 Die Vorinstanz hat demnach weder Art. 42 Abs. 1 AuG noch Art. 49 AuG verletzt. Es kann auf ihre zutreffenden Ausführungen verwiesen werden (angefochtener Entscheid E. 4).
3. 3.1 Gemäss Art. 50 Abs. 1 AuG besteht der Anspruch des Ehepartners auf Erteilung und Verlängerung der Aufenthaltsbewilligung nach Art. 42 AuG auch nach Auflösung der Ehe oder der Familiengemeinschaft weiter, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (lit. a) oder wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (lit. b). Die Bestimmung bezweckt die Vermeidung schwerwiegender Härtefälle bei der Auflösung der ehelichen Gemeinschaft. Wichtige persönliche Gründe können namentlich vorliegen, wenn der erwähnte Ehepartner Opfer ehelicher Gewalt wurde und die soziale Wiedereingliederung im Herkunftsland stark gefährdet erscheint (Abs. 2). Der Verbleib in der Schweiz kann sich in diesem Sinn auch als erforderlich erweisen, wenn gemeinsame Kinder vorhanden sind, zu denen eine enge Beziehung besteht und die in der Schweiz gut integriert sind. Zu berücksichtigen sind stets auch die Umstände, die zur Auflösung der Gemeinschaft geführt haben (Urteil 2C_635/2009 vom 26. März 2010 E. 5.3.1).
3.2 Der Beschwerdeführer macht unter Berufung auf Art. 50 Abs. 1 AuG sowie <ref-law> und Art. 8 EMRK geltend, zu den beiden gemeinsamen Kindern bestehe eine sehr enge Beziehung und diese seien in der Schweiz gut integriert. Damit lägen wichtige persönliche Gründe vor.
3.3 Zwar ist dem Schutz des Familienlebens nach Art. 8 EMRK und <ref-law> im Rahmen von Art. 50 AuG Rechnung zu tragen. Nach der ständigen Praxis zu den erwähnten Verfassungs- und Konventionsbestimmungen hätte der Beschwerdeführer einen Anwesenheitsanspruch indes nur, wenn zwischen ihm und seinen Kindern in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung bestünde, die wegen der Distanz zu seinem Heimatland praktisch nicht aufrecht erhalten werden könnte, und wenn zusätzlich das bisherige Verhalten des Ausländers zu keinerlei Klagen Anlass gegeben hat (Urteil 2C_195/2010 vom 23. Juni 2010 E. 6.6).
3.4 Der vom Beschwerdeführer angerufene <ref-law> beschränkt sich im Sinne eines Institutsschutzes auf die durch Ehe begründete Familie und hat gegenüber den das Familienleben schützenden Bestimmungen von <ref-law> und Art. 8 EMRK im vorliegenden Zusammenhang keine weitergehende Bedeutung (vgl. Stephan Breitenmoser, St. Galler Kommentar, N. 23 zu <ref-law>, und Ruth Reusser, ebenda, N. 37 zu <ref-law>). Dasselbe gilt für die vom Beschwerdeführer angeführten Art. 23 Ziff. 2 UNO-Pakt II (SR 0.103.2) und Art. 5 lit. d Abs. IV des internationalen Abkommens zur Beseitigung jeder Form von Rassendiskriminierung (RDK; SR 0.104); jedenfalls legt der Beschwerdeführer nicht dar, inwiefern ihm diese Bestimmungen einen weitergehenden Anspruch einräumen, weshalb darauf nicht näher einzugehen ist.
3.5 Die Vorinstanz hat festgestellt, die Beziehung des Beschwerdeführers zu seinen beiden Kindern gehe nicht über das hinaus, was im Falle von getrennt lebenden Eltern üblich ist. Auch in wirtschaftlicher Hinsicht bestehe keine besonders enge Beziehung.
Der Beschwerdeführer hat an der Feststellung des Sachverhalts mitzuwirken (vgl. Art. 90 AuG). Dies gilt namentlich bei Umständen aus seinem Lebensbereich, die er selber besser kennt als die Vorinstanzen. Selbst wenn die Behörden den Sachverhalt von Amtes wegen festzustellen haben, trifft den Gesuchsteller die Pflicht, diejenigen Tatsachen darzulegen, die nur ihm bekannt sind oder von ihm mit wesentlich geringerem Aufwand erhoben werden können. Daher kann erwartet werden, dass der Beschwerdeführer substantiiert und - soweit möglich - anhand geeigneter Belege darlegt, dass zu seinen beiden Kindern eine besonders enge, über das Übliche hinausgehende Beziehung besteht.
Dies hat der Beschwerdeführer nicht getan. Dass er zu den Kindern jedes zweite Wochenende schaut und das Besuchsrecht gemäss Trennungsvereinbarung reibungslos verlaufe, ist entgegen seiner Auffassung keineswegs geeignet darzutun, dass eine (besonders) enge Beziehung zu den Kindern besteht. Eine offensichtlich unvollständige oder unrichtige Sachverhaltsfeststellung liegt jedenfalls mangels entsprechender weitergehender Substantiierung nicht vor.
3.6 Die Vorinstanz hat ausführlich dargelegt, weshalb im vorliegenden Fall mit Blick auf die Kinder des Beschwerdeführers mangels der dafür erforderlichen engen Beziehung keine wichtigen persönlichen Gründe im Sinne von Art. 50 Abs. 1 lit. b AuG sowie Art. 8 EMRK und <ref-law> gegeben sind, die einen Anspruch auf Erteilung der Aufenthaltsbewilligung zu begründen vermöchten. Es kann auf diese zutreffenden Erwägungen verwiesen werden (angefochtenes Urteil E. 5.1 und 5.2). Dasselbe gilt für die Frage der stark gefährdeten sozialen Wiedereingliederung im Herkunftsland (angefochtenes Urteil E. 5.3). Was der Beschwerdeführer dazu vorbringt, ist nicht geeignet, eine Verletzung von Bundes- oder Konventionsrecht darzutun.
4. Der Beschwerdeführer rügt ebenfalls eine Verletzung des Diskriminierungsverbotes (<ref-law> [vgl. dazu <ref-ruling> E. 6.2] und Art. 5 lit. d Abs. IV RDK). Was er vorbringt, soweit dies den qualifizierten Begründungsanforderungen überhaupt zu genügen vermöchte (vgl. <ref-ruling> E. 3.2), lässt den angefochtenen Entscheid weder als konventions- noch als verfassungswidrig erscheinen. Es sind sowohl aus seinen Ausführungen als auch den Akten keinerlei Anhaltspunkte dafür ersichtlich, dass dem Beschwerdeführer die Verlängerung seiner Aufenthaltsbewilligung allein auf Grund seiner Rasse verweigert worden wäre. Von einer "parteiischen" Interessenabwägung kann nicht die Rede sein. Der angefochtene Entscheid beruht vielmehr auf nachvollziehbaren sachlichen Gründen.
5. 5.1 Der Beschwerdeführer macht schliesslich geltend, die Ablehnung einer Verlängerung seiner Aufenthaltsbewilligung nach Ermessen sei unverhältnismässig und willkürlich.
Beim Verhältnismässigkeitsgebot gemäss <ref-law> handelt es sich zwar um ein verfassungsmässiges Prinzip, nicht aber um ein mit subsidiärer Verfassungsbeschwerde selbständig anfechtbares verfassungsmässiges Recht (vgl. <ref-ruling> E. 4.1). Da der Beschwerdeführer sodann vorliegend im ausländerrechtlichen Verfahren keine Bewilligungsansprüche geltend machen, namentlich solche nicht aus Art. 8 EMRK ableiten kann, wird er durch die Bewilligungsverweigerung nicht in rechtlich geschützten Interessen betroffen, weshalb ihm die Legitimation zur Verfassungsbeschwerde betreffend den materiellen Bewilligungsentscheid weitgehend fehlt (<ref-law>; vgl. <ref-ruling>). Namentlich ist er zur Willkürrüge nicht legitimiert (<ref-ruling> E. 6 S. 197 ff.). Die Voraussetzungen zum Eintreten auf das Rechtsmittel als subsidiäre Verfassungsbeschwerde sind nicht erfüllt (vgl. Urteil 2C_226/2009 vom 21. April 2009 E. 2.2).
6. Die Beschwerde in öffentlichrechtlichen Angelegenheiten ist demnach abzuweisen, soweit darauf einzutreten ist. Auf die subsidiäre Verfassungsbeschwerde ist nicht einzutreten. Angesichts der ausführlichen Begründung des angefochtenen Entscheides, die umfassend auf die bundesgerichtliche Rechtsprechung Bezug nimmt, erwiesen sich die Rechtsbegehren als von vornherein aussichtslos, weshalb dem Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung nicht entsprochen werden kann (<ref-law>). Bei diesem Ausgang hat demzufolge der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung wird abgewiesen.
4. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
5. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 18. August 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Küng