Sachverhalt: A. A.a Die Eheleute Z._ (Ehefrau) und X._ (Ehemann) sind die Eltern des am 1. Juli 2010 geborenen Kindes Y._. Nachdem X._ am 7. April 2010 in Mazedonien Ehescheidungsklage eingereicht hatte, stellte Z._ am 20. Mai 2010 beim Gerichtskreis V Burgdorf-Fraubrunnen ein Gesuch um Erlass von Eheschutzmassnahmen mit den Anträgen auf Feststellung der Aufhebung des gemeinsamen Haushaltes per 15. März 2010 und auf Regelung der Folgen des Getrenntlebens. Der Präsident des Regionalgerichts Emmental-Oberaargau behandelte diese Eingabe als Gesuch um Erlass vorsorglicher Massnahmen für die Dauer des Scheidungsverfahrens im Sinn von Art. 137 aZGB und stellte mit Entscheid vom 23. März 2011 fest, dass der gemeinsame Haushalt aufgehoben worden sei (Ziff. 1). Im Weiteren stellte er das gemeinsame Kind der Parteien unter die Obhut von Z._ (Ziff. 2) und gewährte X._ einmal im Monat ein begleitetes Besuchsrecht und ordnete an, dass der begleitete Besuch in einer sicheren Institution stattzufinden, die Begleitung während der ganzen Zeit anwesend zu sein und den Besuch zu beaufsichtigen habe. Mit dem Vollzug des Besuchsrechts wurde der Sozialdienst A._ betraut (Ziff. 3). Sodann verpflichtete der Gerichtspräsident X._, ab 1. April 2011 an den Unterhalt des gemeinsamen Kindes einen monatlich und im Voraus zahlbaren Beitrag von Fr. 627.-- zuzüglich allfälliger Kinderzulagen von Fr. 230.-- zu bezahlen (Ziff. 4) und an den Unterhalt von Z._ ab dem 1. April 2011 monatlich und im Voraus mit Fr. 597.-- beizutragen (Ziff. 5). Ferner setzte er den rückwirkend geschuldeten Unterhalt (für Frau und Kind) auf Fr. 16'730.-- fest (Ziff. 6) und regelte die Aufteilung des Mobiliars (Ziff. 7). A.b X._ gelangte gegen dieses Urteil mit Berufung an das Obergericht des Kantons Bern und verlangte eine Ausweitung seines Besuchsrechts sowie eine Aufhebung bzw. Herabsetzung der Unterhaltspflicht gegenüber Frau und Kind. Mit Entscheid vom 19. Mai 2011 bestätigte das Obergericht die erstinstanzliche Regelung mit Bezug auf das Besuchsrecht und die Höhe des Unterhalts, präzisierte ihn aber hinsichtlich der Kinderzulagen insofern, als eine allfällige Kinderzulage zusätzlich zu leisten ist (Ziffern 2-5). A.c Mit Urteil vom 31. Mai 2011 schied das erstinstanzliche Gericht von B._/Mazedonien die Ehe der Parteien. Das Urteil enthält keine ausdrückliche Regelung mit Bezug auf den Unterhalt von Z._ und die Kinderbelange. Dieses Urteil ist am 8. Juni 2011 in Rechtskraft erwachsen. B. B.a Mit Urteil vom 20. September 2011 hob das Bundesgericht das obergerichtliche Urteil in Gutheissung einer Beschwerde von X._ hinsichtlich des Umfangs des Besuchsrechts und die Berechnung der Unterhaltsbeiträge für die (geschiedene) Ehefrau und das Kind auf und wies die Sache zu weiteren Abklärungen bezüglich dieser Punkte und zu neuem Entscheid an das Obergericht zurück (Urteil 5A_432/2011 vom 20. September 2011). In diesem Verfahren wurde das mazedonische Scheidungsurteil vom 31. Mai 2011 nicht berücksichtigt. B.b Das Obergericht des Kantons Bern wies die Sache zur vorsorglichen Regelung des Besuchsrechts von X._ und des von ihm zu leistenden "Kinder- und Ehegattenunterhalts" zu weiteren Abklärungen und neuem Entscheid an das Regionalgericht zurück (2). Ferner verpflichtete es X._, für das Kind ab dem 1. April 2012 und bis zum Vorliegen eines neuen erstinstanzlichen Entscheids einen monatlich im Voraus zahlbaren Unterhaltsbeitrag von Fr. 620.-- zuzüglich einer allfälligen Kinderzulage zu bezahlen (3), ferner ab dem 1. April 2012 bis zum Vorliegen eines neuen erstinstanzlichen Entscheids an den Unterhalt von Z._ monatlich und im Voraus mit Fr. 600.-- beizutragen (4), schliesslich seiner früheren Ehefrau rückwirkend für die Zeit vom 15. März 2010 bis 31. März 2012 Kindes- und Ehegattenunterhalt von Fr. 31'358.-- plus allfällige in diesem Zeitraum bezogene Kinderzulagen zu entrichten (4). C. X._ hat gegen das ihm am 21. März 2012 in voller Ausfertigung zugestellte obergerichtliche Urteil beim Bundesgericht am 20. April 2012 (Postaufgabe) Beschwerde in Zivilsachen erhoben. Er beantragt sinngemäss, es sei das angefochtene Urteil insoweit aufzuheben, als es ihm Unterhaltsleistungen zugunsten von Z._ für die Zeit nach dem 8. Juni 2011 auferlege. Eventuell sei das angefochtene Urteil aufzuheben und die Sache zu neuem Entscheid im Sinn der Erwägungen an die erste Instanz zurückzuweisen. Für das bundesgerichtliche Verfahren ersucht er um unentgeltliche Rechtspflege. D. Der Beschwerdeführer beantragt überdies der Beschwerde aufschiebende Wirkung im Sinn des Antrages in der Sache zu gewähren. Das Obergericht hat auf eine Stellungnahme zum Gesuch um aufschiebende Wirkung verzichtet. Die Beschwerdegegnerin beantragt, das Gesuch teilweise gutzuheissen und es für die vor dem 8. Juni 2011 zugesprochenen Unterhaltsbeiträge abzuweisen. Ferner stellt sie ein Gesuch um unentgeltliche Rechtspflege. E. In der Sache sind keine Vernehmlassungen eingeholt worden. F. Mit Verfügung vom 14. Mai 2012 wurde der Beschwerde für die bis zum 8. Juni 2011 geschuldeten Unterhaltsbeiträge aufschiebende Wirkung zuerkannt.