Sachverhalt:
A. X._ (Ehemann) und Y._ (Ehefrau), beide Staatsangehörige von Bosnien und Herzegowina, heirateten im Jahre 1996 und haben zwei Söhne: V._, geboren 2000, und W._, geboren 2001. Durch Urteil des Grundgerichts Z._ (Bosnien und Herzegowina) vom 29. September 2004 wurde die Ehe geschieden, ohne dass die Nebenfolgen der Scheidung geregelt worden sind.
Am 17. September 2004 hatte die Einzelrichterin im summarischen Verfahren des Bezirks C._ gestützt auf ein Eheschutzbegehren von Y._ vom Getrenntleben der Ehegatten Vormerk genommen, die beiden Kinder für die Dauer des Getrenntlebens unter die Obhut der Mutter gestellt und weiter unter anderem verfügt, dass für den Fall einer Nichteinigung über die Gestaltung des persönlichen Verkehrs zwischen den Kindern und X._ diesem ein Besuchsrecht an zwei Wochenenden im Monat, jeweils am ersten Weihnachtstag und abwechslungsweise an Ostern und Pfingsten sowie ein Ferienrecht von zwei Wochen während der Schulferien eingeräumt werde.
B. Mit Eingabe vom 17. Februar 2005 stellte Y._ beim Gerichtspräsidium A._ das Begehren, die Eheschutzverfügung vom 17. September 2004 unter anderem insofern abzuändern, als das Besuchsrecht und das Ferienrecht bis auf weiteres zu sistieren seien; allenfalls sei ein begleitetes Besuchsrecht von einzelnen Tagen ohne Übernachtung beim Vater festzulegen, unter gleichzeitiger Errichtung einer Beistandschaft.
X._ schloss auf Abweisung dieser Abänderungsanträge und verlangte, es sei für die beiden Kinder ein Beistand oder eine Beiständin zu bestellen, mit dem Auftrag, die Ausübung des durch die Eheschutzrichterin festgelegten Besuchsrechtes zu ermöglichen und zu überwachen und bei Konflikten zu vermitteln.
Der Gerichtspräsident 3 von A._ erkannte am 20. April 2005 bezüglich des persönlichen Verkehrs der Kinder mit dem Vater, dass eine Erziehungsbeistandschaft im Sinne von <ref-law> errichtet werde mit dem Zweck, das in der Eheschutzverfügung vom 17. September 2004 festgelegte Besuchs- und Ferienrecht zu ermöglichen und zu überwachen und bei Konflikten zu vermitteln.
Gegen dieses Urteil führten beide Parteien Beschwerde an das Obergericht des Kantons Aargau: Y._ beantragte, X._ sei bis auf weiteres berechtigt zu erklären, die Kinder während eines Tages im Monat in Anwesenheit einer Begleitperson zu besuchen, und das Ferienrecht sei bis auf weiteres zu sistieren. Die Beschwerdeanträge von X._ betrafen im Wesentlichen die (hier nicht in Frage stehenden) bezirksgerichtlichen Anordnungen zu den Unterhaltsbeiträgen.
Mit Urteil vom 13. Februar 2006 erkannte das Obergericht (Zivilgericht, 5. Kammer) unter anderem, dass V._ und W._ für die Dauer des Verfahrens betreffend Ergänzung des Scheidungsurteils unter die Obhut von Y._ gestellt würden (Dispositiv-Ziffer 1.1.1a) sowie dass X._ berechtigt sei, die Söhne an einem Tag pro Monat in Begleitung zu besuchen, und zur Durchführung und Überwachung dieses Besuchsrechtes eine Erziehungsbeistandschaft im Sinne von <ref-law> errichtet werde (Dispositiv-Ziffer 1.1.1b). Die Kosten des zweitinstanzlichen Verfahrens wurden zu einem Viertel Y._ und zu drei Vierteln X._ auferlegt, zufolge der den beiden gewährten unentgeltlichen Rechtspflege unter Vorbehalt der Rückforderung jedoch einstweilen auf die Gerichtskasse genommen (Dispositiv-Ziffer 2), und X._ wurde verpflichtet, dem Rechtsvertreter von Y._ die Hälfte der zweitinstanzlichen Parteikosten zu ersetzen (Dispositiv-Ziffer 3).
C. X._ führt staatsrechtliche Beschwerde wegen Verletzung von <ref-law> und verlangt, die Dispositiv-Ziffern 1.1.1b, 2 und 3 des obergerichtlichen Urteils aufzuheben. Ausserdem sei der Beschwerde aufschiebende Wirkung zuzuerkennen und ihm für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege zu gewähren.
Die Beschwerdegegnerin beantragt Abweisung des Gesuchs um aufschiebende Wirkung. Zur Sache sind keine Vernehmlassungen eingeholt worden.
D. Durch Präsidialverfügung vom 10. Mai 2006 ist das Gesuch um aufschiebende Wirkung abgewiesen worden.

Das Bundesgericht zieht in Erwägung:
1. In seinen Erwägungen zum Besuchs- und Ferienrecht bemerkt das Obergericht zunächst, S._, die Beiständin der beiden Kinder, habe in ihrem vom Beschwerdeführer angerufenen Schreiben vom 19. September 2005 erklärt, dass sie keinen Grund sehe, von der "jetzigen (d.h. offenbar von der von der Eheschutzrichterin getroffenen) Besuchsrechtsregelung" abzuweichen. Die Beiständin habe ausserdem erwähnt, dass am 23. August 2005 eine gemeinsame Auswertung zweier eintägiger Besuchsrechtstage vorgenommen worden sei; den Kindern habe es beim Vater gut gefallen, was die Beschwerdegegnerin bestätigt habe.
Sodann hält das Obergericht jedoch dafür, der Umstand, dass Kinder gerne zum nicht obhutsberechtigten Elternteil gingen, schliesse eine Gefährdung des Kindeswohls nicht von vornherein aus. So sei denkbar, dass dieser Elternteil die Kinder masslos verwöhne oder Reizen aussetze, die sie faszinierten, auch wenn die Reize alles andere als altersadäquat seien. In diesem Sinne habe die Beschwerdegegnerin insbesondere geltend gemacht, dass der Beschwerdeführer die noch kleinen Kinder ungeeignete Filme mit gewalttätigem Inhalt schauen lasse. Nach einem Besuch beim Beschwerdeführer habe der ältere Sohn, V._, aus "Lego"- Elementen ein Messer gebastelt, es seinem Bruder an die Kehle gesetzt und diesem dann den Kopf an den Haaren nach hinten gerissen und eine Schnittbewegung gemacht; eine Handlung, wie sie höchstens in den ärgsten Brutalofilmen vorkomme. Auch wenn es sich bei dieser Schilderung um ein Parteivorbringen handle, müsse sie als glaubwürdig bezeichnet werden.
Die kantonale Beschwerdeinstanz erwähnt ausserdem den Bericht von T._, Psychologin und Psychotherapeutin, wonach der Sohn V._ offenbar in bewunderndem Ton geschildert habe, wie der Beschwerdeführer am Besuchswochenende vom 7. August 2005 mit seinem Auto Wettrennen veranstaltet habe, wobei es ihm gelungen sei, bis auf einen alle anderen Wagen zu überholen.
Schliesslich sei auch auf den Bericht von U._, der Leiterin der Kinderkrippe B._, vom 8. August 2005 hinzuweisen, wonach V._ grosse Schwierigkeiten gehabt habe, sich mit den anderen Kindern zu finden, und es ihm wegen seines aggressiven, dominanten und impulsiven Verhaltens ohne Hilfe der Gruppenleiterinnen zunächst nicht gelungen sei, mit ihnen zu spielen. Dem Bericht sei weiter zu entnehmen, dass es V._ vom Frühling 2005 bis zu den Sommerferien dann teilweise möglich gewesen sei, sich ohne Hilfe in der Gruppe zurechtzufinden; in der zweiten Augustwoche sei bei ihm die Spannung dann aber erneut angestiegen und er habe sehr impulsiv gewirkt; in der ersten Septemberwoche habe sich seine Aggression dann wieder abgeschwächt. Der Beurteilung der Krippenleiterin misst das Obergericht insofern besondere Bedeutung bei, als V._ gerade dann in das "alte" Verhaltensmuster zurückgefallen sei, nachdem er am 7. August 2005 erstmals seit rund acht Monaten wieder ein Wochenende beim Beschwerdegegner verbracht gehabt habe.
Zusammenfassend hält das Obergericht es für glaubhaft, dass der Beschwerdeführer seinen beiden fünf- und vierjährigen Kindern eine bedenkliche Einstellung zur Gewalt vermittle und sie insbesondere körperlich unnötig gefährde. Unter dem Gesichtspunkt des Kindeswohls erscheine es unter den gegebenen Umständen als angezeigt, den persönlichen Verkehr zwischen dem Beschwerdeführer und seinen Söhnen für die Dauer des Hauptverfahrens (betreffend Ergänzung des Scheidungsurteils) auf ein begleitetes Besuchsrecht an einem Tag im Monat zu begrenzen und von der Einräumung eines Ferienrechts abzusehen.
2. Der Beschwerdeführer erblickt in diesem Entscheid einen Verstoss gegen das Willkürverbot.
2.1 Willkür im Sinne von <ref-law> liegt nach ständiger Rechtsprechung nicht schon dann vor, wenn eine andere Lösung als die beanstandete ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen materieller Rechtsverweigerung nur dann auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder sonst wie in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Die Aufhebung eines kantonalen Entscheids rechtfertigt sich in jedem Fall nur dort, wo nicht nur die Begründung, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> E. 5.1 S. 17; <ref-ruling>, E. 2 S. 61, und 217, E. 2.1 S. 219, mit Hinweisen).
2.2 Das Bundesgericht prüft nicht von Amtes wegen, ob ein kantonaler Entscheid verfassungswidrig ist. Art. 90 Abs. 1 lit. b OG verlangt die Darlegung, inwiefern verfassungsmässige Rechte und Rechtssätze verletzt worden seien, was appellatorische Kritik, wie sie allenfalls im Rahmen eines Berufungsverfahrens zulässig ist, ausschliesst. Wird Willkür gerügt, ist klar und detailliert aufzuzeigen, inwiefern der kantonale Entscheid qualifiziert unrichtig sein soll (<ref-ruling> E. 1.3 S. 262 mit Hinweisen).
3. Soweit das in der Beschwerde Vorgebrachte überhaupt den dargelegten Begründungsanforderungen genügt, ist es nicht geeignet, den Vorwurf der Willkür als begründet erscheinen zu lassen:
3.1 Den Schilderungen der verschiedenen Personen, die die Kinder der Parteien beobachtet und zum Teil mit ihnen gesprochen haben, hält der Beschwerdeführer in allgemeiner appellatorischer Form entgegen, er bestreite deren Richtigkeit bzw. sie enthielten masslose Übertreibungen und letztere seien vom Obergericht noch gesteigert worden. Er setzt sich mit den einzelnen Vorhaltungen nicht ernsthaft auseinander. Ohne den Vorwurf, er lasse die Kinder Filme gewalttätigen Inhalts schauen, ausdrücklich zu widerlegen, beschränkt er sich darauf, von "harmlosen Kindervideos" zu sprechen. Worum es sich bei den Filmen genau gehandelt habe, unterlässt er indessen darzutun. In ähnlicher Weise begnügt er sich damit, den Ausführungen zu seinem Verhalten als Automobilist entgegenzuhalten, es habe sich um "allfällige Überholmanöver" gehandelt, anderes könne nicht angenommen werden. Von vornherein unbehelflich ist die Bemerkung, er habe den Vorwurf, "Autorennen" veranstaltet zu haben, stets bestritten. Die Wiedergabe des im kantonalen Verfahren Vorgebrachten enthält nichts Konkretes zum genannten Vorwurf.
3.2 Der Beschwerdeführer ist der Ansicht, die Beschwerdegegnerin halte die gegen ihn erhobenen Vorwürfe offenbar selbst nicht für wahr, wäre sie doch sonst nicht bereit gewesen, ihm für die Zeit vom 1. bis zum 15. Juli 2006 ein Ferienbesuchsrecht zu gewähren. Dieses Vorbringen, das in den Feststellungen der kantonalen Instanz keine Stütze findet, ist unbeachtlich: Der Beschwerdeführer belegt es mit dem Hinweis auf Aktennotizen, die die Beiständin am 20. und 21. Februar 2006, d.h. erst nach Fällung des obergerichtlichen Urteils, aufgenommen habe. Im Verfahren der staatsrechtlichen Beschwerde hat sich das Bundesgericht indessen auf die Prüfung der Verhältnisse im Zeitpunkt des angefochtenen Entscheids zu beschränken (dazu <ref-ruling> E. 2 S. 246).
3.3 Des Weiteren beanstandet der Beschwerdeführer, dass das Obergericht unterlassen habe, ein Gutachten oder zumindest, seinem Antrag entsprechend, einen Amtsbericht der Beiständin einzuholen. Abgesehen davon, dass er nach seinen eigenen Ausführungen im kantonalen Verfahren den Beizug eines Gutachtens selbst als überflüssig erachtet hatte, legt er indessen nicht dar, inwiefern in dieser Hinsicht Verfassungsrecht missachtet worden sein soll. Er setzt sich insbesondere nicht mit den Feststellungen der kantonalen Beschwerdeinstanz auseinander, das zur Anwendung gelangende summarische Verfahren kenne kein weitläufiges Beweisverfahren, das Beweismass beschränke sich auf das Glaubhaftmachen, es könne nicht der strikte Beweis einer bestrittenen Tatsache verlangt werden und es genüge, dass eine gewisse Wahrscheinlichkeit für deren Vorhandensein spreche. Dass die Annahme, die Tatsachenvorbringen der Beschwerdegegnerin seien glaubhaft, und der daraus gezogene Schluss, das Wohl der Kinder sei bei einer Aufrechterhaltung des Besuchsrechtes im bisherigen Umfang gefährdet, willkürlich seien oder sonst wie gegen die Verfassung verstiessen, ist mit dem in der Beschwerde Vorgetragenen nicht dargetan. Das gilt insbesondere auch für die Beanstandung, dass das Obergericht allein auf Grund des Verhaltens und der Aussagen von V._ auf eine Gefährdung für beide Kinder geschlossen habe.
3.4 Der Beschwerdeführer bringt schliesslich nichts vor, was den auf Grund der als glaubhaft betrachteten Gefährdung des Kindeswohls getroffenen Entscheid, für die Dauer des Hauptverfahrens betreffend Ergänzung des Scheidungsurteils das Besuchsrecht einzuschränken und das Ferienrecht aufzuheben, als verfassungswidrig erscheinen liesse. In Anbetracht der Feststellungen des Obergerichts ist sein Hinweis auf die guten Beziehungen zwischen ihm und den Kindern, die auch von der kantonalen Instanz nicht in Zweifel gezogen würden, unbehelflich. Als Begründung ungenügend ist der Hinweis des Beschwerdeführers, er habe schon im kantonalen Verfahren bestritten, dass die Kinder in einem Mass verhaltensauffällig seien, das die Norm überschreite und irgend eine Einschränkung seines Besuchsrechtes als angezeigt erscheinen liesse. Zu beachten ist im Übrigen, dass dem Obergericht bei seinem Entscheid ein gewisses Ermessen zustand. Dafür, dass das Besuchsrecht gestützt auf eine kantonale Praxis, die bei Uneinigkeit der Eltern angewendet werde, reduziert worden sei, ergeben sich auf Grund der Erwägungen im angefochtenen Entscheid keinerlei Anhaltspunkte.
4. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Sie erschien unter den dargelegten Umständen von vornherein als aussichtslos. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ist daher abzuweisen (vgl. Art. 152 Abs. 1 OG), und die Gerichtsgebühr ist ausgangsgemäss dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG). Dieser ist ausserdem zu verpflichten, die Beschwerdegegnerin für ihre Umtriebe im bundesgerichtlichen Verfahren (Vernehmlassung zum Gesuch, der Beschwerde aufschiebende Wirkung zuzuerkennen) zu entschädigen (Art. 159 Abs. 1 OG).
5.

Demnach erkennt das Bundesgericht:
1. Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch des Beschwerdeführers, ihm für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege zu gewähren, wird abgewiesen.
3. Die Gerichtsgebühr von Fr. 1'500.-- wird dem Beschwerdeführer auferlegt.
4. Der Beschwerdeführer wird verpflichtet, die Beschwerdegegnerin für ihre Umtriebe im bundesgerichtlichen Verfahren mit Fr. 750.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Obergericht (Zivilgericht, 5. Kammer) des Kantons Aargau schriftlich mitgeteilt.
Lausanne, 28. August 2006
Im Namen der II. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: