Erwägungen:
1. Am 13. November 2008 stellte der Amtsgerichtspräsident des Richteramtes A._ in einem von den Beschwerdeführern angehobenen Verfahren betreffend Feststellungsklage nach Art. 42 Abs. 1 ZGB fest, dass die Eintragung der Geburt von B._ in das Schweizerische Zivilstandsregister mit Verfügung der ZAB vom 13. Juni 2008 erfolgt sei (Ziff. 2) und daher das Verfahren infolge Gegenstandslosigkeit als erledigt von der Geschäftskontrolle abgeschrieben werde (Ziff. 3). Die Parteikosten wurden wettgeschlagen und die Kostenforderung von Rechtsanwalt C._ auf Fr. 1'781.85 (inkl. Auslagen und MwSt) festgesetzt (Ziff. 4). Die Kosten des Verfahrens von total Fr. 2'810.-- wurden den Beschwerdeführern auferlegt. Die Kosten sind zufolge der gewährten unentgeltlichen Rechtspflege und des unentgeltlichen Rechtsbeistands, vorbehältlich eines Rückforderungesanspruchs des Staates während 10 Jahren im Fall hinreichenden Vermögens oder Einkommens, vom Staat Solothurn zu tragen. Das Obergericht des Kantons Solothurn wies am 8. April 2009 einen dagegen eingereichten Rekurs der Beschwerdeführer ab, soweit es darauf eintrat, wies das Gesuch um unentgeltliche Rechtspflege der Beschwerdeführer ab und auferlegte ihnen die Verfahrenskosten von Fr. 400.--.
Die Beschwerdeführer gelangen mit Beschwerde in Zivilsachen bzw. subsidiärer Verfassungsbeschwerde vom 4. Mai 2009 an das Bundesgericht. Sie beantragen die vollständige Eintragung des Geburteneintrags gemäss Angaben vom 13. Mai 2006, die vollständige Akteneinsicht, die Gewährung des rechtlichen Gehörs sowie die unentgeltliche Rechtspflege.
2. Die Beschwerdeschrift ist lediglich von der Beschwerdeführerin unterzeichnet worden. Der Beschwerdeführer ist mit Schreiben vom 15. Mai 2009 aufgefordert worden, die Beschwerdeschrift innert einer Frist von 5 Tagen seit Erhalt des Schreibens zu unterzeichnen. Er hat dieses Schreiben am 19. Mai 2009 in Empfang genommen. Die fünftägige Frist ist am 25. Mai 2009 unbenutzt abgelaufen. Wie im Schreiben angedroht, ist demzufolge auf die Eingabe vom 4. Mai 2009 nicht einzutreten, soweit sie den Beschwerdeführer betrifft (Art. 42 Abs. 5 BGG i.V.m. Art. 108 Abs. 1 lit. a BGG).
3. 3.1 Das Obergericht trat auf den Rekurs der Beschwerdeführer wegen schlechter Mandatsführung durch den Anwalt und wegen der angeblich zu hohen Kostennote dieses Anwalts mit der Begründung nicht ein, die Beschwerdeführer seien durch die zu hohe Kostennote nicht in ihrer eigenen Rechtsstellung betroffen. Desgleichen könne auch die angeblich schlechte Mandatsführung nicht mit Rekurs angefochten werden. Die Beschwerdeführer hätten kein aktuelles Interesse, die Kostennote ihres Anwalts anzufechten und überprüfen zu lassen. Das könne sich allenfalls ändern, falls sie innert 10 Jahren zu neuem Vermögen oder Einkommen kämen. In diesem Fall könnten sie die Einwendungen wegen angeblicher schlechter Mandatsführung im Rückforderungsverfahren geltend machen. Beim erstinstanzlichen Verfahren handle es sich um ein Einparteienverfahren, weshalb die Kosten nur den Beschwerdeführern hätten auferlegt werden können. Was die Kosten der DNA-Analyse anbelange, so sei diese Analyse unter den gegebenen Umständen angezeigt und die Beschwerdeführerin damit einverstanden gewesen; diese habe den Test auch ausführen lassen und könne sich daher nicht darauf berufen, der Test sei mutwillig oder rechtsmissbräuchlich gewesen. Als Teil der Verfahrenskosten seien die Kosten der Analyse auch von den Beschwerdeführern zu tragen. Was die Rüge der Beschwerdeführer anbelange, die Namen des Kindes seien nicht gemäss den Begehren in der Feststellungsklage eingetragen worden, so sei der Rekurs auch insoweit unbegründet. Die ursprüngliche Feststellungsklage habe auf Feststellung der Geburt und Ausstellung eines Geburtsscheins "D._" gelautet. Diesem Begehren sei mit der Eintragung der Geburt in das schweizerische Zivilstandsregister am 14. Juni 2008 entsprochen worden. Die Eintragung der vier Vornamen des Kindes (B._) sei nach den Angaben im französischen Geburtsauszug und im Gerichtsentscheid vom 10. Dezember 2007 des Tribunal de Grande Instance de Mulhouse, Chambre de la Famille, im schweizerischen Zivistandsregister vorgenommen worden. Damit sei der Streitgegenstand weggefallen und sei das Verfahren vom Amtsgerichtspräsidenten zu Recht infolge Gegenstandslosigkeit abgeschrieben worden. Soweit die Beschwerdeführer geltend machten, die Namen des Kindes seien nicht vollständig und richtig eingetragen worden, gehe aus dem Rekurs nicht hervor, inwiefern die Namen unvollständig oder falsch eingetragen worden seien. Der Antrag sei nicht klar und bestimmt, weshalb darauf nicht einzutreten sei.
3.2 Die Beschwerdeführerin setzt sich mit diesen Erwägungen des vorinstanzlichen Entscheids nicht auseinander. Sie wirft den kantonalen Instanzen eine Verweigerung des rechtlichen Gehörs vor, wobei sich aus der Rechtsschrift nicht erkennen lässt, inwiefern ihnen das Obergericht das rechtliche Gehör verweigert hat. Sodann bringt sie einfach die vor Obergericht vorgetragenen Rügen der zu hohen Kostennote bzw. der Unvollständigkeit der Eintragung im Zivilstandsregister nochmals vor, ohne aber auf die Antwort, die ihr das Obergericht auf diese Rügen gegeben hat, einzugehen. Die Begründung der Beschwerden entspricht den Begründungsanforderungen von Art. 42 Abs. 1 und 2 BGG bzw. von Art. 106 Abs. 2 BGG (BGE 134 I 83 E. 3.2. S. 88 mit Hinweisen; 133 IV 286 E. 4.1 S. 287 f.) nicht.
3.2 Die Beschwerdeführerin setzt sich mit diesen Erwägungen des vorinstanzlichen Entscheids nicht auseinander. Sie wirft den kantonalen Instanzen eine Verweigerung des rechtlichen Gehörs vor, wobei sich aus der Rechtsschrift nicht erkennen lässt, inwiefern ihnen das Obergericht das rechtliche Gehör verweigert hat. Sodann bringt sie einfach die vor Obergericht vorgetragenen Rügen der zu hohen Kostennote bzw. der Unvollständigkeit der Eintragung im Zivilstandsregister nochmals vor, ohne aber auf die Antwort, die ihr das Obergericht auf diese Rügen gegeben hat, einzugehen. Die Begründung der Beschwerden entspricht den Begründungsanforderungen von Art. 42 Abs. 1 und 2 BGG bzw. von Art. 106 Abs. 2 BGG (BGE 134 I 83 E. 3.2. S. 88 mit Hinweisen; 133 IV 286 E. 4.1 S. 287 f.) nicht.
3.3 Auf die offensichtlich unzulässigen Beschwerden ist somit im vereinfachten Verfahren (Art. 108 Abs. 1 lit. b BGG) durch die Präsidentin der Abteilung nicht einzutreten.
4. Die Beschwerdeführer tragen dem Ausgang des Verfahrens entsprechend die Kosten, wobei sie für den Gesamtbetrag solidarisch haften (Art. 66 Abs. 1 und 5 BGG).
5. Da sich die Beschwerden von Anfang an als aussichtslos erwiesen haben und der Beschwerdeführer seinerseits die Beschwerde trotz ordnungsgemässer Aufforderung zur Behebung des Mangels nicht innert Frist unterzeichnet eingereicht hat, kann dem Gesuch der Beschwerdeführer um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren nicht entsprochen werden (Art. 64 Abs. 1 BGG).
Demnach erkennt die Präsidentin:
1. Auf die Beschwerde in Zivilsachen sowie die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3. Die Gerichtskosten von Fr. 700.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
4. Dieses Urteil wird den Beschwerdeführern und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 28. Mai 2009
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Zbinden