Sachverhalt: A. Mit Eingabe vom 24. März 2003 liess X._, Mutter der Tochter Y._, bei der Vormundschaftsbehörde A._ das Begehren stellen, es sei die ihr am 3. Dezember 2001 entzogene elterliche Obhut über das bei Z._, ihrer Schwester, platzierte Kind wieder auf sie zu übertragen. Gleichzeitig stellte sie das Gesuch, ihr im eingeleiteten Verfahren die unentgeltliche Rechtspflege zu gewähren und ihren Anwalt zum unentgeltlichen Rechtsvertreter zu bestellen. Die Vormundschaftsbehörde A._ beschloss am 16. Juni 2003, auf das Armenrechtsgesuch nicht einzutreten mit der Begründung, im Verfahren vor den Vormundschaftsbehörden sei das Institut der unentgeltlichen Rechtspflege nicht vorgesehen. Am 6. Januar 2004 wies das Bezirksamt Baden die von X._ gegen den vormundschaftsbehördlichen Beschluss vom 16. Juni 2003 eingereichte Beschwerde ab. B. X._ erhob Beschwerde an das Obergericht des Kantons Aargau (Kammer für Vormundschaftswesen als zweitinstanzliche vormundschaftliche Aufsichtsbehörde). Mit Entscheid vom 16. März 2004 änderte das Obergericht den Beschluss der Vormundschaftsbehörde vom 16. Juni 2003 von Amtes wegen dahin ab, dass das Gesuch um Gewährung der unentgeltlichen Rechtspflege und Bestellung eines unentgeltlichen Rechtsbeistandes abgewiesen werde. Im Übrigen wies es die Beschwerde wie auch das für das obergerichtliche Verfahren gestellte Armenrechtsgesuch ab. Es erklärte, das kantonale Verwaltungsrechtspflegegesetz sehe die unentgeltliche Rechtspflege mit Kostenerlassfolge und unentgeltlicher Rechtsvertretung nur für das kostenpflichtige Beschwerdeverfahren vor den vormundschaftlichen Aufsichtsbehörden vor, nicht auch für das Verfahren vor der Vormundschaftsbehörde, das unentgeltlich sei und in dem keine Parteientschädigung zugesprochen werde. In einem Fall der vorliegenden Art bestehe im Übrigen keine Notwendigkeit für eine anwaltliche Vertretung. C. X._ führt staatsrechtliche Beschwerde wegen Verletzung von Art. 9 und 29 Abs. 3 BV, eventuell von Art. 6 EMRK, und verlangt, den Entscheid des Obergerichts aufzuheben; allenfalls sei ihr für das gesamte kantonale Verfahren die unentgeltliche Rechtspflege zu bewilligen. Ferner ersucht sie auch für das bundesgerichtliche Verfahren darum, ihr die unentgeltliche Rechtspflege zu gewähren. Das Obergericht hat auf eine Vernehmlassung ausdrücklich verzichtet.