Sachverhalt:
A. Die Eheleute X._ und Z._ sind die Eltern der beiden Mädchen S._, geboren 2005, und T._, geboren 2006.
Wegen starker Verwahrlosung und gesundheitlicher Gefährdung der beiden Kinder entzog der Präsident der Vormundschaftsbehörde A._ am 28. August 2007 X._ und Z._ im Sinne einer sofortigen Massnahme gestützt auf <ref-law> die elterliche Obhut. Ausserdem errichtete er eine Beistandschaft im Sinne von <ref-law> mit dem Auftrag an den Beistand, die Wohn- und/oder Pflegeplatzverhältnisse der Kinder zu klären bzw. zu prüfen, ob diese an einem Pflegeplatz untergebracht werden müssten, und ordnete an, dass den Eltern entsprechende Unterstützung zu gewähren sei. Die beiden Mädchen wurden noch am 28. August 2007 der Klinik für Kinder und Jugendliche des Kantonsspitals C._ anvertraut.
Am 30. August 2007 und am 3. September 2007 genehmigte bzw. bestätigte die Vormundschaftsbehörde A._ Obhutsentzug und Beistandschaft. Die als Beiständin ernannte Y._ wurde beauftragt, für die Betreuung und Vertretung der Kinder besorgt zu sein, einen geeigneten Pflegeplatz zu suchen, die Beziehung zwischen den Eltern und den Kindern zu überwachen und für den Informationsaustausch mit den Eltern zu sorgen. Am 10. September 2007 bewilligte die Vormundschaftsbehörde die Unterbringung der beiden Kinder im Heim B._ und erteilte eine entsprechende Kostengutsprache.
Die angeführten Beschlüsse blieben unangefochten und erwuchsen demnach in Rechtskraft.
B. Mit Eingabe vom 1. November 2007 an die Vormundschaftsbehörde beantragten X._ und Z._, den Obhutsentzug aufzuheben und eine Familienbegleitung anzuordnen. Die Vormundschaftsbehörde holte bei der Beiständin und beim Heim B._ Berichte und Ergänzungsberichte ein, nahm einen Bericht der Kantonalen Psychiatrischen Dienste zum Gesundheitszustand von Z._ zu den Akten und führte eine Besichtigung des von X._ und Z._ und den Kindern bewohnten Einfamilienhauses durch. Am 7. Januar 2008 wies sie den Antrag um Aufhebung des Obhutsentzugs ab.
X._ und Z._ zogen die Sache ohne Erfolg an das Bezirksamt D._ weiter, und aufgrund einer Beschwerde gegen dessen Entscheid vom 17. März 2008 erkannte das Obergericht des Kantons Aargau (Kammer für Vormundschaftswesen als zweitinstanzliche vormundschaftliche Aufsichtsbehörde) am 18. Juni 2008, dass von Amtes wegen verschiedene vormundschaftsbehördliche Beschlüsse wie auch der Entscheid des Bezirksamtes aufgehoben bzw. abgeändert würden, die gegen letzteren eingereichte Beschwerde jedoch abgewiesen werde, soweit darauf einzutreten sei. Abgewiesen wurde gleichzeitig auch das Gesuch um Gewährung der unentgeltlichen Rechtspflege für das obergerichtliche Verfahren.
C. Gegen den Entscheid des Obergerichts haben X._ und Z._ mit Eingabe vom 14. Juli 2008 Beschwerde in Zivilsachen erhoben. Sie beantragen im Wesentlichen, es sei der Obhutsentzug aufzuheben, eine geeignete Familienbegleitung anzuordnen und ihnen für das kantonale Verfahren die unentgeltliche Rechtspflege zu gewähren. Ausserdem ersuchen sie auch für das Verfahren vor Bundesgericht um Gewährung des Armenrechts.
Durch Präsidialverfügung vom 17. Juli 2008 ist das Begehren der Beschwerdeführer, der Beschwerde aufschiebende Wirkung zuzuerkennen, abgewiesen worden.
Vernehmlassungen zur Beschwerde sind nicht eingeholt worden.

Erwägungen:
1. Gemäss Art. 72 Abs. 2 lit. b Ziff. 7 BGG unterliegen Entscheide auf dem Gebiet des Kindesschutzes der Beschwerde in Zivilsachen. Die Beschwerde gegen den Entscheid der oberinstanzlichen vormundschaftlichen Aufsichtsbehörde, mit dem über die Obhut über die Kinder der Beschwerdeführer entschieden wurde, ist daher zulässig. Als sorgeberechtigte Eltern sind diese zur Beschwerde befugt. Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde ist demnach grundsätzlich einzutreten.
2. Die Beschwerdeführer hatten schon vor Obergericht einen Verstoss gegen die den Ausstand von Behördemitglieder regelnde Bestimmung von § 5 des Aargauer Verwaltungsrechtspflegegesetzes (VRPG) geltend gemacht, weil die Beiständin von der Vormundschaftsbehörde zur Abklärung des Sachverhalts beigezogen worden sei.
2.1 Dem Vorbringen der Beschwerdeführer hält das Obergericht entgegen, § 5 VRPG, wonach Behördemitglieder und Sachbearbeiter beim Erlass von Verfügungen und Entscheiden nicht mitwirken dürften, wenn ein Ausstandsgrund im Sinne der Zivilprozessordnung vorliege (Abs. 1), sei auf die Beiständin von vornherein nicht anzuwenden, da diese weder als Behördemitglied noch als Sachbearbeiterin am Erlass des vormundschaftsbehördlichen Beschlusses mitgewirkt habe. Daran ändere nichts, dass die Vormundschaftsbehörde bei der Sachverhaltsfeststellung von Amtes wegen selbstverständlich auch die Berichte der Beiständin berücksichtigt habe.
2.2 Diese Auffassung halten die Beschwerdeführer für willkürlich, doch bringen sie nichts vor, was ihre Rüge als begründet erscheinen liesse. Sie wenden sich ausdrücklich nicht gegen die Beistandschaft als solche und erachten diese als nötig. In ihrer Funktion hat sich die Beiständin für das Wohl der Kinder einzusetzen und dabei aktiv, autoritativ und kontinuierlich auf die Erziehungsarbeit der Eltern und das Gebaren der Kinder einzuwirken. Hier kam ihr insbesondere die Aufgabe zu, die Wohn- und/oder Pflegeplatzverhältnisse zu klären bzw. zu prüfen, ob die Kinder allenfalls an einem Pflegeplatz untergebracht werden müssten, und war den Eltern entsprechende Unterstützung zu gewähren (Verfügung des Präsidenten der Vormundschaftsbehörde vom 28. August 2007). Ferner ist sie für die Betreuung und Vertretung der Kinder, für die Überwachung der Beziehung zwischen Eltern und Kindern sowie für den Informationsaustausch mit den Eltern zuständig (Beschluss der Vormundschaftsbehörde vom 30. August 2007). In diesem Umfang ist die elterliche Sorge beschränkt worden (<ref-law>). Wenn die Beiständin diese Aufgaben aktiv wahrnimmt und Berichte sowie Anträge an die Vormundschaftsbehörde richtet, bewegt sie sich im Rahmen ihres Auftrags. Es wird ihr im Übrigen nicht etwa vorgeworfen, sie handle sachwidrig oder verfolge eigene oder Drittinteressen, so dass insofern keine Befangenheit dargetan ist. Die Beschwerdeführer vermögen auch nicht darzutun, dass die Berücksichtigung der Berichte der Beiständin durch die kantonalen Instanzen aus einem anderen Grund verfassungswidrig gewesen wäre. Im Übrigen ist festzuhalten, dass die Beiständin ihre Tätigkeit nicht im Rahmen eines Verwaltungsverfahrens ausübt, in dem stets Verfahrensgrundsätze wie das rechtliche Gehör zu beachten wären. Was die Beschwerdeführer aus <ref-ruling> ff., wo es um die Tragweite der einer staatsrechtlichen Beschwerde zuerkannten aufschiebenden Wirkung gegangen war, für sich ableiten möchten, ist nicht ersichtlich.
3. Die Beschwerdeführer hatten vor Obergericht in verschiedener Hinsicht eine Missachtung ihres Anspruchs auf rechtliches Gehör gerügt.
3.1 Der Vorwurf war einerseits gegen die Vormundschaftsbehörde gerichtet gewesen: Diese habe direkt mit der Beiständin zu Lasten der Beschwerdeführer verkehrt, ohne sie beizuziehen. Die Vorinstanz hat die Rüge für unbegründet gehalten und in einer Eventualerwägung zudem darauf hingewiesen, dass das Bezirksamt als vormundschaftliche Aufsichtsbehörde den Sachverhalt von Amtes wegen zu prüfen und das Recht von Amtes wegen anzuwenden gehabt habe, so dass eine allfällige - in der Hauptbegründung verneinte - Verletzung des rechtlichen Gehörs in jedem Fall geheilt worden wäre. Beruht der beim Bundesgericht angefochtene kantonale Entscheid auf zwei voneinander unabhängigen Begründungen, ist für jede von ihnen in einer den gesetzlichen Anforderungen genügenden Form darzutun, dass sie gegen Bundesrecht verstosse (<ref-ruling> E. 6.3. S. 120 f. mit Hinweisen). Mit der vorinstanzlichen Auffassung, eine allfällige Gehörsverletzung wäre im Verfahren vor Bezirksamt geheilt worden, befassen sich die Beschwerdeführer in keiner Weise. Hinsichtlich der gegen die Vormundschaftsbehörde erhobenen Rüge der Verletzung von <ref-law> ist auf die Beschwerde daher nicht einzutreten.
3.2 Der mit dem Hinweis, der Entscheid des Bezirksamtes sei am 17. März 2008 ergangen, während sie ihre fristgerechte Stellungnahme aber erst am 18. März 2008 aufgegeben hätten, von den Beschwerdeführern andererseits auch gegenüber dem Bezirksamt erhobenen Rüge der Verweigerung des rechtlichen Gehörs hält das Obergericht entgegen, dass der bei ihm angefochtene Entscheid den Beschwerdeführern erst am 27. März 2008 zugestellt worden sei und deren Stellungnahme darin ausdrücklich erwähnt werde. Ferner erklärt die Vorinstanz auch zu dieser Rüge, eine Gehörsverletzung wäre geheilt worden, da die Kammer für Vormundschaftswesen gemäss § 59 Abs. 4 EG zum ZGB in Verbindung mit § 20 VRPG das Recht von Amtes wegen anwende und den Sachverhalt von Amtes wegen feststelle und sie daher die bei den Akten liegende Stellungnahme vom 18. März 2008 habe berücksichtigen können. Die Beschwerdeführer begnügen sich mit dem Vorbringen, nach ihrer Rechtsauffassung könne ein derart massiver Mangel, wie ihn die Nichtberücksichtigung einer Rechtsschrift darstelle, nicht geheilt werden. Damit vermögen sie keine Verletzung von <ref-law> darzutun.
4. 4.1 In der Sache selbst weist das Obergericht darauf hin, der Obhutsentzug sei damit begründet worden, dass die Kinder in stark verwahrlostem Zustand mit einem massiven Entwicklungsrückstand im Haus der Beschwedeführer vorgefunden worden seien. Der damalige Zustand von S._ und T._ habe sich nur durch massive, lang andauernde Mängel in der Kindererziehung und -pflege erklären lassen. Die Verwahrlosung der Kinder sei auch auf den katastrophalen hygienischen Zustand des Elternhauses zurückzuführen gewesen. Der Präsident der Vormundschaftsbehörde entzog den Beschwerdeführern die Obhut über ihre beiden Kinder denn auch "wegen starker Verwahrlosung und gesundheitlicher Gefährdung" (Verfügung vom 28. August 2007), was von der Gesamtbehörde mit Beschlüssen vom 30. August bzw. vom 3. September 2007 bestätigt wurde. Dass zu jenem Zeitpunkt eine erhebliche Gefährdung der Kinder bestand und dieser nicht anders begegnet werden konnte als durch eine Aufhebung der elterlichen Obhut im Sinne von <ref-law> und durch eine Einweisung der Kinder zunächst in ein Spital und anschliessend in ein Heim, stellen die Beschwerdeführer, die denn auch die erwähnten Anordnungen der vormundschaftlichen Instanzen nicht anfochten, nicht in Abrede.
4.2 Kindesschutzmassnahmen sind der neuen Lage anzupassen, wenn sich die Verhältnisse verändern (<ref-law>). Gemäss <ref-law> darf die elterliche Sorge in keinem Fall vor Ablauf eines Jahres nach ihrer Entziehung wieder hergestellt werden. Im vorliegenden Fall geht es nicht um die elterliche Sorge, sondern um die elterliche Obhut, so dass diese Bestimmung nicht zum Tragen kommt. Auch die Wiederherstellung der Obhut ist indessen erst zulässig, wenn die Verhältnisse sich derart geändert haben, dass das Kindeswohl bei einer Rückgabe an die Eltern nicht mehr als gefährdet erscheint. Erweist sich eine Massnahme in der bisherigen Form als nicht mehr nötig, ist sie aufzuheben oder durch eine mildere zu ersetzen. Jede Abänderung von Kindesschutzmassnahmen setzt in einem gewissen Ausmass eine Prognose über die künftige Entwicklung der massgebenden Umstände voraus. Diese wird durch das bisherige Verhalten der betroffenen Personen wesentlich mitbestimmt (<ref-ruling> E. 4d S. 386).
4.2.1 Hier fällt vorab in Betracht, dass die Beschwerdeführer ihr Begehren um Aufhebung des Obhutsentzugs bereits zwei Monate nach Anordnung der Massnahme eingereicht haben und die Kinder sich somit nur recht kurze Zeit zuvor noch in dem vom Obergericht beschriebenen stark verwahrlosten Zustand befanden. Das Fehlverhalten der Beschwerdeführer, auf das die Verwahrlosung nach den Feststellungen der Vorinstanz zurückzuführen war, legt unter den gegebenen Umständen eine gewisse Zurückhaltung nahe. Die Beschwerdeführer haben im Sinne einer Vorleistung zu zeigen, dass sie aus den groben Fehlern gelernt haben und ihnen die Kinder ohne Gefahr wieder anvertraut werden können. Dass das Wohnhaus nunmehr gereinigt ist, genügt für sich allein nicht. Es ist einzuräumen, dass die der Beschwerdeführerin von den Psychiatrischen Diensten (Dr. med. N._ und Dr. med. O._) und von Dr. P._, Spezialärztin für Psychiatrie und Psychotherapie, zugebilligte grundsätzliche Erziehungsfähigkeit ein nicht unbedeutendes Element darstellt. Zu beachten ist jedoch, dass die angeführten - nach dem Obhutsentzug beigezogenen - Ärzte die Beschwerdeführerin nur während einer sehr beschränkten Zeit betreut und sich mit den Kindern gar nicht befasst haben. Wenn die Vorinstanz der Meinung der Beiständin und der Verantwortlichen des Heims B._, die eine Rückübertragung der Obhut für verfrüht hielten, ein stärkeres Gewicht beimass, ist dies nicht zu beanstanden, hatten doch die genannten Personen die Gelegenheit, das Verhältnis zwischen den Eltern und den Kindern und deren "Interaktion" während längerer Zeit zu beobachten und zu würdigen. Nach Meinung der Verantwortlichen des Heims B._ vermögen die Beschwerdeführer den Kindern die nötigen klaren Strukturen noch nicht zu bieten und die erforderlichen Grenzen noch nicht zu setzen, da der Vater praktisch nicht präsent sei und die Mutter in allen Bereichen, vor allem in der Pflege, Erziehung und Wahrnehmung der Bedürfnisse ihrer Kinder noch dauernder Anleitung und Unterstützung bedürfe.
4.2.2 Die Beschwerdeführer halten die Verweigerung der Rückübertragung der Obhut für unverhältnismässig, da eine solche mit geeigneten familienbegleitenden Massnahmen hätte verbunden werden können. Nach den Feststellungen der Vorinstanz war ihnen eine familienbegleitende Anordnung vorgeschlagen worden mit dem Ziel, den Übergang vom Heim B._ ins Haus der Familie zu begleiten und im Familienalltag abzuklären, ob und gegebenenfalls in welcher Form Unterstützung nötig sei, um das Wohl der Kinder und die Stabilität der Eltern längerfristig zu sichern. Im Rahmen dieser Massnahme wären die Kinder ab 7. Januar 2008 vier bis sechs Wochen lang jede Woche für drei Tage zurück in die Familie gegangen. Die Beschwerdeführer lehnten das Angebot einer solchen familienbegleitenden Abklärung ab, was sie damit begründen, sie hätten sich dagegen gewehrt, dass die Kinder allenfalls unter Anwendung von Zwang nach drei Tagen jeweils wieder ins Heim hätten zurückgeführt werden müssen. Wenn sie dafür halten, es sei besser, abzuwarten, bis eine vollständige Rückführung der Kinder in die Familie möglich werde, dürfen sie angesichts der Ende August/anfangs September 2007 festgestellten schweren Vernachlässigung ihrer elterlichen Pflichten nicht davon ausgehen, dieser Zeitpunkt sei bereits zwei Monate nach dem Obhutsentzug erreicht gewesen. Im Übrigen legen sie nicht dar, welche Form von Familienbegleitung sie als angemessen erachten würden. Der Vorwurf der Unverhältnismässigkeit ist nach dem Ausgeführten unbegründet.
5. Die Beschwerde ist mithin abzuweisen, soweit darauf einzutreten ist. Das Begehren der Beschwerdeführer um Aufhebung des Obhutsentzugs erschien unter den dargelegten Umständen von vornherein als aussichtslos, so dass die wegen der Verweigerung der unentgeltlichen Rechtspflege gegenüber dem Obergericht erhobene Rüge der Verletzung von <ref-law> unbegründet ist. Aus dem gleichen Grund fällt die Gewährung des Armenrechts auch für das bundesgerichtliche Verfahren ausser Betracht (vgl. <ref-law>). Ausgangsgemäss sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern gemeinsam auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau (Kammer für Vormundschaftswesen als zweitinstanzliche vormundschaftliche Aufsichtsbehörde) schriftlich mitgeteilt.
Lausanne, 20. August 2008
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Raselli Gysel