Sachverhalt:
A. Mit Verfügung vom 2. Mai 2005 forderte die Unia Arbeitslosenkasse von Y._ zu Unrecht ausbezahlte Arbeitslosenentschädigung in Höhe von Fr. 10'624.55 zurück. Ein daraufhin gestelltes Erlassgesuch hiess die Kantonale Amtsstelle für Arbeitslosenversicherung (KAST) Basel-Stadt mit Verfügung vom 6. Juni 2006 insoweit gut, als sie die Rückerstattungsforderung auf Fr. 9'447.60 reduzierte. Daran hielt sie mit Einspracheentscheid vom 5. Juli 2006 fest.
B. In Gutheissung der hiegegen erhobenen Beschwerde hob das Sozialversicherungsgericht Basel-Stadt den Einspracheentscheid vom 5. Juli 2006 unter Bejahung der Gutgläubigkeit beim Leistungsbezug auf und wies die Sache mit Entscheid vom 21. November 2006 an die Verwaltung zurück, damit diese prüfe, ob die Rückerstattung eine grosse Härte bedeuten würde.
C. Die KAST führt Verwaltungsgerichtsbeschwerde mit dem Begehren um Aufhebung des kantonalen Entscheids.
Y._ schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach dem bis Ende 2006 in Kraft gestandenen Bundesgesetz vom 16. Dezember 1943 über die Organisation der Bundesrechtspflege (<ref-law>; <ref-ruling> Erw 1.2).
2. 2.1 Die Frage nach dem Erlass der Rückerstattung zu viel ausbezahlter Taggelder der Arbeitslosenversicherung hat rechtsprechungsgemäss nicht die Bewilligung oder Verweigerung von Versicherungsleistungen im Sinne von Art. 132 Abs. 1 OG (in der ab 1. Juli bis 31. Dezember 2006 gültig gewesenen Fassung) zum Gegenstand (vgl. <ref-ruling> E. 1 S. 136). Das Gericht prüft daher nur, ob die Vorinstanz Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 Abs. 1 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.2 Die gesetzlichen Grundlagen für den Erlass der Rückerstattung unrechtmässig bezogener Arbeitslosenentschädigungen (<ref-law> in Verbindung mit <ref-law> und Art. 4 f. ATSV) sind im kantonalen Entscheid zutreffend dargelegt worden, worauf verwiesen wird. Dasselbe gilt hinsichtlich der - noch nach altem Recht ergangenen, unter der Herrschaft des ATSG indessen weiterhin geltenden (vgl. <ref-ruling> E. 5.2 S. 319) - Rechtsprechung zu den beiden kumulativ zu erfüllenden Erlassvoraussetzungen der Gutgläubigkeit beim Leistungsbezug und der grossen Härte der Rückerstattung.
3. 3.1 Bezüglich der Erlassvoraussetzungen ist nach der Rechtsprechung zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und ist daher Tatfrage, die nach Massgabe von Art. 105 Abs. 2 OG von der Vorinstanz verbindlich beantwortet wird. Demgegenüber gilt die Frage nach der Anwendung der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223 mit Hinweisen).
3.2 In für das Gericht verbindlicher Weise (E. 3.1 hievor) hat die Vorinstanz die auch in der Verwaltungsgerichtsbeschwerde noch vertretene Auffassung der Beschwerde führenden Amtsstelle, wonach sich die Beschwerdegegnerin beim Bezug der nunmehr zurückgeforderten Arbeitslosentaggelder der Unrechtmässigkeit bewusst gewesen sei, verworfen. Unbestritten ist, dass sie der ihr obliegenden Meldepflicht korrekt nachgekommen ist, hatte sie der Arbeitslosenkasse doch schon am 23. August 2004 bekannt gegeben, dass sie ab 19. August 2004 nur zu 50 % vermittlungsfähig sei und der Arbeitsvermittlung nur noch in diesem Umfang zur Verfügung stehe, weil sie gleichzeitig eine kaufmännische Ausbildung am Institut X._ aufgenommen habe. Als sie in der Folge jedoch über Monate hinweg (bis Ende März 2005) weiterhin Arbeitslosenentschädigung in der bisher ausgerichteten Grössenordnung erhielt, hätte sie bei zumutbarer Aufmerksamkeit ohne weiteres erkennen müssen, dass ihr diese nicht oder zumindest nicht in voller Höhe zustand. Entgegen der vorinstanzlichen Argumentation vermögen die Beschwerdegegnerin weder der Tod ihres Vaters noch die darauf notwendig gewordene Betreuung ihrer Mutter und ihres Bruders vom Vorwurf, nicht die den Umständen entsprechend gebotene Aufmerksamkeit aufgewendet zu haben, zu befreien. Dasselbe gilt hinsichtlich der schulischen Belastung im Zusammenhang mit dem absolvierten kaufmännischen Ausbildungsgang. Wenn die Beschwerdegegnerin den ihr regelmässig ausgerichteten Zahlungen keine weitere Beachtung schenkte und - wie sie selbst ausführt - ihre Post und Abrechnungen nicht kontrollierte, kann ihr Verhalten nicht als entschuldbare, bloss leichte Nachlässigkeit gewertet werden. Der vorinstanzliche Entscheid verletzt insoweit Bundesrecht und ist daher aufzuheben. Der Beschwerdegegnerin ist die Gutgläubigkeit beim Taggeldbezug und damit eine für den Erlass der gestellten Rückerstattungsforderung unerlässliche Voraussetzung abzusprechen.
4. Da der Erlass einer Rückerstattungsschuld nicht die Bewilligung oder Verweigerung von Versicherungsleistungen betrifft (E. 2.1 hievor), ist das Verfahren kostenpflichtig (Umkehrschluss aus Art. 134 Satz 1 OG [in der ab 1. Juli bis 31. Dezember 2006 gültig gewesenen Fassung]). Die Gerichtskosten sind von der unterliegenden Beschwerdegegnerin zu tragen (Art. 135 in Verbindung mit Art. 156 Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Sozialversicherungsgerichts Basel-Stadt vom 21. November 2006 aufgehoben.
2. Die Gerichtskosten von Fr. 1000.- werden der Beschwerdegegnerin auferlegt.
3. Der geleistete Kostenvorschuss von Fr. 1000.- wird der Beschwerdeführerin zurückerstattet.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, der Unia Arbeitslosenkasse, Basel, und dem Staatssekretariat für Wirtschaft zugestellt.
Luzern, 6. März 2007
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
i.V.