Sachverhalt:
A. H._ (Jg. 1953) war ab 1. Dezember 2004 arbeitslos und beanspruchte Taggelder der Arbeitslosenversicherung. Weil er sich in der Folge primär um die Eröffnung eines eigenen Gastwirtschaftsbetriebes (Pub) und damit um die Aufnahme einer selbstständigen Erwerbstätigkeit bemühte, verneinte das Amt für Wirtschaft und Arbeit des Kantons Zürich (AWA) mit Verfügung vom 15. Juni 2005 seine Vermittlungsfähigkeit, worauf die Arbeitslosenkasse UNIA mit Verfügung vom 5. Oktober 2006 die ab Dezember 2004 bis März 2005 ausgerichteten Taggelder im Gesamtbetrag von Fr. 13'824.35 als unrechtmässig bezogen zurückforderte. Das daraufhin von H._ gestellte Erlassgesuch wies das AWA am 23. Januar 2007 verfügungsweise ab, was es mit Einspracheentscheid vom 1. März 2007 bestätigte.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 5. März 2008 ab.
C. Beschwerdeweise macht H._ geltend, vom zuständigen Mitarbeiter des Regionalen Arbeitsvermittlungszentrums (RAV) nicht richtig beraten worden zu sein, weshalb ihm die Gutgläubigkeit beim Leistungsbezug nicht abgesprochen werden könne; er sei gutgläubig gewesen und die Rückerstattung würde für ihn eine grosse Härte bedeuten. Sinngemäss ist darin der Antrag auf Gewährung des Erlasses der verfügten und mit Einspracheentscheid vom 1. März 2007 bestätigten Rückerstattungsforderung vom 5. Oktober 2006 zu erblicken.
Das AWA und das Staatssekretariat für Wirtschaft verzichten auf eine Vernehmlassung.
Erwägungen:
1. Zu prüfen ist, ob dem Beschwerdeführer die Rückerstattung der ab Dezember 2004 bis März 2005 bezogenen Taggelder erlassen werden kann. Die Rückerstattungsverfügung vom 5. Oktober 2006 als solche ist demgegenüber innert der dafür gegebenen Rechtsmittelfrist nicht angefochten worden und daher rechtskräftig geworden.
1.1 Die gesetzlichen Bestimmungen über die Voraussetzungen für einen solchen Erlass, nämlich die Gutgläubigkeit beim Leistungsbezug einerseits und - kumulativ - die grosse Härte der Rückerstattung andererseits (Art. 25 Abs. 1 ATSG in Verbindung mit Art. 95 Abs. 1 AVIG), hat das kantonale Gericht zutreffend dargelegt, worauf verwiesen wird.
1.2 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Diese kognitionsrechtliche Ordnung führt bei Streitigkeiten um den Erlass einer Rückerstattung unrechtmässig bezogener Leistungen gegenüber der bis 31. Dezember 2006 unter der Herrschaft des Bundesgesetzes über die Organisation der Bundesrechtspflege (OG) geltenden Rechtslage zu keinen grundlegenden Neuerungen, war doch die Frage nach dem Erlass einer Rückerstattungsschuld schon nach damaligem Recht nur mit eingeschränkter Kognition überprüfbar (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG; BGE 122 V 221 E. 2 S. 222 f., ARV 2006 S. 313 f. E. 1.2, SVR 2007 IV Nr. 13 S. 49 E. 1).
1.3 Bei der Prüfung des guten Glaubens ist daher nach wie vor zu unterscheiden zwischen dem fehlenden Unrechtsbewusstsein, das zum inneren Tatbestand gehört und damit als Tatfrage von der Vorinstanz verbindlich beurteilt wird (Art. 105 Abs. 1 BGG), und der Frage nach der gebotenen Aufmerksamkeit, die als Rechtsfrage vom Bundesgericht frei überprüft werden kann, soweit es darum geht, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann.
2. 2.1 Dem Beschwerdeführer wird nicht vorgehalten, sich der Unrechtmässigkeit seines Bezuges von Arbeitslosenentschädigung bewusst gewesen zu sein, sodass sich einzig die Frage stellt, ob er die noch ausstehende Klärung der Anspruchsberechtigung bei der von ihm zu erwartenden Aufmerksamkeit hätte erkennen müssen und seine Gutgläubigkeit beim Leistungsbezug deshalb verneint werden muss.
2.2 Unbestrittenermassen hat der Beschwerdeführer seine Kontaktpersonen bei der Arbeitslosenversicherung von Anfang an über sein Vorhaben, ein Pub zu eröffnen und damit in die Selbstständigkeit zu wechseln, informiert. Eine Verletzung seiner Melde- oder Auskunftspflicht wird ihm denn auch nicht vorgeworfen. Wie den bei den Akten liegenden Gesprächsprotokollen zu entnehmen ist, wurde er dementsprechend auch über die in Art. 71a Abs. 1 AVIG unter dem Titel "Unterstützung zur Förderung der selbstständigen Erwerbstätigkeit" gesetzlich vorgesehene Möglichkeit aufgeklärt, bei der beabsichtigten Realisierung einer selbstständigen Erwerbstätigkeit unter gewissen Voraussetzungen allenfalls Hilfe seitens der Arbeitslosenversicherung in Form weiterer Taggelder in Anspruch nehmen zu können. Jedenfalls ist, wie das kantonale Gericht im angefochtenen Entscheid festgehalten hat, aktenkundig, dass der Berater des RAV bereits am 10. Dezember 2004 diesbezügliche Informationen abgegeben und dabei offenbar auch auf eine Informationsveranstaltung hingewiesen hat. Thematisiert wurde dieser Aspekt weiter auch anlässlich des zweiten Beratungsgesprächs vom 5. Januar 2005.
2.3 Daraus ist zu schliessen, dass der Beschwerdeführer Gelegenheit hatte, sich mit den Voraussetzungen für einen Taggeldbezug bei bevorstehender Aufnahme einer selbstständigen Erwerbstätigkeit auseinanderzusetzen. Dabei hätte er ohne weiteres erkennen können und müssen, dass die Gewährung von Arbeitslosenentschädigung in diesem Falle nur unter bestimmten Voraussetzungen möglich ist, welche einer vorgängigen Abklärung durch die Organe der Arbeitslosenversicherung bedurft hätten. Auf keinen Fall durfte er damit aber davon ausgehen, Anspruch auf die ihm ohne weitergehende Abklärungen formlos ausbezahlten Taggelder zu haben. Dass das kantonale Gericht unter diesen Umständen erkannte, der Beschwerdeführer hätte bei Anwendung der gebotenen Aufmerksamkeit merken müssen, dass er allenfalls keinen Anspruch auf die ihm ausgerichtete Arbeitslosenentschädigung haben könnte, stellt jedenfalls keine Verletzung von Bundesrecht dar. Von der beantragten Befragung des zuständigen Mitarbeiters des RAV konnte es absehen, da bereits die bekannten Fakten zur Verneinung des guten Glaubens beim Leistungsbezug führen.
3. Bei diesem Verfahrensausgang sind die Gerichtskosten vom Beschwerdeführer als unterliegender Partei zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Staatssekretariat für Wirtschaft schriftlich mitgeteilt.
Luzern, 27. Oktober 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
i.V. Widmer Krähenbühl