Sachverhalt: A. Die 1960 geborene F._ war ab Januar 2005 als stellvertretende Geschäftsführerin für den Betrieb E._ in N._ tätig. Als Inhaber der Einzelfirma war ihr Ehemann, E._, im Handelsregister eingetragen. Am 24. Januar 2007 kündigte die Y._ GmbH den Franchisevertrag mit dem Betriebsinhaber auf den 31. August 2007. In der Folge löste E._ das Arbeitsverhältnis mit F._ am 29. Juni 2007 durch schriftliche Kündigung per 30. September 2007 auf. Bereits am 7. Juni 2007 hatte er im Handelsregister eine Sitzverlegung der Einzelfirma nach S._ und eine Zweckänderung (Betreiben eines .... - Geschäfts) eintragen lassen. Am 26. September 2007 stellte F._ für die Zeit ab 1. Oktober 2007 Antrag auf Arbeitslosenentschädigung. Die Unia Arbeitslosenkasse richtete in der Folge Arbeitslosentaggelder aus. Dabei wurde der Lohn aus der ab 1. Dezember 2007 im neuen Betrieb des Ehemannes ausgeübten 50%igen Erwerbstätigkeit und aus der weiteren, am 1. Mai 2008 aufgenommenen Teilzeittätigkeit für die L._ AG als Zwischenverdienst angerechnet. Per 31. Juli 2008 wurde F._ vom Regionalen Arbeitsvermittlungszentrum von der Arbeitsvermittlung abgemeldet und es wurde vermerkt, dass sie ab August 2008 auf Leistungen der Arbeitslosenversicherung verzichte. Nachdem anlässlich einer vom Staatssekretariat für Wirtschaft (SECO) am 6. Mai 2009 durchgeführten Revision festgestellt worden war, dass die Arbeitslosenversicherung F._ zu Unrecht Arbeitslosenentschädigung ausgerichtet habe, forderte die Unia Leistungen im Umfang von Fr. 53'308.- zurück (Verfügung vom 15. Juli 2009). Daran hielt sie auf Einsprache hin fest (Einspracheentscheid vom 14. August 2009). B. Das Verwaltungsgericht des Kantons Bern hob den Einspracheentscheid in Gutheissung der dagegen erhobenen Beschwerde auf (Entscheid vom 10. März 2010). C. Das SECO führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid des kantonalen Gerichts sei aufzuheben. F._ lässt auf Abweisung der Beschwerde schliessen; eventuell sei die Angelegenheit an die Vorinstanz zurückzuweisen; subeventuell sei der Einspracheentscheid, "soweit einen Rückforderungsbetrag von Fr. 4'360.75 übersteigend", aufzuheben. Die Unia verzichtet auf eine Stellungnahme.