Sachverhalt:
A. Das Einzelunternehmen S._, Gipsergeschäft, erhielt von der Arbeitslosenkasse des Kantons Zürich für die Monate Januar, März, November, Dezember 2008 und Januar 2009 Schlechtwetterentschädigung. Im Nachgang zur Betriebskontrolle vom 9. März 2009 verfügte das Staatssekretariat für Wirtschaft (SECO) am 18. März 2009, S._ habe der Arbeitslosenkasse Schlechtwetterentschädigung in der Höhe von Fr. 60'282.10 zurückzuerstatten, weil die Versicherungsleistungen unrechtmässig bezogen worden seien. Daran hielt das SECO auf Einsprache hin fest (Einspracheentscheid vom 4. Mai 2009).
B. Das Bundesverwaltungsgericht wies die dagegen erhobene Beschwerde - nach vorgängiger Androhung einer reformatio in peius und Gewährung des rechtlichen Gehörs - ab und änderte den Einspracheentscheid zu Ungunsten des S._, indem es den Rückforderungsbetrag auf Fr. 77'716.60 (recte: Fr. 77'176.60) erhöhte (Entscheid vom 23. August 2011).
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das Rechtsbegehren stellen, der Entscheid des Bundesverwaltungsgerichts und der Einspracheentscheid des SECO seien aufzuheben; zudem sei der Beschwerde aufschiebende Wirkung zu erteilen.
Das SECO beantragt, sowohl das Gesuch um aufschiebende Wirkung als auch die Beschwerde selber seien abzuweisen. Das Bundesverwaltungsgericht verzichtet auf eine Stellungnahme.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>; Ausnahme: Beschwerden gemäss <ref-law> [<ref-law>]). Wie die Sachverhaltsfeststellung ist auch die vorinstanzliche Ermessensbetätigung im Verfahren vor Bundesgericht nur beschränkt überprüfbar. Eine Angemessenheitskontrolle (vgl. <ref-ruling> E. 6 S. 81 [zu Art. 132 lit. a OG]) ist dem Gericht verwehrt; es hat nur zu prüfen, ob die Vorinstanz ihr Ermessen rechtsfehlerhaft ausgeübt, mithin überschritten, unterschritten oder missbraucht hat (vgl. <ref-ruling> E. 3.3 S. 399).
2. Wie im angefochtenen Gerichtsentscheid zutreffend dargelegt wird, haben gemäss <ref-law> Arbeitnehmer in Erwerbszweigen, in denen wetterbedingte Arbeitsausfälle üblich sind (<ref-law> in Verbindung mit <ref-law>), Anspruch auf Schlechtwetterentschädigung, wenn sie für die Versicherung beitragspflichtig sind und einen anrechenbaren Arbeitsausfall (<ref-law>) erleiden. Nach Art. 42 Abs. 3 in Verbindung mit <ref-law> keinen Anspruch haben unter anderem Arbeitnehmer, deren Arbeitsausfall nicht bestimmbar oder deren Arbeitszeit nicht ausreichend kontrollierbar ist. <ref-law> schreibt vor, dass die genügende Kontrollierbarkeit des Arbeitsausfalls eine betriebliche Arbeitszeitkontrolle voraussetzt (Abs. 1) und der Arbeitgeber die Unterlagen über die Arbeitszeitkontrolle während fünf Jahren aufzubewahren hat (Abs. 2). Es soll damit sichergestellt werden, dass der Arbeitsausfall für die Durchführungsorgane der Arbeitslosenversicherung überprüfbar ist (GERHARD GERHARDS, Kommentar zum Arbeitslosenversicherungsgesetz [AVIG], Bd. I [Art. 1-58], 1988, N. 34 zu <ref-law>). Die Vorinstanz hat ferner auch die Bestimmungen und Grundsätze über die Rückforderung zu Unrecht ausgerichteter Leistungen der Arbeitslosenversicherung (<ref-law> in Verbindung mit <ref-law>) und die dazu notwendigen Voraussetzungen für ein wiedererwägungsweises Zurückkommen auf die formell rechtskräftig verfügte oder formlos erfolgte Leistungszusprechung (<ref-law>; vgl. <ref-ruling> E. 4b, 42 E. 2b S.46, 399 E. 2b S. 400; <ref-ruling> E. 3 S. 268 mit Hinweisen) richtig wiedergegeben. Darauf wird verwiesen.
3. 3.1 Das Bundesverwaltungsgericht hat in Würdigung der gesamten Aktenlage festgestellt, weder die Agenda des Beschwerdeführers noch die von ihm eingereichten Excel-Tabellen, welche lediglich die Sollarbeitsstunden und die schlechtwetterbedingten Absenzen enthielten, stellten eine rechtsgenügliche Zeiterfassung dar. Fortlaufende Aufzeichnungen der tatsächlichen Arbeitszeit fehlten, weshalb der Arbeitsausfall nicht überprüfbar sei. Der Nachweis der effektiven Ausfallstunden könne nicht mehr erbracht werden, weshalb die gesamte Schlechtwetterentschädigung im Umfang von Fr. 77'176.60 zurückzufordern sei.
3. 3.1 Das Bundesverwaltungsgericht hat in Würdigung der gesamten Aktenlage festgestellt, weder die Agenda des Beschwerdeführers noch die von ihm eingereichten Excel-Tabellen, welche lediglich die Sollarbeitsstunden und die schlechtwetterbedingten Absenzen enthielten, stellten eine rechtsgenügliche Zeiterfassung dar. Fortlaufende Aufzeichnungen der tatsächlichen Arbeitszeit fehlten, weshalb der Arbeitsausfall nicht überprüfbar sei. Der Nachweis der effektiven Ausfallstunden könne nicht mehr erbracht werden, weshalb die gesamte Schlechtwetterentschädigung im Umfang von Fr. 77'176.60 zurückzufordern sei.
3.2 3.2.1 Die Beweiswürdigung im Allgemeinen, einschliesslich die Würdigung von Indizien und fallbezogenen Wahrscheinlichkeitsüberlegungen, betreffen Tatfragen, die das Bundesgericht lediglich auf offensichtliche Unrichtigkeit und Rechtsfehlerhaftigkeit hin zu überprüfen befugt ist (<ref-law>; vgl. E. 1.2 hiervor). Blosse Zweifel an der Richtigkeit der vorinstanzlichen Sachverhaltsfeststellung ändern an deren Verbindlichkeitswirkung gemäss <ref-law> nichts. In eine antizipierte Beweiswürdigung (<ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 4b S. 94) greift das Bundesgericht nur ein, wenn sie willkürlich und damit offensichtlich unhaltbar ist, namentlich wenn sie eine prozessuale Vorschrift oder einen unumstrittenen Grundsatz des Beweisrechts krass verletzt oder sonst wie in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.1 S. 211; <ref-ruling> E. 3 S. 157, 217 E. 2.1 S. 219; <ref-ruling> E. 2.1 S. 9).
3.2.2 Läuft im Zeitpunkt eines anrechenbaren wetterbedingten Arbeitsausfalles für den Betrieb oder die Betriebsabteilung noch keine Rahmenfrist für den Leistungsbezug, so sind gemäss <ref-law> die von den einzelnen Arbeitnehmern in den sechs vorangegangenen Monaten geleisteten Mehrstunden von ihren Arbeitsausfällen abzuziehen. Während der Rahmenfrist für den Leistungsbezug werden alle von den einzelnen Arbeitnehmern bis zum Zeitpunkt eines erneuten Arbeitsausfalles geleisteten Mehrstunden von ihren Arbeitsausfällen abgezogen, jedoch längstens aus den letzten zwölf Monaten (<ref-law>).
Sowohl bei im Stundenlohn als auch bei im Monatslohn angestellten Personen ist ein geltend gemachter Arbeitszeitausfall nur dann genügend überprüfbar, wenn die geleistete Arbeitszeit für jeden einzelnen Tag kontrollierbar ist. Es reicht nicht, wenn der Arbeitgeber eine An- und Abwesenheitskontrolle führt; vielmehr bedarf es Angaben über die täglich geleistete Arbeitszeit. Denn nur auf diese Weise besteht Gewähr dafür, dass die an gewissen Tagen geleistete Überzeit, welche innerhalb der Abrechnungsperiode auszugleichen ist, bei der Feststellung des monatlichen Arbeitsausfalls Berücksichtigung findet. Diese zum Anspruch auf Kurzarbeitsentschädigung ergangene Rechtsprechung gilt auch für den Anspruch auf Schlechtwetterentschädigung, wo dem Arbeitgeber grundsätzlich die gleiche Beweispflicht bezüglich des Arbeitsausfalls obliegt (ARV 1999 Nr. 34 S. 200, C 277/98).
3.3 Die Parteien sind sich einig, dass die vom Arbeitgeber geführte Agenda lückenhaft und zum Nachweis von Arbeitszeitausfällen untauglich ist. Der Beschwerdeführer ist aber der Ansicht, die mittels (gemäss seiner Behauptung vom Berufsverband zur Verfügung gestellten) Excel-Tabellen geführten Arbeitszeitkontrollen bezüglich der von schlechtwetterbedingten Arbeitsausfällen betroffenen Mitarbeiter des Einzelunternehmens genügten den Anforderungen. Die Vorinstanz spricht diesen den Beweiswert mit der Begründung ab, es seien darin nur die Sollarbeitsstunden und die schlechtwetterbedingten Absenzen, nicht aber die tatsächlichen Arbeitszeiten enthalten. Dagegen bringt der Beschwerdeführer an sich zutreffend vor, dass in den Arbeitszeitkontrollen keine Arbeitszeit registriert werden kann, wenn während einer bestimmten Phase zufolge schlechten Wetters überhaupt keine Arbeit geleistet wurde. Allerdings beschränken sich die von ihm zugänglich gemachten, ausgefüllten Tabellen auf die Monate, in denen Arbeitsausfälle infolge schlechten Wetters geltend gemacht wurden. Die in den Monaten vor, zwischen und nach den Schlechtwetterperioden geleisteten Arbeitsstunden sind nicht überprüfbar. Somit können namentlich allfällige Mehrstunden, welche nach Art. 66a Abs. 4 und 5 AVIV von den Arbeitsausfällen abzuziehen wären, nicht eruiert werden. Aufgrund der nur vereinzelt vorliegenden Lohnabrechnungen ist immerhin bekannt, dass im Betrieb durchaus Überstunden geleistet wurden, welche den Mitarbeitenden mit dem Dezemberlohn vergütet worden sind. Demzufolge musste der Beschwerdeführer über vollständige und detaillierte Aufzeichnungen zur Arbeitszeit seiner Mitarbeiter verfügen, ansonsten er nicht in der Lage gewesen wäre, jeweils auf Ende Jahr die Überzeitabgeltungen zu berechnen. Entsprechende Unterlagen reichte er weder der Verwaltung noch dem Bundesverwaltungsgericht ein, obwohl er dazu durchaus Gelegenheit hatte. Anfragen der Arbeitslosenkasse beantwortete er undifferenziert, etwa im Schreiben vom 17. April 2008, wonach in der Zeit vom 1. bis 29. Februar 2008 "lediglich Vorholstunden geleistet" und "als Kompensation wieder bezogen" worden seien.
3.4 Zusammenfassend kann dem Beschwerdeführer im Grundsatz zwar beigepflichtet werden, dass sein vom Berufsverband zur Verfügung gestelltes Erfassungssystem an sich die Anforderungen an eine genügende betriebliche Arbeitszeitkontrolle erfüllt. Dazu müssen in der Excel-Tabelle allerdings fortlaufend alle notwendigen Angaben (so neben der geleisteten Arbeitszeit und den Ausfällen wegen schlechten Wetters namentlich auch ein allfälliges Gleitzeitsaldo, Absenzen infolge Ferien, Krankheit, Unfall oder Weiterbildung und sonstige Fehlzeiten sowie Mehrstunden) tatsächlich und korrekt eingetragen werden. Von einer zuverlässigen, fortlaufenden, nachvollziehbaren Arbeitszeitkontrolle kann keine Rede sein, wenn sich die Angaben - wie vorliegend - auf die Monate mit schlechtwetterbedingten Ausfallzeiten beschränken und insbesondere nicht überprüft werden kann, wann und in welchem Umfang Mehrstunden geleistet wurden.
Soweit das Bundesverwaltungsgericht die vom Beschwerdeführer zwecks Untermauerung der Beweistauglichkeit seiner Arbeitszeitkontrollen beantragte Befragung der von den schlechtwetterbedingten Ausfällen betroffenen Mitarbeiter nicht durchgeführt hat, kann er daraus nichts zu seinen Gunsten ableiten. So stellt die nachträgliche Zusammenstellung der Arbeitspläne kein adäquates Mittel für die Kontrolle des Arbeitsausfalles dar, weil es ihr am Erfordernis der täglich fortlaufenden Aufzeichnung fehlt (ARV 2010 S. 303 E. 4.2, 8C_1026/2008). Gleiches muss für die aktuelle Befragung von Mitarbeitern und anderen Involvierten zum Zweck der nachträglichen Rekonstruktion der effektiv geleisteten Arbeitsstunden und der Arbeitsausfälle gelten, welche angesichts der Tatsache, dass es um im Zeitpunkt des vorinstanzlichen Entscheids bereits mehrere Jahre zurückliegende Vorkommnisse geht, wenig aussagekräftig ausfallen dürfte. Demgemäss lässt sich nicht beanstanden, dass das Bundesverwaltungsgericht in antizipierter Beweiswürdigung auf die beantragten Befragungen verzichtet hat.
4. Die Zusprechung von Schlechtwetterentschädigung für die in den Zeiträumen Januar, März, November, Dezember 2008 und Januar 2009 geltend gemachten Arbeitsausfälle erweist sich nach dem Gesagten im Umfang von Fr. 77'176.60 als zweifellos unrichtig. Da die Rückforderungssumme unbestrittenermassen erheblich ist, war das wiedererwägungsweise Zurückkommen der Verwaltung auf die Leistungszusprechung korrekt.
5. Dem Ausgang des Verfahrens gemäss hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 65 Abs. 4 lit. a und Art. 66 Abs. 1 Satz 1 BGG).
6. Das Ersuchen um aufschiebende Beschwerdewirkung wird mit dem heutigen Urteil hinfällig.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Luzern, 24. Januar 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Berger Götz