Faits :
A.
Par jugement du 24 mai 2018, définitif et exécutoire, le Tribunal criminel des Montagnes et du Val-de-Ruz a condamné A._ pour abus de confiance (art. 138 ch. 1 et 2 CP) à une peine privative de liberté de 3 ans, dont 1 an ferme et 2 ans avec sursis pendant 2 ans.
B.
B.a. Le 24 novembre 2019, A._ a débuté l'exécution de la partie ferme de sa peine à l'Établissement pénitentiaire du Simplon, à Lausanne, sous le régime de la semi-détention.
Le 1er avril 2020, la direction de l'établissement pénitentiaire a informé l'Office d'exécution des sanctions et de probation du canton de Neuchâtel (OESP) qu'en raison de la pandémie de Covid-19, l'établissement allait fermer à partir du 9 avril 2020 et jusqu'au 1er juin 2020 au moins. Par décision du 2 avril 2020, l'OESP a alors ordonné la libération de A._ à compter du 5 avril 2020 et interrompu l'exécution de sa peine à compter de cette dernière date et à tout le moins jusqu'au 1er juin 2020.
Statuant par décision du 18 août 2020, le Département de la justice, de la sécurité et de la culture du canton de Neuchâtel (DJSC) a admis le recours formé par A._ contre la décision du 2 avril 2020, qu'il a annulée. La cause a été renvoyée à l'OESP pour qu'il rende une nouvelle décision après avoir invité le recourant à se déterminer quant à la suite de l'exécution de sa peine, ce que l'intéressé n'avait pas eu l'occasion de faire avant que la décision litigieuse fût rendue.
B.b. Parallèlement, le 30 juin 2020, alors que l'OESP avait été informé de la réouverture de l'Établissement du Simplon pour le mois d'août 2020, il a ordonné à A._ de réintégrer l'établissement le 30 août 2020.
Le 14 juillet 2020, après que ce dernier s'est prévalu de l'effet suspensif à son recours contre la décision du 2 avril 2020 pour s'opposer à la réintégration, l'OESP y a finalement renoncé.
B.c. Entendu par l'OESP le 23 octobre 2020, A._ a déploré les circonstances entourant l'interruption de sa peine, intervenue de manière immédiate et abrupte. Dans ses observations du 15 décembre 2020, après avoir été informé qu'une place à l'Établissement du Simplon était disponible à partir du 17 janvier 2021, il a demandé à l'OESP de constater que sa peine est réputée avoir été subie au 23 novembre 2020, date correspondant à la fin de sa peine si celle-ci n'avait pas été interrompue.
Par décision du 17 décembre 2020, l'OESP a confirmé l'interruption de la peine de A._ entre le 5 avril 2020 et le 16 janvier 2021, retiré l'effet suspensif à un éventuel recours et ordonné à l'intéressé de se présenter le 17 janvier 2021, à 16 heures, à l'Établissement du Simplon afin d'y exécuter sa peine sous le régime de la semi-détention. Après avoir restitué l'effet suspensif au recours que A._ avait formé contre la décision du 17 décembre 2020, le DJSC a rejeté ce recours par décision du 4 mars 2021.
Par arrêt du 25 mai 2021, la Cour de droit public du Tribunal cantonal neuchâtelois a rejeté le recours formé par A._ contre la décision du 4 mars 2021, précisant par ailleurs que sa requête d'effet suspensif était sans objet.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 25 mai 2021. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est constaté que la partie ferme de la peine privative de liberté prononcée le 28 mai 2018, portant sur un an, est réputée avoir été purgée au 23 novembre 2020. Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause à la cour cantonale pour nouvelle décision.

Considérant en droit :
1.
Selon l'<ref-law>, les décisions sur l'exécution des peines et des mesures peuvent faire l'objet d'un recours en matière pénale. Le recourant dispose en l'occurrence d'un intérêt juridique à l'annulation ou à la modification de l'arrêt attaqué (cf. <ref-law>), lequel confirme la validité de l'interruption de la peine qu'il exécutait sous le régime de la semi-détention et rejette ses conclusions tendant à ce qu'il soit constaté que celle-ci soit considérée comme purgée.
Les autres conditions de recevabilité étant réunies, il y a lieu d'entrer en matière.
2.
Dans une première partie de son mémoire de recours intitulée " Faits " (p. 4 s.), puis dans une autre dénommée " Établissement inexact des faits " (p. 5 ss), le recourant se limite à exposer sa propre version des événements, en introduisant divers éléments qui ne ressortent pas de l'arrêt attaqué, sans toutefois démontrer précisément en quoi la cour cantonale aurait arbitrairement omis de retenir ceux-ci, ni en quoi ils étaient susceptibles d'influer sur le sort de la cause (cf. <ref-law>). Ce faisant, il ne présente aucun grief recevable.
3.
Dénonçant une violation de l'<ref-law>, le recourant soutient que la fermeture de l'Établissement du Simplon, survenue en avril 2020 en raison de la situation sanitaire liée à la pandémie de Covid-19, ne constituait pas un motif grave propre à justifier l'interruption de la peine privative de liberté qu'il y exécutait sous le régime de la semi-détention (cf. <ref-law>). Il entend en déduire que la peine est réputée avoir été entièrement purgée au 23 novembre 2020, date à laquelle sa détention à l'Établissement du Simplon devait initialement prendre fin.
3.1. Aux termes de l'<ref-law>, l'exécution des peines et des mesures peut être interrompue pour un motif grave.
Cette disposition pose le principe de l'exécution ininterrompue de toutes les peines et mesures qui entraînent une privation de liberté. Le fondement de ce principe réside dans le fait que la peine ne peut atteindre ses buts que si elle est subie dans la continuité. L'admission d'un " motif grave ", d'une part, et l'interruption de l'exécution en présence de tels motifs, d'autre part, doivent demeurer exceptionnelles (<ref-ruling> consid. 5 et les références citées).
3.2. L'application de l'<ref-law> suppose tout d'abord l'interprétation des termes " motif grave ", soit la concrétisation d'une notion juridique indéterminée, de manière à pouvoir statuer dans le cas particulier. Ensuite, en cas d'admission de la pertinence et de la gravité du motif, l'autorité doit déterminer s'il y a lieu d'interrompre l'exécution de la peine ou, seulement, de tenir compte du motif d'une autre manière dans le cadre de l'exécution de la peine. Elle dispose, pour ce faire, du pouvoir d'appréciation qui découle de la formulation potestative de la règle, d'après laquelle l'exécution des peines " peut " être interrompue pour un motif grave (<ref-ruling> consid. 4; arrêt 6B_504/2013 du 13 septembre 2013 consid. 2.1.2).
3.2.1. Seuls sont des motifs pertinents pour l'application de l'<ref-law> les risques médicaux que la poursuite de l'exécution de la peine ferait courir au condamné (<ref-ruling> consid. 5.1). Quant à la gravité des motifs retenus, elle atteint toujours le degré requis si elle est telle que la poursuite de l'exécution violerait l'interdiction des peines cruelles, inhumaines ou dégradantes, prévue notamment par les art. 10 al. 3 Cst. et 3 CEDH. Le motif médical invoqué est également toujours grave si la poursuite de l'exécution met concrètement en danger la vie du condamné. Dans les autres cas, la gravité requise peut être atteinte si la poursuite de l'exécution, sans menacer directement la vie du condamné, fait néanmoins courir à celui-ci un risque sérieux pour sa santé. Pour déterminer si un tel degré est atteint, la gravité des motifs retenus ne doit pas s'apprécier de manière abstraite, mais en rapport avec la situation concrète du condamné, et en fonction de l'appui offert par les structures médicales quant aux soins disponibles à l'intérieur du système pénitentiaire, notamment au regard des formes dérogatoires d'exécution prévues par l'<ref-law> (<ref-ruling> consid. 5.1 p. 102).
3.2.2. En présence d'un motif grave dans le sens décrit ci-dessus, l'autorité doit procéder à une pesée des intérêts tenant compte non seulement des aspects médicaux, mais également de la nature et de la gravité des actes ayant justifié la peine, de la durée de celle-ci (arrêt 6B_580/2010 du 26 juillet 2010 consid. 2.5.2) et de l'intérêt de la société à l'exécution ininterrompue de la peine (cf. <ref-ruling> consid. 7 p. 324; arrêt 6B_504/2013 du 13 septembre 2013 consid. 2.1.3). Il faut encore prendre en considération que l'interruption de l'exécution ne doit intervenir en principe qu'à titre subsidiaire et ne peut ainsi pas être ordonnée si d'autres possibilités sont envisageables, en particulier si d'autres formes d'exécution se révèlent suffisantes et adaptées (<ref-ruling> consid. 7a; YASMINA BENDANI, Commentaire romand, Code pénal I, 2e éd. 2021, n° 5 ad <ref-law>; CORNELIA KOLLER, Basler Kommentar, Strafrecht I, 4e éd. 2019, n° 10 ad <ref-law>; BAECHTOLD/WEBER/HOSTETTLER, Strafvollzug, 3e éd. 2016, p. 100).
3.3. D'une manière générale, l'exécution des peines relève de la compétence des cantons (cf. <ref-law>).
Aussi, dans le contexte de la pandémie de Covid-19, la Conférence des directrices et directeurs des départements cantonaux de justice et police (CCDJP) a édicté le 6 avril 2020 un guide contenant des recommandations quant à la gestion de la pandémie dans les établissements de détention (Synthèse des bases juridiques et recommandations nationales et internationales sur la gestion du Covid-19 dans les établissements de détention [état: 6 avril 2020]: guide à l'intention des services chargés de l'exécution des sanctions pénales). Il en ressort notamment, au ch. 4 de ce guide, que les personnes exécutant leur peine sous forme de semi-détention et se trouvant dans la phase de progression du travail externe peuvent, si elles sont logées séparément des autres groupes de personnes détenues, continuer à quitter l'établissement pénitentiaire pour travailler, pour autant que ce travail ne puisse pas être réalisé au sein de l'établissement (ch. 4.1). Si le Conseil fédéral étend le confinement au travail ou si la personne détenue perd son emploi, celle-ci poursuit l'exécution de sa peine privative de liberté en régime ordinaire; une interruption de peine reste possible si la situation extraordinaire actuelle l'exige (ch. 4.2). Les cantons peuvent en tout temps édicter des dispositions plus restrictives concernant la semi-détention et le travail externe (ch. 4.3).
3.4. En l'espèce, l'arrêt attaqué ne fait au surplus pas état de réglementations cantonales particulières, en lien avec la gestion de la pandémie dans les établissements de détention, et pertinentes pour le cas d'espèce, qui auraient été édictées par le canton de Neuchâtel, chargé de l'exécution de la peine infligée au recourant, ou par le canton de Vaud, sur le territoire duquel se trouve l'Établissement du Simplon.
Quoi qu'il en soit, il apparaît que la fermeture de l'Établissement du Simplon, ordonnée au début du mois d'avril 2020 par les autorités vaudoises, avait été principalement motivée par les difficultés à y faire face aux risques de propagation du Covid-19 parmi les détenus et le personnel pénitentiaire. Ces risques y étaient en l'occurrence accrus compte tenu de la nature de l'établissement, qui était dédié à l'exécution de peines sous le régime de la semi-détention (cf. <ref-law>) et qui connaissait dès lors un nombre important d'entrées et de sorties quotidiennes. Du reste, à l'inverse des établissements consacrés à l'exécution des peines en régime ordinaire, l'Établissement du Simplon ne disposait vraisemblablement pas de structures médicales aptes à assurer un suivi adéquat de l'état de santé des détenus ainsi que des éventuels symptômes constatés. On relève par ailleurs que la fermeture de l'établissement pénitentiaire était intervenue dans un contexte très particulier où une grande partie des activités socio-économiques et professionnelles, y compris celles exercées par les détenus, avaient été suspendues, alors qu'il subsistait à cette époque de nombreuses incertitudes quant à la dangerosité du virus et à la capacité des structures hospitalières à gérer le flux de personnes infectées.
Aussi, en tant que la fermeture préventive de l'établissement visait en définitive à protéger la santé des détenus et du personnel pénitentiaire, et plus largement celle de la population, face aux menaces d'une propagation incontrôlée du Covid-19, la cour cantonale pouvait valablement considérer que celle-ci devait être assimilée à un motif grave au sens de l'<ref-law>.
3.5. Au moment de déterminer si la fermeture justifiait pour autant l'interruption de la peine exécutée par le recourant, compte tenu du caractère subsidiaire d'une telle interruption par rapport à d'éventuelles alternatives réalisables, il ne saurait non plus être fait abstraction du contexte particulier décrit ci-avant, lequel compromettait d'emblée les possibilités matérielles de faire exécuter immédiatement la peine sous une autre forme, telle qu'auraient pu l'avoir été un travail et un logement externes (<ref-law>), l'exécution d'un travail d'intérêt général (<ref-law>) ou la mise en oeuvre d'une surveillance électronique (<ref-law>), voire encore le déplacement du recourant dans un autre établissement destiné à la semi-détention. Il ressort du reste de l'arrêt attaqué que la situation sanitaire et les restrictions qui y alors étaient associées avaient conduit l'OESP à renoncer durant cette période aux transferts de détenus et à la mise en oeuvre des formes d'exécution de peine décrites aux art. 77a, 79a et 79b CP (cf. arrêt attaqué, consid. 4 p. 6).
Une autre alternative à la fermeture, qui aurait pu être envisagée, consistait en la suspension des sorties des détenus et leur placement de facto sous le régime ordinaire d'exécution, ce qui allait d'ailleurs dans le sens des recommandations de la CCDJP pour l'exécution de peines en semi-détention lorsque l'activité professionnelle ou de formation ne pouvait plus être exercée en raison de la situation sanitaire (cf. consid. 1.3 supra). Pour autant, s'agissant spécifiquement du recourant, celui-ci ne prétend pas qu'un tel placement lui aurait été plus favorable, lors même qu'il explique s'y être opposé dès le mois de mars 2019 après que l'OESP avait prévu dans un premier temps une exécution ordinaire de la peine, le recourant ayant alors argué de la nécessité qu'il poursuive son activité professionnelle en qualité d'indépendant (cf. mémoire de recours, p. 4).
Cela étant, en l'absence de solutions alternatives à la semi-détention en cours, qui devaient être tenues pour concrètement envisageables pour le recourant au moment de la fermeture de l'établissement, il doit en être déduit que la peine a été valablement interrompue.
3.6. Le recourant soutient encore que la durée de l'interruption doit être imputée sur le solde de sa peine.
S'il se prévaut à cet égard des difficultés organisationnelles auxquelles il avait été confronté après la fermeture abrupte de l'Établissement du Simplon, ayant résilié le bail de son logement avant sa détention, il admet néanmoins avoir pu être hébergé par son ex-épouse et continuer à exercer son activité professionnelle durant la période considérée (cf. mémoire de recours, p. 7). Outre qu'en violation de l'<ref-law>, le recourant n'explique pas sur quelle base une telle imputation devait lui être accordée, alors que l'interruption n'a pas pour effet de diminuer le solde de peine à exécuter (cf. BENDANI, op. cit., n° 24 ad <ref-law>), on ne voit nullement que les circonstances décrites ci-avant puissent être assimilées à un traitement inhumain ou dégradant au sens de l'art. 3 CEDH.
Au reste, en tant que le recourant demande que la peine soit considérée comme entièrement purgée au 23 novembre 2020, date initialement prévue pour sa libération, il doit être relevé, avec la cour cantonale, qu'une telle requête paraît s'inscrire dans une démarche contraire au principe de la bonne foi en procédure (art. 5 al. 3 Cst.; cf. <ref-ruling> consid. 3.4.2). En effet, alors que l'interruption avait d'abord été fixée " à tout le moins jusqu'au 1er juin 2020 ", le recourant ne fait pas état de demandes qu'il aurait expressément formulées dans l'ensemble de la période considérée en vue d'exécuter exceptionnellement sa peine sous une autre forme, en particulier selon celles prévues aux <ref-law> (travail d'intérêt général) et 79b CP (surveillance électronique), alors qu'elles ne sont en principe mises en oeuvre que sur demande du condamné (cf. art. 79a al. 1 et 79b al. 1 CP). En outre, convoqué à l'Établissement du Simplon pour le 30 août 2020, après que celui-ci avait finalement rouvert au mois d'août 2020, le recourant avait refusé de réintégrer son lieu de détention, lors même que la période de détention initialement prévue n'était pas encore terminée. Il s'était alors uniquement prévalu de l'effet suspensif conféré au recours qu'il avait déposé contre la décision d'interruption, sans que l'on voie d'emblée que cet effet suspensif avait une influence sur la décision de placement en tant que telle, qui en était dépourvue en vertu du droit cantonal (cf. art. 52 al. 2 de la loi sur l'exécution des peines et des mesures pour les personnes adultes [LPMPA]; RS/NE 351.0).
3.7. C'est enfin en vain que le recourant invoque l'art. 48 let. e CP pour faire valoir l'inopportunité d'exécuter la peine compte tenu de la longue période écoulée depuis la commission des infractions pour lesquelles il avait été condamné. Outre qu'il s'agit là d'une circonstance à prendre en considération au moment de fixer la peine, il n'y a pas lieu en l'espèce de reléguer à l'arrière-plan l'intérêt public à voir les peines prononcées effectivement exécutées. Il n'apparaît pas au demeurant que la peine est prescrite (cf. <ref-law>).
Le recourant ne saurait non plus invoquer une inégalité de traitement (cf. art. 8 al. 1 Cst.) avec les détenus en régime ordinaire qui ont pu pour leur part poursuivre l'exécution de leur peine durant la période considérée. L'exécution de peines en semi-détention impliquant des entrées et sorties quotidiennes du lieu de détention, il apparaît en effet justifié que la gestion des risques de propagation du Covid-19 y fût abordée de manière distincte.
4.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lausanne, le 9 février 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Tinguely