Faits :
A.
Par ordonnance pénale du 12 décembre 2017, le Ministère public du parquet régional de Neuchâtel a condamné A._ à une peine pécuniaire de 50 jours-amende à 30 francs avec sursis pendant deux ans. Il lui est notamment reproché d'avoir pénétré dans l'appartement de ses locataires à plusieurs reprises sans y être invité et d'y être demeuré malgré les injonctions de sortir qui lui ont été adressées, d'avoir eu une attitude menaçante envers ses locataires en particulier en hurlant lors de discussions et d'avoir empêché une locataire d'accéder à ses meubles entreposés dans une cave de son immeuble. Après que le prénommé y a formé opposition, le Ministère public a décidé de maintenir l'ordonnance pénale et de transmettre le dossier au Tribunal de première instance.
Après avoir entendu le prénommé, étendu la prévention à l'<ref-law> et recueilli diverses pièces, la Juge au Tribunal de police du Tribunal régional du Littoral et du Val-de-Travers, Florence Dominé, a renvoyé le dossier au Ministère public, le 18 avril 2018.
Après diverses auditions et deux rapports complémentaires de la police, le Ministère public a informé la Juge précitée, le 8 mars 2021, qu'il ne souhaitait pas compléter l'accusation et s'en remettait à l'appréciation du Tribunal. Le 10 juin 2021, la Juge Dominé a entendu quatre témoins ainsi que le prévenu; elle a ensuite prononcé la clôture de l'administration des preuves, puis les parties ont eu l'occasion de plaider; la Juge a par la suite prononcé la clôture des débats et donné immédiatement connaissance du dispositif de son jugement, en le motivant oralement. Elle a reconnu A._ coupable de soustraction d'une chose mobilière (<ref-law>) et de violation de domicile (<ref-law>) et l'a condamné à une peine de 30 jours-amende à 50 francs avec sursis pendant deux ans ainsi qu'à une amende additionnelle de 500 francs. Elle l'a en revanche libéré des préventions en rapport avec les art. 180 et 251 CP, 87 al. 2 LAVS, 70 LAI, 106 LACI, 76 al. 2 LPP et 112 al. 1 LAA. Tant les plaignants que le prévenu ont déclaré avoir l'intention de faire appel. A._ a déposé une annonce d'appel le 11 juin 2021.
B.
Le 16 juin 2021, A._ a formé une demande de récusation de la Juge Dominé. Il lui a reproché en substance de l'avoir traité d'esclavagiste, d'avoir rédigé le dispositif du jugement avant la fin de l'instruction et avant les plaidoiries et d'avoir refusé le retrait de la plainte de B._. La Juge prénommée a répondu que la demande était tardive et infondée, le 17 juin 2021.
Le jugement motivé a été expédié aux parties le 8 juillet 2021.
Par arrêt du 27 août 2021, l'Autorité de recours en matière pénale du Tribunal cantonal du canton de Neuchâtel (ci-après: le Tribunal cantonal) a rejeté la demande de récusation dans la mesure de sa recevabilité.
C.
Agissant par la voie du recours en matière pénale, A._ demande principalement au Tribunal fédéral d'ordonner la récusation de la Juge Dominé et de renvoyer le dossier à un autre juge du Tribunal de police pour reprise de la procédure au stade des débats et nouveau jugement de la cause. Il conclut subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision.
Invité à se déterminer, le Tribunal cantonal a déposé des observations et s'est référé aux considérants de l'arrêt attaqué. Le recourant a répliqué.

Considérant en droit :
1.
Conformément aux art. 78, 79 et 92 al. 1 LTF, une décision cantonale relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, dont la demande de récusation a été rejetée, a qualité pour recourir en vertu de l'<ref-law>. Pour le surplus, le recours a été interjeté en temps utile (<ref-law>) contre une décision rendue en instance cantonale unique (art. 80 al. 2 in fine LTF) et les conclusions présentées sont recevables (<ref-law>). Il y a donc lieu d'entrer en matière.
2.
A teneur de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Le courriel du 14 septembre 2021 d'un journaliste présent à l'audience du 10 juin 2021, dont se prévaut le recourant dans son recours, est postérieur au prononcé de l'arrêt attaqué. Il s'agit donc d'un vrai novum, qui échappe à la cognition du Tribunal fédéral. Il n'en sera par conséquent pas tenu compte.
3.
Le recourant fait d'abord valoir que sa demande de récusation n'est pas tardive.
3.1. Conformément à l'<ref-law>, la récusation doit être demandée sans délai, dès que la partie a connaissance du motif de récusation, c'est-à-dire dans les jours qui suivent la connaissance de la cause de récusation, sous peine de déchéance (<ref-ruling> consid. 8.4.3). Il est en effet contraire aux règles de la bonne foi de garder ce moyen en réserve pour ne l'invoquer qu'en cas d'issue défavorable ou lorsque l'intéressé se serait rendu compte que l'instruction ne suivait pas le cours désiré (<ref-ruling> consid. 4.3; arrêt 1B_367/2021 du 29 novembre 2021 consid. 2.1).
De jurisprudence constante, les réquisits temporels de cette disposition sont satisfaits lorsque la demande de récusation est déposée dans les six et sept jours qui suivent la connaissance de la cause de récusation, mais qu'en revanche, ils ne le sont pas lorsqu'elle est formée trois mois, deux mois, deux à trois semaines ou vingt jours après que son auteur a pris connaissance du motif de récusation (arrêts 1B_367/2021 du 29 novembre 2021 consid. 2.1 et les arrêts cités). Pour procéder à cette appréciation, il convient notamment de prendre en compte les circonstances d'espèce, ainsi que le stade de la procédure; considérer que le droit de demander la récusation est perdu doit être apprécié avec retenue (arrêt 1B_647/2020 du 20 mai 2021 consid. 2.1 et les références citées). En particulier, selon notamment la fréquence des actes d'instruction, on peut se montrer plus large dans le temps de réaction lorsque le moment déterminant intervient dans une phase moins active de la procédure (arrêt 1B_227/2013 du 15 octobre 2013 consid. 2.1).
3.2. En l'espèce, il n'est pas contesté que les éléments avancés à l'appui de la requête de récusation du 16 juin 2021 se seraient déroulés lors de l'audience du 10 juin 2021 et qu'ils étaient connus depuis ce jour-là. La requête a ainsi été déposée six jours après la séance litigieuse. Il eût certes été préférable que le recourant soit intervenu le jour de l'audience pour déposer sa demande de récusation; le dépôt six jours plus tard n'est cependant pas contraire à l'<ref-law> et à la jurisprudence y relative.
4.
Le recourant reproche encore à l'instance précédente d'avoir rejeté la demande de récusation de la Juge intimée. Il se plaint d'une violation de l'art. 56 let. f CPP.
4.1. Un magistrat est récusable selon l'art. 56 let. f CPP, "lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention". Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 Cst. et 6 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 4.3; <ref-ruling> consid. 3.2). L'impartialité subjective d'un magistrat se présume jusqu'à preuve du contraire (<ref-ruling> consid. 3.2.1).
4.2. En l'espèce, le recourant voit un motif de prévention de la magistrate intimée en ce qu'elle aurait rédigé le dispositif du jugement avant la fin de l'instruction et avant les plaidoiries. Il lui fait grief d'avoir lu le dispositif immédiatement après les plaidoiries finales, sans même une pause de quelques secondes, ce qui créerait une apparence de prévention.
Bien qu'un juge se doive de connaître son dossier avant la fin de l'instruction et qu'il soit acceptable qu'il prépare des projets de dispositif différents, il ne peut pas délibérer à l'avance. Ainsi la lecture du dispositif immédiatement après la fin des plaidoiries peut fonder, au moins en apparence, une suspicion de partialité. Cela se comprend d'autant plus que l'<ref-law> prévoit que le tribunal se retire pour délibérer à huis clos, après la clôture des débats. Le tribunal ne peut donc pas, même s'il s'agit d'un juge unique, délibérer sur le siège (OLIVIER JORNOT, Commentaire romand CPP, 2ème éd., 2019, ad art. 348 N 1). De plus, l'<ref-law> prévoit que le greffier prend part à la délibération avec voix consultative. Le juge unique doit pouvoir délibérer avec son greffier; l'absence du greffier a pour conséquence que la composition du tribunal n'est pas conforme à la loi (JORNOT, op. cit., ad <ref-law> N 6; MOREILLON/PAREIN REYMOND, Petit commentaire CPP, 2ème éd., 2016, ad <ref-law> N 9; SCHMID/JOSITSCH, StPO Praxiskommentar, 3ème éd., 2018, ad art. 348 N 4; HEIMGARTNER/NIGGLI, Basler Kommentar CPP, 2ème éd., 2014, ad art. 348 N 13a et 14).
La délibération doit donc avoir lieu après la clôture des débats, en présence du greffier. Il n'est dès lors pas possible, comme l'a retenu l'instance précédente, de considérer que la Juge intimée aurait eu l'occasion de délibérer pendant les suspensions d'audience. En effet, le fait que différentes suspensions d'audience (40 minutes en tout) ont eu lieu avant la clôture des débats (même avant la clôture de la procédure probatoire) n'a qu'une incidence très limitée sur la délibération elle-même.
4.3. Il apparaît ainsi justifié de redouter - vu les apparences données - une activité partiale de la magistrate intimée qui a lu le dispositif du jugement immédiatement après les plaidoiries, sans s'être au préalable retirée avec son greffier pour délibérer. Cela suffit à sceller le sort du recours. Il n'y a ainsi pas lieu d'examiner les autres critiques du recourant soulevées à l'encontre de la Juge Dominé.
Partant, la cour cantonale a violé le droit fédéral en rejetant la requête de récusation (art. 56 let. f CPP) et ce grief doit être admis.
5.
Par conséquent, le recours est admis. L'arrêt attaqué est annulé et la demande de récusation de la Juge intimée est admise.
Le recourant, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens pour les procédures fédérale et cantonale à la charge du canton de Neuchâtel (art. 68 al. 1 et 5 LTF). Il n'est pas perçu de frais judiciaires pour les procédures fédérale et cantonale (art. 66 al. 4 et 67 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt du 27 août 2021 de l'Autorité de recours en matière pénale est annulé. La demande de récusation de la Juge Florence Dominé est admise.
2.
Une indemnité de dépens, fixée à 2'500 francs, pour les procédures fédérale et cantonale est allouée au mandataire du recourant, à la charge du canton de Neuchâtel.
3.
Il n'est pas perçu de frais judiciaires pour les procédures fédérale et cantonale.
4.
Le présent arrêt est communiqué au mandataire du recourant, à la Juge Florence Dominé et à l'Autorité de recours en matière pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 28 janvier 2022
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
La Juge présidant : Jametti
La Greffière : Tornay Schaller