Faits :
A.
Le 19 novembre 2010, A._, ressortissant algérien né en 1976, s'est marié en Suisse avec une ressortissante helvétique née en 1968 et rentière AI depuis 1996. Le 9 septembre 2015, l'intéressé a introduit une requête de naturalisation facilitée. Le 9 avril 2016, les époux ont certifié vivre à la même adresse, sous la forme d'une communauté conjugale effective et stable, et n'avoir aucune intention de se séparer ou de divorcer. Par décision du Secrétariat d'Etat aux migrations (ci-après : le SEM) du 20 avril 2016, l'intéressé a obtenu la naturalisation facilitée. Par la suite, les époux se sont séparés officiellement le 1er avril 2018 et leur divorce a été prononcé au mois de mai 2019.
Par décision du 21 janvier 2021, après avoir recueilli les déclarations de l'ex-épouse (par écrit le 22 août 2019 puis oralement le 9 janvier 2020) et de l'intéressé (par courriers des 30 septembre 2019 et 13 février 2020) ainsi que des témoignages écrits de personnes proches du couple, le SEM a annulé la naturalisation facilitée de A._. Il a considéré que l'enchaînement chronologique des faits permettait de fonder la présomption que la naturalisation avait été obtenue par des déclarations mensongères ou la dissimulation de faits essentiels. L'ex-épouse avait notamment fait état de tensions conjugales et d'une mésentente durable, apparues après quatre ans de mariage.
B.
Par arrêt du 23 août 2021, le Tribunal administratif fédéral (TAF) a rejeté le recours formé contre cette décision. Le nouveau droit, entré en vigueur le 1er janvier 2018, s'appliquait dès lors que la séparation, le divorce et la connaissance par le SEM de ces éléments de fait étaient intervenus sous l'empire du nouveau droit. Le court laps de temps (23 mois) entre l'obtention de la naturalisation et la séparation suffisait à fonder la présomption selon laquelle l'union conjugale n'était pas stable. Selon les déclarations de l'ex-épouse, que le recourant n'avait pas contestées lors de la procédure de première instance, les difficultés conjugales étaient apparues trois ou quatre ans après le mariage. Les problèmes psychiques de l'épouse dataient d'avant le mariage. L'absence de projets communs, le parcours migratoire du recourant et son empressement à obtenir la naturalisation (notamment une tentative de mariage en 2005 avec une personne qui avait par la suite épousé le frère du recourant) confirmaient cette présomption. Une dispute survenue début 2018 ne pouvait expliquer la dégradation subite du lien conjugal. Le recourant était conscient dès le début de son union des difficultés liées aux différences culturelles et religieuses et des problèmes de communication au sein du couple.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer la décision entreprise en ce sens que sa naturalisation n'est pas annulée. Subsidiairement, il conclut au renvoi de la cause à l'autorité de première instance pour nouvelle décision dans le sens des considérants. Il requiert l'effet suspensif, qui a été accordé par ordonnance du 13 octobre 2021.
Le TAF a renoncé à se déterminer. Le SEM estime que le recours ne permet pas de remettre en question l'arrêt attaqué.

Considérant en droit :
1.
Dirigé contre un arrêt du Tribunal administratif fédéral qui confirme l'annulation de la naturalisation facilitée accordée au recourant, le recours est recevable comme recours en matière de droit public (art. 82 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte (cf. FLORENCE AUBRY GIRARDIN, Commentaire LTF, 2ème éd. 2014, n° 34 ad art. 83; THOMAS HÄBERLI, Basler Kommentar BGG, 3ème éd. 2018, n° 52 ad art. 83). Pour le surplus, le recourant a la qualité pour recourir au sens de l'<ref-law> et ses conclusions sont recevables au regard de l'<ref-law>. Aussi convient-il d'entrer en matière sur le recours.
2.
Dans un premier moyen, le recourant se plaint d'une violation de la disposition transitoire de l'art. 50 LN. Pour lui, le "fait déterminant" au sens de cette disposition serait la date de la déclaration prétendument mensongère (soit l'élément essentiel fondant la décision attaquée), voire celle de l'octroi de la naturalisation, et non comme l'a retenu le TAF celle de la séparation, du divorce ou de la prise de connaissance de ces éléments par le SEM. Il en résulterait que l'ancien droit serait applicable et que l'assentiment du canton serait nécessaire (art. 41 aLN) alors qu'il fait défaut en l'espèce.
2.1. L'entrée en vigueur, le 1er janvier 2018, de la nouvelle loi sur la nationalité suisse du 20 juin 2014 (LN; RS 141.0) a entraîné l'abrogation de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (aLN; RO 1952 1115), conformément à l'art. 49 LN (en relation avec le chiffre I de son annexe). En vertu de la réglementation transitoire prévue par l'art. 50 LN, l'acquisition et la perte de la nationalité suisse sont régies "par le droit en vigueur au moment où le fait déterminant s'est produit" (al. 1). Les demandes déposées avant l'entrée en vigueur de la nouvelle loi sont traitées conformément aux dispositions de l'ancien droit jusqu'à ce qu'une décision soit rendue (al. 2).
2.2. Se fondant sur son arrêt de principe du 7 décembre 2020 (F-1034/2019), le TAF relève les hésitations que l'on peut avoir dans la fixation du fait déterminant au sens de l'art. 50 al. 1 LN. D'une part, l'annulation de la naturalisation est fondée sur des faits survenus avant ladite naturalisation, soit en particulier au moment de la signature de la déclaration de vie commune. D'autre part, la personne n'est informée du potentiel changement de sa situation juridique qu'à l'ouverture de la procédure d'annulation, et l'autorité n'est en mesure de se prononcer qu'après avoir pris connaissance des éléments propres à justifier une annulation. La doctrine ne s'exprimant pas sur cette question, le TAF s'est fondé sur un arrêt du Tribunal fédéral du 24 juillet 2020 (1C_24/2020) dans lequel il a été considéré que les faits déterminants s'étaient produits postérieurement au 1er janvier 2018 alors que la déclaration de vie commune, tout comme l'octroi de la naturalisation, remontaient à septembre 2016. Le TAF en a déduit que le fait déterminant ne correspondait pas au moment où le couple aurait menti ou caché des éléments essentiels, mais à celui où cette dissimulation devient objectivement reconnaissable pour ouvrir la procédure d'annulation, soit le même moment que celui qui fait partir la prescription de deux ans prévue à l'art. 36 al. 2 LN.
2.3. Il est certes possible d'hésiter sur la détermination du fait déterminant au sens de l'art. 50 al. 1 LN. L'arrêt du Tribunal fédéral mentionné par le TAF paraît en effet considérer qu'il s'agirait de la séparation du couple, du divorce ou de la prise de connaissance de ces éléments par le SEM. Certains arrêts ultérieurs semblent confirmer cette pratique (cf. arrêts 1C_206/2021 du 19 août 2021 consid. 2; 1C_431/2020 du 10 novembre 2020 consid. 3.1; moins précis: arrêt 1C_220/2019 du 30 octobre 2019 consid. 3.1 qui évoque autant le moment de la naturalisation que celui de l'annulation); d'autres arrêts sont plus nuancés, sans approfondir la question qui n'était alors pas déterminante (cf. arrêts 1C_378/2021 du 8 novembre 2021 consid. 2 et 3.2; 1C_525/2020 du 22 octobre 2021 consid. 2; 1C_104/2021 du 7 juillet 2021 consid. 1; 1C_312/2020 du 31 mars 2021 consid. 2; 1C_620/2020 du 19 janvier 2021 consid. 2; 1C_247/2019 du 18 octobre 2019 consid. 2). Toutefois, dans un arrêt récent relatif au retrait d'une naturalisation ordinaire (arrêt 1C_457/2021 du 25 mars 2022 consid. 3), la cour de céans a, à l'instar du TAF, considéré que le fait déterminant dans ce cadre était la condamnation pénale prononcée et entrée en force sous l'empire de l'ancien droit, de sorte que celui-ci était applicable. Cette solution doit prévaloir a fortiori pour l'annulation de la naturalisation facilitée. La décision prise à ce sujet repose sur l'existence de déclarations mensongères ou de dissimulation de faits essentiels sur la base desquelles la naturalisation aurait été indûment accordée (cf. aussi infra consid. 3.2 et les références citées). C'est exclusivement ce comportement, entièrement réalisé à ce moment-là, qui est sanctionné par la loi, indépendamment des circonstances dans lesquelles il est découvert par la suite ou du moment auquel l'autorité décide d'agir. C'est la raison pour laquelle le texte allemand de l'art. 41 al. 1 aLN (et 36 al. 1 LN), contrairement aux textes français et italien, parle à ce propos de déclaration de nullité (Nichtigerklärung) et non d'annulation (Aufhebung) de la naturalisation qui supposerait des faits déterminants survenus après celle-ci.
2.4. Il se justifie dès lors de préciser la jurisprudence précitée et de considérer que le droit applicable est celui en vigueur au moment de la signature de la déclaration de vie commune, voire de l'octroi de la naturalisation. Cela est toutefois sans conséquence sur l'issue de la cause. Les conditions de fond posées aux art. 41 al. 1 aLN et 36 al. 1 LN sont en effet identiques, la seule différence résidant dans l'assentiment de l'autorité du canton d'origine exigé par l'art. 41 al. 1 aLN, et auquel le nouveau droit a renoncé. Cette condition doit être considérée comme une condition de forme à l'annulation de la naturalisation, dès lors que la loi ne pose aucun critère matériel à l'assentiment de l'autorité cantonale. Or, selon la pratique constante, le nouveau droit est immédiatement applicable en ce qui concerne les règles de forme et de procédure, pour autant que les dispositions transitoires ne prévoient pas d'autre solution et que cela n'entrave pas l'application du droit matériel (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.2; <ref-ruling> consid. 2c). Tel est le cas en l'occurrence, de sorte que, dès l'entrée en vigueur du nouveau droit, l'assentiment du canton d'origine n'est plus nécessaire.
Dès lors, le grief du recourant concernant le droit applicable doit certes être partiellement admis, mais cela n'a pas de conséquence sur l'issue de la cause.
3.
Se plaignant d'arbitraire dans la constatation des faits, le recourant reproche au TAF d'avoir omis un grand nombre de faits pertinents. Il mentionne les déclarations suivantes de son ex-épouse dans son courrier du 19 août 2019 et lors de son audition du 9 janvier 2020: les problèmes de couple avaient commencé en 2018, notamment après que le fils de l'épouse avait été hébergé avec son amie puis leur enfant au domicile conjugal; elle avait été bien accueillie par sa belle-famille en Algérie où elle s'était rendue en vacances; le recourant lui avait été fidèle, s'était comporté de façon exemplaire vis-à-vis du fils de son épouse né d'une précédente relation, et était très apprécié de sa belle-famille; il n'avait pas changé d'attitude à son endroit après l'acquisition de la nationalité suisse; son ex-épouse souffrait d'une maladie psychique justifiant une rente AI, et ses variations d'humeur impactaient le couple, mais le recourant était toujours là lorsqu'elle n'allait pas bien; son état psychique s'était dégradé les derniers temps avant la séparation. Même si des difficultés étaient apparues après quatre ans de mariage, il n'était alors pas question de séparation. Rien ne permettrait ainsi d'affirmer que le recourant avait caché l'absence de perspectives à moyen terme de son couple en 2016.
Le recourant reproche aussi au TAF d'avoir refusé de tenir compte des témoignages écrits, notamment celui de son beau-fils qui a vécu avec le couple et qui a déclaré - à l'instar d'autres personnes proches - que le couple était très lié jusqu'en 2018. Le recourant relève encore que l'on ne saurait lui reprocher de n'avoir rien tenté pour sauver son couple puisqu'il n'était pas question de séparation avant 2018. Le recourant et son épouse avaient encore réfléchi durant plusieurs mois avant de décider d'un divorce. L'autorité se serait fondée sur des faits postérieurs à la naturalisation, sans rapport avec l'existence d'une union effective en avril 2016. En déclarant que le couple n'avait pas de projet, l'ex-épouse voulait notamment parler de projet d'enfants, compte tenu de son âge. Des envies différentes concernant notamment les vacances, n'avaient pas empêché le couple de voyager ensemble. Le fait que le recourant avait demandé sa naturalisation après quatre ans et dix mois de mariage, et qu'il ait tu à son épouse un précédent projet de mariage, ne permettrait aucune déduction quant à la stabilité du couple au moment de la signature de la déclaration.
3.1. Le Tribunal fédéral conduit son raisonnement juridique sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de manière manifestement inexacte, à savoir de façon arbitraire (art. 9 Cst.; cf. <ref-ruling> consid. 1.3.1) ou en violation du droit (<ref-law>) et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). La partie recourante doit démontrer dans son mémoire que ces conditions sont réalisées. Il lui incombe d'exposer, de manière circonstanciée (cf. <ref-law>), que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1).
3.2. Le recourant se plaint essentiellement d'arbitraire, ses griefs se rapportant à l'établissement des faits. Il invoque certes l'art. 36 LN mais ne soulève pas de grief spécifiquement fondé sur cette disposition de droit fédéral. Cela étant, il sied de rappeler le cadre légal relatif à l'annulation de la naturalisation facilitée. Pour qu'une telle décision soit rendue en application des art. 41 al. 1 aLN ou 36 al. 1 LN, il faut que la naturalisation ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est point besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2.2; arrêts 1C_206/2021 du 19 août 2021 consid. 3.1; 1C_24/2020 du 24 juillet 2020 consid. 3.1). Le comportement déloyal et trompeur du requérant doit ainsi porter sur l'allégation de faits mensongers ou la dissimulation de faits décisifs pour décider de l'octroi de la naturalisation facilitée. La nature potestative des art. 36 LN et 41 aLN confère une certaine liberté d'appréciation à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci (arrêts 1C_206/2021 du 19 août 2021 consid. 3.1; 1C_324/2020 du 23 septembre 2020 consid. 4.1; pour la jurisprudence rendue en application de l'art. 41 al. 1 aLN, cf. arrêt 1C_601/2017 du 1er mars 2018 consid. 3.1.1).
La notion de communauté conjugale visée à l'art. 27 al. 1 let. c aLN suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2; <ref-ruling> consid. 3a). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré de renverser cette présomption (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Par enchaînement rapide des événements, la jurisprudence entend une période de plusieurs mois, voire d'une année, mais ne dépassant pas deux ans (arrêts 1C_206/2021 du 19 août 2021 consid. 3.1; 1C_618/2020 du 19 mai 2021 consid. 3.1; 1C_80/2019 du 2 mai 2019 consid. 4.2).
3.3. Contrairement à ce que semble soutenir le recourant, une séparation intervenue comme en l'espèce 23 mois (soit moins de deux ans) après l'obtention de la naturalisation est encore propre à fonder la présomption précitée. Après dénonciation du cas par l'autorité cantonale, le SEM a invité l'ex-épouse du recourant à se déterminer par écrit. Le 22 août 2019, celle-ci a indiqué que les difficultés étaient apparues après trois ans de mariage; elle a relevé que le recourant était renfermé et se référait sans plus de précision à sa mentalité, tout en retenant qu'il était respectueux et gentil, prêt à aider les autres, et qu'elle-même n'était pas facile à vivre. Elle précisait encore que la séparation remontait à début janvier 2018. Le 9 janvier 2020, elle a été entendue en personne par la police vaudoise sur délégation du SEM. A cette occasion, elle a déclaré que les problèmes conjugaux avaient débuté après quatre ans de mariage: le recourant ne se sentait plus chez lui en raison de la présence de son beau-fils et de son amie; il se montrait renfermé et il était difficile de s'adapter à sa culture. Sur question de l'enquêteur, l'intéressée a encore indiqué qu'ils vivaient "comme frère et soeur".
Le recourant a produit des témoignages écrits de sa famille, son frère et son beau-fils notamment, faisant état d'un couple uni jusqu'en 2018. Interrogé sur un projet de mariage antérieur avec celle qui est ensuite devenue la femme de son frère, le recourant a indiqué avoir rencontré cette personne en 2005 et avoir échangé à distance avec elle; le projet de mariage, encouragé par la mère du recourant, avait été abandonné lorsqu'une fois en Suisse, tous deux avaient réalisé qu'ils n'avaient pas assez de points communs. La personne en question avait ensuite épousé le frère du recourant. Le recourant n'avait pas fait part de cet épisode à sa femme, par crainte d'une réaction de jalousie.
3.4. A juste titre, les instances précédentes ont donné plus de poids aux déclarations de l'ex-épouse, notamment celles qui ont été effectuées en début de procédure alors que les enjeux de son témoignage pouvaient apparaître moins clairement à l'intéressée. Ces déclarations bénéficient donc d'un degré de spontanéité supérieur et n'ont pas non plus été dictées par le ressentiment, l'intéressée ayant par ailleurs tenu des propos favorables au recourant. C'est dès lors en 2013-2014 (soit après trois ou quatre ans de mariage et en tout cas deux ans avant la signature de la déclaration de vie commune en avril 2016) qu'il y a lieu de fixer le début des difficultés conjugales. Le TAF n'a pas ignoré l'existence et la teneur des témoignages écrits produits par le recourant. Ceux-ci ont toutefois été rédigés sur l'intervention de l'avocat du recourant, alors que la question de l'effectivité de l'union conjugale était au centre des débats. En outre, les auteurs de ces témoignages sont certes des proches mais ne pouvaient forcément se rendre compte de l'ampleur des difficultés conjugales, soit des éléments relevant pour une grande part de l'intimité. Les problèmes psychiques de l'épouse existaient et étaient manifestement connus par le recourant au moment du mariage, aucun élément de preuve ne venant établir une aggravation soudaine pouvant expliquer la séparation.
Pour renforcer la présomption sur laquelle il s'est fondé, le TAF a encore relevé que le recourant avait fait preuve d'empressement dans ses démarches pour obtenir la nationalité suisse: après un refus d'entrée qui lui avait été opposé en 2004, il avait demandé en 2005 un visa pour épouser une ressortissante helvétique, projet qui, comme on l'a vu, n'a pas abouti. Il a ensuite rencontré sa future épouse en 2005-2006. Le recourant ne conteste pas ces faits, qui constituent un indice supplémentaire en sa défaveur.
En définitive, l'instance précédente a dûment rappelé les éléments de preuve dont se prévaut le recourant, mais a également expliqué de manière plausible les raisons pour lesquelles elle les a écartés. Le grief d'arbitraire, doit dès lors être écarté, ce qui conduit au rejet du recours.
4.
Sur le vu de ce qui précède, le recours est rejeté. Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge du recourant qui obtient certes partiellement gain de cause sur un point sans incidence sur l'issue du litige (cf. supra consid. 2), mais qui succombe entièrement sur le fond.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour VI.
Lausanne, le 27 avril 2022
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Kurz