Citation: 9C_609/2020 E. A

A.a. B.________, née en 1958, est associée gérante présidente de C.________ Sàrl, dont le but social est la diffusion de bijoux et accessoires de mode, les activités de holding et l'acquisition, la gestion ou la vente de tout bien mobilier ou immobilier. En 2009, année de son inscription au registre du commerce du canton de Neuchâtel, cette société a été affiliée en tant qu'employeur auprès de la Caisse cantonale neuchâteloise de compensation (ci-après: la caisse), même si elle n'occupait pas de personnel. A.________, né en 1954, époux de B.________, a travaillé jusqu'en 2014 à 50 % au service de D.________. En 2015, il a fait inscrire la raison individuelle E.________ au registre du commerce, dont le but social était l'accompagnement et le soutien de personnes en difficulté psychique et de leurs proches, ainsi que la formation dans ce domaine. Compte tenu de cette activité initiée en novembre 2015, la caisse a procédé à son affiliation en qualité de personne de condition indépendante à titre principal, avec effet au 1er novembre 2015. La raison individuelle E.________ a été radiée par suite de cessation de l'exploitation, le 1er octobre 2019. A.b. Par décisions des 12 juin 2018 et 25 février 2019, la caisse a fixé les cotisations salariales dues par C.________ Sàrl sur les rémunérations annuelles versées respectivement en 2017 et en 2018 à B.________. Par quatre décisions du 14 juin 2018, la caisse a fixé les cotisations personnelles de A.________ en tant que personne exerçant une activité lucrative à titre principal pour les années 2015, 2016, 2017 et 2018. Elle a aussi rendu trois décisions portant sur les intérêts rémunératoires pour les années 2015, 2016 et 2017. A.c. Par décisions du 21 mai 2019, la caisse a fixé à nouveau les cotisations du prénommé pour les années 2015 à 2018 ainsi que les cotisations 2019, en lui reconnaissant cette fois le statut de personne exerçant une activité lucrative à titre accessoire, les cotisations étant fixées à zéro franc. Le 21 mai 2019, la caisse a également rendu quatre décisions relatives aux intérêts rémunératoires pour les années 2015 à 2018. Le 22 mai 2019, la caisse a fait savoir à A.________ qu'elle avait constaté qu'il ne réalisait plus de revenu indépendant depuis plusieurs années. Elle devait ainsi le considérer comme non-actif dès lors que les cotisations relatives au revenu de l'activité lucrative étaient inférieures à la moitié des cotisations dont il devrait s'acquitter en tant que non-actif. A la même date, la caisse a notifié séparément à chacun des époux A.________ et B.________ six décisions de cotisations personnelles pour personnes sans activité lucrative pour les années 2014 à 2019, remplaçant toutes les décisions antérieures pour cette période. Le 28 juin 2019, la caisse leur a aussi notifié onze décisions d'intérêts moratoires pour les années 2014 à 2018, ainsi que, le 9 août 2019, une décision d'intérêts pour le premier semestre 2019. Saisie d'une opposition des époux A.________ et B.________ contre toutes les décisions de cotisations personnelles du 22 mai 2019, la caisse l'a rejetée par décision sur opposition du 10 octobre 2019.