Faits :
A.
Par jugement du 21 octobre 2014, dont la motivation a été notifiée le 12 janvier 2017, le Tribunal de police du Littoral et du Val-de-Travers a condamné A._ à 3 mois de peine privative de liberté ferme pour tentative de contrainte et calomnie aggravée au préjudice de B._.
Par jugement du 19 décembre 2018, la Cour pénale du Tribunal cantonal neuchâtelois a admis partiellement l'appel formé par A._ contre le jugement de première instance et a ramené la peine privative de liberté à 50 jours.
Par arrêt du 10 avril 2019, la Cour de droit pénal du Tribunal fédéral a partiellement admis le recours formé par A._ contre le jugement cantonal. Le jugement a été annulé s'agissant de la peine et la cause renvoyée à la cour cantonale pour qu'elle détermine les conséquences de la violation du principe de la célérité sur celle-ci en tenant compte des circonstances d'espèce. Pour le surplus, le recours a été déclaré irrecevable (notamment s'agissant du verdict de culpabilité, arrêt 6B_203/2019 du 10 avril 2019).
B.
Statuant sur renvoi par jugement du 20 novembre 2019, la cour cantonale a réduit la peine privative de liberté à 15 jours en tenant compte notamment de la violation du principe de célérité et de l'état de santé de A._.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision du 20 novembre 2019 dont il requiert l'annulation et le renvoi à la cour cantonale pour nouvelle décision, avec suite de frais et dépens.
Considérant en droit :
1.
1.1. Le recours en matière pénale est une voie de réforme (art. 107 al. 2 LTF). Le recourant ne peut se borner à demander l'annulation de la décision et le renvoi de la cause à l'autorité cantonale, mais doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Il n'est fait exception à ce principe que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (ATF 137 II 313 consid. 1.3 p. 317; 134 III 379 consid. 1.3 p. 383; arrêt 6B_707/2019 du 29 novembre 2019 consid. 1).
En l'espèce, le recourant conclut uniquement à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Une telle manière de faire n'est en principe pas admissible. Les motifs du recours permettent toutefois de comprendre que le recourant souhaite être exempté de toute peine. Cela suffit tout juste pour satisfaire aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF (cf. ATF 137 II 313 consid. 1.3 p. 317; arrêt 6B_707/2019 précité consid. 1).
1.2. Le recours s'ouvre sur un exposé des faits, sans aucune motivation justifiant en quoi les conditions de l'art. 97 al. 1 LTF seraient remplies. Il n'y a pas lieu de s'y arrêter.
1.3. En tant que le recourant requiert la récusation de " l'ensemble des membres du Tribunal fédéral ", sa demande du 10 janvier 2020, formulée en bloc, est manifestement abusive et peut, en tant que telle, être écartée par la juridiction même qui est visée (ATF 129 III 445 consid. 4.2.2 p. 464).
2.
Le recourant reproche à la cour cantonale de ne pas l'avoir exempté de toute peine en raison de son état de santé et de la violation du principe de célérité.
2.1.
2.1.1. Aux termes de l'art. 47 CP, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
La culpabilité doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (ATF 141 IV 61 consid. 6.1.1 p. 66; 136 IV 55 consid. 5 p. 57 ss; 134 IV 17 consid. 2.1 p. 19 s.). Le juge dispose d'un large pouvoir d'appréciation dans la fixation de la peine. Sa décision sur ce point ne viole le droit fédéral que s'il est sorti du cadre légal, s'il s'est fondé sur des critères étrangers à l'art. 47 CP, s'il a omis de prendre en considération des éléments prévus par cette disposition ou s'il a abusé de son pouvoir d'appréciation en fixant une peine exagérément sévère ou excessivement clémente (ATF 144 IV 313 consid. 1.2 p. 319).
Lors de la fixation de la peine, le juge doit tenir compte du fait que certains délinquants sont plus durement touchés par l'exécution d'une peine privative de liberté. La vulnérabilité face à la peine ne doit cependant être retenue comme circonstance atténuante que si elle rend la sanction considérablement plus dure que pour la moyenne des autres condamnés, par exemple en présence de maladies graves, de psychoses claustrophobiques ou de surdimutité (cf. arrêts 6B_1299/2016 du 27 septembre 2017 consid. 2.3.3; 6B_71/2016 du 5 avril 2017 consid. 4.2). Dans certains cas, le grand âge de l'auteur pourra aussi influer sur la sensibilité à la peine. Il a cependant été jugé que l'âge de 70 ans n'était pas suffisamment avancé pour être pris en considération (cf. arrêts 6B_1299/2016 du 27 septembre 2017 consid. 2.3.3; 6S.2/2006 du 7 mars 2006 consid. 1.2; voir également arrêt 6B_1276/2015 du 29 juin 2016 consid. 2).
2.1.2. Les art. 5 CPP et 29 al. 1 Cst. garantissent notamment à toute personne le droit à ce que sa cause soit traitée dans un délai raisonnable. Ces dispositions consacrent le principe de la célérité et prohibent le retard injustifié à statuer. L'autorité viole cette garantie lorsqu'elle ne rend pas une décision qu'il lui incombe de prendre dans le délai prescrit par la loi ou dans le délai que la nature de l'affaire et les circonstances font apparaître comme raisonnable (ATF 143 IV 373 consid. 1.3.1 p. 377; cf. ATF 130 I 312 consid. 5.1 p. 331 s.). Comme on ne peut pas exiger de l'autorité pénale qu'elle s'occupe constamment d'une seule et unique affaire, il est inévitable qu'une procédure comporte quelques temps morts. Lorsqu'aucun d'eux n'est d'une durée vraiment choquante, c'est l'appréciation d'ensemble qui prévaut; des périodes d'activités intenses peuvent donc compenser le fait que le dossier a été laissé momentanément de côté en raison d'autres affaires. Le principe de la célérité peut être violé, même si les autorités pénales n'ont commis aucune faute; elles ne sauraient exciper des insuffisances de l'organisation judiciaire (ATF 130 IV 54 consid. 3.3.3 p. 56 s.). La violation du principe de la célérité peut avoir pour conséquence la diminution de la peine, parfois l'exemption de toute peine ou encore une ordonnance de classement en tant qu'ultima ratio dans les cas les plus extrêmes (ATF 143 IV 373 consid. 1.4.1 p. 377 s.; 135 IV 12 consid 3.6 p. 26). Il incombe au juge d'indiquer comment et dans quelle mesure il a tenu compte de cette circonstance (ATF 117 IV 124 consid. 3 et 4 p. 126 ss; arrêts 6B_556/2017 du 15 mars 2018 consid. 3.1; 6B_790/2017 du 18 décembre 2017 consid. 2.3.2).
Pour déterminer les conséquences adéquates de la violation du principe de la célérité, il convient de prendre en considération la gravité de l'atteinte que le retard dans la procédure a causé au prévenu, la gravité des infractions qui sont reprochées, les intérêts des lésés, la complexité du cas et à qui le retard de procédure doit être imputé (ATF 117 IV 124 consid. 4e p. 129 s.; arrêt 6B_790/2017 du 18 décembre 2017 consid. 2.3.2).
2.2. La cour cantonale a retenu que, sur le plan médical, la situation du recourant, âgé de 70 ans, souffrant de céphalées et ayant besoin d'être physiquement actif, n'était pas telle qu'elle démontrerait une sensibilité accrue à la sanction et justifierait de renoncer à prononcer une peine privative de liberté.
Par ailleurs, dans un développement précis et détaillé, la cour cantonale a admis que la durée de la procédure pénale cantonale (plus de 6 ans depuis l'ouverture de l'instruction) pour une affaire ne présentant pas de complexité particulière, était clairement constitutive d'une violation du principe de célérité. Elle a toutefois considéré que le retard injustifié et l'attente qui en a découlé pour le recourant ne constituaient pas une sanction telle qu'une peine semblât inappropriée. En effet, alors qu'il avait été condamné en 2008 pour des faits de calomnie et de contrainte, le recourant avait déposé, les 17 novembre, 24 novembre, 31 décembre 2014 et 7 janvier 2015 (à savoir peu après le dispositif du jugement de première instance), des liasses de pièces dans lesquelles il réitérait ses agissements en désignant nominativement la partie plaignante, de sorte qu'il ne semblait pas avoir été gravement atteint par le retard pris dans la procédure. En outre, la " menace constante " de la peine qu'il encourait ne semblait pas avoir été suffisamment dissuasive pour l'empêcher de renouveler ses allégations. Par ailleurs, la cour cantonale a pris en compte les intérêts du lésé, contre lequel le recourant avait agi sans retenue en se livrant à une campagne de dénigrement systématique et durable, dans une volonté claire de lui nuire et d'anéantir sa réputation. Sur la base de ces éléments, la cour cantonale a réduit la peine privative de liberté de 50 jours à 15 jours en prenant en compte la violation du principe de célérité.
2.3.
2.3.1. Le recourant ne prétend ni ne démontre que la cour cantonale aurait arbitrairement omis un fait relatif à sa situation médicale. Or, sur la seule base des éléments retenus par la cour cantonale qui lient le Tribunal fédéral (art. 105 al. 1 LTF), l'on ne saurait retenir que la sanction prononcée serait considérablement plus dure pour le recourant que pour la moyenne des autres condamnés, étant précisé que rien n'exclut qu'il pourra bénéficier d'antalgiques et de promenades régulières en détention.
Pour le surplus, le recourant ne saurait rien déduire en sa faveur, dans le cadre de la fixation de la peine, du fait qu'il a été dispensé de comparaître à l'audience d'appel, à sa propre demande (cf. art. 336 al. 3 CPP).
2.3.2. Contrairement à ce que prétend le recourant, la cour cantonale a admis un retard injustifié imputable aux autorités pénales, constituant clairement une violation du principe de célérité tout en précisant que le recourant avait déposé des écrits et des pièces denses à étudier (jugement cantonal consid. 4b p. 10 s). La cour cantonale a également procédé à une appréciation d'ensemble, relevant qu'à compter du jour d'ouverture de l'instruction, la procédure pénale cantonale avait duré 6 ans. Il n'y a pas lieu de retenir une durée de 8 ans, comme le prétend le recourant, lequel inclut la procédure devant le Tribunal fédéral et la procédure de renvoi.
Pour le surplus, la cour cantonale a pris en compte tous les éléments pertinents pour déterminer les conséquences de la violation du principe de la célérité, ce que le recourant ne conteste d'ailleurs pas. Conformément au droit fédéral, le recourant a bénéficié d'une diminution de peine, diminution au demeurant très généreuse, compte tenu des critères retenus. Aussi, le recourant ne saurait être suivi en tant qu'il prétend que la violation du principe de célérité aurait dû donner lieu à une exemption de peine.
2.4. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires qui seront fixés en tenant compte des circonstances du cas d'espèce (art. 65 al. 2 et 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
La demande de récusation est irrecevable.
2.
Le recours est rejeté dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 20 février 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke