Faits :
A.
En 2005, A._ a souscrit 50 parts, d'une valeur nominale de 1'000 fr. chacune, d'un produit financier dérivé pouvant être souscrit du 1 er septembre au 30 novembre 2005. La durée de possession des parts était de huit ans et s'étendait du 1 er décembre 2005 au 12 décembre 2013, date de leur remboursement à 100% de leur valeur nominale. Le prix d'émission était de 100% et une commission de 3% était prélevée. Le 12 décembre 2013, la banque auprès de laquelle les parts avaient été souscrites a versé un montant de 52'000 fr. 23 à l'intéressé, à titre de remboursement.
B.
Le 11 septembre 2014, le Service des contributions de la République et canton de Neuchâtel (ci-après: le Service des contributions) a adressé à A._ et son épouse des décisions de taxation, l'une pour les impôts cantonal et communal (ci-après: ICC) et l'autre pour l'impôt fédéral direct (ci-après: IFD) de l'année fiscale 2013. Dans les deux cas, il a retenu un montant de 8'584 fr. 50 à titre de revenu provenant de titres, autres placements de capitaux et créances. Le 10 octobre 2014, les contribuables ont formé réclamation contre ces décisions. Celle-ci a été rejetée par le Service des contributions le 4 mai 2015. A._ a contesté ce prononcé auprès de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal). Par arrêt du 2 septembre 2016, ce dernier a admis le recours et renvoyé la cause au Service des contributions pour nouvelle décision.
C.
Agissant par la voie du recours en matière de droit public, le Service des contributions demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt du 2 septembre 2016 du Tribunal cantonal et de confirmer sa décision sur réclamation du 4 mai 2015; subsidiairement de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il se plaint d'établissement inexact de faits et de violation du droit fédéral.
A._ et le Tribunal cantonal concluent au rejet du recours. L'Administration fédérale des contributions conclut quant à elle à son admission.

Considérant en droit :
1.
Le Tribunal cantonal a rendu une seule décision valant tant pour l'impôt fédéral direct que pour les impôts cantonal et communal (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront jointes et il sera statué dans un seul arrêt (<ref-law> et 24 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).
2.
2.1. L'arrêt attaqué est une décision d'une autorité judiciaire supérieure ayant statué en dernière instance cantonale (<ref-law>), rendue dans une cause de droit public (<ref-law>) et qui ne tombe pas sous le coup d'une clause d'exception de l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. <ref-law> [RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; <ref-ruling> consid. 1.3 p. 188 s.).
2.2. Le recours en matière de droit public est recevable contre les décisions qui mettent fin à la procédure (<ref-law>) ou contre les décisions partielles (<ref-law>). En revanche, en vertu de l'<ref-law>, les décisions incidentes notifiées séparément qui ne portent pas sur la compétence ou sur une demande de récusation ne peuvent faire l'objet d'un recours en matière de droit public que si elles peuvent causer un préjudice irréparable (let. a), ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b). Selon la jurisprudence, une autorité qui serait tenue, à la suite d'une décision de renvoi, de rendre une nouvelle décision qui, de son point de vue, serait contraire au droit, sans pouvoir par la suite la remettre en cause devant l'instance supérieure, est réputée subir un préjudice irréparable au sens de l'<ref-law> (<ref-ruling> consid. 1.2 p. 109 s.; arrêt 2C_533/2013 du 21 mars 2014 consid. 1.2 et les références citées, non publié in <ref-ruling>). En l'espèce, l'arrêt attaqué renvoie la cause au Service des contributions et invite celui-ci, de manière contraignante, à rendre une nouvelle décision ne prenant pas en compte le montant de 8'584 fr. 50 dans le revenu imposable de l'intimé, décision qu'il ne pourrait pas attaquer ensuite (<ref-ruling> consid. 5.2 p. 483 s.; arrêt 2C_742/2013 du 23 janvier 2014 consid. 2.4). Par conséquent, le recours du Service des contributions est recevable sous l'angle de l'<ref-law>.
2.3. Pour le surplus, le recours a été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le Service des contributions qui a qualité pour recourir (<ref-law>, 73 al. 2 LHID et 89 al. 1 LTF), de sorte qu'il convient d'entrer en matière.
3.
Citant l'<ref-law>, le recourant se plaint en premier lieu d'un établissement inexact des faits.
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Il conduit son raisonnement en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>; <ref-ruling> consid. 4.4.3 p. 156 s.), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 313 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 233 s.). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>).
3.2. Le recourant fait valoir que le Tribunal cantonal a méconnu le mécanisme du produit combiné utilisé, constitué d'une part obligataire et d'une part d'option. Or, l'autorité précédente a expressément retenu que dans le cas d'espèce, il s'agissait de " placements financiers constitués de différentes actions, obligations et options avec protection complète du capital ". En outre, le Tribunal cantonal a également retenu que le prix d'émission total du produit était de 100%. Certes, le Tribunal cantonal aurait pu compléter son arrêt en y ajoutant certains faits. Le cas échéant, afin de faciliter la compréhension de la cause, ceux-ci seront repris ci-après (cf. <ref-law>). En réalité, par son grief, le recourant critique bien plus les conséquences juridiques déduites de ces faits. Celles-ci seront examinées dans les considérants qui suivent.
4.
Il ressort de l'arrêt entrepris que le 20 octobre 2005, l'intimé a souscrit 50 parts d'une valeur de 1'000 fr. chacune d'un produit financier dérivé. Il a ainsi déboursé un montant de 52'037 fr., commission d'émission de 3% et frais de courtage de 537 fr. compris (<ref-law>). Ce produit est composé d'un panier de 24 actions. Chaque année, les trois actions ayant enregistré les meilleurs résultats sont retirées du panier de titres et leur performance moyenne est calculée. Au terme de huit ans, toutes les actions sont vendues et la performance moyenne obtenue sur cette période est déterminée et constitue le montant à rembourser sur la valeur nominale (<ref-law>). Le remboursement de la valeur nominale des titres est toutefois garanti si la performance moyenne est inférieure. Selon le descriptif du produit figurant au dossier, ce produit constitue un dérivé à capital garanti transparent au sens de la Circulaire n° 4 de l'Administration fédérale des contributions du 12 avril 1999 (<ref-law>). Le 13 décembre 2013, l'intimé s'est fait rembourser un montant de 52'000 fr. 23. Ce montant correspond à 104% de la valeur nominale.
Le litige porte sur le point de savoir quelle incidence a le remboursement intervenu le 13 décembre 2013 sur le revenu imposable, respectivement sur la taxation de l'intimé pour l'année fiscale 2013.
I. Impôt fédéral direct
5.
5.1. L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (<ref-law>). Toutefois, les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables (<ref-law>). Aux termes de l'<ref-law>, le rendement de la fortune mobilière est également imposable. C'est en particulier le cas pour les revenus résultant de l'aliénation ou du remboursement d'obligations à intérêt unique prédominant (obligations à intérêt global, obligations à coupon zéro) qui échoient au porteur (<ref-law>).
5.2. Dans le cas d'obligations à intérêt unique prédominant, c'est-à-dire d'obligations qui, au moment de l'émission et sur la base des conditions de l'émission, ont une partie prépondérante de la rémunération totale qui provient du disagio d'émission ou de l'agio de remboursement (cf. Circulaire n° 15 de l'Administration fédérale des contributions du 7 février 2007 relative aux obligations et instruments financiers dérivés en tant qu'objets de l'impôt fédéral direct, de l'impôt anticipé et des droits de timbre [ci-après: Circulaire n° 15] ch. 2.1.4., anciennement Circulaire n° 4 du 12 avril 1999), la différence entre le montant de l'acquisition et celui de la vente, respectivement du remboursement de l'obligation est imposable (cf. arrêt 2P.181/2005 du 8 février 2006 consid. 3.1, in RDAF 2007 II 30, Archives 77 p. 169; cf. Circulaire n° 15 ch. 3.2.; REICH/WEIDMANN, in Bundesgesetz über die direkte Bundessteuer, Zweifel/Beusch [éd.], 3 e éd. 2017, n° 17 ad <ref-law>; KRAFFT, in Commentaire romand, Impôt fédéral direct, 2e éd. 2017, n° 36 ad <ref-law>; OBERSON, Droit fiscal suisse, 4e éd. 2012, § 7 n° 121; RYSER/ROLLI, Précis de droit fiscal suisse, 4 e éd. 2002, p. 169; LOCHER, Kommentar zum DBG, 2001, n° 36 ad <ref-law>). Il en va de même des obligations à intérêt unique (typiquement les obligations à coupon zéro, " zero bonds "; KRAFFT, op. cit., n° 32 ad <ref-law>; OBERSON, op. cit., § 7 n° 122; RYSER/ROLLI, op. cit., p. 169; Circulaire n° 15 ch. 2.1.2.).
5.3. Les obligations peuvent être combinées avec d'autres produits. On parle alors de produits financiers combinés. Généralement, il s'agit d'une créance (obligation), associée à une ou plusieurs options (RYSER/ROLLI, op. cit., p. 170; LOCHER, op. cit., n° 48 ad <ref-law>). L'imposition de ces produits nécessite de déterminer s'ils sont transparents ou non transparents. Selon la Circulaire n° 15 (ch. 3.4.), dont la teneur est reprise par la doctrine, un produit est considéré comme transparent si, lors de l'émission, ses diverses composantes (obligation, instruments dérivés) sont dissociables et effectivement négociées séparément ou lorsque l'émetteur fait apparaître séparément ces composantes dans les annonces. Lorsque le produit est transparent, s'il s'agit de la gestion "privée" d'un patrimoine, les gains résultant de la composante option ne seront pas imposables en vertu de l'<ref-law> et le reste du rendement réalisé, que ce soit au remboursement ou à l'aliénation, sera imposé selon les critères applicables aux obligations avec (ou sans; cf. <ref-law>) intérêt unique prédominant (OBERSON, op. cit., § 7 n° 123; RYSER/ROLLI, op. cit., p. 170; LOCHER, op. cit., n° 52 ss ad <ref-law>; Circulaire n° 15 ch. 3.4.1.).
5.4. Pour les instruments financiers transparents dont les composantes ne sont pas négociables séparément ou pourraient l'être, mais ne le sont pas effectivement sur le marché, la séparation de chaque composante du produit s'effectue par la méthode dite analytique. Le but de cette méthode est de déterminer la valeur de l'obligation et de l'option (ou des options) contenues dans le produit combiné. Elle consiste essentiellement à escompter le montant garanti en remboursement de l'obligation contenue dans le produit, à un taux d'intérêt pris en compte par l'émetteur. Ce taux correspond à des investissements comparables (durée, devise, solvabilité) et, de la sorte, est conforme au marché (Circulaire n° 15; LOCHER, op. cit., n° 55 ad <ref-law>). L'Administration fédérale des contributions met un instrument de calcul à disposition sur son site Internet permettant d'établir la part obligataire du produit dérivé (ICTax - Income & Capital Taxes; cf. Annexe IV de la Circulaire n° 15). Grâce à cet instrument, il est ensuite possible de déterminer la différence entre le montant de l'acquisition et celui de la vente, respectivement du remboursement de l'obligation (cf. consid. 5.2 ci-dessus) et, partant, le revenu imposable au sens de l'<ref-law>.
5.5. En matière fiscale, les règles générales du fardeau de la preuve ancrées à l'<ref-law>, destinées à déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un fait, impliquent que l'autorité fiscale doit établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette fiscale ou la suppriment (cf. <ref-ruling> consid. 3.5 p. 252).
6.
6.1. En l'occurrence, comme cela ressort de son descriptif (cf. <ref-law>), le produit financier dans lequel l'intimé a investi en 2005 est un dérivé à capital garanti transparent. Il n'y a pas à mettre le caractère transparent en doute, dès lors que le produit précité indique clairement les 24 actions composant le panier et qu'il assure un remboursement minimum de 100% de la valeur nominale. Cela signifie premièrement que les gains en capital réalisés sur les options ne sont pas pris en considération pour l'imposition (cf. <ref-law>). Cela signifie cependant également que la part obligataire du produit doit être déterminée selon la méthode analytique, à l'aide du programme de l'Administration fédérale des contributions, et que la différence existant entre son prix lors de l'acquisition en 2005 et son remboursement en 2013 est imposable. L'imposition de cette différence est d'ailleurs expressément mentionnée dans le descriptif du produit (cf. <ref-law>).
6.2. Le programme de calcul de l'Administration fédérale des contributions permet de retenir, pour le produit en cause (ISIN [ International Securities Identification Numbers] DE000DB0VVY5), un prix d'émission de 82,831% de la valeur nominale et un prix de remboursement de 100% de cette valeur. On en déduit que l'obligation à intérêt unique prédominant en cause présente un disagio d'émission. Dans le cas, comme en l'espèce, de parts ayant une valeur nominale de 1'000 fr., la différence entre le montant d'acquisition de l'obligation (prenant en compte le disagio d'émission: 82,831% de 1'000 fr., soit 828 fr. 31) et le montant de son remboursement (100% de 1'000 fr., soit 1'000 fr.), représente le revenu imposable par part (en l'occurrence 171 fr. 69). L'intimé ayant acquis 50 parts, son revenu imposable est donc augmenté de 50 fois 171 fr. 69, c'est-à-dire de 8'584 fr. 50. La différence de 2'000 fr. 23 entre le remboursement de la part obligataire (50'000 fr.) et le remboursement total (52'000 fr. 23) constitue un gain en capital qui n'est pas imposable (<ref-law>).
6.3. Comme on l'a vu dans les considérants qui précèdent, dans son recours, le Service des contributions a prouvé l'existence du revenu de 8'584 fr. 50 perçu par l'intimé en 2013. Celui-ci a certes démontré avoir acquis les parts en cause pour un montant de 52'037 fr. en 2005 et s'être fait rembourser 52'000 fr. 23 en 2013, mais cela est sans pertinence en l'espèce. L'autorité précédente, plutôt que de s'en tenir à ces montants, aurait dû examiner de quoi ceux-ci étaient composés et retenir comme revenu imposable l'intérêt unique prédominant versé sur la composante obligataire du remboursement.
6.4. Le montant de 8'584 fr. 50 de revenu imposable correspond au montant que l'autorité recourante avait ajouté au revenu imposable des époux dans sa décision sur réclamation du 4 mai 2015. En annulant cette décision sur recours et en réduisant le revenu imposable des contribuables du montant précité, l'autorité précédente a donc violé le droit fédéral. Il convient ainsi d'admettre le recours, d'annuler l'arrêt entrepris et de confirmer la décision sur réclamation du 4 mai 2015 en tant qu'ils portent sur l'impôt fédéral direct de l'année fiscale 2013.
II. Impôts cantonal et communal
7.
Les art. 19 et 23 let. b de la loi neuchâteloise du 21 mars 2000 sur les contributions directes (LCdir/NE; RSN 631.0) sont libellés de manière identique aux art. 16 et 20 al. 1 let. b LIFD. La jurisprudence rendue en matière d'impôt fédéral direct est également valable pour l'application des dispositions cantonales harmonisées correspondantes (<ref-ruling> consid. 10 p. 101 s. et les références citées). Il peut ainsi être renvoyé, s'agissant de l'ICC, à la motivation développée en matière d'IFD. Le recours doit par conséquent également être admis, l'arrêt entrepris annulé et la décision sur réclamation du 4 mai 2015 confirmée en tant qu'ils concernent les impôts cantonal et communal de la période fiscale 2013.
8.
Succombant, l'intimé doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens au Service des contributions (<ref-law>). La cause est renvoyée au Tribunal cantonal pour qu'il procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant lui (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_941/2016 et 2C_942/2016 sont jointes.
2.
Le recours est admis en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est admis en tant qu'il concerne les impôts cantonal et communal.
4.
L'arrêt rendu le 2 septembre 2016 par le Tribunal cantonal est annulé. La décision sur réclamation du Service des contributions du 4 mai 2015 est confirmée.
5.
Les frais judiciaires, arrêtés à 1'300 fr., sont mis à la charge de l'intimé.
6.
La cause est renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
7.
Le présent arrêt est communiqué au recourant, à l'intimé, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Administration fédérale des contributions.
Lausanne, le 3 avril 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette