Faits:
A.
Par décision sur opposition du 12 juin 2013, la Caisse cantonale neuchâteloise de compensation (CCNC) a fixé à 480 fr. les cotisations AVS/AI/APG d'indépendant dues par A._ pour une activité lucrative indépendante exercée du 1er janvier au 28 mars 2013.
B.
A._ a interjeté un recours contre cette décision auprès du Tribunal cantonal de la République et canton de Neuchâtel qui, par jugement du 19 décembre 2013, l'a admis et a annulé la décision sur opposition du 12 juin 2013. Selon l'autorité judiciaire cantonale, l'activité lucrative n'avait pas duré trois mois et les conditions pour être assuré à l'AVS/AI en tant que personne exerçant une activité lucrative indépendante n'étaient pas remplies. Partant, A._ n'avait pas l'obligation de cotiser comme indépendant.
C.
La CCNC interjette un recours en matière de droit public en concluant, principalement, à l'annulation de l'arrêt du 19 décembre 2013 et à la confirmation de la décision sur opposition du 12 juin 2013 et, subsidiairement, au renvoi de la cause au Tribunal cantonal pour nouvelle décision au sens des considérants.
D.
Invité à se prononcer sur le recours, l'Office fédéral des assurances sociales propose de l'admettre, d'annuler l'arrêt du 19 décembre 2013 et de confirmer la décision sur opposition du 12 juin 2013.
L'intimé conclut au rejet du recours, sous suite de frais et dépens.

Considérant en droit:
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération (cf. <ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2.
2.1. Le litige porte sur les cotisations dues par l'intimé pour la période du 1er janvier au 28 mars 2013 pendant laquelle il a exercé une activité indépendante sous la forme d'une raison individuelle dans le domaine des services informatiques et le recyclage de cartouches pour imprimantes. D'après les constatations de l'autorité précédente, qui lient en principe le Tribunal fédéral, l'activité s'est interrompue après moins de trois mois parce qu'elle n'était pas rentable.
2.2. Selon l'autorité cantonale, les dispositions légales en la matière permettent de libérer l'intimé de l'obligation de payer des cotisations du fait que l'activité lucrative a duré une période relativement courte. Pendant cette période, l'intimé ne remplissait pas les conditions pour être assuré en tant que personne exerçant une activité lucrative indépendante.
La recourante fait valoir au contraire que l'intimé est tenu de payer la cotisation minimale de 480 fr. pour son activité indépendante même si celle-ci n'a pas généré de bénéfice et a duré moins de trois mois, les conditions d'exemption de l'assurance n'étant pas remplies en l'espèce.
3.
3.1. Selon l'art. 1a al. 1 let. a et b LAVS sont assurées à la LAVS les personnes physiques domiciliées en Suisse et les personnes physiques qui exercent en Suisse une activité lucrative. Ne sont en revanche pas assurés les indépendants et les salariés dont l'employeur n'est pas tenu de payer des cotisations, lorsqu'ils ne remplissent les conditions énumérées à l'<ref-law> que pour une période relativement courte; le Conseil fédéral règle les modalités (art. 1a al. 2 let. c LAVS dans sa teneur en vigueur depuis le 1er janvier 2012). Donnant suite à cette délégation, le Conseil fédéral a précisé à l'<ref-law> qu'est considérée comme relativement courte une activité lucrative qui n'excède pas trois mois consécutifs par année civile. Cette disposition est entrée en vigueur le 1er janvier 2012 et est applicable à la présente espèce.
3.2. L'exemption à l'assurance prévue à l'art. 1a al. 2 let. c LAVS a été introduite avant tout pour des motifs administratifs déjà avec la première LAVS entrée en vigueur le 1er janvier 1948. A l'époque, le législateur avait considéré que les difficultés d'affiliation à l'assurance étaient disproportionnées par rapport au montant des cotisations à encaisser. Pour cette raison, il se justifiait d'exempter de l'obligation d'assujettissement les personnes qui venaient depuis l'étranger en Suisse pour travailler pendant une courte durée, que ce soit à titre dépendant ou indépendant. Avec la modification de l'art. 1a al. 2 let. c LAVS, entrée en vigueur le 1er janvier 2012, ce dispositif légal reste valable, avec l'exception que les personnes salariées venant de l'étranger mais rémunérées par un employeur en Suisse ne pourront plus bénéficier de l'exemption de l'assurance (Message relatif à la modification de la loi fédérale sur l'assurance-vieillesse et survivants [LAVS] [amélioration de la mise en oeuvre] du 3 décembre 2010, FF 2011 522, voir aussi <ref-ruling> consid. 2b et <ref-ruling> consid. 3b).
3.3. Il résulte clairement de l'art. 1a al. 2 let. c LAVS qu'une exemption de l'AVS - motivée par la courte durée de l'activité lucrative - n'est possible qu'à la condition que la personne en question ne soit pas (plus) domiciliée en Suisse. C'est ainsi que doit se comprendre le renvoi de l'art. 1a al. 2 let. c LAVS à l'<ref-law>, qui concerne la clause d'assurance en raison du domicile et de l'exercice d'une activité lucrative. L'interprétation littérale de cette disposition mais aussi sa ratio legis ne permettent pas d'arriver à une autre conclusion. D'ailleurs, la doctrine l'a interprétée dans le même sens ( KIESER, Rechtsprechung zur AHV, art. 1a, ch. 31, deuxième paragraphe; KÄSER, 2ème édition, Beitragswesen, ch. 1.4.3, pour la norme en vigueur avant le 1er janvier 2012). Il en va de même pour les directives sur l'assujettissement aux assurances AVS et AI (DAA) auxquelles se réfère l'OFAS dans sa détermination du 18 février 2014 (ch. 5034 et 5036).
4.
4.1. En l'espèce, l'intimé a certes exercé une activité lucrative indépendante inférieure à trois mois. Toutefois, comme il résulte des constatations de l'autorité précédente, il était domicilié en Suisse, en tout cas avant, pendant et immédiatement après cette activité. Il ne peut donc pas bénéficier de l'exemption prévue à l'art. 1a al. 2 let. c LAVS. Compte tenu de son domicile en Suisse, il est de toute façon assuré obligatoirement à l'AVS/AI sur la base de l'art. 1a al. 1 let. a LAVS. Le jugement du 19 décembre 2013 de l'autorité précédente est donc contraire au droit fédéral et doit être annulé.
4.2. Le fait que l'activité indépendante exercée par l'intimé n'ait pas permis de dégager de bénéfice n'est pas déterminant pour l'issue du litige. L'<ref-law> prévoit en effet que si le revenu annuel de l'activité indépendante est égal ou inférieur à 9300 francs, l'assuré paie la cotisation minimale, à savoir 392 fr. pour l'AVS, 65 fr. pour l'AI (cf. <ref-law>) et 23 fr. pour l'APG (cf. <ref-law>), soit au total 480 fr. Cette même disposition prévoit néanmoins que si ce montant a déjà été perçu sur son salaire déterminant, l'assuré peut demander que la cotisation due sur le revenu de l'activité indépendante soit perçue au taux le plus bas du barème dégressif. En d'autres termes, si l'assuré a exercé une autre activité (salariée) pendant l'année 2013, la cotisation due sera réduite ou supprimée en conséquence. De même, s'il n'a pas exercé d'activité salariée pendant cette année, mais que son conjoint a versé des cotisations équivalant au moins au double de la cotisation minimale (<ref-law>).
4.3. Dans sa réponse du 5 mai 2014, l'intimé invoque une violation du principe de l'égalité de traitement entre les indépendants de courte durée domiciliés à l'étranger et ceux domiciliés en Suisse. Cet argument est manifestement infondé parce que justement le domicile en Suisse - et l'assurance obligatoire à l'AVS qui en résulte - est un motif objectif pour admettre cette différence de traitement. En ces circonstances, il n'y a pas non plus de violation du principe de la proportionnalité comme le fait valoir l'intimé.
5.
Compte tenu de ce qui précède, le recours est bien fondé.
Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de l'intimé, qui succombe (<ref-law>). La recourante, en qualité d'organisation chargée de tâches de droit public, ne peut pas prétendre de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. La décision du Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, du 19 décembre 2013 est annulée et la décision sur opposition de la Caisse cantonale neuchâteloise de compensation du 12 juin 2013 confirmée.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 mai 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Le Greffier :
Kernen Bouverat