Faits :
A.
Par ordonnance du 4 juillet 2013, le Ministère public du canton du Valais a refusé d'entrer en matière sur la plainte à l'encontre de B._ pour des voies de fait prétendument commises sur son fils X._, né le *** 2011.
B.
Par ordonnance du 30 décembre 2013, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté le recours de X._, sa mère A._ agissant en son nom et pour son compte.
C.
X._, au nom et pour le compte duquel A._ déclare agir, forme un recours en matière pénale au Tribunal fédéral contre cette ordonnance, concluant, avec suite de dépens, à son annulation et à la reprise de l'instruction. Il sollicite le bénéfice de l'assistance judiciaire.
L'intimé B._ a spontanément sollicité le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>. Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (<ref-ruling> consid. 1.2 p. 539; <ref-ruling> consid. 1 p. 356). Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles (<ref-ruling> consid. 1.3.1 p. 248). Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au Ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.4.1 p. 189 ; <ref-ruling> consid. 2.4 p. 222 s.).
1.2. Le recourant ne fournit aucune indication sur les prétentions qu'il entend faire valoir. Il n'explique pas en quoi les voies de fait invoquées, même commises sur un jeune enfant, seraient notamment susceptibles de fonder une indemnité pour tort moral. L'allocation d'une indemnité pour tort moral fondée sur l'<ref-law> suppose que l'atteinte ait une certaine gravité objective et qu'elle ait été ressentie par la victime, subjectivement, comme une souffrance morale suffisamment forte pour qu'il apparaisse légitime qu'une personne, dans ces circonstances, s'adresse au juge pour obtenir réparation (cf. <ref-ruling> consid. 12.1 p. 29; arrêt 1B_648/2012 du 11 juillet 2013 consid. 1.2). Faute d'explication et en considération de l'infraction invoquée, on ne perçoit pas en l'espèce en quoi celle-ci pourrait déboucher sur une indemnisation du tort moral. Le mémoire de recours ne répond ainsi pas aux exigences minimales de l'<ref-law>.
Il s'ensuit que l'absence d'explication suffisante sur les prétentions civiles exclut la qualité pour recourir du recourant. Le recours est donc irrecevable en tant qu'il porte sur le fond de la cause.
1.3. Le recourant pourrait le cas échéant être habilité à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (<ref-ruling> consid. 1.9 p. 40 et les références citées). En l'occurrence, le recourant se plaint de l'absence de suite donnée aux mesures d'instruction qu'il a requises. Par ce biais, il entend toutefois établir le fondement de ses accusations, de sorte que ce grief ne peut être séparé du fond et ne saurait, partant, fonder sa qualité pour recourir.
2.
Faute de qualité pour recourir, le recours est irrecevable et doit être écarté en application de l'<ref-law>. Le recours étant d'emblée dénué de chances de succès, l'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, réduits pour tenir compte de sa situation financière.
L'intimé a sollicité l'assistance judiciaire. Le recours a été écarté en procédure simplifiée (<ref-law>) sans qu'un échange d'écritures n'ait été ordonné (<ref-law>), autrement dit sans que l'intimé n'ait été invité à se déterminer sur le recours. Dans ces conditions, sa demande d'assistance judiciaire doit être rejetée.

Par ces motifs, le Juge unique prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire du recourant et celle de l'intimé sont rejetées.
3.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 25 juin 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge unique : La Greffière :
Denys Livet