Faits:
A.
Le 12 juin 2012, le Tribunal de police de l'arrondissement de Lausanne a condamné Z._ et Y._, pour brigandage, à une peine privative de liberté de 8 mois chacun avec sursis pendant 2 ans et au paiement d'une part des frais. Il a alloué à X._, à charge des condamnés solidairement entre eux, un montant de 1000 fr. à titre d'indemnité pour le tort moral et 2162 fr. 50 à titre de dommages-intérêts, le sursis accordé aux condamnés étant subordonné au paiement de ces montants. Il a alloué une indemnité au conseil d'office de X._ d'un montant de 2440 fr. 80.
B.
Par jugement du 14 novembre 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel formé par X._ en lui allouant des intérêts moratoires sur l'indemnité pour tort moral et en mettant à la charge de Z._ et Y._ l'indemnité due au défenseur d'office de X._, son remboursement à l'Etat étant dû dès que leur situation financière le permettra.
En bref, il ressort les éléments suivants de ce jugement.
Le 8 novembre 2010 vers 1h, X._, qui était déjà aviné, s'est rendu dans un bar à Lausanne où il a rencontré Z._ et Y._ qu'il ne connaissait pas. Ils ont consommé de l'alcool ensemble. Devant le refus de X._ de participer au paiement de la bouteille, Y._ lui a tiré les cheveux. X._ a alors sorti de son porte-monnaie un billet de 50 fr. qu'il a remis à Y._. Ce dernier lui a arraché le porte-monnaie et s'est encore servi de 250 francs. Les clients présents à ce moment-là, dont Z._ et Y._, ont pu apercevoir que X._ avait une importante somme d'argent dans son porte-monnaie. Peu après, X._ a quitté le bar. Z._ et Y._ l'ont suivi et lui ont demandé 20 fr. qu'il a refusé de leur donner. Ces derniers lui ont alors asséné des coups de poings et de pieds jusqu'à ce qu'il chute. Etant épileptique, X._ a fait une crise durant laquelle Z._ et Y._ se sont emparés du montant de 1770 fr. se trouvant dans son porte-monnaie. X._ a souffert d'ecchymoses et de lésions cutanées sur le corps.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, sous suite de frais et dépens, à l'allocation d'un montant de 3000 fr. avec intérêt à 5% l'an dès le 9 novembre 2010 à titre de réparation du tort moral et d'un montant de 4536 fr., sous déduction de 2440 fr. 80 versés à son conseil d'office, à titre d'indemnité au sens de l'<ref-law>. Il requiert par ailleurs l'assistance judiciaire.
Invitée à déposer des observations sur le recours, la cour cantonale y a renoncé, se référant aux considérants de son jugement. L'avis invitant Y._ à se déterminer est venu en retour avec la mention introuvable à l'adresse indiquée, sans qu'une nouvelle adresse ait été signalée par le prénommé. Quant à Z._, il n'est pas allé retirer le pli recommandé l'invitant à se déterminer.

Considérant en droit:
1.
La décision attaquée concerne la question des frais de défense dans le cadre d'une procédure pénale et l'indemnité pour tort moral. La jurisprudence admet que les frais exposés par les parties, c'est-à-dire essentiellement les honoraires payés pour le mandataire privé ou l'avocat commis d'office, sont indissociables de la procédure pénale de sorte que les griefs dirigés contre leur fixation doivent être invoqués par la voie du recours en matière pénale (<ref-ruling> consid. 1.1.1 p. 45 s.). Les conclusions civiles (l'indemnité pour tort moral en l'espèce) relèvent du recours en matière pénale lorsque l'autorité cantonale de dernière instance devait statuer tant sur le plan pénal que civil, le recours en matière civile n'étant recevable que si seule la question civile était encore litigieuse devant l'autorité cantonale (<ref-ruling> consid. 2.1 p. 702 s.). Comme en l'espèce l'autorité cantonale a statué sur la question des frais, qui relève, ainsi que cela vient d'être rappelé, de la procédure pénale, tant ce point que celui des prétentions civiles peuvent être invoqués par la voie du recours en matière pénale.
2.
Le recourant laisse entendre que la cour cantonale aurait limité son pouvoir d'examen. Se contentant d'une affirmation à cet égard, il ne formule aucun grief recevable au regard de l'art. 42 al. 2, respectivement 106 al. 2 LTF.
3.
Le recourant se plaint d'une constatation arbitraire des faits. Au vu du sort du recours (cf. infra consid 4.4), il n'y a pas lieu d'examiner ce grief qui devient sans objet.
4.
Le recourant invoque une violation des art. 44 et 47 CO.
4.1. En vertu de l'<ref-law>, le juge peut, en tenant compte de circonstances particulières, allouer à la victime de lésions corporelles une indemnité équitable à titre de réparation morale.
En raison de sa nature, l'indemnité pour tort moral, qui est destinée à réparer un dommage qui ne peut que difficilement être réduit à une simple somme d'argent, échappe à toute fixation selon des critères mathématiques, de sorte que son évaluation en chiffres ne saurait excéder certaines limites. L'indemnité allouée doit toutefois être équitable (<ref-ruling> consid. 5.1 p. 704 s. et les arrêts cités). Statuant selon les règles du droit et de l'équité (<ref-law>), le juge dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral ne substitue qu'avec retenue sa propre appréciation à celle de la juridiction cantonale. Il n'intervient que si la décision s'écarte sans raison des règles établies par la doctrine et la jurisprudence, repose sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou encore ne tient pas compte d'éléments qui auraient absolument dû être pris en considération. En outre, il redresse un résultat manifestement injuste ou une iniquité choquante (<ref-ruling> consid. 2 p. 123; <ref-ruling> consid. 2.2.3 p. 120 et 2.2.5 p. 121; <ref-ruling> consid. 2a p. 417).
4.2. En application de l'<ref-law>, le juge peut réduire les dommages-intérêts ou n'en point allouer notamment lorsque des faits dont le lésé est responsable ont contribué à créer le dommage ou à l'augmenter.
La possibilité de réduire une indemnité pour tenir compte d'une faute concomitante, résultant de l'<ref-law>, existe également dans le cas d'une indemnité pour tort moral (<ref-ruling> consid. 8 p. 21; <ref-ruling> consid. 4.2 p. 54).
Il y a faute concomitante lorsque le lésé omet de prendre des mesures que l'on pouvait attendre de lui et qui étaient propres à éviter la survenance ou l'aggravation du dommage; autrement dit, si le lésé n'a pas pris les mesures qu'une personne raisonnable, placée dans les mêmes circonstances, aurait pu et dû prendre dans son propre intérêt (cf. <ref-ruling> consid. 2b p. 158). La faute concomitante suppose que l'on puisse reprocher au lésé un comportement blâmable, en particulier un manque d'attention ou une attitude dangereuse, alors qu'il n'a pas déployé les efforts d'intelligence ou de volonté que l'on pouvait attendre de lui pour se conformer aux règles de la prudence.
La réduction de l'indemnité - dont la quotité relève de l'appréciation du juge (<ref-ruling> consid. 4.2 p. 15; <ref-ruling> consid. 5.5.2 p. 191; <ref-ruling> consid. 4.5 p. 399) - suppose que le comportement reproché au lésé soit en rapport de causalité naturelle (<ref-ruling> consid. 5.3 p. 601) et adéquate avec la survenance du préjudice (<ref-ruling> consid. 2d p. 197 et les références citées).
4.3. En substance, la cour cantonale a retenu que le premier juge n'avait pas excédé son large pouvoir d'appréciation en estimant que le recourant avait contribué à ce qui lui était arrivé en se déplaçant sans motif valable avec beaucoup d'argent et qu'il avait pris des risques accrus en achetant de l'alcool, alors qu'il était déjà passablement alcoolisé. Ces deux circonstances avaient été de nature à favoriser la décision délictuelle des intimés ainsi que leur passage à l'acte. Les conditions du droit de réduire l'indemnité étaient réunies.
4.4. Le recourant soutient qu'il n'a commis aucune faute et que, même si tel avait été le cas, le lien de causalité aurait été rompu.
Il ressort des constatations cantonales qu'au moment du paiement des consommations, le recourant a refusé de participer. L'intimé 2 lui a alors tiré les cheveux et le recourant a sorti un billet de 50 fr. de son porte-monnaie. L'intimé lui a arraché ce dernier des mains et c'est encore servi de 250 francs. C'est dans ces circonstances que les intimés et les autres convives se sont aperçus que le porte-monnaie du recourant contenait une importante somme d'argent. Celui-ci a alors quitté les lieux et les intimés l'ont suivi à l'extérieur du bar où, après l'avoir interpellé, ils l'ont roué de coups pour lui voler son argent. Contrairement à ce qu'a retenu la cour cantonale, on ne distingue aucun comportement fautif de la part du recourant qui serait en lien de causalité, tout du moins adéquate, avec l'atteinte physique qu'il a subie sur laquelle se fonde le principe de la réparation morale. La cour cantonale a ainsi violé le droit fédéral en retenant que l'indemnité pouvait être réduite. Dès lors qu'elle n'a pas indiqué dans son jugement dans quelle mesure l'indemnité avait été réduite, la cause lui sera renvoyée pour qu'elle la fixe à nouveau, sans réduction.
5.
Invoquant les art. 138 al. 2 et 433 CPP, le recourant requiert l'allocation de dépens correspondant à la différence entre le montant de l'indemnité versée à son conseil au titre de l'assistance judiciaire gratuite et le montant qu'aurait touché son avocat au tarif horaire habituel d'un avocat de choix.
5.1. L'<ref-law> permet à la partie plaignante de demander au prévenu une juste indemnité pour les dépenses obligatoires occasionnées par la procédure lorsqu'elle obtient gain de cause (let. a) ou lorsque le prévenu est astreint au paiement des frais conformément à l'<ref-law> (let. b). L'al. 2 prescrit notamment à la partie plaignante de chiffrer et justifier ses prétentions. Comme en matière d'indemnité due au prévenu acquitté (<ref-law>), les principes généraux du droit de la responsabilité civile s'appliquent à cet égard (cf. Message relatif à l'unification du droit de la procédure pénale du 21 décembre 2005, FF 2006 p. 1313). Ainsi, la partie plaignante doit notamment apporter la preuve du dommage et de son ampleur, de même que du lien de causalité naturelle et adéquate selon le degré de la haute vraisemblance entre les dépenses dont l'indemnisation est demandée et la procédure pénale (cf. MIZEL/RÉTORNAZ, in Commentaire romand, Code de procédure pénale suisse, 2011, n o 7 ad. <ref-law>).
5.2. Le recourant a bénéficié de l'assistance judiciaire gratuite et n'a ainsi pas dû assumer ses frais d'avocat. Il n'a par conséquent subi aucun dommage à ce titre et n'a pas droit à une indemnité fondée sur l'<ref-law>. Contrairement à ce qu'il prétend, l'<ref-law> n'impose pas à l'autorité pénale de lui allouer des dépens. Cette disposition vise principalement à éviter que la partie plaignante qui, par hypothèse, recevrait des dépens soit indemnisée pour des frais qu'elle n'a pas supportés. La cour cantonale n'a donc pas violé le droit fédéral en refusant d'allouer au recourant une indemnité fondée sur l'<ref-law>.
6.
Le recours est partiellement admis et la cause renvoyée à la cour cantonale pour nouvelle décision au sens des considérants. Pour le surplus, il est rejeté dans la mesure où il est recevable. Le recourant a requis l'assistance judiciaire. Cette requête est sans objet dans la mesure où il obtient gain de cause sur l'aspect civil et peut, à ce titre, prétendre à des dépens réduits de la part des intimés, solidairement entre eux (art. 68 al. 1 et 2 LTF). Pour le cas où les dépens ne pourraient pas être recouvrés auprès des intimés, ils seront pris en charge par la Caisse du Tribunal fédéral (cf. <ref-law>). Le recours était, pour le surplus, dénué de chance de succès, si bien que l'assistance judiciaire doit être refusée dans cette mesure (<ref-law>). Il n'y a pas lieu de prélever des frais judiciaires (<ref-law>). Le ministère public n'a pas été invité à se déterminer dès lors que l'admission du recours porte uniquement sur la question civile.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
La demande d'assistance judiciaire est rejetée dans la mesure où elle n'est pas sans objet.
4.
Les intimés, solidairement entre eux, verseront au recourant une indemnité de 1'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Pour le cas où les dépens dus par les intimés ne pourraient pas être recouvrés, la Caisse du Tribunal fédéral versera au mandataire du recourant une indemnité de 1'000 francs.
6.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 juillet 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet