Faits :
A.
Le 11 septembre 2015, X._, au volant de son automobile, a doublé A._, cycliste. Il a ensuite freiné brusquement, faisant chuter A._ dans le talus adjacent à la chaussée. Les deux hommes sont ensuite venus à pied l'un vers l'autre et se sont disputés. X._ a alors frappé au visage A._, qui est à nouveau tombé dans le talus.
B.
Par jugement du 13 juin 2016, le Tribunal des districts d'Hérens et de Conthey a reconnu X._ coupable de voies de fait, de lésions corporelles simples par négligence et de dommages à la propriété aux dépens de A._. Il l'a condamné à une peine pécuniaire de 90 jours-amende, à 10 fr. le jour, avec sursis pendant trois ans, ainsi qu'à une amende de 300 fr., la peine privative de liberté de substitution étant fixée à quatre jours. X._ a en outre été astreint à payer à A._ 1'252 fr. 90 plus intérêts à 5% l'an dès le 11 septembre 2015, ainsi que l'entier des frais de procédure, fixés à 1'500 francs.
C.
Par jugement du 21 novembre 2018, la Cour pénale II du Tribunal cantonal du Valais a partiellement admis l'appel formé par X._. Elle l'a acquitté du chef d'accusation de dommages à la propriété. Elle l'a pour le surplus condamné pour voies de fait et lésions corporelles simples par négligence à une peine pécuniaire de 45 jours-amende, à 10 fr. le jour, avec sursis pendant trois ans, ainsi qu'à une amende de 300 fr., la peine privative de liberté de substitution étant fixée à trois jours. A._ a été renvoyé à agir par la voie civile s'agissant de son dommage matériel. Ses prétentions en indemnisation de son tort moral ont été rejetées. Les frais de procédure de première instance ont été laissés à la charge de X._. Ceux d'appel, par 17'000 fr., ont été mis à la charge de ce dernier à hauteur de 16'585 fr. 40, le solde devant être assumé par A._.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 21 novembre 2018. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens que les frais de première et de deuxième instance sont mis à sa charge à raison d'un tiers. Il sollicite l'effet suspensif et le bénéfice de l'assistance judiciaire.
L'autorité précédente et le ministère public ont renoncé à se déterminer. A._ conclut, avec suite de frais et dépens, au rejet de la demande d'octroi de l'effet suspensif et du recours.

Considérant en droit :
1.
Le recourant se plaint de la manière dont les frais de première et de seconde instance ont été répartis, compte tenu qu'il a été acquitté en appel du chef d'accusation de dommages à la propriété et que sa peine a été réduite de moitié au vu des résultats de l'expertise psychiatrique mise en oeuvre lors de la procédure d'appel. Il invoque une violation du droit fédéral, plus précisément de l'<ref-law>.
1.1.
1.1.1. Aux termes de l'<ref-law>, si l'autorité de recours rend elle-même une nouvelle décision, elle se prononce également sur les frais fixés par l'autorité inférieure.
Le sort des frais de procédure de première instance est régi par les art. 426 et 427 CPP. Le prévenu supporte les frais de procédure s'il est condamné. Font exception les frais afférents à la défense d'office. L'<ref-law> est réservé (<ref-law>). Aux termes de l'<ref-law>, lorsque la procédure fait l'objet d'une ordonnance de classement ou que le prévenu est acquitté, tout ou partie des frais de procédure peuvent être mis à sa charge s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci.
La répartition des frais de procédure de première instance repose sur le principe, selon lequel celui qui a causé les frais doit les supporter. Ainsi, le prévenu doit supporter les frais en cas de condamnation (<ref-law>), car il a occasionné, par son comportement, l'ouverture et la mise en oeuvre de l'enquête pénale (<ref-ruling> consid. 4.4.1 p. 254). Lorsque la condamnation n'est que partielle, les frais ne doivent être mis à sa charge que de manière proportionnelle, en considération des frais liés à l'instruction des infractions pour lesquelles un verdict de culpabilité a été prononcé. Il s'agit de réduire les frais, sous peine de porter atteinte à la présomption d'innocence, si le point sur lequel le prévenu a été acquitté a donné lieu à des frais supplémentaires et si le prévenu n'a pas, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci. Comme il est difficile de déterminer avec exactitude les frais qui relèvent de chaque fait imputable ou non au condamné, une certaine marge d'appréciation doit être laissée à l'autorité cantonale (arrêt 6B_572/2018 du 1er octobre 2018 consid. 5.1.1 et les arrêts cités).
1.1.2. En l'espèce, l'autorité précédente a jugé que la poursuite de l'infraction dont le recourant était acquitté et le traitement des conclusions civiles de l'intimé n'avaient engendré aucun frais de procédure distinct. Il se justifiait en conséquence que tous les frais d'instruction et de première instance soient mis à la charge du recourant.
1.1.3. Une telle appréciation ne peut être suivie. En effet, l'autorité précédente n'estime pas que la poursuite du chef d'accusation de dommages à la propriété dont le recourant a été acquitté en appel et le traitement des prétentions civiles de l'intimé n'ont engendré aucun frais, mais que ces frais ne sont pas distincts de ceux engendrés par les chefs d'accusation dont le recourant a été reconnu coupable. Il s'imposait en conséquence, sauf à considérer que l'<ref-law> était applicable - considération absente du jugement attaqué -, de ne pas mettre l'entier des frais de première instance à charge du recourant. Le recours doit en conséquence être admis sur ce point, le jugement annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
1.2.
1.2.1. Aux termes de l'art. 428 al. 1 1ère phrase CPP, les frais de la procédure de recours sont mis à la charge des parties dans la mesure où elles ont obtenu gain de cause ou succombé. L'<ref-law> régit les cas dans lesquels les frais de la procédure peuvent être mis à la charge de la partie recourante qui obtient une décision qui lui est plus favorable. Pour déterminer si une partie succombe ou obtient gain de cause, il faut examiner dans quelle mesure ses conclusions sont admises en deuxième instance (arrêt 6B_572/2018 précité consid. 5.1.2 et les nombreux arrêts cités).
1.2.2. En l'occurrence, l'autorité précédente, après avoir cité l'<ref-law>, a relevé que le recourant avait obtenu partiellement gain de cause compte tenu de son acquittement pour l'un des trois chefs d'accusation dirigés contre lui, de la réduction (de moitié) de la peine de jours-amende prononcée en première instance et du renvoi (au lieu de l'admission) de certaines prétentions de l'intimé au for civil. Par ailleurs, elle a souligné que l'intimé avait expressément conclu au rejet de l'appel. Dans ces conditions, l'autorité précédente a considéré que les frais de la procédure d'appel devaient être partagés par moitié entre le recourant d'une part, l'intimé d'autre part. Elle a toutefois fait une exception s'agissant des frais d'expertise psychiatrique - par 16'179 fr. 85 sur 17'000 fr. de frais d'appel - jugeant que leur paiement incombait entièrement au recourant. Elle a invoqué sur ce point les arrêts 6B_496/2012 du 18 avril 2013 consid. 6.2.2 et 6B_53/2013 du 8 juillet 2013 consid. 4, non publié à l'<ref-ruling>.
1.2.3. Le recourant estime que les frais de seconde instance auraient dû être mis à sa charge à hauteur d'un tiers au maximum.
Au vu des points sur lesquels le recourant a gagné et ceux sur lesquels il a succombé en appel (notamment confirmation de deux chefs d'accusation sur trois), le principe de la mise à charge des frais de procédure à raison d'une moitié ne prête pas flanc à critique.
Cela dit, il ne fait pas de doute que l'expertise psychiatrique mise en oeuvre par l'autorité précédente, après que le recourant en a fait la demande, était en lien de causalité avec les infractions reprochées au recourant. En cas de rejet complet de l'appel, les frais y afférant auraient donc pu devoir être assumés par le recourant. Son appel n'a toutefois pas été rejeté dans son intégralité. Ces frais - qui représentent 97% des frais d'appel - ne pouvaient en conséquence être mis dans leur entier à la charge du recourant. Ils devaient, à l'instar des autres frais d'appel, être assumés par le recourant dans une proportion restreinte pour tenir compte des conclusions admises de son appel, le solde non mis à la charge du recourant devant être laissé à la charge de l'Etat. L'arrêt 6B_496/2012 précité consid. 6.2.2 auquel l'autorité précédente se réfère à l'appui de sa décision traite du sort des frais en cas de " prévenu condamné ". Or il s'agit ici d'un prévenu partiellement acquitté en appel. Quant à l'arrêt 6B_53/2013 précité consid. 4, également repris par l'intimé, il traite du sort des frais de première instance, alors qu'il s'agit ici de frais d'appel, régis par des règles distinctes. Ces arrêts sont ainsi sans portée ici. Le recours doit également être admis sur ce point.
2.
Il résulte de ce qui précède que le recours doit être partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
Le recourant, qui obtient gain de cause sur plusieurs aspects essentiels, n'a pas à supporter de frais judiciaires. Ceux-ci sont mis dans une mesure réduite à la charge de l'intimé qui a conclu au rejet du recours, le canton de Valais n'ayant pas à en supporter (art. 66 al. 1 et 4 LTF). Le recourant a pour le surplus droit à des dépens qu'il convient de mettre à la charge du canton du Valais uniquement vu l'objet du recours (<ref-law>). Ce qui précède rend sans objet la demande d'assistance judiciaire du recourant. Quand bien même le recours n'est que partiellement admis, l'ampleur de l'admission ne justifie pas d'allouer de dépens à l'intimé.
La cause étant jugée, la requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Des frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de l'intimé.
3.
Une indemnité de 3'000 fr., à verser au conseil du recourant à titre de dépens pour la procédure devant le Tribunal fédéral, est mise à la charge du canton du Valais.
4.
Il n'est pas alloué de dépens à l'intimé.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale II.
Lausanne, le 14 mars 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod