Faits : A. Par jugement du 11 octobre 2018, la Juge pénale du Tribunal de première instance du canton du Jura a déclaré A._ coupable de lésions corporelles simples, de voies de fait, de diffamation, d'injure, de menaces et d'infractions à la LCR. Elle l'a condamné à une peine pécuniaire de 90 jours-amende, le montant du jour-amende étant fixé à 10 francs, à une amende contraventionnelle de 300 francs et à 90 % des frais judiciaires le concernant, fixés à 7'286,60 francs. Selon le même jugement, le frère de A._ a été libéré des préventions de soustraction d'une chose mobilière, de voies de fait, de vol, de dommages à la propriété et de diffamation. Il a en revanche été reconnu coupable d'injure et de menaces. Par l'intermédiaire de l'avocate B._, A._ a déposé une déclaration d'appel le 18 février 2019 à l'encontre de ce jugement. Dans cet acte, il a sollicité le bénéfice de l'assistance judiciaire et la nomination de l'avocate B._ en vue de la procédure d'appel, comme ce fut le cas lors de la procédure de première instance. Par ordonnance du 19 mars 2019, la Cour pénale du Tribunal cantonal du canton du Jura a invité A._ à se prononcer sur le maintien de la défense d'office, respectivement de l'assistance judiciaire en seconde instance. Par courrier du 25 mars 2019, Me B._ a confirmé la demande d'assistance judiciaire, faisant valoir que A._ en bénéficiait dans la procédure de première instance, que sa situation financière ne s'était pas améliorée et que les circonstances ayant conduit à l'octroi de l'assistance judiciaire ne s'étaient pas modifiées. Par décision du 3 avril 2019, le Président de la Cour pénale du Tribunal cantonal du canton du Jura a retiré l'assistance judiciaire gratuite au prénommé pour la procédure d'appel. B. Par acte du 7 mai 2019, A._ forme un recours au Tribunal fédéral contre la décision du 3 avril 2019, concluant à l'octroi de l'assistance judiciaire et implicitement à la nomination de B._ en tant que défenseur d'office. Il demande aussi à être dispensé des frais judiciaires dans la présente procédure. Invité à se déterminer, le Président de la Cour pénale du Tribunal cantonal a conclu au rejet du recours. Le Ministère public du canton du Jura a quant à lui renoncé à présenter des observations.