Faits :
A.
Par ordonnance pénale du 25 août 2015, X._ a été condamné à une peine pécuniaire de 2000 fr., sous déduction de 20 fr. correspondant à un jour d'arrestation provisoire. Cette condamnation est entrée en force.
B.
Le 9 octobre 2015, le Service juridique et législatif (ci-après SJL) du Département des institutions et de la sécurité (ci-après DIS) du canton de Vaud a envoyé à X._ une invitation à payer le montant de 1980 fr. jusqu'au 8 novembre 2015, en précisant que la peine de substitution était de 99 jours.
Sur requête de X._ de payer le montant précité par acompte de 50 fr., le SJL lui a indiqué le 26 octobre 2015 qu'en vertu de l'<ref-law> l'autorité d'exécution fixait au condamné un délai de paiement d'un à douze mois, qu'il ne pouvait déroger à cette règle et qu'il lui adressait par conséquent un plan de recouvrement sur douze mois, à raison de 165 fr. par mois.
X._ a payé un premier acompte puis requis que ceux-ci soient répartis sur 24 mois, en invoquant à nouveau l'<ref-law>. Le SJL lui a répondu le 2 février 2016 que sa demande ne relevait pas de sa compétence et l'a invité à adresser sa demande de prolongation du délai de paiement directement auprès de l'autorité ayant rendu la décision, soit le Ministère public de l'arrondissement de Lausanne. Réinterpellé, le SJL a indiqué le 29 février 2016 que pour des raisons d'équité de traitement envers ses débiteurs de peines pécuniaires et d'amendes, il ne faisait, en tant qu'office d'exécution, pas application de la possibilité prévue par l'<ref-law> de prolonger, sur requête, les délais prévus par cette disposition. Le 4 avril 2016, requis par X._ de rendre une décision formelle, le SJL a indiqué ne pouvoir y accéder, se référant à son courrier du 29 février 2016 pour le surplus.
C.
Par arrêt du 31 mai 2016, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a déclaré irrecevable le recours formé par X._ contre la lettre du 4 avril 2016 du SJL.
D.
X._ forme un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre cet arrêt. Il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Subsidiairement, il sollicite qu'ordre soit donné aux autorités du canton de Vaud de désigner une autorité judiciaire pour connaître de son recours cantonal. Il requiert le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours dont il est saisi. L'intitulé erroné du recours ne saurait préjuger de la voie ouverte, ni porter préjudice au recourant, pour autant que son écriture remplisse les conditions formelles de la voie de droit en cause (cf. <ref-ruling> consid. 1.1 p. 370).
Le recours en matière pénale est recevable à l'encontre des décisions sur l'exécution de peines et de mesures (<ref-law>). En l'occurrence, le litige a trait à l'exécution d'une peine pécuniaire, soit concrètement l'octroi ou non d'une prolongation de délai par l'autorité d'exécution conformément à la possibilité prévue par l'art. 35 al. 1 2ème phrase CP. La voie du recours en matière pénale est ouverte (<ref-law>).
La décision entreprise a été rendue par une autorité de dernière instance cantonale (<ref-law>). Le recourant a participé à la procédure devant l'autorité précédente (<ref-law>). Contestant les modalités d'exécution de la peine pécuniaire, qui si elles ne sont pas respectées pourraient le conduire à être poursuivi, respectivement à devoir effectuer une peine privative de liberté de substitution, il a un intérêt légitime au recours (<ref-law>).
La voie du recours en matière pénale lui est donc ouverte, ce qui exclut celle du recours constitutionnel subsidiaire (<ref-law>).
2.
Le recourant reproche à l'autorité précédente d'avoir considéré que ni elle ni la Chambre des recours pénale du Tribunal cantonal n'était compétente pour connaître d'un recours contre le refus du SJL de rendre une décision fondée sur l'art. 35 al. 1 2ème phrase CP. Il y voit une application arbitraire de l'art. 92 al. 1 de la loi vaudoise sur la procédure administrative du 28 octobre 2008 (LPA/VD; RS/VD 173.36) et une violation de son droit d'accès à un juge garanti par l'art. 29a Cst. L'<ref-law> n'était pas applicable.
2.1. L'art. 29a Cst. donne à toute personne le droit à ce que sa cause, c'est-à-dire un différend juridique mettant en jeu des intérêts individuels dignes de protection, soit jugée par une autorité judiciaire. La Confédération et les cantons peuvent toutefois, par la loi, exclure l'accès au juge dans des cas exceptionnels. Cette norme étend le contrôle judiciaire à toutes les matières, y compris aux actes de l'administration, en établissant une garantie générale de l'accès au juge (<ref-ruling> consid. 4.4.1 p. 180). Elle est concrétisée par l'<ref-law> selon lequel les cantons doivent instituer des tribunaux supérieurs comme autorités cantonales de dernière instance, tribunaux qui statuent sur recours.
L'art. 80 al. 2 3ème phrase LTF, qui réserve les cas dans lesquels le CPP prévoit un tribunal des mesures de contrainte ou un autre tribunal comme instance cantonale unique, est ici sans portée.
2.2. En l'espèce, l'autorité précédente a considéré que la loi vaudoise du 4 juillet 2006 sur l'exécution des condamnations pénales (LEP; RS/VD 340.01) ne prévoyait pas de recours auprès de la Chambre des recours pénale contre une décision de la SJL fondée sur l'<ref-law>. Elle a ensuite considéré qu'une mesure prise en vertu du droit pénal, et notamment de l'<ref-law>, par le SJL n'était pas une décision au sens de l'art. 3 al. 1 LPA/VD ou d'autres normes du droit public définissant la notion de décision, dès lors qu'elle n'était pas prise en vertu du droit public. L'absence de décision pouvait certes faire l'objet d'un recours de droit administratif, quant l'autorité agissait dans le cadre du droit public (art. 74 al. 2 LPA/VD par renvoi de l'art. 99 LPA/VD). Tel n'était toutefois pas le cas lorsqu'une autorité chargée d'appliquer le droit pénal omettait de statuer ou tardait à le faire. Le recours de droit administratif au Tribunal cantonal (art. 92 LPA/VD) était donc irrecevable. L'autorité précédente a finalement fait référence à l'<ref-law> et jugé que le recourant n'était pas dépourvu de toute possibilité effective d'obtenir une nouvelle décision de l'autorité de jugement fixant le paiement des acomptes sur une durée de 24 mois ou réduisant le montant du jour-amende.
2.3. Aux termes de l'<ref-law>, l'autorité d'exécution fixe au condamné un délai de paiement d'un à douze mois. Elle peut autoriser le paiement par acomptes et, sur requête, prolonger les délais.
En vertu de l'<ref-law>, la Confédération et les cantons désignent les autorités compétentes pour l'exécution des peines et des mesures et règlent la procédure; les réglementations spéciales prévues par le CPP et par le CP sont réservées. En l'espèce, il résulte de l'arrêt attaqué que dans le canton de Vaud le DIS est l'autorité cantonale compétente pour recouvrer les peines pécuniaires. Elle exerce cette compétence par le biais du SJL. Le DIS, par le SJL, était donc l'autorité d'exécution au sens de l'<ref-law> et donc compétent pour rendre, conformément à l'art. 35 al. 1 2ème phrase CP, une décision sur la requête du recourant de prolonger le délai pour verser le montant de la peine pécuniaire.
Conformément à l'art. 29a Cst., mais également à l'<ref-law>, un recours pour déni de justice, respectivement contre la décision du SJL aurait dû pouvoir être formé auprès d'une autorité judiciaire cantonale. L'autorité précédente, en invoquant que ni l'autorité pénale de recours ni elle-même n'était compétente, sans renvoyer à une autorité qu'elle aurait jugé compétente, a violé ces dispositions.
L'<ref-law>, évoqué par l'autorité précédente, permet certes au condamné, qui ne peut pas payer la peine pécuniaire parce que, sans sa faute, les circonstances qui ont déterminé la fixation du montant du jour-amende se sont notablement détériorées depuis le jugement, de demander au juge de suspendre l'exécution de la peine privative de liberté de substitution et à la place notamment de porter le délai de paiement à 24 mois au plus ou de réduire le montant du jour-amende (let. a ou b). Comme le relève le recourant, rien ne permet toutefois de penser que cette voie lui soit ouverte, celle-ci étant notamment conditionnée au fait que les circonstances qui ont déterminé la fixation du montant du jour-amende se sont notablement détériorées, conditions non constatées ici. Quoi qu'il en soit, l'application de l'art. 35 al. 1 2ème phrase CP est indépendante du cas de figure visé à l'<ref-law>. Le recourant pouvait donc procéder auprès de l'autorité d'exécution pour requérir une prolongation du délai selon l'art. 35 al. 1 2ème phrase CP.
3.
Il résulte de ce qui précède que le recours doit être admis, sans que les autres griefs formulés n'aient à être examinés, l'arrêt annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
Au regard de la nature procédurale du vice examiné, il peut être procédé au renvoi sans ordonner préalablement d'échange d'écritures.
Le recourant, qui obtient gain de cause, ne supportera pas de frais. Le canton de Vaud n'a pas non plus à en supporter (art. 66 al. 1 et 4 LTF). Le recourant a droit à des dépens à la charge du canton. Cela rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera à l'avocat du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 10 mai 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod