Faits : A. Par ordonnance pénale du 25 août 2015, X._ a été condamné à une peine pécuniaire de 2000 fr., sous déduction de 20 fr. correspondant à un jour d'arrestation provisoire. Cette condamnation est entrée en force. B. Le 9 octobre 2015, le Service juridique et législatif (ci-après SJL) du Département des institutions et de la sécurité (ci-après DIS) du canton de Vaud a envoyé à X._ une invitation à payer le montant de 1980 fr. jusqu'au 8 novembre 2015, en précisant que la peine de substitution était de 99 jours. Sur requête de X._ de payer le montant précité par acompte de 50 fr., le SJL lui a indiqué le 26 octobre 2015 qu'en vertu de l'art. 35 al. 1 CP l'autorité d'exécution fixait au condamné un délai de paiement d'un à douze mois, qu'il ne pouvait déroger à cette règle et qu'il lui adressait par conséquent un plan de recouvrement sur douze mois, à raison de 165 fr. par mois. X._ a payé un premier acompte puis requis que ceux-ci soient répartis sur 24 mois, en invoquant à nouveau l'art. 35 al. 1 CP. Le SJL lui a répondu le 2 février 2016 que sa demande ne relevait pas de sa compétence et l'a invité à adresser sa demande de prolongation du délai de paiement directement auprès de l'autorité ayant rendu la décision, soit le Ministère public de l'arrondissement de Lausanne. Réinterpellé, le SJL a indiqué le 29 février 2016 que pour des raisons d'équité de traitement envers ses débiteurs de peines pécuniaires et d'amendes, il ne faisait, en tant qu'office d'exécution, pas application de la possibilité prévue par l'art. 35 al. 1 CP de prolonger, sur requête, les délais prévus par cette disposition. Le 4 avril 2016, requis par X._ de rendre une décision formelle, le SJL a indiqué ne pouvoir y accéder, se référant à son courrier du 29 février 2016 pour le surplus. C. Par arrêt du 31 mai 2016, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a déclaré irrecevable le recours formé par X._ contre la lettre du 4 avril 2016 du SJL. D. X._ forme un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre cet arrêt. Il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Subsidiairement, il sollicite qu'ordre soit donné aux autorités du canton de Vaud de désigner une autorité judiciaire pour connaître de son recours cantonal. Il requiert le bénéfice de l'assistance judiciaire.