Faits :
A.
Par ordonnance pénale du 13 août 2014, le Ministère public de l'arrondissement de Lausanne a condamné X._ à 180 jours de peine privative de liberté pour conduite sous retrait du permis de conduire, violation des obligations en cas d'accident, violation grave des règles de la circulation routière et induction de la justice en erreur.
Par ordonnance pénale du 19 octobre 2015, le Ministère public de l'arrondissement du Nord vaudois a condamné X._ à 180 jours de peine privative de liberté pour dénonciation calomnieuse, violation simple et grave des règles de la circulation routière et conduite sous retrait du permis de conduire.
Par ordre d'exécution de peine du 19 janvier 2016, l'Office d'exécution des peines (OEP) du canton de Vaud a sommé X._ de se présenter le 2 août 2016 pour exécuter la peine prononcée le 13 août 2014.
Par décision du 11 juillet 2016, l'OEP a refusé d'accorder le régime de la semi-détention à X._.
B.
Par arrêt du 4 août 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par ce dernier contre la décision du 11 juillet 2016 et confirmé celle-ci.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il en demande la réforme en ce sens que la décision du 11 juillet 2016 est annulée et le régime de la semi-détention lui est accordé. Il requiert le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 6.3 p. 375), ce qu'il appartient au recourant d'alléguer et d'étayer conformément aux exigences de motivation strictes posées par l'art. 106 al. 2 LTF (cf. <ref-ruling> consid. 6.3 p. 375). Pour que la décision soit annulée pour arbitraire, il faut qu'elle se révèle arbitraire non seulement dans ses motifs mais aussi dans son résultat (<ref-ruling> consid. 3.4 p. 53).
Il résulte de ce qui précède que les nombreux faits que le recourant invoque et qui s'écartent de ceux retenus par l'arrêt entrepris sans que l'arbitraire de leur omission soit invoqué et démontré sont irrecevables (recours notamment p. 3 à 6).
2.
Le recourant estime que le refus de lui accorder le régime de la semi-liberté violerait les art. 77b et 75 al. 1 CP et l'art. 5 al. 2 Cst. Il dénonce également une constatation incomplète des faits ainsi qu'une violation de son droit d'être entendu garanti par l'art. 29 al. 2 Cst., jugeant la décision attaquée insuffisamment motivée. Enfin, il invoque une violation de la présomption d'innocence.
2.1. Aux termes de l'art. 77b CP, une peine privative de liberté de six mois à un an est exécutée sous la forme de la semi-détention s'il n'y a pas lieu de craindre que le détenu ne s'enfuie ou ne commette de nouvelles infractions. Le détenu continue à travailler ou à se former à l'extérieur de l'établissement; il passe ses heures de loisirs et de repos dans l'établissement. L'accompagnement du condamné doit être garanti pendant le temps d'exécution.
La semi-détention doit permettre au condamné de conserver son travail ou sa place de formation et prévenir ainsi le danger de coupure avec le monde professionnel. Depuis la révision de la partie générale entrée en vigueur le 1er janvier 2007, le droit fédéral impose aux cantons de prévoir ce mode d'exécution et en pose les conditions. Ainsi, l'art. 77b CP subordonne la semi-détention à deux conditions cumulatives : il doit s'agir d'une peine privative de liberté de six mois à un an et il ne doit pas exister de danger de fuite ou de récidive. Une troisième condition découle directement du but de la semi-détention : le condamné doit disposer d'une activité professionnelle ou suivre une formation (arrêt 6B_386/2012 du 15 novembre 2012 consid. 6.1 et les références citées).
Le risque de fuite ou de récidive visé par l'art. 77b CP doit être d'une certaine importance et les nouvelles infractions d'une certaine gravité. Pour poser un pronostic quant au comportement futur du condamné, l'autorité d'exécution des peines doit tenir compte, notamment, de ses antécédents judiciaires, de sa personnalité, de son comportement en général et au travail, et des conditions dans lesquelles il vivra (arrêt 6B_386/2012 précité consid. 6.1 et les références citées).
2.2. En l'espèce, l'autorité précédente a jugé que l'OEP avait considéré à juste titre que le recourant n'était pas digne de confiance et présentait un risque de récidive. En effet, il apparaissait comme un citoyen qui ne respectait pas les lois et ne comprenait pas qu'il devait s'y conformer : il avait déjà été condamné à douze reprises entre le 2 décembre 2003 et le 19 octobre 2015 et faisait encore l'objet d'une nouvelle procédure pénale. Il n'était dès lors pas crédible lorsqu'il prétendait que son activité délictueuse appartiendrait au passé. En outre, même si l'exécution de sa peine selon le régime ordinaire était certainement de nature à avoir des conséquences pénibles pour lui et sa famille, le recourant devait assumer les conséquences de ses actes, ne pouvant s'en prendre qu'à lui-même vu le nombre élevé de condamnations judiciaires prononcées à son encontre. Partant le risque de récidive et l'absence de confiance dans le condamné ne permettaient pas d'accorder au recourant le régime de la semi-détention au sens des art. 77b CP et 180 du règlement vaudois du 24 janvier 2007 sur le statut des condamnés exécutant une peine privative de liberté et les régimes de détention applicables (RSC; RS/VD 340.01.1).
2.3. Le recourant reproche à l'autorité précédente de n'avoir pas examiné les infractions commises et de n'avoir pas établi en quoi il présenterait un danger pour la collectivité publique. Il ressort toutefois de l'ordonnance du 13 août 2014 qu'avant celle-ci, le recourant avait déjà été condamné à dix reprises pour, notamment, vol, rixe, injure, crime à la LStup, voies de faits et nombreuses violations, parfois graves, de la LCR. Cela nonobstant, le 5 mai 2014, alors qu'il était sous le coup d'un retrait de permis, le recourant a conduit un véhicule automobile, a percuté un scooter si fort que son conducteur a été projeté en avant et a chuté lourdement au sol, a pris la fuite et a tenté de faire croire que le véhicule qu'il conduisait avait été volé, respectivement conduit par une autre personne (cf. ordonnance du 13 août 2014). Moins d'un an après cette condamnation, le recourant, toujours sous mesure de retrait de son permis de conduire, a, notamment, gravement violé la LCR, talonnant un véhicule à 140 km/h sur près de 800 m à une distance de moins de 10 m (cf. ordonnance du 19 octobre 2015). Ce comportement était particulièrement dangereux, ce dont le recourant ne semble toujours pas prendre conscience.
Le recourant invoque que sa situation professionnelle et personnelle n'aurait pas été suffisamment prise en compte, y voyant une constatation manifestement arbitraire des faits. Il invoque à cet égard la naissance de son fils le 31 octobre 2013, que les revenus réalisés à travers sa société feraient vivre la famille et que son entreprise, s'il devait exécuter sa peine selon le régime ordinaire, tomberait rapidement en faillite. De tels éléments n'ont pas été constatés par l'autorité précédente. Supposés avérés, ils étaient tous connus du recourant lorsqu'il a commis les infractions ayant conduit à l'ordonnance pénale dont l'exécution est ici en cause. Ces éléments ne l'ont dès lors pas dissuadé de violer la loi. Ils ne sauraient donc exclure un risque de récidive. Leur omission n'est par conséquent pas de nature à faire apparaître l'appréciation des preuves comme arbitraire dans son résultat.
Le recourant n'invoque pas d'autres éléments dont l'autorité précédente aurait dû tenir compte en sa faveur, notamment des éléments justifiant qu'on puisse croire, malgré les condamnations passées, qu'il ne s'expose pas à de la récidive. Au vu de l'obstination du recourant à commettre des infractions, malgré les condamnations successives prononcées pour des faits qui n'ont rien d'anodin, l'autorité précédente n'a pas enfreint l'art. 77b CP en jugeant que le recourant présentait un risque de récidive au sens de cette disposition, soit qu'il existait un risque de récidive d'une certaine importance concernant des infractions à craindre d'une certaine gravité. Ce risque excluait que la peine prononcée par l'ordonnance du 13 août 2014 puisse être exécutée sous la forme de la semi-détention.
2.4. L'art. 75 CP pose les principes applicables en matière d'exécution des peines privatives de liberté (cf. <ref-ruling> consid. 1.3 p. 182). Cette disposition ne permet toutefois pas de déroger aux conditions d'exécution des peines fixées dans la loi (arrêt 6B_241/2009 du 8 mai 2009 consid. 2.4 et l'arrêt cité), partant d'appliquer un régime de semi-détention alors que les conditions n'en seraient pas remplies. Cette disposition n'est donc d'aucun secours non plus au recourant. Il en va de même du principe de proportionnalité, consacré par l'art. 5 al. 2 Cst.
2.5. La décision attaquée contient une motivation adéquate que le recourant a comprise au vu de son recours. Cela exclut toute violation de son droit d'être entendu, dans son aspect du droit à une décision motivée.
2.6. Le recourant invoque une violation de la présomption d'innocence au sens des art. 10 CPP et 32 al. 1 Cst., reprochant à l'autorité précédente d'avoir retenu, pour établir son pronostic défavorable, qu'il faisait l'objet d'une nouvelle procédure pénale, en cours, dans le canton du Jura.
La présomption d'innocence interdisait à l'autorité précédente de considérer comme coupable le recourant pour des faits objets d'une procédure encore en cours de même que de prendre en compte une telle procédure dans l'établissement de son pronostic. Quoi qu'il en soit, la seule existence des antécédents du recourant, qui ne cesse de récidiver malgré les dix peines fermes prononcées avant même les faits sanctionnés par l'ordonnance pénale du 13 août 2014, et l'absence de tout élément permettant de penser qu'il allait changer de comportement autorisaient à retenir sans violation de l'art. 77b CP un risque de récidive suffisant pour exclure que le recourant soit mis au bénéfice du régime de la semi-détention, ce indépendamment de l'existence ou non d'une nouvelle procédure pénale à son encontre. La violation de la présomption d'innocence dénoncée est ainsi sans portée sur le fond de la cause.
3.
Le recours doit être rejeté dans la mesure de sa recevabilité. Les conclusions étaient vouées à l'échec, l'assistance judiciaire est refusée au recourant (art. 64 al. 1 LTF). Celui-ci supportera les frais judiciaires (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière (art. 65 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 28 juin 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod