Faits : A. Par ordonnance pénale du 13 août 2014, le Ministère public de l'arrondissement de Lausanne a condamné X._ à 180 jours de peine privative de liberté pour conduite sous retrait du permis de conduire, violation des obligations en cas d'accident, violation grave des règles de la circulation routière et induction de la justice en erreur. Par ordonnance pénale du 19 octobre 2015, le Ministère public de l'arrondissement du Nord vaudois a condamné X._ à 180 jours de peine privative de liberté pour dénonciation calomnieuse, violation simple et grave des règles de la circulation routière et conduite sous retrait du permis de conduire. Par ordre d'exécution de peine du 19 janvier 2016, l'Office d'exécution des peines (OEP) du canton de Vaud a sommé X._ de se présenter le 2 août 2016 pour exécuter la peine prononcée le 13 août 2014. Par décision du 11 juillet 2016, l'OEP a refusé d'accorder le régime de la semi-détention à X._. B. Par arrêt du 4 août 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par ce dernier contre la décision du 11 juillet 2016 et confirmé celle-ci. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il en demande la réforme en ce sens que la décision du 11 juillet 2016 est annulée et le régime de la semi-détention lui est accordé. Il requiert le bénéfice de l'assistance judiciaire.