Faits :
A.
Le 7 décembre 2015, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a constaté que X._ s'était rendu coupable d'abus de confiance qualifié, dénonciation calomnieuse, violation grave des règles de la circulation routière et conduite d'un véhicule non couvert en assurance-responsabilité civile et l'a condamné à une peine privative de liberté de trois ans, dont six mois fermes et trente mois avec sursis pendant cinq ans.
B.
Par décision du 24 mai 2016, l'Office d'exécution des peines a refusé d'accorder à X._ le régime des arrêts domiciliaires. A l'appui de sa décision, l'autorité d'exécution a indiqué que l'intéressé avait été condamné à une peine totale de plus de douze mois et qu'il ne pouvait par conséquent pas bénéficier du régime des arrêts domiciliaires.
Par arrêt du 20 juin 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._.
C.
Celui-ci forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à sa réforme en ce sens qu'il est autorisé à exécuter la peine ferme de six mois sous la forme des arrêts domiciliaires. Il sollicite par ailleurs l'effet suspensif.

Considérant en droit :
1.
Le recours en matière pénale est ouvert à l'encontre des décisions en matière d'exécution de peines et de mesures (art. 78 al. 2 let. b LTF).
2.
Le recourant invoque le bénéfice des arrêts domiciliaires. Selon lui, les arrêts domiciliaires constituent un cas de mise en oeuvre du régime de la semi-détention prévu à l'art. 77b CP. Il en déduit qu'il n'y a pas lieu de se fonder globalement sur la peine prononcée mais bien sur la durée à exécuter pour déterminer si le régime des arrêts domiciliaires est envisageable.
2.1. Les arrêts domiciliaires relèvent de la compétence des cantons (cf. <ref-ruling> consid. 2 p. 134 relatif à la semi-détention sous l'ancien droit; cf. également arrêts 6B_1253/2015 du 17 mars 2016 consid. 2.2; 6B_582/2008 du 5 novembre 2008 consid. 2.2 et les références citées). Le Tribunal fédéral est habilité à examiner la bonne application du droit intercantonal (art. 95 let. e LTF), mais non celle du droit cantonal. Il est toutefois toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 4.3 p. 521 s.; <ref-ruling> consid. 2.3 p. 466).
2.2. Le Tribunal fédéral s'est déjà prononcé sur la réglementation vaudoise et a jugé, dans une situation similaire à celle d'espèce, qu'il n'était pas arbitraire de prendre en compte la durée totale de la peine prononcée pour déterminer si les arrêts domiciliaires pouvaient entrer en ligne de compte ou non (arrêt 6B_582/2008 du 5 novembre 2008 consid. 2.4). Dans ce même arrêt (consid. 2.5), il a aussi mentionné que l'art. 77b CP était sans portée pour les arrêts domiciliaires. La cour cantonale s'est expressément référée à cette jurisprudence (cf. arrêt attaqué p. 3 in fine et 4). Le recourant n'en parle cependant pas dans son mémoire. Son argumentation est ainsi d'emblée inapte à établir un quelconque arbitraire. Au demeurant, l'art. 77b CP, auquel le recourant se réfère sans pertinence, implique également de prendre en compte la peine globale infligée et non pas uniquement celle à exécuter (cf. arrêt 6B_222/2008 du 27 mai 2008 consid. 1.3; CORNELIA KOLLER, in Basler Kommentar, Strafrecht I, 3e éd. 2013, n° 7 ad art. 77b CP). C'est ainsi sans arbitraire que la cour cantonale a considéré qu'au vu de la peine infligée de trois ans, des arrêts domiciliaires étaient exclus, sans qu'il importe que le recourant ait bénéficié d'un sursis partiel impliquant l'exécution d'une peine de six mois. Pour le surplus, le recourant ne formule aucun autre grief recevable.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires.
Vu l'issue du recours, la demande d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 25 octobre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel