クロエはアルメニア系の父親ロバート・カーダシアン（O・J・シンプソン事件裁判の弁護士団の1人として有名）とスコットランド・オランダ系のクリス・ジェンナーとの間に生まれた。両親は1989年に離婚、母は1991年にオリンピック選手のブルース・ジェンナーと再婚した。父ロバートは2003年9月30日に他界。姉妹にコートニー・カーダシアン、キム・カーダシアン、弟にロブ・カーダシアン、異父兄弟にバートン、ブランド、ブロディ・ジェンナーがいる。異父姉妹にケーシー、ケンダル、カイリーがいる。