Khazarenes stammestruktur er uklar. Den var delt i ak-khazarene og kara-khazarene (). Den arabiske kronikøren Istakhri hevdet at de hvite khazarene var påfallende vakre med rødlig hår, hvit hud og blå øyne, mens de svarte khazarene hud var mørk, på grensen av sort, som om de var indiske. Forskere flest tviler imidlertid på dette. Mange tyrkiske folk hadde et tilsvarende skille mellom en «hvit» herskerklasse og en «svart» klasse av undersåtter. De fleste forskerne tror ikke at dette skillet har noen forbindelse med rasemessige trekk. Det er mer rimelig å anta at Istakhri selv var forvirret av betegnelsen på de to gruppene. Peter Golden har reist spørsmålet om hvorvidt khazarene etnisk sett var et konglomerat av oghurer og vanlige, tyrkiske folkeslag, inkludert sabirene, nordkaukasiske hunere og elementer fra gok-tyrkerne.