Folket på Sumba er av blandet malayisk og melanesisk herkomst, og snakker flere nært beslektede austronesiske språk. 25-30 % praktiserer den animistiske -religionen. Noen få sunnimuslimer bor i kystområdene. Resten av befolkningen er kristne, og av dem er flertallet kalvinister, en arv fra nederlenderne. Sumba (hovedsakelig vest på øya) er et av få steder i verden hvor det blir praktisert begravelser i megalitter for prominente personer. Dette er en tradisjon som har overlevd helt fra stein- og bronsealderen til i dag.