Tyskerne utgjorde aldri mer enn 10 % av befolkningen, men var eliten i området i mange hundre år. Den opprinnelige befolkningen, estere, livere og latviere, levde som livegne på de tyske godsene, eller som tjenere i byene. Estlandssvenskene, som hadde innvandret samtidig som tyskerne, var for det meste fiskere ved kysten. Selv om den politiske kontrollen av området gikk over til Sverige, og siden Russland, beholdt tyskerne sin ledende posisjon.