Such people are termed linguistic minorities or language minorities.
その言語話者のことは、言語的少数派と呼ぶ。