Если это именно комната, а не доля, то согласия соседей не требуется. Придётся смирится и по-человечески договариваться о составе квартиросъёмщиков и потом  не конфликтовать не по делу. Потому, что поле съезда 3-4 "нормальных", вам действительно вселят 40 таджиков, а их выселить сложно, очень терпеливый народ)))