Если его все устраивает решайте свои проблемы сами, выше уже написали как. Но только при принудительном обмене Вам светит комната в комуналке и там тоже не известно какие соседи будут. Вы спрашивали разрешения у брата преджде, чем привести своего гражданского мужа? А если завтра у брата постоянная девушка появится и будет на общей кухне щи варить и картошку жарить, Вам лучше будет? Ваш вопрос не для правовых, а для ТД, с правовой точки зрения после 11 часов в квартире могут оставаться, только прописанные люди или гости с согласия всех прописаных, если Вас не устраивают девушки, можете их выгнать с милицией, но тогда и своего гражданского мужа тоже придется выставить по месту его регистрации.