Вы, конечно, можете упереться и не уступить. Просто подумайте о последствиях. Брат с женой переедут в квартиру, где Вы сейчас живете. Так или иначе, Вам с ними придется как-то общаться. И как это будет, подумали?.. Что--игнорировать будете друг друга, живя на одной площади, или драться, или в суповые тарелки плевать?..