Автор, я бы поговорила с братом. Сказала бы один раз четко и ясно, что квартира никакого отношения к нему не имеет, а потому не фиг на нее зариться; что у вас ребенок, которому нужно спать, а потому не фиг припираться в гости по ночам. Обозначить, что приходить он может, когда его зовут, а если собирается у вас есть, пусть тоже что-то приносит. Вам как будто стыдно, что у вас есть квартира, а у него нет, что вроде как не совсем честно (ощущение, что вам так кажется, хотя это не так), вот вы ему и уступаете. После такого разговора ночью на звонки не отвечать и дверь ему не открывать. Отключайте на ночь домофон или звонок дверной, как у вас там, пусть хоть обзвонится. Так пару-тройку раз постоит на улице и надоест ему.