Речь не об отказе, не приглашать в гости, временно не общаться, пока Вы не пересмотрите свое к нему отношение. Можно общаться с сестрой по телефону, когда они приезжают в гости немного с ними пообщаться и найти повод уйти, напримет гулять или взять билеты в театр на тот день когда они планируют придти в гости. Поговорить с сестрой и обьяснить. что Вы не проти вобщения, только в малых дозах, дети устают друг от друга.Я очень часто замечала, что люди к чужим детям иногда не обьективно завышенно строги.  Просто Ваши детки еще не доросли до этого возраста и Вы его не готовы понять, если бы у Вас был свой ребенок ровесник(пусть даже воспитанный по вашему мнению), Вы бы отнеслись к нему лояльней.А пока можете только ограничить общение, можете правда, еще попытаться разобраться в себе - почему же он именно ВАС РАЗДРАЖАЕТ