Прежде всего поговорите со своим сыном о вероятных последствиях потери дружбы и всяческих отношений с соседом, если Вы попытаетесь изменить формат общения. Можно просто попросить не приводить младшего, но это может кончиться тем, что не будут приводить никого, и Вашего прекратят приглашать.