Я бы предложила, сказать просто -нет. "Не хочу, да я не благодарная. Больше это я не обсуждаю. Мои дети к нему не поедут." Если она сама не захочет подумать и связать ваши прошлые истерики и позицию сейчас, то скорее всего действительно не захочет услышать. а брат мог просто без вас и правда не захотеть ехать.  Без всяких иных причин.