на мой взгляд, объяснить так как есть, прямыми словами. Сказать, что вам неприятно его видеть, потому что он домогался к вам, когда вы были ребенком. И именно поэтому вы туда перестали ездить. А после этого помочь перевезти его можно, но только при условии, что вы никак его касаться не будете и за ним будет присматривать ваша мама или третье лицо. А каково место брата в этой ситуации?