Мне кажется, что вам можно/нужно прямо ему сказать, что будет лучше, если вы встретитесь для начала на нейтральной территории. Вы, при таких условиях, будете чувствовать себя увереннее. Если он действительно "запал", то непременно пойдет на ваши условия.Удачи и держите в курсе событий!