Чтобы не обидеть, надо прямо сказать,  что ему рассчитывать не на что. Так и скажите, ты женат, двое детей, и извини не в моем вкусе тоже, предлагаю только приятельские отношения. Чтоб никаких сомнений не осталось. А то он себе нафантазирует и потом точно будет обижен.