Конечно, избежать. Вежливо сказать, что у вас нет времени, и вы не хотели бы разговаривать с ним без вашего мужа. Вы шатаетесь туда-сюда, ни да , ни нет, по вашему рассказу ощущение, что вы не против отношений с ним.