переводите отношения в разряд дружбы. Типа нет времени, много работы, бла бла, так, по тихому и без объявлений войны, обедать продолжайте, в его жизни участвовать и пр. глядишь, оно само как то утихнет. Если нет страсти, навязчивости от него, то пройдет все тихо и спокойно