А никак от этого не отгородится.Это значит только одно- что он Вам не безразличен.Может стоит с ним поговорить об этом? Вы не хотите омрачать счастье пустяками? Так ДЛЯ ВАС это не пустяк! Мягко скажите как есть, он все поймет,если любит Вас.