В повести нет прямого указания на факт физической измены или ее отсутствия. Для Позднышева равно мучительными  были оба варианта, жизнь уже рухнула,  спасения уже никогда не будет. Думаю, поэтому вопрос было/не было Толстой и оставляет открытым.