Нет. Это неправильная трактовка фразы. Вы приравниваете "деяние" к "недеянию". Получается передергивание смысла. Т.е. моя свобода лежать на чистом пляже заканчивается сразу же там, где появляется свобода пьяного мужика обоссать пальму. Так? Он тоже на отдыхе, имеет право отдыхать, как привык дома.