Нет как собственник Вы обязаны отвечать за причиненный ущерб, даже если фактически не живете там. И назначенный ущерб соседям платить придется.