Это не важно, чье это жилье. Захотели бы – попросили его освободить территорию. Что бы решить данную проблему – без боли не обойтись, придется все рушить и строить заново, но Вы, как я понимаю, этого не хотите/не готовы. Тогда так все и будет продолжаться, если ничего кардинально не менять.