pavki/hr_qa_sbs_best_bad huggingface dataset:
Вопрос: Как убрать редирект с сайта?

Лучший ответ: Поставь себе User agent какой-нибудь мобилки и смотри исходный код страницы.

Худший ответ: думаю у вас ДЛЕ, встречал такое… проверьте файлы сайта на наличие перенаправлений.
Если ДЛЕ — ищите в index.php, engine/data.config.php что-то c «Location:» — найдете — будет заметно, что оно чужее.
редирект может быть в заголовке страницы — php отдает header с указанием на перенаправление
Вопрос: Какие индексы сделать для такого запроса в mysql?

Лучший ответ: where type in ('newad','renewad') and object_id=335046
Вот при таком запросе индекс по object_id & type использоваться будет.

Худший ответ: like 'newad' or type like 'renewad' 
извините, но тут нету подстановочных символов, если полное соответствие — не лучше ли использовать =?
Вопрос: '100' == '100,00'?

Лучший ответ: Потому, что запятая не считается разделителем в PHP, соответственно он не может привести '100,00' к числу и сравнивает его как строку

Худший ответ: Все, разобрался, из-за того, что '100' первый, он во втором случа сравнивает как строки. И как строки не равны, стоит только первым сделать 100 == '100,00', числа. Будет true
Вопрос: Как можно улучшить программу(алгоритм) для поиска чисел-вампиров? Возможно ли такое?

Лучший ответ: Самое лучшее, что можно сделать с этим куском ... кода, - это сделать меня развидеть это.
Выучите циклы. Научитесь называть переменные осмысленно.

Худший ответ: 1) Используйте массивы.
2) Циклы можно использовать внутри других циклов.
Вопрос: Откуда лезут вирусы в WordPress'e?

Лучший ответ: Первым делом свой компьютер проверьте на вирусы :-)

Худший ответ: Смотрите логи POST запросов к файлам. Особенно к файлам с тарабарщиной в названии, 404.php, index.php. Если WP , то смотрите папки JS скриптов самого WP, скриптов плагинов и темы, uploads, папки wp-content/languages и подпапки. Так же, проверьте свой компьютер, как писали выше. Если почистили вредоносные файлы, то меняйте FTP пароли и доступы. Поставьте на сайт WP плагин "All in one WP security", там включите отслеживание изменений файлов, отчеты будут приходить на почту. 
Плюс вот
Вопрос: Реально за вечер найти инвестиции в стартап?

Лучший ответ: Таким удачливым чувакам проще прийти в казино и поставить например все деньги на одно число.

Худший ответ: Есть опыт привлечения инвестиций.
За вечер это нереально))) В любом случае, даже если у вас есть очень теплый и знакомый инвертор, которому сходу понравится ваша идея, все равно необходимо время на:
- презентацию
- обсуждение
- составление инвест-договора
- передачу/перечисление денежных средств
При самом самом самом удачном стечении всех обстоятельств и если проект реально очень крутой - 5-7 дней.
Вопрос: Самый быстрый и наименее ресурсоёмкий алгоритм расчёта контрольных сумм?

Лучший ответ: посмотрите в сторону CRC

Худший ответ: Тут еще многое от реализации алгоритма зависит, к примеру, в hash функции встроенной в PHP, самый быстрый алгоритм md5, а crc32 почти в 2 раза медленнее, а тот же adler32 в 4 раза медленнее, хотя по описаниям в той же wiki должен быть одним из самых быстрых как раз adler32.
Вопрос: Агрегация статистики в SQL-хранилище?

Лучший ответ: Вариант с map-reduce — не факт, что будет более быстродействующим решением. Поможет денормализация. Чтобы избежать агрегации на каждом запросе статистики, и ударных нагрузок на процессор и память во время таких запросов, логично во время занесения каждой очередной записи увеличивать счетчики, находящиеся в специальных таблицах. Для этого на вставку можно поставить триггер, инкрементирующий нужный счетчик (счетчик текущего часа, счетчик текущего дня). Разумеется, под каждую форму статистического запроса потребуется отдельный счетчик.

Худший ответ: Явно в приложении увеличивать счетчики. В MySQL это можно делать одним запросом вроде:

INSERT INTO hourly_table() VALUES() ON DUPLICATE KEY UPDATE x = x + ?, y = y +?
INSERT INTO daily_table() VALUES() ON DUPLICATE KEY UPDATE x = x + ?, y = y +?
Вопрос: Как разобраться с таким кодом CSS, который ниже представлен?

Лучший ответ: А зачем разбираться в чужом коде, достаточно просто посмотреть и понять как он работает и написать свой, ну это конечно, если есть понимание Js и CSS, если нет, то вообще незачем сюда лезть.

Худший ответ: А собственно в чем вопрос?
Просто берешь и разбираешься.
https://i.ytimg.com/vi/Z6gG3tKDBlk/maxresdefault.jpg
Глядя только на этот кусок css никто вам не поможет. Оформите хотя бы пример на jsfiddle.
Вопрос: Как авторизоваться на сайте с помощью python requests?

Лучший ответ: requests.auth это компонент, который используется для авторизации по методу `Basic\Digital access authentication`, если у вас на сайте форма с авторизацией, то надо отправлять форму. Короче, учите матчасть. session = requests.Session()
session.post('http://example.com/auth/login', {
     'username': 'admin',
     'password': 'password',
     'remember': 1,
})

Худший ответ: Самый простой способ сделать запрос это в программе Postman сделать запрос. Там есть уже встроенный создатель кода. 
В нем генерируете нужный код на нужном языке. 
Вот пример.
import requests

url = "http://rustorka.com/forum/index.php"

payload={'login_username': 'login',
'login_password': 'password'}
files=[

]
headers = {}

response = requests.request("POST", url, headers=headers, data=payload, files=files)

print(response.text)
Вопрос: Как сделать чтобы WordPress стал UTF8 а не UTF8MB4?

Лучший ответ: в wp-config.php должна быть строка:define('DB_CHARSET', 'utf8mb4');
укажите так:define('DB_CHARSET', 'utf8');

Худший ответ: Стыкался недавно с подобной проблемой при переносе. 
На стрёмном хостинге установил конфиг как пишет Максим Креативный 
Сделал бекап базы в файл. В файле сделал замену всех utf8mb4 на utf8.
После этого залил базу на на новый хостинг.
Все заработало норм. Даже уже обновлялся вордпрес, проблем не было никаких.
Вопрос: Выбор ADSL модема для стабильной работы на плохой линии?

Лучший ответ: У Вас хорошая линия, вот плохая линия:

пинги ходят без потерь. Так что не факт, что виновата линия. А лучше поменяйтесь с кем-нибудь модемом на некоторое время, с целью проверить модем.

Худший ответ: Какой конец истории то?
Я вообще удивлён, что первым делом не посоветовали выбросить роутер. У меня D-Link 2640 был, померал он долго и мучительно, а грешил я на провайдера. Потом маршрутизатор помер, поставил Linksys X1000 и зажил очень даже хорошо. Но раз в неделю перезагрузки зависания маршрутизатора случались. Потом купил mikrotik, установил с него PPPoE соединение и Linksys перевёл в режим Bridge. После этого, если и зависает, то точно не Linksys. Всем этим хомячным маршрутизаторам не хватает мозгов, поэтому они в режиме маршрутизатора обсираются. А модему особо ресурсов не нужно, поэтому на любом ADSL роутере в режиме bridge с DSL проблем не будет, если обслуживать PPPoE, маршрутизацию и другой колхоз будет более производительная железяка.
P.S.: Я видел, что возраст этого вопроса бородатый. Пишу для будущих поколений, кто так же получит в выдачи поисковика это обсуждение.
Вопрос: Несанкционированный доступ к gmail через imap

Лучший ответ: Сегодня зашел в статистику ip-адресов, с которых производится вход в google-mail, и заметил, что запросы на проверку почты (из стандартного приложения чтения почты на symbian^3) приходят со странного динамического айпишника (67.220.123.*), находящегося, по данным whois, в США… 

Данные с whois:

Отсюда отчетливо видно что вышеописанный айпишик не прокся и что все запросы на проверку почты полностью идут через сервер em.outgoing1.messaging.nokia.com, что означает, что Nokia может и, я уверен, собирает без моего ведома статистику обо мне, а, возможно, и весь траффик, иначе зачем пересылать весь поток данных через свой сервер? 

Что то мне не комфортно пользоваться теперь этим средством чтения писем, а вдруг дядя Сэм читает мою переписку? О_о

Худший ответ: Часто сервисы которые вы подключили так делают.
Например для Андроида. 

Пробейте IP. Это скорее всего гугл.
Может и smartr contacts.
Вопрос: Как подключиться через ssh с помощью пароля?

Лучший ответ: В /etc/ssh/sshd_config поменять:PasswordAuthentication no
на:PasswordAuthentication yes

Худший ответ: На Ubuntu у рута нет пароля, поэтому вход по дефолту под ним невозможен, даже если разрешён в настройках ssh сервера. Так что сперва нужно задать руту хороший, надёжный пароль. Потом уже и заходить, убедившись что в конфиге сервера разрешён root вход (PermitRootLogin yes) ;)
Вопрос: Возможны ли самомодифицирующиеся, рекурсивно самоизменяющие свои реализации автоматические тесты к рекурсивно самоизменяющимся метапрограммам?

Лучший ответ: Что такое тест? 
Это верное утверждение относительного того что: f(a) = b.
где f - это ваша программа (такой черный ящик, функция)
В таком ключе самоизменяемых тестов не существует.
Есть начальное состояние программы, есть алгоритм её работы (в черном ящике), и есть результат исполнения этой программы. Результат должен совпадать с тем, что было заложено ранее. т.е. f(a) должно быть рано b. Если не равно, то тест не прошел.
Как  можно изменить тест, чтобы получить другое покрытие начальных и конечных условий ?
А никак. А вы вообще уверены будете, что данный тест покрывает именно те условия. Может быть, в данном случае, результат исполнения программы должен быть совершенно другой?

Худший ответ: Вы сами даёте ответ на свой вопрос:дописывает каким-то чудом новый кодвсе как-то улучшается само собой соответствующий тест сами себя переписал из начального
Вопрос: Бросать университет в пользу самообразования и работы?

Лучший ответ: Мой Вам ночной совет. Институт — это «качалка» для мозга и куча воспоминаний. Остальное потом нагоните :)

Худший ответ: Не стоит, те люди, которых часто приводят в данной ситуации, не задавали такие вопросы на «своем хабре», у них была идея(цель, компания, нужное подчеркнуть) которые четко давали понять, что надо заниматься именно ими и именно сейчас. 
я, лично, получил 2 образование, первое не ITшное, второе ITшное заочно, к моменту когда учился, уже программил и второе далось «наура» и просто. Единственное сейчас мучаюсь, закончить аспирантуру или уже расслабиться :)
Вопрос: Где получить курс валют?

Лучший ответ: Вот kurs.com.ua/informer/api, правда биткоина нету
Биткоин можно отдельно взять тут https://blockchain.info/ru/tickerUPD: Все есть тут - https://currencylayer.com

Худший ответ: Во-первых, на разных биржах разные курсы (на самом деле актуальные курсы между фиатными валютами формируются и существуют тоже только в пределах бирж).
Во-вторых, если вас интересует предельная точность курса на текущий момент времени, то вы должны понять такую вещь как спред, и то, почему цену последней сделки (так технически берется значение курса) нельзя рассматривать как цену по которой в данный момент мгновенно можно продать/купить неограниченный объем валюты.
Публичное API (доступно без регистрации) имеют основные крипто-биржи: Bitfinex, Bitstamp и BTC-e.
Вопрос: Куда подевались события с habrahabr ?

Лучший ответ: Так что он не нужен что ли? Мне было очень удобно искать там события

Худший ответ: Раздел упразднен после редизайна сайта.
Вопрос: Как называется сборка Total Commander с широким набором плагинов (не программ)?

Лучший ответ: Попробуйте сборку от SamLab. В ней есть сторонние программы (чистка диска, реестра, AkelPad). Но плагинов в ней тоже очень много. По крайней мере критериев поиска дофига в нем :-)

Худший ответ: Использую сборку Grey Pack, но в ней куча софта/плагин обоих перечисленных вами видов.
Вопрос: Excel пишет при открытии документа: «Файл поврежден, поэтому его нельзя открыть». Как исправить?

Лучший ответ: Начиная от "руками поправить 1 байт в заголовке" и кончая "никак", потому что степень повреждения файла вы не указали.

Худший ответ: Можно попробовать открыть через другой офисный пакет, типа OpenOffice. Так же можно попробовать посмотреть что получится здесь: https://onlinefilerepair.com/ru/excel-repair-onlin...
Вопрос: Как можно будет переустановить windows 10?

Лучший ответ: По имеющейся на данный момент информации, после истечения года бесплатной возможности обновления, обновиться при переустановке ОС (если снова ставите 8-ку) на 10-ку будет невозможно - нужно будет покупать windows 10.
Думаю, нужно будет всем, кто хочет оставить у себя windows 10 активированный, освоить создание образа системы =)

Худший ответ: MVP Microsoft Вадим Стёркин всё подробненько рассмотрел в своём блоге www.outsidethebox.ms/17644
Вопрос: AngularJs как замена jQuery?

Лучший ответ: Вы вообще о чем? AngularJS — это MVW фреймворк. jQuery — библиотека для манипуляций с DOM. Как их можно сравнивать?или он подходит только для одностраничных сайтов? 
Мне кажется, Вы совсем не поняли, для чего нужен ангуляр.

Худший ответ: Angular более высокоуровневая библиотека чем JQuery. Типовые вещи можно очень быстро и просто делать. Но если что-то более сложное требуется - придется лезть под капот, писать сервисы, директивы и т.д. Под Angular сделано меньше сторонних библиотек - потребуется адаптировать JQuery библиотеки.
В JQuery принято код максимально отделять от разметки. В Angular html и js более дружны)
Вопрос: Выплаты пользователям игры, как организовать с точки зрения закона и какой сервис для этого выбрать?

Лучший ответ: Можно, если грамотно сделать.Делайте фантики внутри игры, и играйтесь с ними сколько влезет. Это законно. И у вас появиться внутриигровая валюта.Сделайте покупку внутриигровых плюшек как за фантики, так и  за реальные деньги. И ваша валюта привяжется к реальным деньгам.Не продавайте ее и не покупайте за реальные деньги. Просто не препятствуйте и даже немного одобряйте тех пользователей которые начнут ей спекулировать.
В результате и овцы сыты, и волки целы.

Худший ответ: 1. Платите налоги и подключайте любую систему on-line.
2. Пишите оферту грамотно.
3. Используйте Яндекс.Деньги (через API).
Пример такого сервиса: vbochonke.ru
Вопрос: Какие конфигурации СХД выбрать под разные задачи?

Лучший ответ: Ответов на данные вопросы imho не существует без планируемого профиля нагрузки.
PS
Отучитесь пожалуйста от использования русских аббревиатур.
Что такое san и nas знают все. СХД лично мне пришлось гуглить.

Худший ответ: @love4you, решения, которые мне лично доводилось видеть, бывают разные, и далеко не все - удачные. Зависит от бабла, выделенного инженеру, или от оборудования, которое у него было. Работать-то будет всё в разных вариациях. СХД для помойки - опять таки какие требования по доступу - может быть какой угодно, но я бы выбрала FC/SAS 10-15k для большой и нагруженной помойки, а для небольшой нормально и SATA. Для бэкапа нужны требования по надежности и времени восстановления. Надежнее всего хранить на ленточных библиотеках, кстати. Для вирта можно flasharray. Но всё зависит от ТЗ и денег. Как-то так.
Ищите статьи, где сравниваются по производительностям разные конфиги (там же обычно и рекомендуются, какие под помойку а какие под вирт).
Вопрос: Передать 0 в POST-запросе

Лучший ответ: Первый раз слышу. var_dump($_POST) что происходит?

Худший ответ: типизируй как (string)
Вопрос: Зачем продолжают изучать Corel draw? Он ещё жив?

Лучший ответ: У Корела более понятный интерфейс для новичка и более простая learning curve.
"Для дома для семьи" он зачастую проще и удобнее. Илл более хардкорно-профессиональная программа.

Худший ответ: Некоторые специфические плотеры печатают тока с него ((.
Вопрос: А что вы замечали за зубрами программирования на C?

Лучший ответ: Дважды прочёл анализ, так и не понял к чему Вы придираетесь.

Худший ответ: Ну, не надо так к макросам относиться…
Вот, например, что мне наотвечали на мой вопрос на stackexchange… (кстати, все равно своим воспользовался, т.к. вникать в суть boost'а ни времени, ни желания не было).
Вопрос: Где и как найти инвестора?

Лучший ответ: Почему отвергаете кикстартеры? Хорошие и проверенные способы, а у вас продукт как раз уже в реализации так сказать. просто продумать финансовую политику, чтобы минимальная цена по предзаказу была не себестоимость, а позволяла вам и выигрывать у конкурентов предложением и одновременно развиваться дальше.
Можно сделать ограниченное предложение.

Худший ответ: Мини-биржа "Совладелец" minibirzha.ru
Это торговая площадка (аукцион и биржа) для приобретения и продажи ценных бумаг малого бизнеса.
Инвесторы получают доходы в виде ежемесячных дивидендов и на разнице курсов ценных бумаг.
Средства от продажи ценных бумаг направляются на открытие и развитие предприятий малого бизнеса. Активы предприятий являются гарантией сохранности средств инвесторов.
Предприниматели получают финансирование от Инвесторов проекта, из фондов Мини-биржи. Кроме того предприятия получают возможность открытия своего магазина на Мини-бирже (в процессе реализации) получая таким образом ещё и заинтересованных потребителей товаров и услуг, дилеров.
Вопрос: Как проложить сеть организации через один провод?

Лучший ответ: Сеть организации через один провод -- это коаксиальный кабель :-) Кабель продаётся в любом радио-магазине, а вот сетевушки под коаксиал нужно искать на каких-нибудь компьютерных помойках :-) Ну и нужно понимать, что сетевушки эти будут развивать скорость в 10 мегабит, и весь сегмент будет по пропускной способности делиться на количество машин. Т. е. если, например, коммутатор сможет обеспечить скорость в 100 мегабит сразу между несколькими парами машин, то в коаксиале 10 мегабит делятся на все машины в сегменте. Но в 10 килорублей можно уложиться, я думаю, да :-)
А, ну да, и ещё момент -- коаксиальные сетевушки были только под ISA и под PCI разъёмы :-) Никаких PCI-E :-)

Худший ответ: Бюджет - чем меньше тем лучше, но потолок не более 10к. Расстояние же получается не более 100-150 метров.
Вопрос: Как создать видеохостинг с нуля?

Лучший ответ: Берете Жомла, подключаете Жикверу, 6 плагинов.
Готово!

Худший ответ: www.razuna.org
cumulusclips.org
clip-bucket.com
www.clonescripts.com/youtube-clone-script
Или вот plugin под joomla https://www.apptha.com/category/extension/joomla/h...
Вопрос: Как защититься от инсайдеров?

Лучший ответ: Вот примерный перечень внутренних документов, который у вас должен быть:
Положение, в котором вы определяете состав информации, которая является конфиденциальной для вашей организации;
Положение о сохранении конфиденциальной информации;
Инструкция о порядке допуска сотрудников к сведениям, составляющим конфиденциальную информацию;
Положение о специальном делопроизводстве и документообороте;
Положение о работе с иностранными клиентами и их представителями;
Обязательство сотрудника о сохранении конфиденциальной информации;
Памятка сотруднику о сохранении коммерческой тайны. 
Также я бы на вашем месте прописывала в договоре с контрагентами пункт о сохранении конфиденциальной информации (Например, прописываются санкционные меры при реализации угрозы конфиденциальной информации).
Вообще к построению системы защиты информации от инсайда разумно подходить с точки зрения права, организационных мер и программно-технических решений.
Вот хороший, учебник по ИБ, он хоть и 2004 года, но основные моменты прописаны хорошо lc.kubagro.ru/zi.pdf
P.S. Вы говорите об инсайде, но не задумываетесь о том, что может происходить непреднамеренная  утечка информации (хотя, если верить исследованиям, именно на неё приходится основная доля потерь конфиденциальной информации).

Худший ответ: Внутренние нормативные документы, SIEM (есть open source), обучение, тестирование персонала, DLP, архив электронной почты, разделение сети
Вопрос: Рискованно ли работать во фрилансе под настоящими именем, если не платишь налогов?

Лучший ответ: Смотря какой доход,  банковской тайны уже нет(налоговая спокойно может посмотреть все операции и т.д.). Могут и заинтересоваться вами, если доходы достаточно велики.
В чём проблема оформить ИП?

Худший ответ: Все от сумм зависит.. Я работал до 50к руб. в мес - проблем не было. Потом оформил ИП)) Думаю если будут доходы свыше 100к в месяц, могут позвонить :)
Вопрос: Почему автоматически перекидывает с http на https?

Лучший ответ: Есть ещё один вариант при котором происходит автоматический "редирект" браузера с http на https
Подробнее тут: habrahabr.ru/post/216751
Настройка называется «HTTP Strict-Transport-Security» и в конфиге выглядит примерно так:add_header Strict-Transport-Security "max-age=31536000";
Если надо что бы настройка использовалась так же и для поддоменов (субдоменов таких как xxx.example.com, xxx2.example.com и т.д.) указывается параметр includeSubDomainsadd_header Strict-Transport-Security "max-age=31536000; includeSubDomains";max-age означает количество секунд в течении которых браузер помнит что для домена есть https и его нужно использовать принудительно. max-age=31536000 = 1 год.

Худший ответ: Проблема была просто в браузере! Это, как оказалось, кешится!
Вопрос: CMS для закрытых постингов с разделением по группам пользователей + рассылка

Лучший ответ: Drupal + плагины.

Худший ответ: WordPress+BuddyPress+плагины
Вопрос: Как сделать стартовую страницу google chrome такой?

Лучший ответ: Настройки->Начальная группа->Следующие страницы->Добавить, в поле "Добавить страницу" пишите "chrome://apps/".

Худший ответ: в настройках пропишите адрес из адресной строки тот же:
chrome://apps
PS: по мне - ярлыки на панельке в ОС - гораздо удобнее...
Вопрос: Есть ли системы для администрирования веб-серверов UNIX?

Лучший ответ: Наймите админа линуксоида 8)))

Худший ответ: всем спасибо, особенно @alexclear, попробую пока что webmin - лучше него пока что не нашел.
Вопрос: Парсер HTML на ruby?

Лучший ответ: Если вопрос как и чем, то nokogiri.

Худший ответ: split & gsub легко справятся
Вопрос: Интернет-магазин на Node.JS?

Лучший ответ: А чем продиктован выбор технологии? Почему Node.js?

Худший ответ: Мне кажется нод создан немного для других задач, можно какие то специфичные части конечно на нод реализовать, но в целом ваша идея полный бред.
Вопрос: Свободный график в IT компании. Насколько он продуктивен?

Лучший ответ: Лучший совет: перестаньте вообще считать часы. Смотрите, сколько работы выполнено по итогу в месяц. Если среднюю норму выполнил, все ок. Если куча хвостов, поговорить и в случае отсутствия вменяемых причин — уволнять. А где и когда человек работает — неважно; оттого что он просидит 8 часов в офисе с 9 до 6 работа не сделается — может у него пьянка была ночью и ему именно сегодня лучше придти к 2, поработав до поздней ночи.

Худший ответ: Хм. У нас в основном работают с 3 до 11 — все довольны, всем хорошо. 
Ну и да — часы тоже никто не считает.
Вопрос: В чем суть конструкции и как такое возможно?

Лучший ответ: class Set implements \ArrayAccess, \Countable, \IteratorAggregate
Всё дело в том, что этот класс реализует интерфейс ArrayAccess.
P.S.В \Slim\Helper\Set никаких магических методов нет имеется. 
Еще как имеются - https://github.com/slimphp/Slim/blob/2.x/Slim/Help...

Худший ответ: Класс реализует интерфейс ArrayAccess: php.net/manual/ru/class.arrayaccess.php
Вопрос: Что я делаю не так? Вопрос мотивации?

Лучший ответ: меня мотивируют деньги и интересные задачи. если для ваших программистов это не мотивация, то может пора искать других?

Худший ответ: Можеть «лошадь сдохла» и Вы единственный, кто не этого не замечает? Проекты бывают и провальные тоже.
Вопрос: Где можно найти объемные датафреймы для визуализации?

Лучший ответ: Привет.
Ну сразу же приходят в голову тестовые наборы данных из ggplot2, которые часто используют для примеров, смотреть здесь docs.ggplot2.org/current в разделе Data.
Более богатый на выбор вариант: пакет `datasets` - https://stat.ethz.ch/R-manual/R-devel/library/data...
Вот хороший пост на R-bloggers по этой теме: www.r-bloggers.com/datasets-to-practice-your-data-...
Поисковый запрос "R practice dataset" выдает много разной информации - выбирай что нравится.

Худший ответ: База данных Всемирного банка в различных машиночитаемых форматах: mydata.biz/catalog/databases/wdi
Вопрос: Как улучшить производительность скрипта python?

Лучший ответ: Открывайте файлы в конструкции `with` чтобы после выхода из тела конструкции (и завершении работы с файлом) ресурсы освобождались.
Еще советую прочитать вот этот пост по поиску утечек памяти.

Худший ответ: Если по хардкору, — то можно на каждый файл пустить по процессу асинхронно, или хотябы по пачке файлов, штук 10 например. Процесс обработал, вернул какой-то результат, завершился. А главный скрипт в это время оперирует этими процессами и собирает с них полученные данные.