pavki/hr_qa_sbs_best_bad huggingface dataset:
Вопрос: Почему Pycharm не видит pyTelegramBotAPI?

Лучший ответ: ModuleNotFoundError: No module named 'pyTelegramBotAPI'
Скачивать нужно pyTelegramBotAPI, а импортировать - telebot

p.s А можно было просто открыть документацию и решить всё за минуту :D
A simple echo bot
The TeleBot class (defined in _init_.py) encapsulates all API calls in a single class. It provides functions such as send_xyz (send_message, send_document etc.) and several ways to listen for incoming messages.

Create a file called echo_bot.py. Then, open the file and create an instance of the TeleBot class.

import telebot

bot = telebot.TeleBot("TOKEN", parse_mode=None) # You can set parse_mode by default. HTML or MARKDOWN
Note: Make sure to actually replace TOKEN with your own API token.

https://github.com/eternnoir/pyTelegramBotAPI#a-si...

Худший ответ: Посмотри тут возможно поможет, решение с данной библиотекой и виртуальным окружением:
https://7bd.ru/python/bad-pycharm-import.html#acti...
Вопрос: Бывает ли стыдно за свои старые вопросы?

Лучший ответ: Да, бывает. И за вопросы, и за ответы, и за посты на форумах, и за комментарии под техническими статьями. Но самое главное - за старый код. И это хорошо. Часто это обозначает, что я сильно вырос с того времени, как стыдное написал.

Худший ответ: Пффф, нет
Вопрос: Есть ли смысл менять блок питания?

Лучший ответ: Видеокарта без разгона укладывается в 250ватт.
Процессор без разгона укладывается в 100ватт.
Все остальное - еще 100ватт.
В итоге - 450ватт максимального возможного потребления.
Загружать блок под завязку не рекомендуется, надо брать с запасом. Поэтому для такой конфигурации оптимален блок питания мощностью 600-700ватт.
Ну и по линиям питания видеокарты надо смотреть чтобы БП обеспечивал ток по нужным линиям не меньше чем необходимо для конкретной карты.есть ощущение, что данный блок не справляется.Внезапно отключается или перезагружается под нагрузкой? Артефакты на видео? Дым из БП? На чем конкретно базируется данное ощущение?

Худший ответ: Отталкиваясь от личного опыта, я бы не советовал использовать блоки от Aerocool, даже если у них есть сертификаты. Серию KCAS вообще стороной обходите.
У вас сейчас собрана довольно дорогая сборка на топовых комплектующих, при этом стоит бюджетный БП за 3к. Если он шкваркнет, то не жалко будет только бюджетную Mobo, а вот если остальному достанется - то я и сам из солидарности расстроюсь.
Продайте его на вторичке, купите что-нибудь более серьезное и как минимум бронзовое. Ну и да, 750 ватт и выше. Если захотите 9900K погнать, то жрать он будет как дикий.
Вопрос: Чем проверить много сайтов на доступность?

Лучший ответ: Цикл фор а в нем курл запрос

Худший ответ: в XENU есть же список УРЛов
https://documentation.help/Xenu-Link-Sleuth/urllis...
я не помню  - там глубину можно указывать? возьмите ноль или 1 

ну а так классика:
https://stackoverflow.com/questions/6136022/script...
Вопрос: Как заполнить массив используя цикл for?

Лучший ответ: Return в цикле for? Что-то новенькое. 
Мой вам совет — прочитайте хотя бы learn.javascript.ru. Не надо пытаться работать с фреймворками, не понимая js.

Худший ответ: Поиграйся с этим :)const amount = 31;

const arr = Array.from(new Array(amount), (item, index) => index);
Вопрос: Как запомнить все options, которые выводятся в man pages?

Лучший ответ: Заучивать бесполезно, да и не нужно. Знать на что способна та или иная команда - да, хорошо, но в реальной жизни используется довольно ограниченное число команд. Так что только практика. 
Заученная информация имеет свойство выветриваться

Худший ответ: А зачем? 
Нужное запомнится само при частом использовании. Менее нужное всегда можно посмотреть. Для разработки я постоянно держу на компе tkman - программу на Tk, в которой маны читаю на функции.
Вопрос: Как применить нестандартный шрифт к русскому языку в html?

Лучший ответ: Так может шрифт в принципе не поддерживает русский?
и так будет немного правильнее записывать:@font-face {
 font-family: 'Dited';
 src: url("macroman/Dited-webfont.woff") format('woff');
}

p {
  font-family: 'Dited', sans-serif;
}

Худший ответ: 1. Проверяем, что шрифт поддерживает кириллицу.
2. Качаем шрифт, если этот нужный.
3. Конвертируем ttf или otf в веб-шрифт.
4. Кладем то, что сконвертилось (шрифты и сгенерированный цсс) в желаемую папку в проект (например fonts/dited).
5. Подключаем сгенерированный цсс в проект, не забывая правильно прописать семейство шрифта, как он назван в полученном цсс.
6. Profit.
Вопрос: Не подкинете тему для курсовой работы с использованием PIC?

Лучший ответ: Пульт от телевизора (как вариант с возможностью "обучения").

Худший ответ: Я вспоминаю, что делал систему управления шаговыми двигателями на пике, но шаговые двигатели от старых советских матричников мне препод давал. Можно придумать что-нибудь с индикаторами и кнопочками, что бы научиться с ними работать - простой калькулятор например, но тут всё в элементную базу упирается и возможность всё это спаять нормально. Хотя, не исключаю, что для вашего курсача вполне подойдет моделирование в программе Proteus.

P.S.: более 10 лет прошло как универ закончил, а методы обучения и пики всё теже остались :)
Вопрос: Как удалить блок через некоторое время в laravel?

Лучший ответ: У этой формы скорее всего есть класс или id-шник, вот по нему можно с помощью js легко удалить:
setTimeout (() => {
  document.querySelector('.elemenClass').remove();
}, 5000)

Худший ответ: Сделайте отправку формы и получение ответа через ajax, в обработчике респонса от сервера напишите на js показ всплывающего окна и его скрытие через N секунд.
Вопрос: Нормально ли писать лендинги без фреймворков?

Лучший ответ: Да. Поймите, что вам скорее всего оторвут руки не за то, что вы что-то не использовали, а наоборот -- использовали то, без чего можно было бы обойтись. 
Если вы не видите острой нужны в фреймворке -- не используйте
Если вам не нужна база данных, не нужна какая-то логика на сервере -- нафиг php. 
Если у вас нет каких-то интерактивных частей в лендинге -- нафиг JS.

Чем проще, чем легче будет проект -- тем лучше.

Худший ответ: Нормально! Можно писать на чистом HTML + CSS или вообще лишь только на чистом HTML!
Вопрос: Оповещение о новом пользователе на сервере discord.js?

Лучший ответ: Информации в сети об этом много. Однако вот вам реализация на discord.js V12.
Также чтобы срабатывал это событие необходимо на портале разработчиков в настройках бота включить опцию Server Members Intent.
bot.on('guildMemberAdd', function (member) {
    let embed = new MessageEmbed();
    embed.setTitle('Новый пользователь!')
        .setColor('#ffffff') //Цвет полоски
        .setDescription(member.user.tag + ' присоединился к серверу!')
        .setThumbnail(member.user.avatarURL())
        .setFooter('Всего пользователей: ' +  member.guild.memberCount)

    const channel = guild.channels.cache.get('ID канала куда отправляется сообщение');
    channel.send(`<@${member.user.id}>${content}`, { embed });
})

Худший ответ: этот вопрос настолько популярен, что в официальной документации по discord.js для него написан готовый код.
Вопрос: Не могу подключится к самому себе по внешнему ip в локальной сети, как исправить?

Лучший ответ: Надо настроить HairpinNat.
Конкретного рецепта как это сделать в Zyxel-e у меня нет, но Гугл наверняка знает.
Ещё иногда это называют loopbackNat

Худший ответ: Очевидно, что неправильно настроен NAT на роутере. Больше инфы нет) Все магические шары заняты, а гадалки в отпуске. Кидайте настройки NAT, тогда поговорим.
Вопрос: Какая марка смартфонов лучше подходит для debugging в Android studio?

Лучший ответ: Есть парк из пары десятков разных девайсов. Ни на одном нет проблем. И на ксайоми тоже.

Худший ответ: Есть парк из пары десятков разных девайсов. Ни на одном нет проблем. И на ксайоми тоже.
Вопрос: Безопасное пользование браузером под собственным VPN?

Лучший ответ: И как оно живется с такой паронойей?
без обид, но как-то не вяжется по скрину...

Худший ответ: Ну, есть очень простое решение - не использовать хром и продукцию M$ :)
Ваши рассуждения немного паранойей отдают - Вы случайно не ИТ-безопасник? :) Второй вариант относительно рабочий, особенно если вируталка не на рабочем компе, а на серваке :)
Вопрос: Как реализовать кнопку с type=submit без перезагрузки страницы?

Лучший ответ: Повесить event.preventDefault на submit. Обратите внимание что событие происходит у формы, а не у кнопки

Худший ответ: Пример с картинки делается стандартной браузерной валидацией. Просто укажите у инпута аттрибут required.

Но если хочется свою кастомную валидацию, которая будет работать во всех браузерах, тогда в коллбэке, обрабатывающем submit событие, нужно добавить event.preventDefault() и для верности в конце коллбэка вернуть return false.

https://developer.mozilla.org/ru/docs/Web/API/Even...
Вопрос: Как лучше для БД?

Лучший ответ: Если в таблице больше десятка столбцов - это зачастую сигнал того, что автор схемы плохо понимает реляционную модель и принципы работу реляционных баз данных.

Худший ответ: В первую очередь дело не в количестве полей в таблице, а в уровнях нормализации.
Обычно достаточно, чтобы таблицы находились в 3НФ или НФБК. Если уровень нормализации вашей таблицы ниже, то её нужно декомпозировать.
Есть и другие соображения в пользу декомпозиции таблицы. Например, нужно для таблицы поднять вертикальное партиционирование, но ваша СУБД (в частности MySQL) этого не поддерживает. Тогда приходится делить таблицу на две или более (главное, чтобы потом не пришлось их каждый раз join-ить).
Вопрос: React, nodejs, jwt — как сделать аутентификацию и авторизацию с refresh token?

Лучший ответ: Делаешь запрос, в middleware проверяешь токен. Если срок истек выбрасываешь ошибку. 
На клиенте при этой ошибке, делаешь отправку рефреш токен на отдельный роут.
На нем в middleware делаешь проверку рефреш токена. Если рефреш действитейный, отправляешь 
клиенту новую пару аксесс и рефреш токенов. Если нет, то ошибку доступа.

Худший ответ: Не знаю если вам поможет, примерно вот так можете попробывать. И это работает, проверять можете через middlewares или сделать, endpoint. По которому вы можете стучаться, по истечению времени. Пример базовый!

const jwt = require('jsonwebtoken');

const secret = process.env.TOKEN_SECRET || 'some other secret as default';
const tokenLife = +process.env.TOKEN_LIFE || 3600;

module.exports = (req, res) => {
  const { refreshToken } = req.body;

  jwt.verify(refreshToken, secret, (err, decoded) => {
    if (err) {
      return res.status(401).send('Unauthorised');
    }
    if (decoded) {
      const payload = {
        id: decoded.id,
        email: decoded.email,
      };
      jwt.sign(payload, secret, { expiresIn: tokenLife }, (Error, token) => {
        if (Error) {
          return res.status(401).send('Unauthorised');
        }
        res.send({
          success: true,
          accessToken: `Bearer ${token}`,
        });
      });
    }
  });
};
Вопрос: Как создать магазин электронных книг?

Лучший ответ: Советую использовать Open Cart для интернет магазина.

Худший ответ: Woocommerce имеет возможность продажи електронных товаров прямо с коробки
Вопрос: ORDER BY ... ASC, из-за чего может отличатся сортировка, если ее не меняешь?

Лучший ответ: таблица users,
по ней нет сортировки, соответственно, строки извлекаются в порядке вставки.
если в from использовать posts - по-идее, разница должна исчезнуть.

Худший ответ: Выбирать по двум критериям, например ORDER BY datePost ASC, idPost ASC (в этом случае выбираться будут по дате, но при одинаковой дате - по idPost).
Вопрос: Какую литературы Вы бы посоветовали для изучения ASP Net Core?

Лучший ответ: Я начинал изучение aspnet core по метаниту.
Считаю, что для начала этого достаточно. Более глубоко познать его проще будет уже на практике.

Худший ответ: Я изучал по Asp.net core in action и Pro Asp.net core 3. Годные книжки, но там подразумевается что вы имеете представление в общих чертах как веб устроен, и что у вас есть какой-никакой опыт программирования. Плюс на каналах dotNET и NDC Conferences много интересных стримов.
Вопрос: В чём разница между json.Unmarshal и json.NewDecoder?

Лучший ответ: json.Unmarshal использует массив байт, а json.NewDecoder это потоковый парсер, которому не нужно сразу хранить в памяти все данные для парсинга.

Для парсинга json из файла или из запроса, я бы советовал json.NewDecoder, так как он будет меньше потреблять памяти (не нужно заранее считывать в память массив байт).

Худший ответ: json.NewDecoder используется при взаимодействии с API, а json.Unmarshal при работе с данными из памяти - например забрали массив данных с базы и потом обрабатываем его
Вопрос: Как переписать for на map для асинхронного кода?

Лучший ответ: await Promise.all(list.map(funcOne)); // Если в случае ошибки в одной итерации нужно остановить все остальное

await Promise.allSettled(list.map(funcOne)); // Если в случае ошибки в одной итерации остальные должны продолжить работу

Но вы должны учитывать разницу:

Если использовать стандартный for то все асинхронные вызовы будут выполняться последовательно, один за другим.
Если вызывать асинхронную функцию в map, то все вызовы будут запущены параллельно, и итоговый Promise.all нужен, чтобы дождаться пока они все будут выполнены. Это эквивалентно примерно такому коду:
const promises = []
for (const item of list) {
      promises.push(funcOne(item));
}
await Promise.all(promises)


Худший ответ: Именно с map никак не сделать, что бы следующий вызов функции ждал предыдущего, как это происходит в цикле с await, а вот с reduce уже можно:const list = [
  'main',
  'main-footer',
  'main-header',
  'main-content',
];

list.reduce((p, item) => p.then(() => funcOne(item)), Promise.resolve());
Вопрос: В каких приложениях Go существенно эффективнее чем Node.js и PHP?

Лучший ответ: Бенчмарки - это хорошо, но очень важно понимать что именно там меряли и почему  результаты именно такие.

Несколько лет назад я тоже делал бенчмарки Python, PHP, Node, Go.
Для меня были важны две вещи:
1 - скорость ответа сервера/кол-во запросов в секунду
2 - объём сервиса в памяти, т.к. от этого зависит стоимость ресурсов

На тесте, где сервисы не делали запросы в базу - из всех четверых лучше всего отработал Go с приличным отрывом, цифры, к сожалению, уже не помню.

Но вся эта разница сошла на нет, как только добавился всего один простой SQL запрос в базу, в таблицу с 10 строками. И на этом фоне разница по скорости ответа была меньше 10%.

Иными словами если ваш сервис работает с базой - критической разницы по скорости работы между Go/Rust/PHP/Node/Java, особо не будет.

Другое дело если ваш сервис не будет делать запросы в базу, или будет кешировать результаты запросов, тогда вы почувствуете ощутимую разницу.

Еще очень важно понимать сколько ваш скрипт потребляет ресурсов. Это становится критически важным, когда вы имеете дело с большими нагрузками.

Один экземпляр Go занимал в памяти порядка 6мб RAM, при том, что Pytho+Django порядка 60мб.
Node уже не помню сколько, но что-то близкое к Python'у.

Вот тут уже, когда серверов у вас будет много - количество серверов с Go у вас будет в 10 раз меньше, соответственно расходы за эти сервера у вас будут в 10 раз меньше :)

В крупных компаниях, где нужны специалисты по Go - там уже есть высокие нагрузки и переход на Go и поиск специалиста обусловлен необходимостью решить в первую очередь проблему с нагрузками, оптимизировать расходы на оборудование.

Где-то читал статью, что у людей было API на порядка 40 серверов на Node, после переписывания на Go - серверов осталось два, из которых второй запасной :)

Худший ответ: Есть ещё некий момент следования за трендами.

В своё время, как нам всем известно, крупнейшие веб-проекты работали на PHP, и в проблеме возможности оптимизации киты решили изобретать велосипеды, что-то в духе своих диалектов, как фб или вк, кто-то переписывал ядра на более производительные языки, с++ итд итп.

Го же лично для меня представляется чем-то вроде золотой середины в описанной мной ситуации.
Он раз - компилируемый, два - эффективнее (>php,js), три - надёжнее (>php,js), четыре - проще (>c++). А значит удовлетворяет запросу выше.
И при том я бы ни в коем случае не разрабатывал (читай - не переписывал) на нём проект, пока под проект не выделен целый ЦОД, а не полка на стойке, пока обо мне не говорит весь мир.

С другой стороны - не обрёл он ещё той силы в виде поддержки, коммьюнити и возраста (как критерия надёжности), чтоб я предпочёл его крестам.
Вопрос: Как лучше учить c# для unity и атрибуты?

Лучший ответ: Сначала изучи фичи шарпа, чтобы легко понимать документацию юнити. А потом уже сам юнити. Тогда глупых вопросов возникать не будет

Худший ответ: Я считаю, что как и в любой другой сфере, лучше делать это совместно, и практикуясь на простеньком, но настоящем проекте. Берёшь условный дудлджамп и постепенно танцуешь на всевозможных граблях -- закрепляешь код из интернета практикой, и тем же закрепляешь познания в движке как инструменте. А там уж, если захочешь, полезешь под капот и шарпа, и юнити. 
Затем либо допиливаешь проект в портфель, либо забрасываешь и начинаешь с чистого листа и на репит
Вопрос: Какую СУБД выбрать для большого проекта?

Лучший ответ: Да любую. Большой проект понятие растяжимое и в 99.999999% случаев это завышенная оценка

Худший ответ: Если только данные аккаунтов, то тебе и SQLite хватит
Вопрос: Возможно ли извлечь информацию из блоков, объединенных одним классом, при парсинге сайта?

Лучший ответ: Посмотрите документацию BeautifulSoup там много примеров.

Худший ответ: Решение предоставил Евгений Палыч чуть выше в комментариях к посту
address_block = item.select_one('div._93444fe79c--labels--1J6M3')
print(address_block.get_text(" "))

# для всех div на странице с классом _93444fe79c--labels--1J6M3
address_blocks = item.select('div._93444fe79c--labels--1J6M3')

for e in address_blocks:
  print(e.get_text(" "))
Вопрос: Низкая производительность нового ноутбука. Что делать?

Лучший ответ:  Вроде должен летатьПочему это? Потому что новый?а на деле задумывается при работе с браузеромВполне ожидаемая ситуация.
Есть минимум необходимый для комфортной работы в офисном режиме-Оперативная память не менее 8Гб.SSD диск под системуПроцессор с тактовой частотой не менее 2Ггц.
От такой конфигурации можно ожидать комфортной работы при офисных задачах. Для тяжелых задач этого будет уже маловато.
У вас - явная нехватка оперативной памяти, медленный HDD, и процессор с тактовой частотой 1,6Ггц.Да он просто обязан тормозить!

Худший ответ: Все дело в ссд и оперативной памяти. ССД либо на 120 в дополнение к hdd либо вместо него на 240+.
Память до 8 гигабайт стабильно увеличивать надо. 
Все ролики есть на ютубе возможно даже сам сможешь сделать.
Вопрос: Правильно ли я понимаю работу защищенных протоколов?

Лучший ответ: Это симметричное шифрование, ассиметричное иначе. 
Ассиметричное на примере TLS (https):
Сервер и пользователь имеют(генерируют) по паре ключей - открытый и закрытый(секретный) в момент инициализации соединения. Они обмениваются открытыми ключами. Юзер шифрует открытым ключем сервера и отправляет ему запрос, расшифровать который возможно только секретным ключом сервера. И в обратном порядке также, ответ сервер шифрует открытым ключем юзера...

Худший ответ: Нет вы неправильно поняли алгоритмы шифрования бывают разные упомянутый вами алгоритм это алгоритм с открытым ключом есть открытый ключ есть закрытый ключь открытым шифруем закрытым дешифруем это алгоритм RSA есть еще AES

чтобы делать защищенные протоколы не обязательно изучать шифрование можно просто использовать библиотеку функций на присмер openssl
Вопрос: Как правильно написать TCP клиент-серверное приложение, чтобы оно могло работать не только в локальной сети?

Лучший ответ: "У меня статический ip, порты я открыл и на своём компьютере и на компьютере с клиентом."
статический ip у вас явно на роутере, скорее всего требуется с него проброс порта на ваш компьютер сделать.
На компьютере с клиентом порт открывать необходимости нет.

Худший ответ: Пустите пинг и трассировку от друга до вас, чтобы узнать проблемный узел.

 Как вам написал, скорее всего, вы просто неправильно настроили сеть.
Вопрос: Какие модные фронтенд-фишки можете посоветовать?

Лучший ответ: Лучшее, что вы можете сделать - не тащить на сайт кучу всякой херни, которая обычно много весит, ухудшает перфоманс, затрудняет восприятие контента и не нужна никому, кроме вас. Серьёзно. 
Любая анимация должна быть уместна, и если вам, глядя на дизайн, никаких конкретных идей в голову не приходит - то и не нужно. Нет способа удешевить сайт сильнее, чем добавить элементам разного толка выпрыгивания со всех сторон, глитч-эффекты и всё такое. 
Хочется динамики - найдите какое-нибудь не сильно быстрое видео и поставьте его как фон, или по запросу "canvas background animation" найдите ненапрягающую анимацию.

P.S. Речь идёт не о сайтах, которые должны побеждать на Awwwards, а об обычных сайтах, которые делаются для людей, а не для конкурсов. 
P.P.S. Если всё-таки очень хочется, то нужно гуглить по запросам "hover effects" и "canvas animation", остальное без конкретной дизайнерской задумки вреда несёт куда больше, чем пользы. 
Юзабилити - это про то, чтобы "работает быстро и понятно (как у всех)".

Худший ответ: Я тоже бекендер, но если освоишь это, то будет охрененно https://threejs.org/
Вопрос: Где у меня ошибка?

Лучший ответ: Проблема в том, что числа повторений в задаче ОЧЕНЬ большие.
Правильное решение должно не строить строку, а хранить ее в виде пар (символ, количество), как в RLE.
Самое быстрое решение - хранить список таких пар (или 2 списка). Но проще, и должно проходить по времени другое решение: Можно просто хранить массив этих пар (или 2 массива, один для символов, другой - для количества повторения). 

Позиция курсора тут будет храниться двумя числами - в какой группе в массиве он сейчас и где он внутри группы. При перемещении сначала увеличьте или уменьшите позицию внутри группы. Если стало -1 или слишком большим, то переходите к следующей или предыдущей группе. Если таких нет, откатывайтесь на границу.

При вставке надо разбить текущую группу на 2 (если вы не на границе между группами) и добавить новую группу. Это вставка в центр массива двух элементов. Не знаю, как это на js реализуется, но точно можно. На худой конец, вставляете пустые элементы в конец массива и перемещаете нужные элементы на 1-2 позиции циклом с конца к началу. Но скорее всего, есть какая-то встроенная конструкция.

Есть оптимизация - если вставляемый символ такой же, как текущая группа (или предыдущая, если вы на границе), то просто прибавляйте новое количество к повторениям в группе.

В конце нужно для каждой позиции пройтись по массиву групп, пока не отсчитаете нужное количество символов. Если слишком медленно, то можно M чисел отсортировать и потом одним проходом по массиву групп с указателем в массиве запросов найти все ответы (если текущая позиция-запрос левее текущей группы, переходим к следующей позиции, если текущая позиция в текущей группе - мы нашли ответ).

Худший ответ: массив arr - это входные данные заключенный в массив

длина текста не превысит 1000000000

Ограничение по памяти: 256 Мб

В качестве дополнительного задания найдите взаимосвязь между этими тремя предложениями ;)
не говоря уже о том что вы потом с этим массивом делаете.
Вопрос: Площадка, где ищут разработчиков, готовых работать за еду?

Лучший ответ: Площадка, где ищут разработчиков, готовых работать за еду?
А вы не пробовали платить чтобы получить шанс делать комуто работу?

Худший ответ: Площадка, где ищут разработчиков, готовых работать за еду?
А вы не пробовали платить чтобы получить шанс делать комуто работу?
Вопрос: Как добавить scss в react?

Лучший ответ: В create-react-app он уже есть. Просто создавайте файл SomeName.scss файл и пишите код.

Худший ответ: npm i node-sass@4.14.1 установи эту версию
Вопрос: Коллекции List c# максимальная длинна?

Лучший ответ: 0) Всё упирается в доступную оперативную память.
1) Если вы хотите показать их все пользователю, то ему не нужны эти ваши триллионы значений, ему и тысяча не нужна.
2) По возможности всю логику обработки данных делать на сервере SQL. 
3) Пагинация в SQLite SELECT * FORM t LIMIT сколько, начиная_от_куда

Худший ответ: При запросе данных не делать ToList - оставить в IQueryable для дальнейших выборок.
Дальше можно будет сделать выборку + постраничный вывод, через

d.Where(...).Take(...).Skip(...) , где IQueryable<Curr> d