User: Файл stats.js

const fs = require('fs');
const path = require('path');

// Количество дней для статистики
const statsDays = 365; // Можно сделать глобальной переменной, если нужно передавать со стороны

// Статистика
const stats = {
    totalRequests: 0,
    totalConnections: 0,
	totalIPBlocks: 0,
    date: new Date().toISOString().split('T')[0] // Начальная дата - текущая
};

// Функция для сохранения статистики в файл
function saveStatistics() {
    const statsFilePath = path.join(__dirname, 'statistics.json');

    // Считываем существующие данные из файла
    let existingData = [];
    if (fs.existsSync(statsFilePath)) {
        const fileContent = fs.readFileSync(statsFilePath, 'utf8');
        existingData = JSON.parse(fileContent);
    }

    // Создаем объект с текущей статистикой
    const currentStat = {
        date: stats.date,
        totalRequests: stats.totalRequests,
        totalConnections: stats.totalConnections,
		totalIPBlocks: stats.totalIPBlocks
    };

    // Добавляем текущую статистику
    existingData.push(currentStat);

    // Удаляем старые записи, если их больше statsDays
    if (existingData.length > statsDays) {
        existingData = existingData.slice(existingData.length - statsDays); // сохраняем только последние statsDays записей
    }

    // Сохраняем обновленные данные
    fs.writeFileSync(statsFilePath, JSON.stringify(existingData, null, 4)); // Форматируем JSON для удобочитаемости

    // Логируем только текущую статистику
    console.log('Статистика сохранена:', currentStat);
}

// Функция для обнуления статистики и сохранения её в файле
function resetStatistics() {
    saveStatistics();
    stats.totalRequests = 0;
    stats.totalConnections = 0;
	stats.totalIPBlocks = 0;
    stats.date = new Date().toISOString().split('T')[0]; // Обновляем дату
}

// Функция для вычисления времени до следующего обнуления (в полночь). Сохраняет раз в сутки
function scheduleDailyReset() {
    const now = new Date();
    const nextReset = new Date();
    nextReset.setHours(24, 0, 0, 0); // Устанавливаем на полночь следующего дня

    const delay = nextReset - now;
    setTimeout(() => {
        resetStatistics(); // Обнуляем статистику в полночь
        setInterval(resetStatistics, 24 * 60 * 60 * 1000); // Затем устанавливаем интервал
    }, delay);
}

// Сохраняет раз в 20 секунд
/*function scheduleDailyReset() {
    // Запланировать первую запись через 20 секунд
    setTimeout(() => {
        resetStatistics(); // первая запись статистики
        // Устанавливаем интервал на 2 минут для последующих записей
        setInterval(resetStatistics, 20 * 1000);
    }, 20 * 1000); // 20 секунд
}*/

// Экспортируем функции и переменные
module.exports = {
    stats,
    scheduleDailyReset,
    resetStatistics,
    saveStatistics,
};

Файл call.js

const { gpt, gptweb } = require("./API/gpt");
const { dalle } = require("./API/dalle");
const { gpt4o } = require("./API/gpt4o");
const { gpt3 } = require("./API/gpt3.5");
const { prompts } = require("./API/gpt-prompts");
const { blackbox } = require("./API/blackbox");
const { qwen } = require("./API/qwen");
const { gemini } = require("./API/gemini");
const WebSocket = require('ws');
const Bottleneck = require('bottleneck');
const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики
const fs = require('fs');
const path = require('path');
const Ajv = require('ajv');

// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме)
const ajv = new Ajv(); 
// Объект для хранения действий и состояния каждого клиента
const clientActions = {};
// Объект для хранения ограничителей по каждому клиенту
const limiters = {}; 
// Замените на ваш домен
const allowedOrigin = 'http://gpt.loc'; 

// Создайте WebSocket-сервер
const wss = new WebSocket.Server({ port: 3000 });

wss.on('connection', (ws, req) => {
	
	const urlParams = new URLSearchParams(req.url.split('?')[1]);
    const userId = urlParams.get('token'); // Получаем UUID из URL
    const userIP = req.socket.remoteAddress;
	//console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString());
	const userHeaders = req.headers;

	// Проверяем Origin
    if (!checkOrigin(userHeaders.origin, ws)) {
        return; // Если отклонено, выходим из обработчика
    }
	
	// Увеличиваем общий счетчик подключений
    stats.totalConnections++;
	
	console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin);
	
	// Инициализируем состояние клиента, если его еще нет
    if (!clientActions[userId]) {
		clientActions[userId] = {
			actions: [], // Массив для хранения действий
			connected: true, // Статус подключения
        };
	}
	else
		clientActions[userId].connected = true;
	
	if (!limiters[userId]) { 
	  // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id)
		limiters[userId] = new Bottleneck({
            maxConcurrent: 1, // Максимальное количество одновременных задач
            minTime: 1000, // Минимальное время между запросами в миллисекундах
		    highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать)
        });
    }

    ws.on('message', (message) => {
		// Проверяем, является ли сообщение экземпляром Buffer
		if (Buffer.isBuffer(message))
			message = message.toString(); 
		try {
			// Преобразуем строку JSON обратно в объект
			message = JSON.parse(message); 
			//Получаем историю чата из запроса
			let messages = message.messages;
			// Выполняем валидацию сообщений
			messages = validateMessages(messages);
			
			// Проверяем, остались ли сообщения после валидации
			if (messages.length === 0) {
				const response = { code: 2, message: "Нет валидных сообщений для обработки." };
				sendMessage(ws, response);
				return;
			}
			
			// Урезаем последнее сообщение до 2000 символов, если оно от клиента
			if (messages[messages.length - 1].role === 'user') {
				messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000);
			}
			
			// Увеличиваем общий счетчик запросов
            stats.totalRequests++;
			
			
			// Используем Bottleneck для управления количеством запросов
			limiters[userId].schedule(() => {
				// Отправка запроса на сервер чата
				return call(messages, ws);
			}).catch(error => {
				//console.error('Rate limit exceeded, message ignored:', error);
				const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." };
				// Отправка ответа клиенту
				sendMessage(ws, response);
			});
			
		} catch (error) {
				console.error('Error parsing JSON:', error);
				const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."};
				console.log(response);
				// Отправка ответа клиенту
				sendMessage(ws, response);
		}
		
    });

    ws.on('close', () => {
		clientActions[userId].connected = false; // Обновление статуса подключения
		delete clientActions[userId]; // Удаление состояния клиента
		delete limiters[userId]; // Удаление ограничителя для данного клиента
        console.log('Client ',userId, ' disconnected');
    });
});

// GPT4o
async function call(messages, ws) {
    try {
        let fullResponse = ""; // Переменная для результата
		
		console.log('Запрос клиента:', messages[messages.length - 1]); 
		//throw new Error("Намеренная ошибка для тестирования catch");
        gpt4o({
            messages: messages,
            markdown: false
        }, (result) => {
			try {
				if (!result.finish) {
					// Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления)
					fullResponse = result.message || "";
					//console.log(result);
				} else {
					// Если завершено, выводим полный ответ
					let response = { code: 1, message: fullResponse};
					console.log('Ответ чата: ', response);
					// Отправка ответа клиенту
					sendMessage(ws, response);
				}
			}
			catch (callbackError) {
                console.error('Error processing callback result:', callbackError);
                let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз." };
                // Отправка ответа клиенту
				sendMessage(ws, response);
            }
        });
    } catch (error) {
        console.error('Error:', error);
		let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз."};
		// Отправка ответа клиенту
		sendMessage(ws, response);
    }
}

// Запускаем планировщик для статистики
scheduleDailyReset();

// Очистка старых соединений раз в минуту (по желанию)
setInterval(() => {
  Object.keys(clientActions).forEach(userId => {
    if (!clientActions[userId].connected) {
      delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен
	  delete limiters[userId];
    }
  });
}, 10 * 60 * 1000); // Очистка каждые 1 минуту


function checkOrigin(origin, socket) {
    if (origin !== allowedOrigin) {
        console.log('Недопустимый домен. Соединение разорвано: ', origin);
        socket.close(); // Закрываем соединение, если домен не разрешен
        return false; // Возвращаем false для индикатора отклонения
    }
    return true; // Возвращаем true, если домен разрешен
}

// Отправляет ответ клиенту
function sendMessage(ws, message) {
    if (ws.readyState === WebSocket.OPEN) {
        ws.send(JSON.stringify(message));
    } else {
        console.warn(`Trying to send message to a closed WebSocket connection.`);
    }
}

// Удаление из массива сообщений не соответствующих схеме
function validateMessages(messages) {
    // Определяем схему для сообщений
    const schema = {
        type: 'object',
        properties: {
            role: { type: 'string' },
            content: { type: 'string' }
        },
        required: ['role', 'content'],
        additionalProperties: false
    };

    // Фильтруем массив, оставляя только корректные сообщения
    return messages.filter(message => ajv.validate(schema, message));
}

console.log('WebSocket сервер запущен через порт 3000');

Надо расширить функцию сбора статистики (stats.js), теперь нужно записывать в отдельный json файл все IP адреса с которых подключаются клиенты. Нужно записывать сам IP и количество подключений.
Assistant:  расширить функцию сбора статистики в файле `stats.js` и записывать IP-адреса клиентов вместе с количеством подключений, выполните следующие шаги:

1. Создайте новый объект для хранения статистики по IP-адресам.
2. Увеличивайте счетчик для каждого IP-адреса при каждом новом подключении.
3. Сохраняйте статистику по IP-адресам в отдельный JSON файл.

Вот как можно изменить ваш код в `stats.js`:

```javascript
const fs = require('fs');
const path = require('path');

// Количество дней для статистики
const statsDays = 365; // Можно сделать глобальной переменной, если нужно передавать со стороны

// Статистика
const stats = {
    totalRequests: 0,
    totalConnections: 0,
    totalIPBlocks: 0,
    date: new Date().toISOString().split('T')[0], // Начальная дата - текущая
    ipStatistics: {} // Для хранения статистики по IP
};

// Функция для сохранения статистики в файл
function saveStatistics() {
    const statsFilePath = path.join(__dirname, 'statistics.json');

    // Считываем существующие данные из файла
    let existingData = [];
    if (fs.existsSync(statsFilePath)) {
        const fileContent = fs.readFileSync(statsFilePath, 'utf8');
        existingData = JSON.parse(fileContent);
    }

    // Создаем объект с текущей статистикой
    const currentStat = {
        date: stats.date,
        totalRequests: stats.totalRequests,
        totalConnections: stats.totalConnections,
        totalIPBlocks: stats.totalIPBlocks,
        ipStatistics: { ...stats.ipStatistics } // Копируем статистику по IP
    };

    // Добавляем текущую статистику
    existingData.push(currentStat);

    // Удаляем старые записи, если их больше statsDays
    if (existingData.length > statsDays) {
        existingData = existingData.slice(existingData.length - statsDays); // Сохраняем только последние statsDays записей
    }

    // Сохраняем обновленные данные
    fs.writeFileSync(statsFilePath, JSON.stringify(existingData, null, 4)); // Форматируем JSON для удобочитаемости

    // Логируем только текущую статистику
    console.log('Статистика сохранена:', currentStat);

    // Сохраняем статистику по IP в отдельный файл
    saveIpStatistics();
}

// Функция для сохранения статистики по IP
function saveIpStatistics() {
    const ipStatsFilePath = path.join(__dirname, 'ip_statistics.json');

    // Сохраняем статистику по IP в файл
    fs.writeFileSync(ipStatsFilePath, JSON.stringify(stats.ipStatistics, null, 4)); // Форматируем JSON для удобочитаемости
}

// Функция для обнуления статистики и сохранения её в файле
function resetStatistics() {
    saveStatistics();
    stats.totalRequests = 0;
    stats.totalConnections = 0;
    stats.totalIPBlocks = 0;
    stats.ipStatistics = {}; // Обнуляем статистику по IP
    stats.date = new Date().toISOString().split('T')[0]; // Обновляем дату
}

// Функция для вычисления времени до следующего обнуления (в полночь). Сохраняет раз в сутки
function scheduleDailyReset() {
    const now = new Date();
    const nextReset = new Date();
    nextReset.setHours(24, 0, 0, 0); // Устанавливаем на полночь следующего дня

    const delay = nextReset - now;
    setTimeout(() => {
        resetStatistics(); // Обнуляем статистику в полночь
        setInterval(resetStatistics, 24 * 60 * 60 * 1000); // Затем устанавливаем интервал
    }, delay);
}

// Экспортируем функции и переменные
module.exports = {
    stats,
    scheduleDailyReset,
    resetStatistics,
    saveStatistics,
    incrementIpCount: (ip) => {
        // Увеличиваем счетчик подключений для IP-адреса
        if (!stats.ipStatistics[ip]) {
            stats.ipStatistics[ip] = 1;
        } else {
            stats.ipStatistics[ip]++;
        }
    }
};
```

Теперь необходимо добавить в ваш файл `call.js` вызов функции `incrementIpCount` из `stats.js`, когда происходит новое подключение клиента. Обновите блок `wss.on('connection', (ws, req) => { ... })` следующим образом:

```javascript
wss.on('connection', (ws, req) => {
    const urlParams = new URLSearchParams(req.url.split('?')[1]);
    const userId = urlParams.get('token'); // Получаем UUID из URL
    const userIP = req.socket.remoteAddress;
    
    // Увеличиваем общий счетчик подключений
    stats.totalConnections++;

    // Увеличиваем количество подключений для IP адреса
    stats.incrementIpCount(userIP); // Обновляем статистику по IP

    console.log('Client connected with user ID:', userId, 'Домен - ', req.headers.origin);
    
    // ... остальной код
});
```

С этими изменениями ваша система теперь будет отслеживать подключения по IP-адресам и сохранять эту информацию в отдельный файл `ip_statistics.json`.
User: Правильно я понимаю? Если это новый IP, то он добавляется в файл статистики со значением 1, если  IP подключается повторно, то он уже есть в файле и счетчик просто увеличивается
Assistant: , вы понимаете правильно! Логика работает следующим образом:

1. Когда новое подключение клиента происходит, функция `incrementIpCount` проверяет, есть ли IP-адрес уже в объекте `ipStatistics`:
    - Если IP-адреса еще нет, он добавляется в объект `ipStatistics` с начальным значением 1.
    - Если IP-адрес уже существует, счетчик подключений для этого IP-адреса увеличивается на 1.

Таким образом, файл `ip_statistics.json` будет содержать IP-адреса с соответствующими счетчиками, показывающими количество подключений для каждого адреса. Это позволяет отслеживать, сколько раз каждый IP-адрес подключался к вашему серверу. 

Вот основной код, который отвечает за это:

```javascript
// Увеличиваем счетчик подключений для IP-адреса
if (!stats.ipStatistics[ip]) {
    stats.ipStatistics[ip] = 1; // Если IP новый, устанавливаем значение 1
} else {
    stats.ipStatistics[ip]++; // Если IP уже существует, увеличиваем счетчик
}
```

И в результате файл `ip_statistics.json` будет выглядеть примерно так:

```json
{
    "192.168.0.1": 3,
    "192.168.0.2": 1,
    "10.0.0.1": 5
}
```

Это означает, что IP-адрес `192.168.0.1` подключался 3 раза, `192.168.0.2` — 1 раз, а `10.0.0.1` — 5 раз.
User: надо расширить эту статистику. нужно чтобы по каждому IP дополнительно сохранялась статистика для каждого userId. Это на случай если с одного IP подключаются несколько пользователей. Т.е. в файле статистики хранится общее количество подключений с IP и количество подключений по каждому userId, которые подключались с этого IP, примерно так

{
    {"192.168.0.1": 3, {"userId1": 2, "userId2": 10, ...}},
    {"192.168.0.2": 1,{"userId1": 2, "userId2": 10, ...}},
    {"10.0.0.1": 5, {"userId1": 2, "userId2": 10, ...}}
}
Assistant:  расширить вашу статистику таким образом, чтобы она учитывала количество подключений по каждому `userId` для каждого IP-адреса, вам нужно немного изменить структуру объекта `ipStatistics` и обновить логику для учета `userId`.

### Изменения в `stats.js`

1. Измените структуру `ipStatistics`, добавив возможность хранения данных о `userId` для каждого IP-адреса.

Вот измененный код:

```javascript
const fs = require('fs');
const path = require('path');

// Количество дней для статистики
const statsDays = 365;

// Статистика
const stats = {
    totalRequests: 0,
    totalConnections: 0,
    totalIPBlocks: 0,
    date: new Date().toISOString().split('T')[0],
    ipStatistics: {} // Для хранения статистики по IP
};

// Функция для сохранения статистики в файл
function saveStatistics() {
    const statsFilePath = path.join(__dirname, 'statistics.json');

    let existingData = [];
    if (fs.existsSync(statsFilePath)) {
        const fileContent = fs.readFileSync(statsFilePath, 'utf8');
        existingData = JSON.parse(fileContent);
    }

    const currentStat = {
        date: stats.date,
        totalRequests: stats.totalRequests,
        totalConnections: stats.totalConnections,
        totalIPBlocks: stats.totalIPBlocks,
        ipStatistics: { ...stats.ipStatistics }
    };

    existingData.push(currentStat);

    if (existingData.length > statsDays) {
        existingData = existingData.slice(existingData.length - statsDays);
    }

    fs.writeFileSync(statsFilePath, JSON.stringify(existingData, null, 4));

    console.log('Статистика сохранена:', currentStat);
    saveIpStatistics();
}

// Функция для сохранения статистики по IP
function saveIpStatistics() {
    const ipStatsFilePath = path.join(__dirname, 'ip_statistics.json');
    fs.writeFileSync(ipStatsFilePath, JSON.stringify(stats.ipStatistics, null, 4));
}

// Функция для обнуления статистики и сохранения её в файле
function resetStatistics() {
    saveStatistics();
    stats.totalRequests = 0;
    stats.totalConnections = 0;
    stats.totalIPBlocks = 0;
    stats.ipStatistics = {};
    stats.date = new Date().toISOString().split('T')[0];
}

// Функция для вычисления времени до следующего обнуления (в полночь)
function scheduleDailyReset() {
    const now = new Date();
    const nextReset = new Date();
    nextReset.setHours(24, 0, 0, 0);

    const delay = nextReset - now;
    setTimeout(() => {
        resetStatistics();
        setInterval(resetStatistics, 24 * 60 * 60 * 1000);
    }, delay);
}

// Экспортируем функции и переменные
module.exports = {
    stats,
    scheduleDailyReset,
    resetStatistics,
    saveStatistics,
    incrementIpCount: (ip, userId) => {
        // Увеличиваем счетчик подключений для IP-адреса
        if (!stats.ipStatistics[ip]) {
            stats.ipStatistics[ip] = {
                total: 1,
                userIds: {} // Объект для хранения количества подключений для каждого userId
            };
            stats.ipStatistics[ip].userIds[userId] = 1; // Первый раз добавляем userId
        } else {
            stats.ipStatistics[ip].total++; // Увеличиваем общее количество подключений для IP
            // Увеличиваем счетчик подключений для конкретного userId
            if (!stats.ipStatistics[ip].userIds[userId]) {
                stats.ipStatistics[ip].userIds[userId] = 1; // Если userId новый, устанавливаем значение 1
            } else {
                stats.ipStatistics[ip].userIds[userId]++; // Если userId уже существует, увеличиваем счетчик
            }
        }
    }
};
```

### Изменения в `call.js`

Теперь вы должны добавить вызов функции `incrementIpCount` с `userId` при подключении клиента:

```javascript
wss.on('connection', (ws, req) => {
    const urlParams = new URLSearchParams(req.url.split('?')[1]);
    const userId = urlParams.get('token'); // Получаем UUID из URL
    const userIP = req.socket.remoteAddress;

    // Увеличиваем общий счетчик подключений
    stats.totalConnections++;

    // Увеличиваем количество подключений для IP адреса с учетом userId
    stats.incrementIpCount(userIP, userId); // Обновляем статистику по IP

    console.log('Client connected with user ID:', userId, 'Домен - ', req.headers.origin);
    
    // ... остальной код
});
```

### Получившаяся структура файла `ip_statistics.json`

Ваш файл `ip_statistics.json` теперь будет иметь следующую структуру:

```json
{
    "192.168.0.1": {
        "total": 3,
        "userIds": {
            "userId1": 2,
            "userId2": 1
        }
    },
    "192.168.0.2": {
        "total": 1,
        "userIds": {
            "userId1": 1
        }
    },
    "10.0.0.1": {
        "total": 5,
        "userIds": {
            "userId1": 2,
            "userId3": 3
        }
    }
}
```

Теперь для каждого IP-адреса хранится общее количество подключений (`total`) и количество подключений по каждому `userId`. Эта структура позволит вам более детально анализировать активность пользователей по IP-адресам.
User: Какую еще статистику можно собрать в рамках такой структуры?
Assistant: