semvec/pypi-packages huggingface dataset:
ikfs-anomaly-detector 1.0.2
Программная система обнаружения аномалий в телеметрии бортового фурье-спектрометра ИКФС-2
License: MIT
Keywords: ikfs anomaly lstm

## Программная система обнаружения аномалий в телеметрии бортового фурье-спектрометра ИКФС-2

#### Включает в себя:
* Модуль экспертного анализа
* Модуль интеллектуального анализа:
    * LSTM-предиктор
    * LSTM-автокодировщик

#### Сценарий работы:

1 . Сформировать конфигурационный файл
```bash
$ ikfs-anomaly-detector dump-config
$ mv default_config.yml /tmp/myconfig.yml
```

2 . Указать в нём соответствующие одиночные сигналы и группы сигналов,
предполагаемые для анализа
```yml
# Директория для хранения обученных моделей
models_dir: '/tmp/ikfs_anomaly_detector/models'

# Директория с логами tensorboard [опционально]
tensorboard_dir: ''  

# Директория с результатами
analysis_result_dir: /tmp/ikfs_anomaly_detection/results  

# Одиночные сигналы для LSTM-предиктора
predictor_for:
- PptRiple
...

# Группы сигналов для LSTM-автокодировщика
autoencoder_for:
  bfk:
  - BfkCntErrCrc
  - BfkCntErrRxBufAlloc
  - BfkCntErrRxPacket
  ...

  mygroup:
  - StrSensorMi1
  - BpopCntErrCrc

thresholds:
  # Границы аномалий по умолчанию
  default:
    rules: 0.55  # Граница аномалий для экспертного анализатора

    # Границы аномалий для групп и одиночных сигналов
    bfk: 0.2
    bpop: 0.4
    bud: 6.0
    bud_board: 15.0
    fp: 0.7
    mi: 0.4
    mk: 0.09
    ppt: 0.27
    ppt_direction: 0.1
    str: 0.05
    PptRiple: 100
    PptSampleCount: 100
    ScannerAngle: 610
    Str27V: 210
    StrSensorTu1: 100
    StrSensorTu2: 100

  # Границы аномалий для конкретного файла
  METM2_9181_9174_1VIE2-IMR_8_IKFS-2_01P8:
    mi: 0.9
    mk: 0.19
    fp: 1.
    ppt_direction: 0.015
```

3 . Произвести обучение системы
```bash
$ ikfs-anomaly-detector train --telemetry-dir /Downloads/good_data -c /tmp/myconfig.yml
```

4 . Выполнить поверхностный анализ телеметрии 
```bash
$ ikfs-anomaly-detector analyze --telemetry-file /Downloads/bad_data/METM2_9181_9174_1VIE2-IMR_8_IKFS-2_01P8.tlm.h5 -c /tmp/myconfig.yml
```

5 . Посмотреть результаты (фукнции ошибок по каждому из сигналов) и при необходимости подправить границы

6 . Выполнить полный анализ телеметрии
```bash
$ ikfs-anomaly-detector analyze --full-report --telemetry-file /Downloads/bad_data/METM2_9181_9174_1VIE2-IMR_8_IKFS-2_01P8.tlm.h5 -c /tmp/myconfig.yml
```
gutenberg-cleaner 0.1.6
cleans gutenberg dataset books
License: MIT

![](https://i.ibb.co/sCJXhmz/header-sp.png)
![](https://img.shields.io/apm/l/vim-mode.svg)


# gutenberg-cleaner

a python package for cleaning Gutenberg books and dataset.

### Prerequisites
nltk package

### Installing
```
[sudo] pip install gutenberg-cleaner
```

## How to use it?

it has two methods called "simple_cleaner" and "super_cleaner".
### simple_claner:
Just removes lines that are part of the Project Gutenberg header or footer.
Doesnt go deeply in the text to remove other things like titles or footnotes or etc...
```
simple_cleaner(book: str) -> str
```
### super_cleaner:
Super clean the book (titles, footnotes, images, book information, etc.). may delete some good lines too.
```
super_cleaner(book: str, min_token: int = 5, max_token: int = 600) -> str
```
min_token: The minimum tokens of a paragraph that is not "dialog" or "quote", -1 means don't tokenize the txt (so it will be faster, but less efficient cleaning).
max_token: The maximum tokens of a paragraph.

it will mark deleted paragraphs with: [deleted]


## Author

* **Peyman Mohseni kiasari**

## License

This project is licensed under the MIT License - see the [LICENSE.md](LICENSE.md) file for details