semvec/pypi-packages huggingface dataset:
mybitnet 0.6.0
A PyTorch implementation of BitNet, a network utilizing bit quantization for linear layers.
License: Apache-2.0
Requires Python: <4.0,>=3.6
Keywords: pytorch, bit quantization, neural networks, llm, pretrain

# BitNet-b158  

noteで実装を進めているBitLinear, BitLinearb158のコードとなります。  
[BitNet&BitNet b158の実装](https://note.com/hatti8/n/nc6890e79a19a)  
- `pip install mybitnet`でインストール可能です。
- `example/01_bit_llama_pretraining.ipynb`ファイルには、bitlinearを用いた事前学習の例があります。