Tritonのサポート切れによるColab A100への移行
#2
by
alfredplpl
- opened
他の人に言われて調べた結果、ColabのT4ではTritonのサポート切れを起こしており、実行できません。
https://github.com/sakanajp/calm2-gptq/blob/main/calm2.ipynb
A100に切り替えて実行したところ、正常に実行できまし[た。
https://gist.github.com/alfredplpl/1195e2373b6480101fe6e7ab8c274c8e
A100に切り替えて使うようにREADME.mdを書き換えてもらえませんか？
よろしくお願いします。
こちら現在warningは出ますが、colabでのT4での実行を考慮してuse_tritonの指定をしていなかったのですが、
device名を参照してA100の場合はuse_tritonをTrueで実行するように変更しました。
T4、A100で同一コードで一応実行できます。
ご対応ありがとうございます。
alfredplpl
changed discussion status to
closed