Kaynak dataset hk.
#2
by
psychip
- opened
kullanılan dataset ve modelin domain expertizi ile ilgili bilgi verirmisiniz, A100 gpu'da warmup sonrası ortalama 15 saniyede tepki veren llama2 modeline ne katınca 3 dakika 38 saniye'de cevap verebilecek duruma geldi?
Burada load işlemi de var, sadece inference kısmı ne kadar sürüyor?
Ya da saf llama da load kısmı yine kullanıyor muydun?
yukarıdaki checkpoint load kısmı 6 saniye sürüyor, şurada test ortamını paylaştım. A100, 50g ram: deneyiniz: https://gist.github.com/PsyChip/70b0316e349622768aeed892a9d7627a
