TMElyralab

/

lyraChatGLM

like 108

本想自己手动改一下forward过程，发现封装的紧紧的。
为啥要改forward过程呢，主要是参考p-tuning过程，会生成prefix-embedding，这个embedding会在attention层和已有的K, V进行concat操作。但是lyra好像各个层没法改，forward过程也没法改。