成功运行chatGLM,不过回答有对有错,并且即使4bit量化也需要超过6GB显存了。
但是,她不会拒绝成为猫娘,并且做的很好!
运行起来还是建议13GB显存,至少一张24GB显存卡。
直接运行会导致爆显存
还有就是家里GPU云太吵了,坐在机子旁边工作必须带耳塞,这样还是耳鸣了。