@爱洗澡的鳄鱼,AI软件都会要求把数据放在物理显存的,如果物理显存放不下,有的AI软件会直接退出,有的会直接开始使用内存。很少有AI软件会使用共享显存,因为比直接使用内存还慢。此外,ollama这样的软件可以在设置里调整要把模型的多少层放在显存,多少层放在内存,调好就不会显存爆满了。
@爱洗澡的鳄鱼,AI软件都会要求把数据放在物理显存的,如果物理显存放不下,有的AI软件会直接退出,有的会直接开始使用内存。很少有AI软件会使用共享显存,因为比直接使用内存还慢。此外,ollama这样的软件可以在设置里调整要把模型的多少层放在显存,多少层放在内存,调好就不会显存爆满了。