llama.cpp 1.0: új főverzió a helyi AI-futtatáshoz

A nyílt forráskódú futtatómotor új főverziója API-változásokat, új modellarchitektúrákat és biztonsági fejlesztéseket hoz.

llama.cpp 1.0: új főverzió a helyi AI-futtatáshoz

A november 13-i kiadás eltávolítja az elavult programozási interfészeket, új gyorsítótárazási lehetőségeket és beszédgenerálási végpontot vezet be. A webes kezelőfelület és a szerver biztonsági mechanizmusai is változtak.

Üzleti jelentőség és elérhetőség

A helyi modellfuttatásra építő vállalkozások számára bővül az integrációs eszköztár, de a korábbi API-kra épülő alkalmazások migrációs tesztelést igényelnek. A kiadás nyilvánosan letölthető.

Forrás: GitHub – llama.cpp.

Eredeti forrás: GitHub – llama.cpp ↗