Mi az a Microsoft Foundry Local?
A Microsoft Foundry Local egy új eszköz, amely lehetővé teszi, hogy mesterséges intelligencia modelleket futtassunk közvetlenül a saját számítógépünkön, internetkapcsolat nélkül. Ez az újítás különösen hasznos lehet olyan helyzetekben, ahol a hálózati kapcsolat nem megbízható, vagy ahol az adatvédelem kiemelten fontos.
Hogyan működik?
A Foundry Local lehetővé teszi, hogy különböző AI modelleket telepítsünk és futtassunk a saját gépünkön.
Milyen modellek érhetők el?
A Microsoft különböző méretű és képességű modelleket kínál a Foundry Local számára. Az egyik ajánlott modell a Phi-3.5-mini, amely egy kisebb, de hatékony nyelvi modell. Ez a modell képes különböző feladatok elvégzésére, például szövegértésre, kérdések megválaszolására és egyszerűbb szövegek generálására.
Előnyök és lehetőségek
A Foundry Local egyik legnagyobb előnye, hogy lehetővé teszi az AI modellek futtatását internetkapcsolat nélkül. Ez különösen hasznos lehet olyan helyeken, ahol a hálózati kapcsolat nem megbízható, vagy ahol az adatvédelem kiemelten fontos. Emellett a helyi futtatás csökkentheti a késleltetést és növelheti a válaszidőt, mivel az adatok nem kerülnek elküldésre egy távoli szerverre.
Kinek ajánlott?
A Foundry Local elsősorban fejlesztőknek készült, akik saját hálózatukon szeretnék kihasználni a generatív szoftverkörnyezet előnyeit. Azonban a technológia elérhető a hétköznapi felhasználók számára is, akik szeretnének kísérletezni a mesterséges intelligenciával a saját gépükön.
Rendszerkövetelmények
A Foundry Local használatához nincs szükség dedikált GPU-ra vagy NPU-ra, de ha rendelkezésre áll ilyen hardver, az javíthatja a teljesítményt. A szoftver kompatibilis Windows és macOS rendszerekkel, és a telepítés egyszerű parancsokkal elvégezhető.
Hogyan kezdjünk hozzá?
A telepítéshez nyissuk meg a terminált, és írjuk be a következő parancsot:
Ezután egy modell futtatásához használhatjuk például a következő parancsot:
A modell letöltése és elindítása után interaktív módon használhatjuk azt, például kérdések megválaszolására vagy szövegek generálására.
A Microsoft Foundry Local egy izgalmas újítás, amely lehetővé teszi a mesterséges intelligencia helyi futtatását a saját számítógépünkön. Ez különösen hasznos lehet olyan helyzetekben, ahol az adatvédelem kiemelten fontos, vagy ahol a hálózati kapcsolat nem megbízható. A technológia elérhető fejlesztők és hétköznapi felhasználók számára is, és egyszerűen telepíthető és használható.
