Használjuk ki az AI-ban rejlő lehetőségeket az Amazon Bedrock segítségével

Bevezető

A mai felgyorsult üzleti életben a mesterséges intelligencia erejének kihasználása már nem luxus, hanem szükségszerűség. Akár a csapatok termelékenységének növeléséről, akár az ügyfélszolgálat intelligens chatbotok révén történő javításáról van szó, az AI a vállalatok (és gyakorlatilag minden szervezet) számára gyökeres változást hoz majd világszerte. Ebben a blogbejegyzésben a Bedrock, az iparágvezető nyilvános felhőszolgáltató, az Amazon Web Services által biztosított robusztus generative AI-platform által kínált funkciókba merülünk el.

A Bedrock alapvető funkcióinak, jellemzőinek feltárásával kezdjük. Az AI-rendszerekre szakosodott különböző vállalatok egyes alapmodelljeitől indulva bemutatjuk, hogyan segíthetnek az Agent-ek az összetett üzleti feladatok elvégzésében.

A Bedrock azonban nem áll meg az előre csomagolt megoldásoknál: megvizsgáljuk az alapmodellek finomhangolásának izgalmas lehetőségeit is, hogy tökéletesen igazodjanak az üzleti igényekhez. Ez biztosítja, hogy a vállalatok megvalósítsák céljaikat és optimális eredményeket érjenek el.

Ezután a megfelelőség, az adatrezidencia és az adatvédelmi kerülnek terítékre, ahol láthatjuk, hogy a Bedrockot minden tekintetben a modern vállalatok igényeit szem előtt tartva alakították ki.

Továbbá elmélyedünk a Bedrockba integrálható audit logging mechanizmusokban. Ezek a mechanizmusok segítenek a vállalkozásoknak az AI telepítések során fenntartani az átláthatóságot, az elszámoltathatóságot és a biztonságot. Emellett megnézzük az árazási opciókat és azt, hogy a vállalatok hogyan követhetik hatékonyan a költségeket, miközben élvezik az AI előnyeit. Ezáltal az AI nem csak hatékony, hanem költséghatékony eszközzé is válik.

Alapvető funkciók

Az Amazon Bedrock egy teljeskörűen menedzselt szolgáltatás, amelynél az ügyfelek több nagy teljesítményű alapmodell közül választhatnak. A kész, előre betanított modellek biztosításával a vállalatok mentesülnek a komplex AI-klaszterek létrehozásának és a speciális szakértelem megszerzésének szükségessége alól. Ez nemcsak értékes időt takarít meg a szervezeteknek, hanem lehetővé teszi számukra, hogy az alapvető kompetenciáikra összpontosítsanak, ami a termelékenység és a nyereségesség növekedéséhez vezet. Az Amazon Bedrock segítségével a vállalkozások a legmodernebb AI-modelleket és technológiákat használhatják fel üzleti céljaik költséghatékony és eredményes eléréséhez. Az Amazon Bedrock emellett lehetőséget biztosít arra is, hogy az alapmodelleket az Ön adatai alapján, privát módon testre szabják. Ez akár egy egyszerű vizuális felületen keresztül is megtehető, anélkül, hogy bármilyen kódolásra lenne szükség. Egyszerűen kiválaszthatja az S3-ban tárolt képzési és validálási adathalmazokat, és szükség esetén beállíthatja a paramétereket az optimális modellteljesítmény elérése érdekében.

Az AI21 Labs, egy tel-avivi székhelyű, természetes nyelvfeldolgozásra (NLP) szakosodott vállalat olyan mesterséges intelligencia rendszereket fejlesztett ki, amelyek képesek a természetes nyelvet megérteni és generálni is. Két modelljüket emelném ki: Jurassic-2: Mid és Jurassic-2: Ultra. A Mid-et olyan feladatokra tervezték, mint a kérdések megválaszolása, az összegzés, a hosszú szövegek generálása, a fejlett információkinyerés, stb. Az Ultra a jelenleg legjelentősebb modelljük, és olyan összetett feladatokra alkalmazható, amelyek fejlett szöveggenerálást és szövegértést igényelnek.

Az Amazon Web Services már több mint 20 éve foglalkozik a mesterséges intelligenciával és a gépi tanulással, és különböző Titan modelleket fejlesztett ki.

A Titan Embeddings egy olyan nyelvi modell, amely a szöveges tartalmakat (szavakat, kifejezéseket vagy akár hosszú szövegeket) beágyazásoknak nevezett numerikus reprezentációkká alakítja, amelyek a szöveg szemantikai jelentését rögzítik. Bár ez a modell nem generál szöveget, rendkívül hasznos az olyan alkalmazásokban, amelyeknek a személyre szabás és a keresés a célja. E beágyazások összehasonlításával a modell olyan válaszokat tud előállítani, amelyek relevánsabbak és kontextuálisabbak, mint a pusztán a szóillesztésen alapuló válaszok.

A Titan Text két nyelvi modellt kínál a különböző igények kielégítésére.

A Titan Text Express egy nagy teljesítményű és megfizethető opció, amely több mint 100 nyelvet támogat. Számos felhasználási területen alkalmazható, beleértve a visszakeresés kiterjesztett generálást (retrieval augmented generation), a nyílt végű szöveggenerálást, az ötletelést, az összefoglalást, a kódgenerálást, a táblázatalkotást, az adatformázást, a parafrazálást, a gondolatmenetet, az átírást, a kivonatolást, a kérdés-feleletet és a csevegést.

A Titan Text Lite egy kompaktabb lehetőség, amely ideális az alapvető feladatokhoz és a finomhangoláshoz, de csak angol nyelvet támogat. Felhasználási területei a Titan Text Expresshez hasonlóak, és a következőkre terjednek ki: nyílt végű szöveggenerálás, ötletelés, összegzés, kódgenerálás, táblázatkészítés, adatformázás, parafrazálás, gondolatlánc, átírás, kivonatolás, kérdés-felelet és chat.

Az Anthropic egy, a mesterséges intelligencia biztonságával és kutatással foglalkozó vállalat, amely megbízható, értelmezhető és irányítható mesterséges intelligencia alapú rendszerek létrehozásán dolgozik. Három modellt fejlesztettek ki: Claude instant v1.2, Claude v1.3 és Claude v2. A Claude instant v1.2 egy gyorsabb és olcsóbb modell, amely számos feladatot képes megoldani, beleértve az köznyelvi párbeszédet, a szövegelemzést, az összegzést és kérdés-feleletet. A Claude v1.3 az Anthropic alap (nem specializélt) nagy nyelvi modelljeinek korábbi változata. Végül a Claude v2 az Anthropic legjelentősebb modellje, amely a feladatok széles skálájában jeleskedik a kifinomult párbeszédtől a kreatív tartalomgeneráláson át a részletes utasításkövetésig.

A Cohere egy kifejezetten vállalati felhasználásra tervezett mesterséges intelligencia platform. Nagy nyelvi modelleket (LLM) és LLM-alapú megoldásokat hoz létre, amelyek lehetővé teszik a számítógépek számára a szövegben való keresést, a jelentés és a beszélgetés megértését. A modelleket a vállalkozások egyedi igényeihez igazítják, és többféle telepítési lehetőség mellett egyszerű használatot, erős biztonságot és adatvédelmi ellenőrzést biztosítanak. A Cohere platformjának egyik szöveggeneráló modellje a Command nevet viseli. Kifejezetten olyan adatokon tanították, amelyek megbízható üzleti alkalmazásokat támogatnak, például szöveggenerálást, összegzést, szövegalkotást, párbeszédet, kivonatolást és kérdésmegoldást.

A Stability AI egy nyílt forráskódú vállalat, amely közszféra- és magánszektorbeli partnerekkel együttműködve fejleszt generatív mesterséges intelligenciát. A vállalat célja, hogy a következő generációs infrastruktúrát a globális közönség számára elérhetővé tegye. Legújabb termékük, az SDXL egy fejlett képgenerátor, amely elődjénél részletesebb képeket készít. Emellett olyan funkciókat kínál, mint a képről-képre kérdezés, az inpainting és az outpainting.

A Bedrock rendelkezik egy izgalmas funkcióval, az Agents-szel, amelyet teljes mértékben az AWS kezel, és amely dinamikusan képes API-kat behívni az összetett üzleti feladatok elvégzéséhez. Ezek az Agent-ek a feladatok széles skálájára programozhatók, például repülőjegyek foglalására, panaszok feldolgozására, adóbevallások elkészítésére vagy akár egy e-kereskedelmi oldal készletének kezelésére. Az Amazon Bedrock teljeskörűen menedzselt Agent-jeinek kihasználásával a vállalatok kibővíthetik érvelési képességeiket a feladatok lebontása, egy operációs terv létrehozása és zökkenőmentes végrehajtása érdekében.

Megfelelés és adatvédelem

Az Amazon Bedrock megfelel a GDPR és a HIPAA szabványoknak, így megbízható választás a generatív AI feladatokhoz. Bizalmasan kezeli az ügyfelek adatait, és nem használja fel az alapmodellek továbbfejlesztésére, nem osztja meg a korábban említett modellszolgáltatókkal sem. Ráadásul minden adatot nyugalmi állapotban titkosít a saját AWS Key Management Service (AWS KMS) kulcsaival, így teljes mértékben ellenőrizhető, hogy az adatokat és az egyéni modelleket hogyan tárolják és hogyan érik el. Opcionálisan a PrivateLink használata biztosítja, hogy adatok kizárólag az AWS-en keresztül, és nem a nyilvános interneten keresztül kerüljenek az Amazon Bedrockhoz.

Minden modellszolgáltató rendelkezik egy letéti fiókkal, ahová feltölti modelljeit. Az Amazon Bedrock rendelkezik a modellek behívásához szükséges jogosultságokkal. Maguk a letéti fiókok azonban nem rendelkeznek kimenő jogosultságokkal az Amazon Bedrock-fiókok felé. Továbbá a modellszolgáltatók nem rendelkeznek hozzáféréssel az Amazon Bedrock naplóihoz vagy az ügyfélkérésekhez.

Amikor testre szabunk egy modellt, az Amazon Bedrock finomhangolja azt egy adott feladatra anélkül, hogy nagy mennyiségű adatot kellene megjegyzésekkel ellátnia. Az alapmodell külön példánya kizárólag az ügyfél számára jön létre, amelyhez senki más nem férhet hozzá. A modellnek ezt a privát példányát ezután az Ön adatainak felhasználásával tanítják be, anélkül, hogy az Ön tartalmait felhasználnák az eredeti alapmodellek tanításához. Az Amazon VPC beállításait úgy konfigurálhatja, hogy biztonságosan hozzáférjen az Amazon Bedrock API-khoz.

Az Amazon Bedrock biztosítja a természetes nyelvi adatok védelmét azáltal, hogy törli azokat a szolgáltatási naplóiból. A finomhangoláshoz megadott adatok egyike sem kerül tárolásra az Amazon Bedrock fiókjaiban. Miután a tanítási és kiértékelési adatokat az egyéni modell finomhangolásához használják, azok csak az ügyfél AWS-fiókjában maradnak benne.

A tanítási folyamat során az Ön adatai az Amazon SageMaker instance-ok memóriájában léteznek, de ezeken a gépeken XTS-AES-256 titkosítással vannak ellátva, amely egy hardvermodulon, a fizikai instance-on van implementálva. Ha az egyéni modell finomhangolása befejeződött, a tanítási adatok egyike sem marad meg.

Az egyéni modell metaadatai, például a modell neve és az Amazon Resource Name, valamint a rendelkezésre bocsátott modell metaadatai egy Amazon DynamoDB táblában tárolódnak, amely egy olyan kulccsal van titkosítva, amely az Amazon Bedrock szolgáltatás tulajdonában van.

Az AWS-en belül az összes hálózatközi adatot TLS 1.2-vel lehet titkosítani. Amikor hozzáférést kér az Amazon Bedrock API-hoz és konzoljához, az biztonságos (SSL) kapcsolaton keresztül történik. A tanításhoz és a telepítéshez szükséges erőforrásokhoz való hozzáférés engedélyezéséhez az AWS Identity and Access Management (IAM) szerepköröket ad az Amazon Bedrocknak.

Irányítás és ellenőrizhetőség

Az Amazon számos monitoring és naplózási szolgáltatást nyújt az irányítás és az ellenőrizhetőség támogatása érdekében. A Bedrockot úgy tervezték, hogy zökkenőmentesen integrálódjon az egyik ilyen eszközzel, az AWS CloudTrail-lel, amely nyomon követi a felhasználók, szerepkörök vagy szolgáltatások által végrehajtott műveleteket. A CloudTrail minden API-hívást eseményként rögzít, beleértve az Amazon Bedrock konzolról érkező behívásokat és az Amazon Bedrock API-műveleteihez intézett kódhívásokat is. A nyomvonal létrehozásával lehetővé teszi a CloudTrail eseményeinek folyamatos továbbítását egy Amazon S3 bucket-ba.

Ezek a naplófájlok egy vagy több olyan naplóbejegyzésből állnak, amelyek egyetlen, bármilyen forrásból származó kérést képviselnek. Minden egyes naplóbejegyzés olyan információkat tartalmaz, mint a kért művelet, a művelet dátuma és időpontja, a kérési paraméterek és így tovább.

Vállalati szintű felhasználási esetekben ajánlott többfiókos környezeteket használni az AWS-en. Ilyen beállítás esetén a CloudTrail a naplófájlokat több AWS workload fiókból egyetlen naplózási fiókba küldi be az S3 bucket-ban a jogosulatlan hozzáférés megakadályozása és a biztonság garantálása érdekében. Ez segíthet az üzemeltetés és kockázat auditálásában, valamint a potenciális rosszindulatú tevékenységek megelőzésében.

Az esetleges visszaélések megelőzése érdekében az Amazon Bedrock automatikus visszaélés-felismerő mechanizmusokat is beépíthet. Az AWS PrivateLinket az Amazon Bedrockkal együtt használhatja az alapmodellek és a helyben lévő hálózatok közötti privát kapcsolat létrehozásához anélkül, hogy ez az internet számára láthatóvá válna.

Megosztott felelősség modell: A biztonság az AWS és az ügyfél közös felelőssége. Az AWS felel az AWS-szolgáltatások AWS-felhőben történő futtatásához szükséges infrastruktúra védelméért. Az ügyfél felelősségét az általa használt AWS-szolgáltatás határozza meg.

Árképzés

Az On-Demand üzemmód lehetővé teszi, hogy csak azért fizessen, amit használ, időbeli kötelezettségvállalások nélkül. Szöveggenerálási modellek használata esetén minden egyes feldolgozott bemeneti és generált kimeneti token után díjat kell fizetnie. Beágyazási modellek esetén minden egyes feldolgozott bemeneti token fizetendő. A token egy néhány karakterből álló alapegység, amelyet a modell megtanul a felhasználói input megértéséhez és az eredmények generálásához történő felszólításhoz. Képgeneráló modellek használata esetén minden egyes generált képért díjat kell fizetni.

Provisioned Throughput módban lehetősége van modellegységeket vásárolni egy adott alap- vagy egyéni modellhez. Ez az üzemmód elsősorban olyan konzisztens és nagy következtetési munkaterhelésekhez készült, amelyek garantált átviteli teljesítményt igényelnek. Fontos megjegyezni, hogy az egyéni modellek csak Provisioned Throughput módban érhetők el. Minden egyes modellegység egy bizonyos átviteli teljesítményt biztosít, amelyet a percenként feldolgozott bemeneti vagy kimeneti tokenek maximális számával mérnek. A Provisioned Throughput árképzéssel, amely óránként kerül felszámításra, rugalmasan választhat 1 hónapos vagy 6 hónapos kötelezettségvállalási feltételek között.

Az AWS-ben a Bedrock-szolgáltatás használatával kapcsolatos költségeinek nyomon követéséhez használhatja az AWS Cost Explorer-t. Ez az eszköz lehetővé teszi, hogy könnyen megjelenítse, megértse és kezelje az AWS költségeit és használatát a későbbiekben. Az AWS Cost Explorer segítségével egyéni jelentéseket hozhat létre, amelyek elemzik a költség- és használati adatokat, és szűrés és csoportosítás segítségével vizsgálhatja adatait. Emellett létrehozhat költség- és felhasználási előrejelzéseket egy jövőbeli időintervallumra vonatkozóan, valamint elmentheti és megoszthatja az egyéni jelentéseket a különböző adatkészletek feltárásához.

A jövő

A 2024-es évben a generatív AI egészen biztosan széles körben elterjed a különböző iparágakban, de ez csak a kezdet, ha az innováció ütemét nézzük ezen a területen. Kezdje generatív AI utazását biztonságos és költséghatékony módon az AWS-en, hogy kihasználhassa az LLM-ek innovatív előnyeit. Legyen a TC2 partnere, hogy megoszthassuk a bevált gyakorlatokat és valós tapasztalatainkat a biztonságon alapuló tervezésről, a költséghatékony architektúramintákról és a robusztus működési modellről a generative AI korszakában.