Защо контекстът на One Million Token на Gemini 1.5 променя играта

Ключови изводи

  • Google Gemini 1.5 въвежда контекстен прозорец с един милион токени, надминавайки конкуренти като Claude и ChatGPT.
  • По-големият контекстен прозорец подобрява производителността на AI модел и намалява грешките, но може да не гарантира цялостен успех.
  • По-големият контекстен прозорец на Gemini 1.5 може значително да подобри точността, да намали грешките и да подобри разбирането.

Google Gemini 1.5 вече идва с огромен контекстен прозорец от един милион токени, което намалява пряката му конкуренция в ChatGPT, Claude и други чат ботове с изкуствен интелект.

Звучи като масивна надстройка и може да отличи Gemini. Малко е трудно да се разбере пълният му обхват, но огромният контекстен прозорец на Gemini може да промени играта.

Какво е контекстен прозорец?

Докато отговарят на вашите запитвания, като обясняване на концепция или обобщаване на текст, AI моделите имат ограничение за това колко данни могат да вземат предвид, за да генерират отговор. Ограничението за размера на текста, което може да вземе предвид, се нарича контекстен прозорец.

Ето друг начин да го погледнете. Да приемем, че отивате в магазин за хранителни стоки, за да вземете хранителни стоки без вашия списък с хранителни стоки. Ограничението за това колко хранителни стоки помните, когато пазарувате, е вашият контекстен прозорец. Колкото повече хранителни стоки можете да запомните, толкова по-големи са шансовете да не объркате плановете си за пазаруване. По същия начин, колкото по-голям е контекстният прозорец на AI модел, толкова по-големи са шансовете моделът да запомни всичко необходимо, за да ви осигури най-добри резултати.

  Hush е защитен с парола мениджър на отметки за частно сърфиране [Chrome]

Към момента на писане контекстният прозорец на Claude 2.1 на Anthropic от 200k е най-големият контекстен прозорец от всеки общодостъпен AI модел. Това е последвано от GPT-4 Turbo с контекстен прозорец от 128k. Google Gemini 1.5 носи един милион контекстен прозорец, четири пъти по-голям от всичко на пазара. Това води до големия въпрос: каква е голямата работа с един милион токен контекстен прозорец?

Защо контекстният прозорец на Gemini 1.5 е голяма работа

Интелигентни макети

За да го представим в по-ясна перспектива, контекстният прозорец на Claude AI от 200 000 означава, че той може да усвои книга от около 150 000 думи и да даде отговори на нея. Това е огромно. Но Gemini 1.5 на Google ще може да смели 700 000 думи наведнъж!

Когато подадете голям текстов блок в чатботове с изкуствен интелект като ChatGPT или Gemini, той се опитва да усвои възможно най-голяма част от текста, но колко може да усвои зависи от неговия контекстен прозорец. Така че, ако имате разговор, който се сблъсква със 100 000 думи на модел, който може да обработва само 28 000, и след това започнете да задавате въпроси, които изискват пълно познаване на целия разговор от 100 000 думи, вие го настройвате за провал.

  Самостоятелни приложения за Google Документи и Таблици вече са налични в Play Store

Представете си, че гледате само 20 минути от едночасов филм, но сте помолени да обясните целия филм. Колко добри биха били вашите резултати? Вие или отказвате да отговорите, или просто си измисляте неща, което е точно това, което би направил AI chatbot, което води до AI халюцинации.

Сега, ако си мислите, че никога не ви се е налагало да въвеждате 100 хиляди думи в чатбот, това не е всичко. Контекстният прозорец надхвърля само текста, който захранвате с AI модел в една подкана. AI моделите вземат предвид целия разговор, който сте водили по време на чат сесия, за да гарантират, че техните отговори са възможно най-уместни.

Така че, въпреки че не го захранвате с книга със 100 хиляди думи, вашите разговори напред-назад и отговорите, които предоставя, добавят към изчислението на контекстния прозорец. Чудите се защо ChatGPT или Gemini на Google продължават да забравят нещата, които сте им казали по-рано в разговор? Вероятно е изчерпало пространството на контекстния прозорец и е започнало да забравя неща.

По-големият контекстен прозорец е особено важен за задачи, изискващи задълбочено разбиране на контекста, като обобщаване на дълги статии, отговаряне на сложни въпроси или поддържане на съгласуван разказ в генерирания текст. Искате ли да напишете роман от 50 000 думи, който има последователен разказ? Искате модел, който може да „гледа“ и да отговаря на въпроси на едночасов видео файл? Имате нужда от по-голям контекстен прозорец!

Накратко, по-големият контекстен прозорец на Gemini 1.5 може значително да подобри производителността на своя AI модел, намалявайки халюцинациите и значително повишавайки точността и способността за по-добро следване на инструкциите.

  Apple Watch остана в логото на Apple? 9 начина да го поправите!

Ще оправдае ли Gemini 1.5 очакванията?

Ако всичко върви по план, Gemini 1.5 може потенциално да надмине най-добрите AI модели на пазара. Въпреки това, имайки предвид многото неуспехи на Google при изграждането на стабилен AI модел, важно е да бъдете внимателни. Увеличаването на контекстния прозорец на модел само по себе си не прави автоматично модела по-добър.

Използвах контекстния прозорец от 200k на Claude 2.1 в продължение на месеци след пускането му и едно нещо ми е ясно – по-големият контекстен прозорец наистина може да подобри чувствителността към контекста, но проблемите с производителността на основния модел могат да превърнат по-големия контекст в проблем собствен.

Ще ни даде ли Google Gemini 1.5 промяна в играта? В момента социалните медии са пълни с блестящи отзиви за Gemini 1.5 от потребители с ранен достъп. Повечето отзиви с 5 звезди обаче произтичат от прибързани или опростени случаи на употреба. Добро място да проверите как ще се представи Gemini 1.5 в природата е в Google Технически доклад за Gemini 1.5 [PDF]. Докладът показва, че дори по време на „контролирано тестване“, моделът не може да извлече всички малки детайли на документите в рамките на размера на контекстния прозорец.

Контекстният прозорец с един милион токени наистина е впечатляващо техническо постижение, но без да можете да извлечете надеждно детайлите на документа, по-големият контекстен прозорец няма практическа стойност и дори може да стане причина за намаляване на точността и халюцинации.