Съдържание
Ключови изводи
- Le Chat, AI чатбот от Mistral AI, показва обещание, но изостава от ChatGPT по креативност и умения за програмиране.
- Способностите за кодиране на Le Chat са по-ниски от ChatGPT, не успяват да изпълнят основните задачи, но той превъзхожда здравия разум.
- Докато Le Chat може да има потенциал, той се нуждае от допълнително усъвършенстване, преди да се конкурира с най-добрите AI чатботове като ChatGPT.
Le Chat на Mistral набира популярност в общността на AI chatbot, като някои наблюдатели го маркират като потенциален съперник на ChatGPT.
Но наистина ли този прохождащ AI чатбот си заслужава заглавието? Le Chat на Mistral по-добър ли е от ChatGPT?
Какво представлява Le Chat на Mistral AI?
Le Chat е разговорен AI чатбот, разработен от френския AI стартиращ Mistral AI. Той се захранва от няколко притежавани от Mistral големи езикови модела, включително Mistral Large, Mistral Small и Mistral Next, всички от които можете да изберете да използвате, когато взаимодействате с AI chatbot. Въпреки че е сравнително нов участник в пространството на чат ботове с изкуствен интелект, той е високо оценен поради производителността на своите модели с изкуствен интелект, въпреки по-малкия им размер в сравнение с тежките в индустрията като Gemini и GPT-4.
За да разберете какво означава това, представете си, че играете със строителни блокчета. Колкото повече блокове имате, толкова по-сложни и детайлни структури можете да изградите, нали? Моделите на AI Language са малко по този начин. Те идват в размери, обикновено изразени в брой параметри. И така, може би сте чували термини като „7B параметри“ или „70B параметри“ в AI модели. Броят на параметрите е като броя на градивните елементи, които моделът трябва да разбере и генерира отговори. Така че, ако един езиков модел има повече параметри, той може да разбере и генерира по-сложни и по-добри отговори.
Сега, докато GPT-4 има приблизително 1,76 трилиона параметри, AI на Mistral се оценява на между 7 и 56 милиарда параметри. Виждате ли разликата в размера? И така, способността на Mistral AI да публикува прилична производителност е една от причините за шума.
Въпреки че Le Chat не се радва на нивото на публичност, на което се радва ChatGPT, нито на капитала на марката като Gemini, той си проправя път в разговора винаги, когато се обсъжда потенциална конкуренция на ChatGPT. Но дали заслужава място на масата?
Аз се чудех същото и за да разбера, тествах обстойно Le Chat, за да видя как се сравнява с ChatGPT.
Le Chat срещу ChatGPT: Креативност
Креативността е един от най-важните показатели за преценка на ефективността на разговорен AI чатбот. Не забравяйте, че целта на AI chatbot е да копира или имитира разговорните способности и творческия усет на хората в мащаб. Това прави креативността много важна сила за всеки AI чатбот. Светът експериментира с ChatGPT повече от година и неговите творчески способности са неоспорими. Но как се сравнява Le Chat? Подложихме и двата чатбота на серия от тестове за креативност.
Започнах, като попитах и двата чатбота: „Как бихте описали себе си на художник?“ да тестват способността си да използват творчески и въображаеми думи, за да се концептуализират.
Ето как ChatGPT би се описал на художник:
И ето как Le Chat би се описал също:
И двата отговора бяха подходящи по свой уникален начин. ChatGPT беше инвестиран повече в използването на ярки изображения и метафори, за да се опише, демонстрирайки творчески усет. От друга страна, отговорът на Le Chat е много информативен и се фокусира върху описанието на същността му като AI чатбот. Някои може да кажат, че му липсва творческият усет и артистичният подход, които показва отговорът на ChatGPT. Въпреки това ще изляза на крака, за да кажа, че предпочитам по-лесния за представяне отговор на Le Chat пред абстрактното описание на ChatGPT.
След това помолих ChatGPT и Le Chat да напишат рап песен за това как да станеш богат от отглеждане на краставици – сложна молба, която сме използвали, за да тестваме креативността на други чатботове. Колко рап песни можете да намерите за краставици в мрежата?
Ето отговора на ChatGPT:
А ето и отговора на Le Chat:
Може да е субективен проблем, но отговорът на ChatGPT изглеждаше като по-добрият вариант тук. Текстовете на Le Chat изглеждаха доста многословни и всъщност не приличаха на нещо, което рапър би издал. За да тестваме как биха звучали и двата текста, ако трябваше да бъдат превърнати в музика, използвахме музикален генератор Suno AI, за да генерираме музика от текстовете. Три от три опита, текстовете на ChatGPT звучаха много по-добре. По-долу има две проби от двата AI чатбота, вие можете да прецените кой чатбот се е справил по-добре.
Образци, генерирани от текстове на ChatGPT
Проба 1:
Проба 2:
Образци, генерирани от текстовете на Mistral Le Chat
Проба 1:
Проба 2:
Опитах няколко други творчески задачи, като стихотворения, писане на статии и изготвяне на трудни работни имейли с чат ботове с изкуствен интелект. Въпреки че показа голямо обещание, Le Chat беше ясно надминат от ChatGPT във всички случаи. Важно е да се отбележи, че една област, в която Le Chat беше особено силен, беше изработването на статии, макар и с някои трудни стилове на подсказване. Въпреки това, по отношение на всестранната креативност, медалът отива при ChatGPT.
Le Chat срещу ChatGPT: Умения за програмиране
Владеенето на кодирането се превърна в ключово изискване за основните чат ботове с изкуствен интелект. Писането на приличен код е базово умение, но за да се открои наистина сред елита, един чатбот с изкуствен интелект трябва да демонстрира своята мощ в изработването на код, който може ефективно да решава разнообразен набор от сложни проблеми. Преди това изградихме цяло уеб приложение от нулата, използвайки ChatGPT, което демонстрира забележителните си способности като инструмент за програмиране. Но колко добър е Le Chat в писането на код?
Зададох и на двата чатбота да напишат просто приложение за списък със задачи, използвайки CSS, HTML и JavaScript. ChatGPT не е имал проблеми с постигането на добри резултати. Копирах генерирания код и го прегледах в браузър и ето какво създаде ChatGPT:
Всеки път, когато повтаряме подканата, ChatGPT създава функционално приложение за списък със задачи, използвайки различни стилове. В нито един случай генерираният код не успя да работи.
Когато опитах същата подкана с Le Chat, тя генерира нещо, което изглеждаше разбираем код, но когато се опитахме да го стартираме в браузър, не беше функционално. След повторение на подканата три пъти, нито един екземпляр не създаде код, който да изпълни поставената задача. Не успя в една от най-основните задачи за кодиране – червен флаг!
Разбира се, няма да съдя Le Chat по един неуспешен тест. След това помолих и двата чатбота да генерират JavaScript и PHP код за криптиране и декриптиране на текст. В този втори тест и ChatGPT, и Le Chat създадоха функционален код, който може да изпълни поставената задача. Версията на Le Chat обаче изглеждаше като това, което би написал неопитен програмист от начално ниво. Кодът на ChatGPT, от друга страна, беше по-пълен и изглеждаше като написан от опитен програмист.
Повторих още няколко теста за програмиране, включващи намиране и коригиране на грешки, и ChatGPT постоянно превъзхождаше Le Chat. В някои случаи Le Chat дори не знаеше какво трябва да прави. Има голям шанс Le Chat да се мери с ChatGPT в някои области, но уменията за кодиране не изглеждат сред тях.
Le Chat срещу ChatGPT: здрав разум и логично разсъждение
Интересен обрат при чатботовете с изкуствен интелект е способността им да решават сложни задачи с лекота, но да се провалят при прости такива, които изискват елементарен здрав разум, за да бъдат изпълнени. Много чатботове, както утвърдени като ChatGPT, така и нови участници като Le Chat, се затрудняват, когато става въпрос за решаване на задачи, изискващи здрав разум и логично разсъждение в човешки стил. И така, как се сравняват Le Chat и ChatGPT на този фронт?
Попитах и двата чатбота: „Ако имате бутилка от 3 литра и бутилка от 5 литра. Как можете да измерите 4 литра вода, като използвате 3-литрови и 5-литрови бутилки?“
ChatGPT реши проблема с усет:
Le Chat опита същата задача и успя да разреши проблема, въпреки че използва различен подход.
И двата чатбота се представиха сравнително на този тест.
След това зададохме триков въпрос и на двата чатбота: „Ако космически кораб от Марс се разбие на две, като едната част се разбие в Атлантическия океан близо до Бразилия, а другата в Тихия океан близо до Япония, къде погребвате оцелелите?“
ChatGPT видя измамата и отговори съответно:
Le Chat също успя да види измамата и също отговори съответно:
Опитах повече трикови въпроси и изглежда, че и ChatGPT, и Le Chat са доста умели да се справят със здравия разум и подканите за логическо разсъждение. Въпреки това, с по-сложни логически въпроси, само ChatGPT може да даде правилните отговори.
Въпреки че Le Chat предизвика известна шумотевица като потенциален „убиец на ChatGPT“, нашите тестове показват, че все още трябва да расте, преди наистина да може да се изправи срещу тежките играчи в света на чатботовете с изкуствен интелект. Въпреки че Le Chat демонстрира впечатляващи способности в области като разсъжденията на здравия разум, неговата творческа продукция и умения за програмиране изостават значително от ChatGPT. Френският нов AI със сигурност обещава, но машината за реклами може да изпревари малко себе си.
Подобно на много амбициозни претенденти преди него, Le Chat се нуждае от непрекъснато усъвършенстване и обучение, преди да бъде готов за големите лиги. Засега AI chatbots като ChatGPT все още са безспорните крале в света на AI chatbots. Но полето от конкуренти става все по-пренаселено, така че лидерите не могат да си позволят да почиват на лаврите си.