Сравнение стоимости генераций в YandexGPT Lite и OpenAI GPT-3.5 Turbo

Встала недавно задача делать небольшие генерации с помощью нейронок. После тестов API решил сравнить, сколько будут стоить одни и те же действия в "эталонном" ИИ от OpenAI и в "нашем" конкуренте от яндекса. Тем более что не у всех сейчас есть возможность пользоваться зарубежной системой из-за санкций. Плюс бонусом проверим не окажется ли выгодно использовать перевод для экономии токенов. Итак, вводные.

Предположим что мы задали нейросети какой-то вопрос, а в ответ получили следующий текст: "проверка количества токенов в предложении чтобы понять сколько это будет стоить в различных генеративных сетях. причем я хочу попробовать на английском и на русском посчитать стоимость чтобы понять выгодно ли будет переводить". На нем и будем проводить расчеты.

Яндекс насчитал здесь своим токенизатором 44 токена, OpenAI же 92. Это не удивило, т.к. давно известный факт что кириллица всегда разбивается на почти вдвое большее количество кусочков для обработки. Просто Яндекс скорее всего это сразу же закладывает в токенизатор.

Сравнивать цены будем у Яндекса в синхронном режиме для честности, т.к. у конкурента асинхронного режима нет вовсе. Доллары считаем по курсу 92 рубля. Дата эксперимента - 13.01.2024. У яндекса 1к токенов стоит 0.4 рубля, у гпт турбо 0.0020 доллара.

YandexGPT Lite: 44 * (0.40 / 1000) = 0.0176 ₽ OpenAI GPT-3.5 Turbo: 92 * (0.0020 / 1000) * 92 = 0.0169 ₽

Как видим, разницы практически нет. Но стоит учитывать три важные особенности:

Входные токены, т.е. запрос к модели, у OpenAI стоят в два раза дешевле чем токены в ответе, по которым мы считаем выше. Это значит что если входных данных много, а на выходе предполагается например обобщение в короткий ответ - то цифры будут значительно ниже.
При этом в асинхронном варианте использование YandexGPT Lite обойдется вдвое дешевле и за вопрос и за ответ.
По личным ощущениям нейронка от OpenAI работает намного лучше чем детище Яндекса - точнее следует промтам, меньше галлюционирует и в целом выдает более качественные ответы.

Попробовать перевод?

И тут хитрому мне пришла идея - а что если я буду писать промты и получать ответы от OpenAI на английском языке, тратя вдвое меньше токенов чем используя русский язык, а результат просто буду переводить? Например через API переводчика от того же Яндекса. Считаем количество символов в тестовом тексте, переведенном на английский - получаем всего 45 токенов, вдвое дешевле. Количество символов в тексте - 239. Отлично, осталось только перевести. Цена за 1 млн символов 492,2 рублей, за один 0.0004922, значит за весь переведенный текст получится... 0,1176358 рубля. Упс =) В десятки раз дороже чем сделать генерацию просто на русском языке.

Не знаю конечно, может быть где-то есть апишки для автоматического перевода значительно более дешевые, но сомневаюсь что они будут дешевле именно во много раз. Так что эту идею отбрасываю, хотя честно говоря странно. Я не раз слышал что вроде как тактику с генерацией текста и последующим переводом используют для удешевления генераций. Или может использовали раньше? Или делают это как-то по другому? Хз.

Выводы

Что выбрать? Решать вам. Я склоняюсь к идее что какие-то простые и не критичные генерации можно отдавать Яндексу в асинхронном режиме - так выйдет дешевле. Но серьезные вещи лучше все-таки делать через API лидера рынка и получать качественный результат за адекватные деньги.