OpenAI официально представила новую бесплатную модель GPT-4 Omni — она умнее всех старых версий, так еще и работает напрямую на вашем ПК.
Главное о новой GPT-4 Omni:
- Нейронка работает сразу со всем контентом – текстом, звуком и изображениями:
- Знает 50 языков;
- Дизайн мобильного приложения и сайта обновят;
- У ChatGPT появится приложение для Mac;
- GPT Store теперь доступен бесплатным пользователям.
Модель теперь имеет реалистичный голос, который подстраивается под ваши требования. Также она научилась запоминать диалоги, что позволит ей быть полноценным ассистентом. Релиз состоится 13.05.2024.
Технический директор компании Мира Мурати заявила, что новая модель «намного быстрее» прошлой версии, а также обладает улучшенными возможностями работы с текстом, видео и аудио. OpenAI заявляют, что в конечном итоге хотят разрешить пользователям общаться с ChatGPT в видеочатах. Новая модель поддерживает 50 различных языков, включая русский. Мурати во время презентации заявила, что API OpenAI сделают общедоступным, чтобы разработчики могли начать создавать приложения с использованием новой модели уже сегодня.
GPT-4 Omni имеет контекстное окно в 128 тысяч токенов — примерно две копии книги «Великого Гетсби». Столько новая модель может держать в памяти, работая с данными.
Новая модель способна «воспринимать эмоции», анализируя выражение лица пользователя, а также работать со звуком. Во время презентации разработчики активно общались с моделью, а также показали как они могут беседовать между собой с двух разных устройств. Новая модель реагирует на речь пользователей «всего за 232 миллисекунды, в среднем за 320 миллисекунд, что аналогично времени реакции человека во время разговора». Во время презентации GPT-4o продемонстрировал способность рассказывать сказки на ночь, меняя тон голоса на более драматичный или роботизированный по просьбе юзера. При этом модель может работать как переводчик, работая только в аудиорежиме — во время трансляции она помогла общаться двум сотрудникам компании, которые говорили между собой на английском и итальянском. Разработчики также продемонстрировали способность модели решать математические уравнения и помогать писать код — во время презентации она поэтапно помогла решить задачу, по сути выступив в роли учителя.
