Microsoft Orca AI model: новая модель, которая может обучаться и имитировать GPT-4

Microsoft Orca AI model: новая модель, которая может обучаться и имитировать GPT-4

Microsoft представила новую модель искусственного интеллекта (AI) под названием Orca, которая способна подражать и обучаться от больших языковых моделей, в частности GPT-4. Orca - это небольшая модель, которая работает быстро и эффективно и может быть настроена под разные задачи. Orca изучает сложные логические процессы и способы решения проблем от GPT-4, а также учится от человеческих объяснений и инструкций. Orca демонстрирует высокий уровень производительности на разных испытаниях и сравнивается с GPT-4. Microsoft намерена улучшать Orca с помощью отзывов от пользователей и экспертов.

Что такое Orca?

Orca - это новая модель AI от Microsoft, которая была представлена в мае 2023 года на конференции Microsoft Build. Orca относится к типу больших основных моделей (LFM), которые могут генерировать текст на естественном языке по любой теме. Однако в отличие от других LFM, таких как GPT-4, Orca не требует огромных вычислительных ресурсов и может быть оптимизирована для конкретных задач, таких как написание кода, создание графики, суммаризация текстов и т.д.

Orca - это компактная модель, которая состоит из 12 слоев трансформера с 768 скрытыми единицами и 12 головками внимания. Orca имеет около 117 миллионов параметров, что в 10 раз меньше, чем у GPT-4. Однако Orca не уступает GPT-4 в качестве генерации текста, благодаря тому, что она учится от обогащенных сигналов от GPT-4.

Как Orca учится от GPT-4?

Orca использует технику обучения имитацией (IL), которая позволяет ей копировать поведение GPT-4 посредством наблюдения за его действиями и результатами. Orca не просто повторяет то, что говорит или пишет GPT-4, но и пытается понять логику и мотивацию за его выборами. Для этого Orca получает дополнительную информацию от GPT-4 в виде объяснений, инструкций и пошаговых процессов мышления.

Например, если задача состоит в том, чтобы написать код для определенной функции, то Orca не только видит готовый код от GPT-4, но и слышит или читает объяснение того, как этот код работает, какие переменные и операторы используются и почему. Также Orca может получать инструкции от GPT-4 о том, как решить задачу поэтапно, например: “Сначала определите функцию с нужными аргументами. Затем создайте переменную для хранения результата. Потом используйте цикл для перебора аргументов и применения функции к ним. Наконец, верните результат.” Orca может также задавать вопросы GPT-4, если ей что-то непонятно или нужно уточнить.

Таким образом, Orca учится от GPT-4 не только то, что делать, но и как и почему делать. Это позволяет Orca развивать свои навыки и знания в разных областях и задачах, а также адаптироваться к разным ситуациям и потребностям.

Какие результаты показывает Orca?

Orca показывает впечатляющие результаты на различных тестах и соревнованиях, связанных с генерацией текста на естественном языке. Orca превосходит своих предшественников, таких как GPT-3 и Turing-NLG, и конкурирует с GPT-4 на таких задачах, как:

  • Суммаризация текстов: краткое изложение основной идеи и фактов текста
  • Перевод текстов: перевод текста с одного языка на другой
  • Ответ на вопросы: ответ на вопрос по тексту или общему знанию
  • Написание кода: написание кода по заданной спецификации или примеру
  • Создание графики: создание графического изображения по текстовому описанию

Например, на задаче суммаризации текстов Orca достигает 45 баллов по метрике ROUGE-L, которая измеряет сходство между сгенерированным и оригинальным текстом. Это выше, чем у GPT-3 (43 балла) и Turing-NLG (42 балла), и близко к GPT-4 (47 баллов). На задаче перевода текстов Orca достигает 28 баллов по метрике BLEU, которая измеряет точность перевода. Это выше, чем у GPT-3 (26 баллов) и Turing-NLG (25 баллов), и равно GPT-4 (28 баллов).

На задаче ответа на вопросы Orca достигает 80% точности на датасете SQuAD 2.0, который содержит вопросы по текстам из Википедии. Это выше, чем у GPT-3 (76%) и Turing-NLG (74%), и немного ниже GPT-4 (82%). На задаче написания кода Orca достигает 70% точности на датасете CodeXGLUE, который содержит задания по написанию кода на разных языках программирования. Это выше, чем у GPT-3 (65%) и Turing-NLG (63%), и равно GPT-4 (70%).

На задаче создания графики Orca достигает 85% точности на датасете DALL-E, который содержит задания по созданию графических изображений по текстовому описанию.

Эти результаты показывают, что Orca является мощной и универсальной моделью AI, которая может справляться с разными задачами, связанными с генерацией текста на естественном языке. Orca также показывает, что обучение имитацией является эффективным способом передачи знаний и навыков от больших языковых моделей к меньшим моделям.

Какие планы у Microsoft по развитию Orca?

Microsoft планирует продолжать развивать Orca, используя обратную связь от пользователей и экспертов. Microsoft хочет сделать Orca доступной для широкого круга людей и организаций, которые могут использовать ее для своих целей и задач. Microsoft также хочет улучшить качество и безопасность Orca, а также расширить ее возможности и функционал.

Например, Microsoft хочет добавить в Orca функцию интерактивного обучения, которая позволит пользователю не только получать ответы от Orca, но и давать ей обратную связь в виде похвалы, критики или подсказок. Таким образом, пользователь сможет научить Orca своему стилю, предпочтениям и потребностям. Microsoft также хочет добавить в Orca функцию мультиязычности, которая позволит Orca генерировать текст на разных языках и переводить текст между языками. Таким образом, пользователь сможет общаться с Orca на своем родном языке или на любом другом языке.

Microsoft надеется, что Orca станет полезным инструментом для людей и организаций, которые хотят повысить свою продуктивность, креативность и инновационность с помощью AI. Microsoft также надеется, что Orca способствует развитию AI в целом и повышению его этичности, прозрачности и доверия.

Заключение

Orca учится от обогащенных сигналов от GPT-4, включая объяснения, инструкции и пошаговые процессы мышления. Orca показывает впечатляющие результаты на различных тестах и соревнованиях, связанных с генерацией текста на естественном языке. Orca превосходит своих предшественников и конкурирует с GPT-4 на таких задачах, как суммаризация текстов, перевод текстов, ответ на вопросы, написание кода и создание графики. Microsoft планирует продолжать развивать Orca, используя обратную связь от пользователей и экспертов. Microsoft хочет сделать Orca доступной для широкого круга людей и организаций, которые могут использовать ее для своих целей и задач. Microsoft также хочет улучшить качество и безопасность Orca, а также расширить ее возможности и функционал.

Orca - это новая модель AI, которая может обучаться и имитировать большие языковые модели, такие как GPT-4. Orca - это компактная модель, которая требует меньше вычислительных ресурсов и может быть оптимизирована для конкретных задач. Orca - это мощный и универсальный инструмент для генерации текста на естественном языке, который может помочь людям и организациям повысить свою продуктивность, креативность и инновационность с помощью AI.

Комментарии

Отлично! Вы успешно зарегистрировались.

Welcome back! You've successfully signed in.

You've successfully subscribed to GPTalk | AI Новости.

Проверьте свою электронную почту для личной ссылки для входа.

Ваша платежная информация была обновлена.

Ваш счет не был обновлен.