News

Вчера ночью мы выпустили первый finetune LLaMA-2, который получил SOTA на метриках MMLU и BigBench Hard. Модель доступна в open-source и может быть скачана (и залайкана) напрямую из huggingface по ссылочке

ссылочке

Это открытая версия AI ассистента (как ChatGPT), которую можно использовать для файнтюнинга или локального использования в научных целях. Демо также доступно по ссылке

Немного важных особенностей:
• Размер контекста: 4096
• Размер модели: 7B (миллардов) параметров
• Размер датасета: 72 тысячи диалогов

Что делает нашу работу уникальной? Мы сконцентрировались на тщательной очистке данных, что является неотъемлемой частью научного подхода к анализу данных. Мы не просто производили очистку данных в один этап, мы продолжали улучшать нашу работу итеративно.

Один из ключевых шагов к достижению лучших результатов был связан с удалением из датасета стандартных ответов более крупных моделей AI, таких как "Sorry as an AI assistant I cannot...". После этого наша модель показала лучшие результаты среди всех доступных моделей с размером 7 миллиардов.

Команда разработки представлена ребятами из DSML KZ:
• Ерзат Дулат @rlprompt
• Айбек Бекбаев @qaszjo
• Сонбе Чан @Sungbae_Chun
• Джимми Ямазаки @myxik

Больше технических подробностей можно найти в блоге, посвященному выходу модельки

Инсайтами поделился инициатор проекта - Алибек Утюбаев, лид аналитики в Arbuz.kz:
• Толчком, развеявшим сомнения по поводу создания "Арбуз Chef", послужило напутствие от господина Аймолдина: "Наши конкуренты в ОАЭ опередили нас и запустили бота для рецептов, почему бы вам в Казахстане не сделать первыми?"

• Технически - это обертка API от Open AI, но с точки зрения бизнеса - возможность за недели запустить продукт, на создание которого ушли были месяцы и отдельные команды ML.

• За основу был взят слитый в Твиттер промпт для таких ассистентов, который был доработан под наши нужды.

• Для того, чтобы ChatGPT лучше следовал конкретным инструкциям по формату, хорошо использовать примеры. Не просто описать как вывести, а дать пример нужного формата.

• Мы сразу позаботились об аналитике: храним запросы от пользователей, прикрутили ивенты о добавлении товара в корзину и т.д.

• Мы надеемся, что бот поможет пользователям решить проблему "а что бы сегодня приготовить" с учетом уникальных потребностей клиента, которые не запрограммируешь if-else логикой, например, легкое блюдо в жаркий день или нескучный рацион питания в разных кухнях мира. По сути это не просто чат-бот, а именно способ взаимодействие с широким ассортиментом Arbuz.kz.

Мы выделили две программы в NU:

• Computer Science
Average Applicant: IELTS-7.3; SAT Reasoning-1443
Программа делает больший упор на фундаментальные основы компьютерных наук и частично покрывает науки о данных
Основные Дисциплины: Programming for Scientists and Engineers, Performance and Data Structures, Discrete Mathematics, Calculus I-II, Linear Algebra with Applications, Probability, Computer Systems and Organization, Programming Languages, Algorithms, Artificial Intelligence, Database Systems, Software Engineering.

• Mathematics
Average Applicant: IELTS-7.2; SAT Reasoning 1395
Программа фокусируется на математической основе и доказательствах теорий, лежащих в основе науки о данных
Основные курсы и элективы: Discrete Mathematics, Calculus I-II, Linear Algebra with Applications, Probability, Time Series Analysis, Statistical Programming, Statistical Learning (Masters), Regression Analysis, Nonlinear Optimization, Mathematical Statistics, Numerical Methods with Applications, Advanced Linear Algebra, Stochastic Processes, Stochastic Calculus, Advanced Linear Algebra.

Помимо основных дисциплин, студенты могут выбирать элективные курсы различных департаментов (Computer Science department, Political Science department, Economics department, Nursing department и др) для изучения независимо от их специализации

Информация об оплате
Большинство студентов обучается на гранте, однако есть возможность и платного обучения в NU. Программы бакалавриата стоят ~9.039.000 тенге или 23.000$ в год.