News

Вот такие уважаемые люди отметили прогресс KazLLM, разработанной казахстанским институтом ISSAI при Назарбаев Университете:
На Саммите по действиям в области ИИ в Париже я встретился с делегацией из Казахстана, которая показала мне на KazLLM — версию Llama, адаптированную для казахского языка и других языков, распространённых в регионе. Отличные результаты на казахском языке.

Искренние поздравления от лица Сообщества ДСМЛКЗ всем сопричастным!

Linkedin Post
ISSAI Model

• Ян Лекун — французский учёный в области искусственного интеллекта, один из основателей области глубокого обучения.
• Пионер в разработке нейронных сетей и алгоритмов машинного обучения, включая архитектуру свёрточных нейронных сетей (CNN).
• В настоящее время работает в Facebook AI Research (FAIR) и является профессором Нью-Йоркского университета.

Ранее мы писали о том, что мемберы нашего сообщества создали бенчмарки на проверку больших языковых моделей на различных датасетах казахского языка
• MMLU на казахском: Проверка мультизадачного языкового понимания.
• GSM8K на казахском: Тестирование математической логики.
• Kazakh Constitution MC: Проверка юридических и гражданских знаний.
• Kazakh Dastur MC: Понимание культурного наследия и обычаев.
• Unified National Test MC: История, литература, биология и другие предметы

Рады вам сообщеить, что первые результаты сравнения моделей уже доступны!
• Первое место среди всех моделей уверенно держит универсальная модель от OpenAI GPT-4o
• В опен-сорс сегменте лидирует разработка казахстанской лаборатории ISSAI с моделью LLaMA-3.1-KazLLM-1.0-8B

Следующие шаги:
• Релиз оффлайн арены с ELO
• Более сложные бенчмарки для реальных задач
• Релиз кастомных instruct датасетов

Подробнее:
• ознакомиться с лидербордом
• засабмитить свою модель

Ребята ждут фидбек и зовут всех заинтересованных к сотрудничеству!

Отличные новости для всех, кто интересуется адаптацией LLM под казахский язык!

Мемберы нашего сообщества Санжар Мурзахметов @stringersolo , Бексултан Сагындык @bsagyndyk и Кирилл Якунин @JenarosHat выпустили серию бенчмарков на проверку language understanding, ризонинга и прочих особенностей казахского языка.

1) Ребята перевели несколько популярных датасетов на казахский:
• MMLU на казахском: Проверка мультизадачного языкового понимания.
• GSM8K на казахском: Тестирование математической логики.

2) Были созданы кастомные казахстанские multiple-choice (MC) бенчмарки
• Kazakh Constitution MC: Проверка юридических и гражданских знаний.
• Kazakh Dastur MC: Понимание культурного наследия и обычаев.
• Unified National Test MC: История, литература, биология и другие предметы.

Команда работает над созданием открытого лидерборда по этим бенчмаркам и платформы, где можно будет тестировать и сравнивать модели, разработанные для казахского языка.

Подробнее о проекте можно почитать в их LinkedIn посте