News

Еламан Абдуллин рассказал про Byte Latent Transformer

Современные LLM опираются на токенизацию, что ограничивает их гибкость, снижает эффективность и делает их уязвимыми к редким и неформатным входам. Статья предлагает Byte Latent Transformer (BLT) — новую архитектуру, работающую напрямую с байтами. BLT использует динамические патчи, адаптирующиеся к сложности данных, и впервые достигает сравнимого с токенизированными моделями качества при лучшей эффективности и масштабируемости.

Смотреть видео: youtu.be/JN-adAvbAcs

На этой неделе Михаил Шкорин расскажет про эмбеддинги графов — Optimal Time Complexity Algorithms for Computing General Random Walk Graph Kernels on Sparse Graphs

Текущие методы построения графовых эмбеддингов страдают от отсутствия теоретической обоснованности (GNN) или высокой вычислительной сложности (kernel-подходы)

Статья предлагает простой и масштабируемый алгоритм, который обеспечивает эффективное сравнение графов и их узлов через линейную аппроксимацию random walk kernels

На встрече мы обсудим:
- Зачем вообще нужны эмбеддинги графов
- Как создать эмбеддинги нодов за линейное время
- Как перейти от эмбеддингов нод до эмбеддингов графов на лету, не считая огромную матрицу смежности.
- Графовые трансформеры на облаках точек в робототехнике.

• Добавить в календарь: calendar.app.google/wci6yDfF8M68tHCv7
• Thu, May 15, 11:00 KZ Time
• Google Meet
• Host: Yelaman Abdullin

Резиденты нашего сообщества Санжар Мурзахметов, Санжар Умбет, Бексултан Cагындык и Кирилл Якунин запустили первую оффлайн-арену LLM для казахского языка!
Главная цель — проверить не просто генерацию следующего токена, а понимание культурного контекста в целом.

Что было сделано:
• Собрали кастомный QA-датасет с культурным фокусом.
• Использовали Serper, Perplexity и LLM-генерацию, вместе с лингвистами собрали темы и ключевые слова
• Модели сравнивались в парах: сначала с помощью GPT-4o, в финале — через модель Bradley-Terry.

Текущие Результаты:
• Модели Gemma от Google DeepMind стабильно сильные
• Sherkala-8B (MBZUAI) — второе место, обошёл даже большие модели
• ISSAI (Nazarbayev University) — хорошие MC-балы, но одни из самых слабых по генерации.