Continuous Autoregressive Language Models
Непрерывные Авторегрессионные Языковые Модели В этом документе представлены Непрерывные Авторегрессионные Языковые Модели (CALM) - новая парадигма для языкового моделирования, которая переходит от предсказания дискретных токенов к предсказанию непрерывных векторов. CALM использует автоэнкодер для сжатия последовательностей токенов в векторы, уменьшая количество генеративных шагов и повышая вычислительную эффективность. В документе подчеркиваются ограничения дискретного представления токенов в традиционных больших языковых моделях (LLM) и утверждается необходимость увеличения семантической пропускной способности. Разработана структура, не требующая правдоподобия, для решения проблем моделирования в непрерывной области, с упором на обучение, оценку и управляемую выборку. Авторы представляют легкий автоэнкодер для надежного векторного представления и Energy Transformer для эффективной одношаговой генерации. Предлагается новая метрика, BrierLM, для оценки языковых моделей, не требующих правдоподобибия. Экспериментальные результаты показывают, что CALM достигает конкурентоспособной производительности при меньших вычислительных затратах, демонстрируя потенциал предсказания следующих векторов. Авторы стремятся утвердить предсказание следующего вектора в качестве мощного и масштабируемого пути к ультраэффективным языковым моделям. Их основные вклады структурируют остальную часть статьи. #языковыемодели #авторегрессия #непрерывноепредставление #автоэнкодер #эффективность #CALM #предсказаниеследующеговектора документ - http://arxiv.org/pdf/2510.27688v1 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM
Непрерывные Авторегрессионные Языковые Модели В этом документе представлены Непрерывные Авторегрессионные Языковые Модели (CALM) - новая парадигма для языкового моделирования, которая переходит от предсказания дискретных токенов к предсказанию непрерывных векторов. CALM использует автоэнкодер для сжатия последовательностей токенов в векторы, уменьшая количество генеративных шагов и повышая вычислительную эффективность. В документе подчеркиваются ограничения дискретного представления токенов в традиционных больших языковых моделях (LLM) и утверждается необходимость увеличения семантической пропускной способности. Разработана структура, не требующая правдоподобия, для решения проблем моделирования в непрерывной области, с упором на обучение, оценку и управляемую выборку. Авторы представляют легкий автоэнкодер для надежного векторного представления и Energy Transformer для эффективной одношаговой генерации. Предлагается новая метрика, BrierLM, для оценки языковых моделей, не требующих правдоподобибия. Экспериментальные результаты показывают, что CALM достигает конкурентоспособной производительности при меньших вычислительных затратах, демонстрируя потенциал предсказания следующих векторов. Авторы стремятся утвердить предсказание следующего вектора в качестве мощного и масштабируемого пути к ультраэффективным языковым моделям. Их основные вклады структурируют остальную часть статьи. #языковыемодели #авторегрессия #непрерывноепредставление #автоэнкодер #эффективность #CALM #предсказаниеследующеговектора документ - http://arxiv.org/pdf/2510.27688v1 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM