Survey of evaluation benchmarks through a three-dimensional framework
Оценка Культурной Адаптации LLM: Трехмерный Анализ Бенчмарков Представленный научный документ анализирует существующие эталоны оценки культурной согласованности (cultural alignment) в больших языковых моделях (LLMs). Авторы предлагают новую трехмерную структуру для систематического анализа этих эталонов, которая включает Культурную группу (с кем согласовывать), Культурные элементы (что согласовывать) и Область осведомленности (как согласовывать: ориентировано на большинство или на разнообразие). Анализ 105 наборов данных выявил значительный перекос в сторону оценок, ориентированных на большинство (97,1%), а также доминирование Региона и Языка в представлении культурных групп. Исследование показывает, что существующие эталоны неадекватно охватывают внутрикультурное разнообразие и нуждаются в расширении для более справедливой и всеобъемлющей оценки. Кейс-стади с азиатскими странами демонстрирует, как предложенная структура выявляет критические пробелы между эталонами и реальными культурными предубеждениями, с которыми сталкиваются пользователи. #amazon документ - https://www.amazon.science/publications/incorporating-diverse-perspectives-in-cultural-alignment-survey-of-evaluation-benchmarks-through-a-three-dimensional-framework подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM
Оценка Культурной Адаптации LLM: Трехмерный Анализ Бенчмарков Представленный научный документ анализирует существующие эталоны оценки культурной согласованности (cultural alignment) в больших языковых моделях (LLMs). Авторы предлагают новую трехмерную структуру для систематического анализа этих эталонов, которая включает Культурную группу (с кем согласовывать), Культурные элементы (что согласовывать) и Область осведомленности (как согласовывать: ориентировано на большинство или на разнообразие). Анализ 105 наборов данных выявил значительный перекос в сторону оценок, ориентированных на большинство (97,1%), а также доминирование Региона и Языка в представлении культурных групп. Исследование показывает, что существующие эталоны неадекватно охватывают внутрикультурное разнообразие и нуждаются в расширении для более справедливой и всеобъемлющей оценки. Кейс-стади с азиатскими странами демонстрирует, как предложенная структура выявляет критические пробелы между эталонами и реальными культурными предубеждениями, с которыми сталкиваются пользователи. #amazon документ - https://www.amazon.science/publications/incorporating-diverse-perspectives-in-cultural-alignment-survey-of-evaluation-benchmarks-through-a-three-dimensional-framework подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM