Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leak
Устойчивы ли мультимодальные визуально-языковые модели, вдохновленные нейробиологией, к утечке конфиденциальности из-за членской принадлежности? В данной работе исследуется уязвимость мультимодальных визуально-языковых моделей (VLMs) к атакам, определяющим членство (MIA), типу атак на конфиденциальность, которые пытаются определить, использовались ли конкретные данные при обучении модели. Исследуется, являются ли VLMs, вдохновленные нейробиологией, и включающие топологическую регуляризацию, более устойчивыми к этим атакам по сравнению с базовыми моделями. В исследовании используются три VLMs (BLIP, PaliGemma 2 и ViT-GPT2) и три эталонных набора данных (COCO, CC3M и NoCaps) для анализа влияния τ-регуляризации на успех MIA. Эксперименты сравнивают базовые VLMs с нейро-VLMs, варьируя топологический коэффициент τ. Результаты показывают, что нейро-VLMs демонстрируют значительное снижение успеха атак MIA при сохранении аналогичной полезности модели. В частности, модель BLIP с топологической регуляризацией демонстрирует снижение успеха атаки MIA (ROC-AUC) на ~24% на наборе данных COCO. Результаты показывают, что подходы, вдохновленные нейробиологией, могут повысить устойчивость VLMs к конфиденциальности, существенно не влияя на их производительность. Исследование вносит вклад в понимание рисков для конфиденциальности в мультимодальных моделях и предоставляет эмпирические данные об устойчивости нейро-VLMs. #мультимодальные #визуальныйязык #конфиденциальность #определениечленства #вдохновленныенейробиологией #топологическаярегуляризация #AIбезопасность #уязвимость #глубокоеобучение документ - https://arxiv.org/pdf/2511.20710v1 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM
Устойчивы ли мультимодальные визуально-языковые модели, вдохновленные нейробиологией, к утечке конфиденциальности из-за членской принадлежности? В данной работе исследуется уязвимость мультимодальных визуально-языковых моделей (VLMs) к атакам, определяющим членство (MIA), типу атак на конфиденциальность, которые пытаются определить, использовались ли конкретные данные при обучении модели. Исследуется, являются ли VLMs, вдохновленные нейробиологией, и включающие топологическую регуляризацию, более устойчивыми к этим атакам по сравнению с базовыми моделями. В исследовании используются три VLMs (BLIP, PaliGemma 2 и ViT-GPT2) и три эталонных набора данных (COCO, CC3M и NoCaps) для анализа влияния τ-регуляризации на успех MIA. Эксперименты сравнивают базовые VLMs с нейро-VLMs, варьируя топологический коэффициент τ. Результаты показывают, что нейро-VLMs демонстрируют значительное снижение успеха атак MIA при сохранении аналогичной полезности модели. В частности, модель BLIP с топологической регуляризацией демонстрирует снижение успеха атаки MIA (ROC-AUC) на ~24% на наборе данных COCO. Результаты показывают, что подходы, вдохновленные нейробиологией, могут повысить устойчивость VLMs к конфиденциальности, существенно не влияя на их производительность. Исследование вносит вклад в понимание рисков для конфиденциальности в мультимодальных моделях и предоставляет эмпирические данные об устойчивости нейро-VLMs. #мультимодальные #визуальныйязык #конфиденциальность #определениечленства #вдохновленныенейробиологией #топологическаярегуляризация #AIбезопасность #уязвимость #глубокоеобучение документ - https://arxiv.org/pdf/2511.20710v1 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM