Остання редакція: 2025-06-13
Анотація
Досліджено вплив зміни великої мовної моделі при фіксованому контексті на розподіл ймовірностей наступного токена, у порівнянні з впливом зміни контексту при фіксованій моделі. Проведено експериментальне порівняння факторів зміни моделі та зміни контексту з використанням моделей Meta LLaMA 3.2-3B та Microsoft Phi 4-mini на датасеті з 60 питань з різних предметних областей. За допомогою дивергенції Дженсена-Шеннона встановлено, що зміна моделі при фіксованому контексті призводить до змін у розподілі наступного токена (JSD 0.640-0.678), які є співставні за величиною зі зміною контексту при фіксованій моделі (JSD 0.638-0.721). Результати підтверджують важливість оптимального вибору моделей під час проєктування ефективних систем штучного інтелекту.
INVESTIGATING THE IMPACT OF INTERACTION BETWEEN DIFFERENT MODELS ON THE NEXT-TOKEN PROBABILITY DISTRIBUTION IN LARGE LANGUAGE MODELS
Abstracts: The influence of changing a large language model with fixed context on the distribution of next token probabilities was investigated, compared to the influence of changing a context with a fixed model. An experimental comparison of model change and context change factors was conducted using Meta LLaMA 3.2-3B and Microsoft Phi-4-mini models on a dataset of 60 questions from various subject domains. Using Jensen-Shannon divergence, it was established that changing the model with fixed context leads to changes in the next token distribution (JSD 0.640-0.678) that are comparable in magnitude to changing context with a fixed model (JSD 0.638-0.721). The results confirm the importance of optimal model selection when designing effective artificial intelligence systems.
Ключові слова
Посилання
Li X. та ін. A survey on LLM-based multi-agent systems: workflow, infrastructure, and challenges // Vicinagearth. – 2024. – Т. 1, № 1. – С. 9. – DOI: 10.1007/s44336-024-00009-2. – ISSN 3005-060X.
Shen Y. та ін. HuggingGPT: solving AI tasks with ChatGPT and its friends in Hugging Face // Advances in Neural Information Processing Systems. – 2023. – Т. 36. – С. 38154–38180.
Hong S. та ін. METAGPT: meta programming for a multi-agent collaborative framework // Proceedings of the 12th International Conference on Learning Representations (ICLR 2024), Vienna (Austria), 7–11 May 2024. – 2024. – Текст : електронний ресурс. – URL: https://github.com/geekan/MetaGPT (дата звернення: 10.06.2025).
Jiang D., Ren X., Lin B. Y. LLM-Blender: ensembling large language models with pairwise comparison and generative fusion // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL 2023), Toronto (Canada), 9–14 July 2023. – 2023. – С. 14165–14178. – DOI: 10.18653/v1/2023.acl-long.792. – URL: https://aclanthology.org/2023.acl-long.792 (дата зверн.: 10.06.2025).
Vaswani A. та ін. Attention is all you need // Advances in Neural Information Processing Systems. – 2017. – Т. 30. – С. 5998–6008.
Lin J. Divergence measures based on the Shannon entropy // IEEE Transactions on Information Theory. – 1991. – Т. 37, № 1. – С. 145–151. – DOI: 10.1109/18.61115. – ISSN 0018-9448.
Meta AI. LLaMA 3.2-3B-Instruct: multilingual large language model // Hugging Face : [Електронний ресурс]. – 2024. – URL: https://huggingface.co/meta-llama/Llama-3.2-3B-instruct (дата зверн.: 10.06.2025).
Microsoft Research. Phi-4-mini-instruct: small language model // Hugging Face : [Електронний ресурс]. – 2025. – URL: https://huggingface.co/microsoft/Phi-4-mini-instruct (дата зверн.: 10.06.2025).