В нескольких словах
Развитие малых языковых моделей (SLM) может стать более экологичной альтернативой большим языковым моделям (LLM) в сфере искусственного интеллекта. SLM способны работать на устройствах пользователей, сокращая потребление энергии и обеспечивая большую конфиденциальность.
В бурной гонке за искусственным интеллектом (ИИ) новинки появляются одна за другой.
И среди новых разработок все чаще встречаются так называемые малые модели, small language models или SLM. Они отличаются от LLM, больших языковых моделей, которые служат двигателем для ChatGPT или Google Gemini. Эти системы, более простые и ориентированные на повышение эффективности использования ресурсов, иногда могут работать на компьютере или даже мобильном телефоне.
Это противоположно принципу работы крупных систем ИИ, которые для функционирования используют облачные вычисления. Это означает обработку информации на огромном оборудовании центров обработки данных. И последствия для окружающей среды дадут о себе знать. Инвестиционный банк Goldman Sachs подсчитал, что к 2030 году ИИ увеличит потребность центров обработки данных в энергии на 165%. Этот прогноз сделан на фоне ажиотажа вокруг строительства такого рода инфраструктуры.
Американская компания OpenAI планирует вместе с несколькими партнерами инвестировать до 500 миллиардов долларов в строительство центров обработки данных. Только в 2025 году Amazon, Microsoft, Google и Meta планируют потратить в общей сложности более 320 миллиардов долларов на этот вид инфраструктуры. В то же время Европейская комиссия объявила о программе выделения 200 миллиардов евро (смешанное финансирование) на строительство центров обработки данных для ИИ.
В условиях этой борьбы за накопление вычислительных ресурсов малые модели ИИ могут стать более устойчивой альтернативой. Mistral Small 3.1, вариант французского стартапа с тем же названием, работает на Mac с 32 гигабайтами оперативной памяти, а проект с открытым исходным кодом TinyLlama 1.1B может быть реализован на компьютерах с более чем 8 гигабайтами оперативной памяти, некоторые даже тестировали его на смартфонах. В рамках своего каталога новинок в области ИИ Google недавно запустила Gemma 3 1B, модель, подготовленную для мобильных устройств. Идея заключается в том, чтобы разработчики интегрировали ее в свои приложения для выполнения задач без подключения к Интернету.
«Малые модели оптимизированы таким образом, чтобы иметь меньшее количество параметров, поэтому в конечном итоге сеть становится меньше. Чем меньше модель, тем эффективнее она в потреблении энергии, потому что ей нужно выполнять меньше операций и нужно меньше места для хранения», — объясняет Вероника Болон-Канедо, исследователь ИИ в Исследовательском центре информационных и коммуникационных технологий Университета А-Корунья. Она является одним из авторов исследования, в котором изучаются способы содействия более устойчивому с экологической точки зрения ИИ.
«Если вам также удастся запустить модель на устройстве, вам не придется отправлять каждый новый запрос в центр обработки данных. Очевидно, что это связано с затратами на передачу данных, и, кроме того, большие центры обработки данных потребляют больше энергии. Вы экономите все это, если делаете это на своем устройстве», — комментирует Болон-Канедо.
Однако малые модели, работающие на компьютере или мобильном телефоне, менее точны и не подходят для любой задачи. Например, все, что связано с генерацией изображений, усложняется. Хотя прогресс достигается быстро.
«Разработка небольших языковых моделей, мультимодальных моделей и высококачественного обоснования продвигается очень быстро. Компании активно готовят эти модели для коммерческого применения и для логического вывода (операции, которые модели выполняют для ответа на запрос) на самом устройстве», — говорит Джордж Цирцис, технический директор Qualcomm в Европе. Его компания, которая продает чипы большому количеству телефонных брендов, два года назад использовала модель Stable Diffusion на мобильном телефоне для создания изображения и обнаружила, что это занимает 15 секунд. Теперь эта задача занимает менее секунды благодаря разработке процессоров, предназначенных для ИИ.
Трудно подсчитать, но можно предположить, что экономия энергии была бы значительной при запуске моделей на устройстве. «В больших центрах обработки данных есть гораздо более мощные машины, которые потребляют больше энергии. И у них много проблем с охлаждением. На вашем компьютере или вашем устройстве вы экономите на всем этом», — отмечает Канедо-Болон, которая добавляет другие преимущества запуска систем локально. «Нет таких проблем с конфиденциальностью. Ваши данные не покидают ваше устройство, они не уходят в облако. Кроме того, вы выигрываете в скорости, потому что нет задержки, связанной с отправкой информации, ее обработкой и получением ответа».
В отчете Международного энергетического агентства говорится, что центры обработки данных, на которые в настоящее время приходится 1,5% от общего объема потребляемой энергии, к 2030 году будут потреблять 3%. Они достигнут 945 тераватт-часов в год, что превышает потребности Японии в энергии. Рабочие нагрузки, связанные с искусственным интеллектом, будут потреблять на 30% больше электроэнергии каждый год.
«Обработка ИИ на устройстве обычно намного более энергоэффективна, чем запросы к моделям ИИ, размещенным в центрах обработки данных, особенно в приложениях, требующих ответа в реальном времени или почти в реальном времени», — отмечает Цирцис. Но у локального исполнения есть свои трудности. ИИ потребляет большое количество энергии, и, если он работает только внутри устройства, это влияет на его батарею. Именно поэтому производители, такие как Qualcomm, разработали NPU (нейронные процессоры), предназначенные для эффективной обработки логических выводов.
Компания также применила этот тип процессоров к первому поколению AI PC, этикетке, придуманной для объявления о приходе ИИ в компьютеры. «Наша платформа Snapdragon X включает в себя высокопроизводительные и энергоэффективные NPU, разработанные для логических выводов генеративного ИИ. Конструкция этого оборудования позволяет чипам справляться со сложными задачами ИИ на ноутбуке, заботясь при этом об аккумуляторе», — объясняет Цирцис.
Но еще предстоит увидеть, для каких задач будет полезен ИИ, работающий локально. В любом случае, небольшие модели не заменяют большие. «Будут задачи, для которых нам может подойти производительность, обеспечиваемая меньшей моделью, работающей локально, вероятно, для генерации текста», — размышляет исследователь ИИ. «Но есть и задачи, которые являются более затратными в вычислительном отношении, такие как более глубокое понимание, рассуждение или мультимодальный ИИ (который объединяет информацию и знания в различных форматах, таких как текст, изображения или звук). Для этих задач вам, вероятно, понадобится большая модель».
Некоторые из задач, которые можно выполнять на самом устройстве, могут включать написание простых текстов, создание резюме, чтение рукописного текста на изображениях, перевод текстов или транскрипцию аудио. Цирцис согласен с тем, что будущее заключается в принятии гибридного подхода. Его прогноз заключается в том, что именно приложения ИИ будут вызывать облако, когда это необходимо, и решать другие задачи на самом устройстве. Это способ продвижения к балансу между производительностью и энергоэффективностью.
