🤖💻 20 и 21 мая Microsoft провела две презентации, на которых, помимо прочего, представила своё новое видение компьютеров на Windows — Copilot+ PC с мощными чипами для локальной работы нейросетей. Но продаваться они начнут лишь летом, а станут массовыми (если станут) гораздо позже. Рассказываем, как и зачем запускать большие языковые модели на своём ПК или Mac уже сейчас. Плюсы и минусы локальных нейросетей ➕ Работа без интернета — можно разговаривать с ботом вдали от цивилизации, а данные из переписки не покинут компьютер. ➕ Возможность протестировать новейшие опенсорс-модели. ➖ Необходим относительно мощный компьютер, например современный Windows-ноутбук с дискретной видеокартой или Macbook на чипе M1 и новее. ➖ Опенсорс-модели вроде Llama или Mistral лучше всего говорят на английском и намного хуже отвечают по-русски. Как запустить языковую модель на своём компьютере Сообщество энтузиастов создало для этого десятки хороших программ. Мы выбрали для примера Jan — проект с открытым кодом и очень дружелюбным интерфейсом (правда, лишь англоязычным). Он опубликован на GitHub, там же или на сайте проекта можно найти версию для своей системы: поддерживаются Windows, Mac и Linux. После запуска программа сразу открывает режим чата и сообщает, что у вас пока нет локальной модели. Нужно нажать кнопку Explore The Hub — Jan откроет хаб с популярными моделями, о которых мы уже рассказывали в канале: Mistral, Llama 3, Gemma и другими. Возле каждой нейросети есть кнопка Download для скачивания и статус — лучше выбирать модели со статусом Recommended. Модели, как правило, занимают несколько гигабайт и при 100-мегабитном интернете скачиваются за несколько минут. После этого достаточно нажать на кнопку Use, и можно начинать общаться с нейросетью в режиме чата. Это правда работает без облаков? Как только вы скачали модель, она будет работать локально. Можете проверить, отключив интернет на компьютере. ⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь 👉 @techno_yandex