LLM как Операционная система

""Посмотрел видео /1hr Talk/ Intro to Large Language Models Андрея Карпаты. Где очень доступно рассказывается что такое LLM.

Краткая выжимка на vc.ru

Узнал от avva

Больше всего меня впечатлило, что LLM можно рассматривать как аналог Операционной системы. Это будет вернее, чем называть их чатботами.

Большие языковые модели можно сравнить с процессом ядра новой операционной системы, координирующим ресурсы для решения проблем. Аналогия с многопоточностью, многопроцессорностью и спекулятивным выполнением.

1. У нас есть диск -- интернет, локальные хранилища.
2. У нас есть Оперативная Память (RAM) -- контекстное окно с максимальным количеством слов.
3. Многопоточность
4. Многопроцессорность
5. Спекулятивное выполнение

Также аналог с существующими операционными системами: есть проприетарные, а есть с открытым исходным кодом. Пока системы с открытым исходным кодом слабее проприетарных. Дальше время покажет.

Ведь за последние годы они научились:

1. Читать и генерировать текст.
2. Они имеют больше знаний о любой области чем любой человеческий мозг.
3. Они могут искать в интернете или в локальных хранилищах.
4. Они могут использовать существующие программы (калькулятор, Пайтон, мышь/клавиатуру). Тут думаю они очень скоро (хотя уже) использовать любые связанные с сетью устройства: видеокамеры, спутники, передатчики, роботы, антенны, телескопы, беспилотный транспорт, электростанции, датчики любого рода и т.д.)
5. Они могут смотреть и генирировать изображения и видео.
6. Они могут думать как в Системе 1, так и в Системе 2 (долгой). По Таллебу
7. Они могут слушать и разговаривать, генерировать музыку.
8. Они могут самосовершенствоваться в областях, где есть система вознаграждения, т.е. учится на своих ошибках.
9. Они могут общаться с другими LLM

Мультимодальность -- главное направление больших языковых моделей.

Я хотел бы подумать, куда и как (как скоро) это может привезти. Как это можно использовать для моих и не только задач.""

draft