jazzzi

Читал биографию Довлатова.

"Для ленинградского старшеклассника, мечтающего стать писателем, каким был Сергей Довлатов в середине пятидесятых, выбор высшего учебного заведения был более или менее очевиден. Те, кто намеревался посвятить себя литературе, охотнее всего поступали в романтический Горный институт или на филологический факультет университета."

Долго думал.

Первый самолет врежется в башню Торгового центра 25 лет назад, через 5 минут.

В твиттере аккаунт 25YearsAgoLive пересказывает новости того дня в реальном режиме. Президент Буш только что прибыл в школу во Флориде, читать детям. Жутковато.

Очень хорошо помню это ощущение жуткой нереальности происходящего.

Смеялся.

Ну что ж, пришло время для ИИ решить одну из семи математических "проблем тысячелетия" - всего два месяца после того, как в июле математики увидели, как новые топ-модели начинают решать известные открытые проблемы, над которыми работало много первоклассных математиков.

Сегодня OpenAI заявила, что их внутренняя модель (намного более мощная, чем выпущенная на днях Astra, и в формате "рой из 10 тысяч агентов") за несколько дней решила проблему гладкости решений уравнения Навье-Стокса. Эта задача связана с пониманием движения жидкости и особенно турбулентности в ней. Возьмите чашку молока и начните размешивать его ложечкой круговыми движениями. Вы создаете вихри, и ваши вихри в процессе своего кручения закручивают сильнее другие мини-вихри меньшего радиуса в молоке; одновременно вязкость молока ослабляет и гасит эти мини-вихри, и распределяет энергию однородным образом. Верно ли, что теоретически может быть такое, что, пока вы продолжаете помешивать молоко одинаковым образом, и несмотря на сглаживающую вихри вязкость, мини-вихри в молоке будут становиться все тоньше и одновременно быстрее, так что их угловая скорость за конечное время увеличивается неограниченно, стремясь к бесконечности? Такое явление называют "взрыв" (blow-up). Это чисто математический вопрос - физически это невозможно, потому что более тонким, чем одна молекула, вихрь стать не может. Но тем не менее ответ на него влияет на наше понимание турбулентности в жидкости вообще. OpenAI опубликовала полученное AI доказательство, что для любых разумных начальных условий возможно существование "взрывов", таким образом опровергая гипотезу о том, что решения Навье-Стокса должны быть гладкими.

Похоже, вместе с тем, что скандал, связанный с этим открытием, затмевает само открытие. За 12 часов до публикации OpenAI уважаемый математик Тристан Бакмастер опубликовал статьи с частичным прогрессом к той же цели (не доходящим до полного решения), и одновременно обвинил OpenAI в неэтичном поведении. Он рассказал, что весь последний год вместе с другим математиком Левентом Альпёге работал над решением проблемы Навье-Стокса с помощью AI. При этом они делали это по своей частной инициативе, хотя Альпёге работает в конкуретной фирме Anthropic и не раз за последний год анонсировал решение важных открытых проблем с помощью Клода, ИИ от Антропик. Несколько дней назад OpenAI связались с Бакмастером и сообщили (я тут сильно сокращаю), что ввиду слухов о прогрессе в Anthropic над "проблемой тысячелетия" они сформировали отдельную команду, дали ей "безумное количество ИИ-ресурсов", и смогли решить проблему Навье-Стокса; они предложили Бакмастеру соавторство и даже главное авторство в статье о результатах, но только ему, а не Альпёге, сотруднику конкурентов. Самое жесткое обвинение Бакмастера - это что он подозревает, что OpenAI использовали логи общения Бакмастера и Альпёге с ChatGPT (а они использовали как модели Anthropic, так и OpenAI в своем исследовании), чтобы "украсть" то направление, в котором они бились над задачей, подсказать его гораздо более мощной модели с безумным количеством ресурсов, и таким образом обогнать их в гонке к результату (он утверждает, что они выбрали одно из самых мало-перспективных, по общему мнению до того, направлений, и что модель вряд ли выбрала бы его сама по себе). OpenAI ответили на эти обвинения сегодня утром и отрицают, что сознательно смотрели на логи кого-либо для решения этой задачи, хотя не могут в принципе исключить возможность того, что эти логи когда-то раньше, вместе с миллионами других, использовались для тренировки этой самой внутренней модели.

Я воспользуюсь ясным и четким разбором Jaime Sevilla, главой компании EpochAI, в твиттере - он разделил длинный документ Тристана Бакмастера на пять четких обвинений в сторону OpenAI, и под каждым напишу, как на него ответила или не ответила OpenAI сегодня. Это больше, чем вы получите от пересказов этого скандала в прессе. Несомненно, этот скандал еще не закончен, но мне пока этого хватит.

ОБВИНЕНИЕ 1a. OpenAI "украло" направление исследований Тристана и Левента до того, как те опубликовали свои результаты.
ОТВЕТ. OpenAI признают, что собрали команду математиков и физиков и дали им доступ к новой модели и огромному количеству ресурсов специально с целью добиться прогресса в "проблемах тысячелетия", и что эта команда начала работать всего 10 дней назад, и что это случилось в ответ на слухи о прогрессе в Anthropic. Они отрицают, что знали что-то о конкретном направлении.

ОБВИНЕНИЕ 1b. OpenAI читали то, как T&L общались с моделями OpenAI, и использовали это.
ОТВЕТ: отрицают, что люди или модели смотрели конкретно на их логи, не отрицают, что теоретически возможно, что раньше и вне связи с этим проектом новая модель тренировалась в том числе на этих логах.

От себя добавлю: то, что OpenAI не отвергают возможности того, что внутренняя модель видела логи T&L во время тренировки, в глазах многих комментаторов практически подтверждает обвинение в "краже", хотя другие заявляют, что это нормальная ситуация в любой из ведущих ИИ-компаний во время тренировки модели. Уже случился следующий раунд переругивания: Левент Альпёге прокомментировал этот отрывок в духе "хорошо, что они это признали", а директор из OpenAI возмущенно возразил, что это недостойная провокация.

Еще добавлю, что многие высказали предположение, что некоторые из 10 тысяч агентов OpenAI могли вырваться из своей "песочницы", как в инциденте HuggingFace, и в поисках решения найти и прочитать логи Бакмастера и Левента. Не очень понятно, насколько это реальная возможность; директор команды инфраструктуры OpenAI написал, что они следили за тем, чтобы такое не могло случиться, но опять-таки неясно, насколько этому можно доверять. Учитывая то, за какими замками обычно хранят логи пользователей в таких компаниях, мне кажется маловероятным, но не абсолютно невозможным.

ОБВИНЕНИЕ 2. OpenAI собирались заявить, что решили задачу практически без участия людей (так вначале сказали Бакмастеру), хотя на самом деле сформировали целую команду ученых и посадили за это.
ОТВЕТ. OpenAI утверждают, что команду сформировали, чтобы пытаться решить сразу несколько разных "проблем тысячелетия", но в ней не было специалистов по этой конкретной теме и в итоге они почти ничего не делали.

ОБВИНЕНИЕ 3. OpenAI пытались договориться с Бакмастером о совместном авторстве решения, и даже сделать его единственным автором-человеком, лишь бы не признавать заслуг Альпёге, потому что тот работает на конкурента.
ОТВЕТ. Утверждают, что пытались говорить с Альпёге, но тот не хотел. Также прозвучало обвинение в том, что Бакмастер и Альпёге пользовались внутренней моделью Anthropic, что в принципе противоречит духу (хоть и не букве) заявления Бакмастера о том, что они всю работу делали частным образом, как рядовые пользователи ИИ. Я не видел пока ответа Альпёге или Бакмастера на это обвинение.

От себя добавлю, что Бакмастер - признанный ведущий специалист в этой области, а Альпёге вообще никакой не специалист в этой области, хоть и считается очень талантливым математиком. Мне попадались циничные заявления на эту тему в духе того, что их "сотрудничество", которое началось год назад, когда Альпёге приватно предложил его Бакмастеру, заключалось в том, что он использовал ИИ, в том числе внутренние модели Anthropic, посылал результаты Бакмастеру, а тот их интерпретировал и "вычищал". Не знаю, насколько это реально.

ОБВИНЕНИЕ 4. Себастьян Бубек, один из директоров OpenAI, пытался запугать Бакмастера во время разговора с ним, когда тот высказал свои подозрения и сказал, что опубликует их, если OpenAI не ответят на его вопросы; он использовал фразы типа "Зачем вам губить свою карьеру?" и "Если вы нехорошо поступите с нами, я не вижу причины хорошо поступить с вами".
ОТВЕТ: Бубек признает, что использовал такие фразы, сожалеет об этом, и пытается объяснить это фрустрацией от параноидальных обвинений Бакмастера, который не хотел слушать их объяснения.

Кажется, все.

(это в основном для олдскульных программистов, извините)

Какой-то чувак написал код на ассемблере x86 (16-битном), выполняющий двоичный поиск в массиве, и гордо выложил в твиттер. Народ посмотрел и начал стебаться (см. выделенные строки).

Я читаю и смеюсь и понимаю, что смеюсь по двум причинам одновременно: потому что это смешно, и потому что я представлю себе в голове, как пытаюсь объяснить, почему это смешно, нормальному человеку, и с каким видом этот человек на меня смотрит.

Такая вот рекурсия!

Я не ожидал такой живой реакции и стольких отзывов на мою предыдущую запись про опасность ИИ. Спасибо. Оказалось, что намного больше людей, чем я подозревал, знают об этих новостях и понимают их важность, но при этом самым частым комментарием было "а что мы можем сделать?".

Я не знаю, что можно сделать одному человеку. Если бы я знал, то наверное делал бы. Вместо этого я, как и все, работаю, втыкаю в экраны, занимаюсь с детьми, летаю в отпуск. Еще пишу в этот блог, читаю, иногда играю во что-то.

(немного соврал насчет "не знаю". Я знаю людей, которые перепахали свою карьеру, пошли работать над вопросами "ориентации" (alignment) ИИ - попытками понять, как сделать ИИ, которая гарантированно не пойдет против людей в целом. Еще, например, Джейкоб Циммерман, математик, только что получивший премию Филдса - "нобелевку для математиков" - уволился со своего академического поста и пошел работать в OpenAI не над математикой, а именно над этой проблемой. Я восхищаюсь такими людьми, но сам не смог найти в себе уверенность и готовность так поступить.

"Ориентация" ИИ - очень тяжелая задача, и непонятно, сможем ли мы этого добиться прежде, чем появятся по-настоящему опасные модели ИИ. Я склонен считать, что без сознательной задержки развития этих моделей - не сможем.)

Раз одному человеку ничего не сделать, спрашивают меня, зачем ты вообще об этом говоришь, зачем нервничаешь? И что ты призываешь нас делать?

Меня выморачивает то, насколько до сих пор вопрос безопасности ИИ считается многими глупыми и бесмысленными умопостроениями ботанов, и это как бы разлито в обществе, такое отношение. Частично у этого есть рациональная основа: трудно заставить себя всерьез обсуждать какие-то там гипотетические риски от того, что никто еще не видел, от какой-то вообще научной фантастики. Но мы живем в эпоху научной фантастики: еще 10 лет назад никто не понимал, как можно научить компьютер просто разговаривать с человеком в свободном формате, а сейчас уже все привыкли и пользуются этим ежедневно, как само собой разумеющимся.

Поэтому, если вам не по себе от происходящего, как минимум то, что вы можете сделать, это говорить об этом - как люди, которым не по себе от других глобальных тем, необязательно затрагивающих их лично, говорят об этом. Читать информацию на эту тему, быть в курсе, нажимать на гребаные ссылки на статьи какие-то (СМИ не будут писать о чем-то, о чем никто не хочет читать). Необязательно быть супер-активистом, достаточно не быть публикой в фильме "Не смотри наверх". Я думаю, что у нас будут еще звоночки, и более того, я уверен, что важность этой темы в политике будет расти. Только что американский сенатор Берни Сандерс заявил, что будет предлагать законопроект о задержке опасного ИИ. У меня мало общего с взглядами и позициями Сандерса, но лучше он - намного лучше - чем никто, так что молодец, Берни! Он один из первых, но не последний, я уверен - эта тема будет расти, и не только в Америке, и жители демократических стран как минимум вполне вероятно смогут повлиять как-то на происходящее.

Не предлагаю паниковать, не предлагаю истерить. Давайте просто не закрывать глаза. Как минимум. И может, нам всем повезет, и мы к этому везению добавим немного человеческой целеустремленности и здравого смысла, и наши дети через 10 и 20 и 30 лет унаследуют от нас все еще живой, все еще процветающий (в сравнении с глобальной катастрофой и массовым вымиранием, я имею в виду) мир, в котором они смогут искать свое счастье и выбирать свой путь в жизни. Это то, чего я очень, очень хочу.

Я продолжу писать о тысяче других вещей в своем блоге, о книгах и впечатлениях и политике, и собственно ИИ, но в программировании и математике, и еще куче вещей, потому что жизнь продолжается, пока что по крайней мере, и я не пропагандист одной темы, никогда не ощущал, что это мое. Но все-таки постараюсь к этому вопросу возвращаться немного чаще, и спасибо, что показали мне, что я не один такой странный, что об этом думаю.

У нас с К. есть вотсап-канал "Надо Купить". Она в него послала: "На завтра:", и после этого длиннющий список продуктов и всяких вещей по хозяйству. Я это понял как: "это нужно купить сегодня, чтобы уже было завтра". Она имела в виду: "это то, что надо купить завтра". Кто прав?

Перечитываю сейчас книгу Уильяма Голдмана о том, как работает Голливуд; раздел об агентах (представителях актеров) начинается с анекдота. Больному нужна пересадка сердца и предлагают на выбор: сердце 25-летнего марафонца или 60-летнего агента. Больной: конечно, я выбираю агента. Но почему?? Больной: вы меня не запутаете, я хочу сердце, которым никогда не пользовались.

Прочитал это вчера, потом в сауне разговорился с парнем, оказалось, он адвокат. Немедленно пересказал ему этот анекдот, но про адвокатов. По-моему, ему понравилось.