Signal — больше, чем зашифрованный мессенджер: против «капитализма слежки»

Наш волонтер перевел статью с портала WIRED, автор которой, Энди Гринберг, взял интервью у президентки мессенджера Signal Мередит Уиттакер (на фото).

Десять лет назад издание WIRED опубликовало новость о том, как два малоизвестных, уже устаревающих приложения для шифрования под названием RedPhone и TextSecure, объединились и образовали новый мессенджер под названием Signal. Тогда, в июле 2014 года, Signal был курьезом в стиле киберпанк, который написал программист-анархист, и который управлялся непрофессиональной командой, работающей в одной комнате в Сан-Франциско. Его распространяли между собой хакеры. Сейчас он превратился в полноценный феномен шифрованных коммуникаций. Сотни миллионов людей скачали Signal. (В том числе рэппер Дрейк: «Кубинская девушка, ее семья варит кофе», — читает он рэп в своей песне «Major Distribution», вышедшей в 2022 году. — «Пиши мне в Signal, не звони мне».) Еще миллиарды людей используют протоколы шифрования Signal, интегрированные в такие платформы, как WhatsApp.

История создания мессенджера, возможно, представляет собой клише для стартапов. Но Signal во многом является противоположностью типичного стартапа Кремниевой долины. Это некоммерческая организация, финансируемая за счет пожертвований. Она никогда не получала инвестиций, предоставляет свой продукт бесплатно, не размещает рекламу и не собирает практически никакой информации о своих пользователях, при этом конкурируя с технологическими гигантами и побеждая их. В мире, где Илон Маск, похоже, доказал, что практически ни одна частная платформа для коммуникации не застрахована от прихотей одного богатого человека, Signal выступает в качестве контрдоказательства того, что венчурный капитализм и «капитализм наблюдения» («surveillance capitalism» также можно перевести как «капитализм надзора» или «капитализм слежки» — прим. редактора) — да что там, капитализм вообще — не являются единственными путями развития и вариантами будущего технологий.

За последнее десятилетие из руководства Signal наиболее налядно воплощает это «иконоборчество» Мередит Уиттакер. Президентка Signal с 2022 года — одна из самых известных в мире технологических критиков. Когда она работала в Google, она возглавляла демонстрации протеста против дискриминационных практик компании и выступала против военных контрактов. Она является одной из основательниц института AI Now Institute, занимающегося этическими аспектами искусственного интеллекта, и стала одной из главных сторонниц идеи, что искусственный интеллект и слежка неразрывно связаны между собой. С тех пор как Мередит возглавила фонд Signal Foundation, она считает своей главной задачей найти долгосрочный источник финансирования, чтобы сохранить Signal на десятилетия вперед, без компромиссов и корпоративных связей, чтобы он мог служить моделью для совершенно нового типа технологической экосистемы.

Уиттакер на лето уехала в Париж, но я встретился с ней во время ее короткого визита в родной Нью-Йорк. В одном из бруклинских кафе мы углубились в тему, о которой, как бы откровенна ни была защитница конфиденциальности, она редко говорит: о себе и своем странном пути от менеджера Google до триггера для Кремниевой долины.

Энди Гринберг: Будет ли ОК, если я скажу, что мы планировали поговорить в день 10-й годовщины Signal, но пришлось перенести встречу, потому что вы попали в больницу с пищевым отравлением

Мередит Уиттакер: Да, все в порядке.

Э.Г. Хорошо. Значит, вы не настолько закрытый человек, как [соучредители фонда Signal] Мокси Марлинспайк или Брайан Актон...

М.У. Нет. Я женщина, например.

Э.Г. Безусловно! Ни один из них ни за что не позволил бы мне упомянуть что-то личное. Они гораздо более осторожны в том, как себя преподносят. Похоже, что в Signal вы — лидерка другого типа.

М.У. Я думаю, что диаграмма Венна наших убеждений имеет некоторые существенные совпадения. Мы все четко анализируем капитализм, основанный на слежке, и ставку власть имущих на массовую слежку. Но что касается моей личной осторожности в отношении собственной жизни: я частное лицо. В Интернете обо мне не так уж много написано, потому что с самого раннего возраста у меня был фундаментальный инстинкт не рассказывать слишком много. Но я думаю, что это происходит скорее из-за давней тенденции и размышлений о ставках, чем от идеологической чистоты.

Э.Г. Вы гораздо чаще появляетесь на публике, чем кто-либо из Signal.

М.У. Да, это правда. Сейчас мы находимся на другом этапе развития Signal.

Э.Г. Почему?

М.У. Ну, начнем с того, что 10 лет назад Signal начинался как виртуозный хакерский проект, направленный против доминирующей парадигмы, которую в то время почти все повсеместно восприняли.

Э.Г. Что это была за парадигма?

М.У. Наблюдение. Бизнес-модель наблюдения.

Э.Г. Точно. И на какой стадии сейчас находится Signal?

М.У. Сейчас Signal — это критически важная инфраструктура для военных, диссидентов/ок, журналисток/ов, для руководителей/льниц компаний, для всех, у кого есть конфиденциальная информация.Так что я думаю, что мы находимся на той стадии, где нам нужно быть на виду. Мы не можем допустить, чтобы нашу историю рассказывали некие доверенные лица. Пришло время определить ее для себя.

Э.Г. Прежде чем мы перейдем к этой истории... Вы провели лето в Париже. Почему Европа? Почему Франция? Это дело Мередит или Сигнала?

М.У. Это дело Сигнала. Мы фокусируемся на ЕС, развиваем наш рынок и выясняем, кто может быть нашим потенциальным партнером. Я думаю, любой технологической компании сейчас полезно подумать, как быть гибкой, учитывая очень нестабильную геополитическую обстановку.

Э.Г. Вы хотите сказать, что ищете пути отступления в случае повторного прихода Трампа к власти?

М.У. Это нечто большее. Сейчас на столе лежит множество возможных вариантов развития событий.

Э.Г. Позвольте мне спросить об этом так: в США скоро выборы. Думаете ли вы о новой администрации, демократической или республиканской, и о том, что Signal придется искать новый дом?

М.У. Я бы ответила так: думаю, мы все знаем, что политический климат меняется. Учитывая, что правительства США и других стран не всегда некритично относились к шифрованию, мы рассматриваем будущее, в котором мы сможем быть гибкими в плане юрисдикций.

Э.Г. Имеет ли смысл искать подобную гибкость в Европе, когда основатель Telegram Павел Дуров только что был арестован во Франции? Не заставляет ли это вас задуматься о будущем Signal в ЕС?

М.У. Ну, для начала: Telegram и Signal — это очень разные приложения с очень разными сценариями использования. Telegram — это приложение для социальных сетей, которое позволяет человеку общаться с миллионами людей одновременно и не обеспечивает значимой конфиденциальности или сквозного шифрования. Signal — это приложение исключительно для приватных и безопасных коммуникаций, в котором нет функции социальных сетей. Таким образом, мы уже говорим о двух разных вещах.

И на сегодняшний день [27 августа 2024 года] есть просто слишком много вопросов без ответов и слишком мало конкретной информации о причинах ареста Дурова, чтобы я могла дать вам обоснованное мнение. Что касается более широкого вопроса, то давайте будем реалист(к)ами: в мире нет ни одного государства, которое имело бы безупречную репутацию в области шифрования. Во всем мире есть поборницы/ки частных коммуникаций и самовыражения, в том числе во французском правительстве и за пределами Европы. Те из нас, кто борется за неприкосновенность частной жизни в течение длительного времени, понимают, что это упорная борьба, в которой повсюду есть как союзники/цы, так и противницы/ки. Попытка определить приоритеты гибкости — это не то же самое, что идеализация той или иной юрисдикции. Мы четко представляем себе, в каком направлении нам нужно двигаться. Мы видим огромную поддержку и возможности в Европе.

И даже между европейскими государствами существуют огромные различия. В Германии рассматривают закон, обязывающий использовать сквозное шифрование, в то время как в Испании борются с шифрованием. Так что, повторюсь, Европа не монолитна.

Э.Г. Что означают выборы в США для компании Signal, ее деятельности и роста?

М.У. Все растет и развивается. Я думаю, что общекультурная чувствительность к приватности никогда не была такой острой, и она обостряется — вы видите, как много людей присоединяется в ситуации политической нестабильности. Так, Украина раньше была одним из самых незначительных рынков для Signal. Теперь, после российского вторжения, она стала одним из наших ведущих рынков. Это лишь один пример. Мы также наблюдаем рост пользователей в ответ на то, что мы называем «большим технологическим провалом», например, когда WhatsApp изменил политику конфиденциальности. Мы наблюдали рост использования десктоп-версии (для компьютеров, в отличие от смартфонов) после того, как Zoom объявил, что собирается сканировать звонки каждого пользователя на предмет использования искусственного интеллекта. И мы ожидаем, что подобных случаев будет еще больше.

Мы также видим, что все больше крупных компаний обязывают своих сотрудников использовать Signal. Так, Европейская комиссия в 2020 году одобрила Signal в качестве единственного рекомендуемого мессенджера.

После выборов может настать момент, когда многие быстро перейдут на новую платформу. Но зачастую такие моменты мы можем не столько предсказать, сколько подготовиться к ним. Сорок лет истории могут уложиться в пару недель.

Э.Г. Возвращаясь к вашему ощущению новой фазы развития Signal: Что изменится на этом этапе его жизни? Нацелены ли вы на то, чтобы, подобно компаниям из Кремниевой долины, действительно донести его до миллиардов людей?

М.У. То есть, я... Да. Но не по тем же причинам. Почти по противоположным.

Э.Г. Да. Я не думаю, что кто-то еще в Signal пытался, по крайней мере так громко, подчеркнуть его определение как противоположность всему остальному в техно-индустрии — единственную крупную коммуникационную платформу, которая не является коммерческим предприятием.

М.У. Верно, мне кажется, что у нас в Signal нет генеральной линии партии. Но я считаю, что мы должны гордиться тем, кто мы есть, и дать людям понять, что среди компаний есть четкие различия, которые имеют для них значение. Не зря WhatsApp тратит миллионы долларов на рекламу своей конфиденциальности, при этом инфраструктура конфиденциальности была создана протоколом Signal, который использует WhatsApp.

Мы рады, что WhatsApp интегрировал его, но давайте будем реалистами. WhatsApp и Apple не случайно тратят миллиарды долларов на рекламу конфиденциальности своих продуктов. Потому что конфиденциальность невероятно ценна. А что является золотым стандартом в этой области? Signal.

Я думаю, людям нужно пересмотреть свое представление о техно-индустрии, поняв, что слежка и наблюдение критически важны для ее бизнес-модели. А затем понять, чем Signal отличается от других продуктов, и признать, что нам нужно расширить пространство для развития этой модели. Потому что иметь 70% мирового рынка облачных технологий в руках трех компаний просто небезопасно. Это Microsoft и CrowdStrike, выводящие из строя половину критически важной инфраструктуры в мире, потому что CrowdStrike срезала углы в QA для гребаного обновления ядра. Вы издеваетесь? Это же полное безумие, если подумать, с точки зрения управления этими инфраструктурами.

Э.Г. То есть ваш фокус в сохранении этой роли для Signal?

М.У. В сохранении и развитии. Это не склеротический музейный экспонат. Это постоянно взрослеющий подросток. Наша база пользователей неуклонно растет, и я думаю, что она будет расти и дальше, учитывая геополитическую нестабильность в мире и новое поколение, которое гораздо лучше понимает опасность контроля Big Tech над инфраструктурой.

Моя работа  — убедить как можно больше людей в том, что Signal может стать основанием для этой стратегии, чтобы понимающие это люди приходили работать к нам.

Э.Г. По мере того, как Signal становится массовым приложением, что будет с той хакерской сценой, которая когда-то была основной аудиторией? Среди некоторых хакеров, с которыми я общаюсь, стало модно говорить: «Signal сдулся. В Signal есть бэкдор (дефект алгоритма, который намеренно встраивается в него для получения несанкционированного доступа — прим. ред.) Или спецслужбы взломали Signal. Нам нужно перейти на мою любимую, никому не известную, сверх-безопасную платформу для обмена сообщениями». Но как на это ответить и как жить с необходимостью постоянно доказывать, что в Signal нет уязвимости или бэкдора?

М.У. Я не согласна, что так стало модно говорить среди хакеров. В целом мы любим сообщество исследователей/льниц безопасности и очень хорошо с ним сотрудничаем. Вы говорите о нескольких крикливых и бездушных людях, зачастую «исследователей/льниц безопасности» только в кавычках. Мне очень обидно слышать подобные рассуждения. На мой взгляд, это свидетельствует о своеобразном отказе от ответственности.

А вот что меня по-настоящему расстраивает, так это когда чрезмерные претензии и эгоистичное поведение в поисках славы сталкиваются с информационной средой, где есть государственные субъекты, пытающиеся перевести людей на менее менее защищенные платформы. После того, как как одно из подобных сообщений становится вирусным, отчаявшиеся представители/льницы гражданского общества, правозащитники/цы, журналисты/тки звонят нам и говорят: «Боже мой, неужели есть проблема с Signal? Мы переводим всех наших людей на альтернативную платформу», которая менее безопасна.

Проблема актуальна для людей по всему миру, 99% которых не могут проверить заявления случайных исследователей/льниц безопасности, и всё-таки воспринимают их всерьез, потому что это вопрос жизни и смерти.

Э.Г. Я думаю, что в какой-то мере мы говорим об Илоне Маске. Недавно он внес свой вклад, когда в своем посте в сети Х (твиттере) упомянул об «известных уязвимостях» в Signal.

М.У. Меня беспокоит то, что Илоны всего мира запрыгнули в этот вагон. Илон давно поддерживал Signal. В 2021 году он писал в твиттере, что использует Signal, верно? Он был его поклонником. Так что я не знаю, что изменилось. Я знаю только то, что, насколько нам известно, это утверждение не имеет под собой оснований. Нет ни одного серьезного отчета, подтверждающего это. Но я не спала пару ночей, разбираясь с сотрудниками Twitter, потому что мы должны были отнестись к заявлению максимально серьезно, ведь это напугало многих людей.

Э.Г. По мере роста популярности Signal я всё чаще замечаю, что использую этот мессенджер в совершенно обычном, повседневном общении с людьми, отправляя им видео, целые слайд-шоу с фотографиями моих детей или что-то еще. И я не могу перестать думать, что стою Мередит таких больших денег.

М.У. Энди, это большая честь. [Смеется]

Э.Г. Но все это очень дорого для некоммерческой организации. В WhatsApp, конечно, были бы рады, если бы вы разместили на их платформе как можно больше данных. Они могут смириться с расходами, потому что зарабатывают деньги. Но Signal — с точки зрения стоимости передачи всех этих данных — заставляет меня беспокоиться.

М.У. Signal в чистом плюсе. Шифрование требует сетевого эффекта. Наша цель состоит в том, чтобы любой человек в любой точке мира мог легко взять свое устройство и использовать Signal для общения с другим человеком.

У нас хорошая поддержка. Мы некоммерческая организация — не потому, что хотим существовать на монетки, брошенные нам в шляпу. А потому, что такая организационная структура на данном этапе истории крайне важна. В техно-индустрии прибыль получают за счет монетизации наблюдения или предоставления товаров и услуг. В интернете не существует бизнес-модели для обеспечения конфиденциальности.

Signal работает некоммерчески, потому что в коммерческой структуре все приводит к тому, что один из членов совета директоров едет в Давос, говорит с каким-нибудь типом и по возвращении с воодушевлением рассказывает мне, как нам нужна стратегия ИИ для получения прибыли. Или другой член совета директоров начинает нервничать, что наша модель получения прибыли, какой бы она ни была, не приносит того, что соотносится с нашими целями, и говорит: «Ну, может быть, мы можем начать собирать метаданные. Может быть, мы можем уменьшить акцент на приватности, потому что, конечно, наша главная цель, как у традиционной коммерческой компании — доход и рост». А приватность в экономике, основанной на слежке, обязательно будет препятствовать этому.

Поэтому сейчас мы думаем о том, как развить модель, которую строит Signal, до чего-то устойчивого. И те деньги, о которых мы говорим, огромны для других секторов, но не для техно-индустрии. И как нам расширить эту модель до шаблона, который можно будет взять на вооружение для создания инфраструктуры, приложений и альтернатив бизнес-модели концентрированного наблюдения, лежащей в основе технологической индустрии?

Э.Г. Это очень грубый вопрос, но раз уж речь зашла о бережливости, я посмотрел форму 990, которую подала кампания, и оказалось, что вы платите себе меньше, чем некоторым из ваших инженеров.

М.У. Да, и наша цель — чтобы наши зарплаты приближались к стандартам Кремниевой долины и мы могли нанимать максимально квалифицированных специалистов, при этом осознавая, что у нас нет равных зарплат. Мы очень хорошо платим инженерам. [Демонстративно наклоняется к телефону, записывающему разговор] Если кто-то ищет работу...

Э.Г. Кажется, говорить о таком — табу. Но это действительно показатель странности Signal.

М.У. Ну, смотрите, это говорит о том, что мы делаем все возможное, чтобы построить модель в противовес доминирующей, против которой мы выступаем. Верно? Это будет выглядеть странно, потому что норма — это не то, чем мы занимаемся.

Э.Г. Я не думаю, что большинство некоммерческих организаций платят инженерам столько же, сколько вы.

М.У. Да, но большинство технологических компаний — это не некоммерческие организации. Назовите еще одну некоммерческую технологическую организацию, которая занимается обслуживанием критически важной инфраструктуры, обеспечивающей надежную связь в реальном времени по всему миру. Нет ни одной.

Это не гипотетический проект. Мы не сидим в комнате и не мечтаем об идеальном будущем. Мы должны сделать это сейчас. Это должно работать. Если серверы выйдут из строя, мне понадобится человек с пейджером, который встанет посреди гребаной ночи и будет пялиться в монитор, диагностируя проблему, пока ее не устранят. Поэтому мы должны в чем-то походить на обычную технологическую компанию, чтобы иметь возможность делать то, что мы делаем.

Э.Г. Если можно, перейдем к истории вашей карьеры. Вы написали в своем первом сообщении в блоге, когда заняли пост президента, что всегда были сторонницей Signal. Кажется, вы упоминали, что пользовались RedPhone и TextSecure?

М.У. Верно.

Э.Г. Я попробовал их в то время, достаточно, чтобы написать о них. Но они были довольно кривыми! Я впечатлен — или, может быть, немного удивлен — тем, что вы пользовались ими тогда.

М.У. Но я была технаркой. Верно? Все люди, разбирающиеся в технологиях, уже пользовались ими.

Э.Г. И вы в то время работали в Google?

М.У. Да. Я тогда работала в Google.

Э.Г. Что такой человек, как вы, вообще делал в Google, если честно?

М.У. Энди, ты когда-нибудь слышал о том, что для того, чтобы жить и платить за квартиру, нужны деньги? [Смеется] Ты слышал об обществе, в котором доступ к ресурсам ограничивается способностью выполнять производительную работу на том или ином предприятии, которое платит тебе деньги?

Э.Г. Я понимаю! Но вы сейчас так яростно выступаете против Кремниевой долины, против капитализма, основанного на слежке, что трудно представить...

М.У. Я не против технологий.

Э.Г. Да, я этого не говорил. Но как вы оказались в Google?

М.У. Ну, у меня степень по риторике и английской литературе в Беркли. Я всю жизнь ходила в художественную школу. Я не искала работу в сфере технологий. В то время мне было плевать на технологии, но я искала работу, потому что закончила Беркли и у меня не было денег. Я разместила свое резюме на Monster.com — для нынешнего поколения это тогдашний аналог LinkedIn. Я проходила собеседования в некоторых издательствах, а потом со мной связался Google и предложил работу в качестве... как это было, помощницы по работе с потребителями/льницами?

Э.Г. Помощница по работе с потребителями/льницами?

М.У. Да. Что это такое? Ни одно из этих слов не имело смысла. Я просто подумала, что это похоже на работу в бизнесе. Поэтому я завела аккаунт в Gmail, чтобы ответить рекрутеру. А потом я прошла, кажется, восемь собеседований, два странных теста на IQ и один тест по письму. Это была дикая канитель.

Э.Г. В каком году это было?

М.У. Я начала работать в июле 2006 года. В конечном итоге «помощница по работе с потребителями/льницами» означало временную работу в службе поддержки клиентов/ок. Но никто не сказал мне об этом. И я подумала: что это за место такое? Почему сок бесплатный? Дорогой сок — бесплатный. Я никогда не была в подобной обстановке. В тот момент Google достиг переломного момента. У него было несколько тысяч сотрудников. И в компании царило убеждение, что наконец-то найден рецепт, как стать этичными капиталистами, этичной техно-кампанией. Это было настоящее... самодовольство — возможно, это не слишком благородное определение, но это было странное изобилие. Мне это было очень интересно.

В то время в Google было много незаполненных чистых чеков. У них была политика 20-процентного использования рабочего времени: «Если у вас есть креативная идея, принесите ее нам, и мы ее поддержим», — всю эту риторику, как тогда я ещё не знала, не стоило воспринимать всерьез. Поэтому я много креативила. Я придумала, как познакомиться с людьми, которые казались мне интересными. Я попала в инженерную группу. Я начала работать над стандартами и, в некотором смысле, просто подписывала свое имя на этих чеках и пыталась их обналичить. И чаще, чем нет, люди говорили: «Ну, ладно, она уже здесь, так что дадим ей заняться своим делом». В итоге — я научилась.

Э.Г. Над чем вы работали? Я не знаю, какой была ваша последняя работа в Google, но она не была связана с поддержкой клиентов.

М.У. Боже мой, нет. Нет. Я основала исследовательскую группу.

Э.Г. Получается, что 20% — это не фантазия. Похоже, вы действительно жили мечтой Google. В конце концов, вы сделали эти побочные увлечения и исследования своей работой. Все это звучит очень по-гугловски, по-силиконовому. Это как бы мечта каждого молодого человека, который хочет получить работу в Google.

М.У. Если бы я только пиздела о собственном успехе, я бы сейчас была старшей вице-президенткой в Google с пятью домами. Я работала с одними из самых умных людей, с кем когда-либо имела дело. Я сидела в одном кабинете с соавтором языка программирования C! И эти люди щедро делились своим временем и опытом. Так что все это было здорово.

И я могу совместить это с тем фактом, что в конечном итоге эта бизнес-модель, намеренно или нет, глубоко токсична. И мы видим, как производные от нее за последние десять лет проявляются снова и снова.

Э.Г. Да. Не хочу, чтобы это звучало как «Сфера» Эггерса, но в какой момент эта утопия стала для вас сдуваться? Как вы пришли к тому, кем вы являетесь сейчас?

М.У. Примерно в то время я стала соучредителем проекта под названием Measurement Lab — крупнейшего в мире источника открытых данных о производительности интернета. В то время это был проект-гипотеза: можем ли мы придать импульс дебатам о сетевом нейтралитете, создав числовой эталон «нейтральности» и начав требовать от интернет-провайдеров соблюдения этого стандарта? Это было то самое место, где у меня «прорезались» технические «коренные зубы», я глубоко погрузилась в сетевые технологии. Благодаря массовому сбору данных и многолетней работе мы смогли показать, что на межсетевых соединениях действительно существуют проблемы.

Все это происходило как раз в то время, когда машинное обучение стало новой горячей темой.

В 2012 году произошел переломный момент, с которым вы, я уверена, знакомы: была опубликована работа под названием «Алгоритм AlexNet», которая, по сути, собрала воедино все ингредиенты и пробудила ИИ после долгой спячки. Она показала, что с помощью огромных объемов данных и мощных вычислительных чипов можно с помощью старых алгоритмических методов — датируемых 1980-ми годами — делать новые и впечатляющие вещи.

Э.Г. Ладно... Думаю, я понимаю, к чему все идет.

М.У. Я очень чувствительна к данным. Я участвовала в войнах за их измерения. Поэтому я говорю: «Подождите, что такое машинное обучение? То есть вы берете фиговые данные, которые, как вы утверждаете, отражают человеческие чувства — или вещи, которые гораздо сложнее точно измерить, чем низкоуровневые данные о производительности сети, с которыми я была хорошо знакома — и подставляете их в какую-то статистическую модель, а потом называете это интеллектом? Я думала, типа: «Подождите, нет, так нельзя». Так что это оживило многие мои опасения по поводу ИИ.

И, конечно, на протяжении всего этого времени я все больше и больше узнавала о том, что на самом деле представляет собой указанная бизнес-модель. Я работала в группе технической инфраструктуры, и я начала понимать: вот, где деньги. Я смотрю баланс: серверная инфраструктура Лаборатории измерений, созданная более 10 лет назад, обходилась в 40 миллионов долларов в год только за подключение к восходящим линиям связи. Это заставило меня с большим вниманием отнестись к капитальным затратам. Типа: «О, это не инновации. Это капитал».

Э.Г. 40 миллионов долларов — это практически весь годовой бюджет Signal.

М.У. Даже немного меньше. Но да, я думаю, что капиталоемкость технологий и консолидация технологической инфраструктуры — это то, на что я обратила внимание довольно рано.

Что же такого нового произошло в то время, чтобы вызвать бум ИИ? Наличие огромных объемов данных — обучающих и входных — и мощных вычислительных чипов, причем чем их больше, тем лучше. А что это, в свою очередь? Это именно те возможности, которые получили первые компании-платформы, создавшие свои социальные сети, построившие свои центры обработки данных. С искусственным интеллектом мы, по сути, переводим многое из этого дерьма в ломаные модели, которые дают Google все больше и больше оснований заявлять об интеллекте, тогда как на самом деле они выпускают производные от дерьмовых данных, которые у них есть. А для чего использовался ИИ? Почему они им увлекались? Потому что он действительно хорош в настройке рекламных алгоритмов, в таргетировании рекламы. Не случайно три автора статьи об AlexNet сразу же были приняты на работу в Google.

Пробираясь через гору бумаг, я стала обращать внимание на проблему слежки — этого массового, платформенного подхода — когда концентрируется власть и уничтожаются любые конкуренты.

Э.Г. Что стало для вас поворотным моментом?

М.У. Нет, не было какого-то одного поворотного момента. По мере того, как я изучала эти вещи, часто оставался осадок. Это кажется странным. Это кажется сомнительным. Это не кажется правильным.

К 2017 году я уже стала соучредителем AI Now Institute. Я была довольно хорошо известна и в этой области, и в компании как ярый критик. Моя работа была очень крутой. Я могла говорить все, что хотела. Я думала, что нашла волшебную формулу.

Потом я поняла: да, всем это нравится, потому что на самом деле ты не участвуешь в принятии решений. Ты просто предоставляешь, ну, в самом циничном смысле, предлог, на который Google может указать и сказать: «Мы прислушиваемся к разным мнениям. Мы очень открытая компания».

Но в 2017 году я узнала о контракте Министерства обороны США на создание беспилотных систем целеуказания и наблюдения на основе ИИ для американских военных в контексте войны, на которой впервые был применен сигнатурный удар.

Э.Г. Что такое сигнатурный удар?

М.У. Сигнатурный удар — это фактически рекламное целеуказание, но  на смерть. Итак, я не знаю, что вы за человек. Все, что я знаю — есть профиль данных, идентифицированный моей системой, который соответствует любому примеру профиля данных, который мы можем отсортировать и собрать, и мы предполагаем, что он связан с Талибаном или с террористами.

Э.Г. Верно. Как сказал бывший директор АНБ и ЦРУ Майкл Хейден, «мы убиваем людей на основе метаданных».

М.У Буквально так. В прошлом Google много раз открыто заявлял о своем отказе от военной деятельности. Потому что связывать интересы огромной корпорации, занимающейся слежкой, с самыми смертоносными военными в мире — так называют себя американские военные, не я — это плохая идея. А соединение чрезмерной засекреченности со стороны правительства и корпоративной секретности со стороны технологической индустрии станет катастрофой в случае любой ответственности за вред, наносимый этими системами.

Именно в этот момент я поняла, что не могу зарабатывать свою репутацию и деньги на анализе того, почему это может быть плохо, но не давая отпор, для которого нужно несколько больше сил.

Э.Г. Сейчас мы говорим о Project Maven, контракте с Министерством обороны, который привел к тому, что вы организовали забастовку в Google.

Ну, это была не только я. Я была той, кто поставила на кон свою тяжело заработанную репутацию, но в этом участвовали тысячи и тысячи людей внутри Google. Мы боролись изо всех сил. Многие из самых высокопоставленных исследователей/льниц искусственного интеллекта выходили с заявлениями «нахуй это». Во-первых, это не работает. Во-вторых, я не хочу участвовать в этом. И в-третьих, это плохой путь вниз.

Потому что давайте начистоту: это не работает. Из репортажа Bloomberg из Украины можно сделать довольно категоричный вывод. Люди, которые заключили этот контракт, контракты Maven, создали чрезмерно сложные системы, которые ошибаются и глючат.

Э.Г. Каково это — смотреть на события 2017 года сейчас, когда ИИ не только стал нарицательным термином, но и мы видим доказательства того, что ЦАХАЛ бомбит Газу, основываясь на результатах работы инструментов ИИ?

М.У Ну, я не чувствую, что была неправа! Если бы правота была стратегией, мы бы выиграли миллион раз.

Я думаю, что в Газе мы наблюдаем взаимосвязь между массовым наблюдением и этими системами целеуказания. Последняя зависит от первой.

Чтобы создавать профили данных о людях, чтобы даже иметь контекст для их алгоритмического нацеливания, сначала нужны данные. А жители Газы — одни из самых наблюдаемых людей в мире. Затем эти данные становятся материалом для обучения этих моделей — как бы это ни делалось — чтобы определить, что если данный профиль данных достаточно похож на профиль, который был помечен как профиль террориста, то его следует разбомбить.Это трагический пример того, о чем мы тогда предупреждали.

Э.Г. К вопросу о том, как переплетаются слежка и ИИ: Говорят ли вам люди: «Мередит, пожалуйста, займитесь своей работой, вы должны заниматься вопросами конфиденциальности. Почему вы все время говорите об искусственном интеллекте? Разве вы не занимаетесь шифрованием?»

М.У. Возможно, люди так говорят /обо мне/. Я бы сказала, что я достаточно прочно закрепилась на своем посту, чтобы мало кто /мне/ это мог сказать. Если вы собираетесь так сказать, то должны подкрепить это аргументом, почему, по-вашему, это не связано.

Короткий ответ заключается в том, что ИИ — это продукт бизнес-модели массовой слежки в ее нынешнем виде. Это не отдельный технологический феномен.

Э.Г. Когда я возвращаюсь назад и слушаю ваши показания в Конгрессе по поводу ИИ, вы больше говорили о способности ИИ делать пугающие вещи для слежки. Но сейчас вы говорите о том, как наблюдение предоставляет данные и инфраструктуру для ИИ. Это похоже на курицу и яйцо.

М.У. Ну, ИИ — это нарратив. Это не технология. Наблюдение и инфраструктура — это материальные условия.

Э.Г. То есть вы хотите сказать, что ИИ и наблюдение — самоподдерживающиеся процессы: вы получаете материалы для создания того, что мы называем ИИ, из наблюдения, и вы используете их для еще большего наблюдения. Но ведь есть формы ИИ, которые должны быть более благожелательными, не так ли? Например, поиск опухолей на медицинских снимках.

М.У. Думаю, да, хотя многие из этих заявлений оказываются слишком преувеличенными по сравнению с их полезностью в клинических условиях.

Я не хочу сказать, что сопоставление шаблонов в больших наборах надежных данных не является полезным. Это очень полезно. Я говорю о бизнес-модели, в которую оно встроено.

Допустим, у нас есть радиологический детектор, который действительно надежен. Но затем он попадает в систему здравоохранения, где используется не для лечения людей, но страховыми компаниями для исключения людей из списка для покрытия страховки — потому что такова бизнес-модель. Или она используется больницами, чтобы отказывать пациентам. Как это будет использоваться на самом деле, учитывая стоимость обучения, инфраструктуры, зарплаты тех, которые контролирует эти вещи?

ИИ формируется в рамках этой массовой бизнес-модели наблюдения Big Tech. И она же закрепляет ее. Чем больше карт-бланша мы даем этим компаниям, чем больше власти они приобретают, тем сложнее создать альтернативы, которые действительно будут выполнять определенные задачи.

Э.Г. Видя ваши комментарии в Twitter, кажется, что вы называете ИИ пузырем. Будет ли он самокорректироваться, лопнув в какой-то момент?

М.У. Я имею в виду, что пузырь доткомов (компаний, бизнес-модели которых основывались на работе в рамках сети Интернет — прим. редактора) лопнул, а у нас все еще есть бизнес-модель наблюдения Big Tech. Я думаю, что этот момент генерации ИИ — определенно пузырь. Невозможно тратить миллиард долларов на одну тренировку, когда вам нужно провести сразу несколько тренировок, чтобы запустить ебучий движок для написания электронных писем. Что-то здесь не так.

Но вы смотрите на отрасль, которая не собирается исчезать. Так что у меня нет четкого прогноза на этот счет. Я думаю, что вы увидите снижение рынка. Рыночная стоимость Nvidia сдохнет за секунду.

Э.Г. То есть это не самокорректирующаяся вещь. Вы утверждаете, что регулирование — это решение проблемы?

М.У. Регулирование может быть частью этого решения. Такие вещи, как структурное разделение, когда мы начинаем отделять право собственности на инфраструктуру от права собственности на прикладной уровень, могли бы возмутить эти компании. Я думаю, что осмысленное регулирование конфиденциальности могло бы пройти долгий путь.

Прекращение сбора огромных объемов данных, ограничение полномочий, которые эти компании присвоили себе, чтобы определять наш мир на основе собранных ими данных: все это становится действительно интересной темой, потому что это обуздание притоков инфраструктурной власти, которая оживляет этот бум.

Вы можете видеть, что Signal в некотором смысле делает это. Мы не собираем никаких данных. Мы фактически создаем систему, в которой вместо того, чтобы все ваши метаданные попадали в Meta, ваши метаданные не попадают ни к кому.

Э.Г. Да, но трудно указать на Signal как на решение. Вы выступаете за структурные изменения, но на самом деле вы возглавляете уникальную даже в мировом масштабе организацию. Как эти вещи сочетаются? Думаю, вы хотите сказать, что предлагаете модель, которую, надеюсь, возьмут на вооружение другие люди? Потому что не похоже, что Signal в одиночку решит проблему капитализма, основанного на слежке.

М.У. Нет, нет, нет. Signal — это не решение проблемы. Это доказательство того, что мы можем делать по-другому, что в существующей парадигме нет ничего естественного.

Модель, на которой основан Signal, будет продолжать расти, процветать и предоставлять услуги, если мы добьемся успеха. Мы уже видим, как Proton [стартап, предлагающий зашифрованную электронную почту, календари, приложения для ведения заметок и т.п.] становится некоммерческой организацией. Это смена парадигмы, когда множество различных сил направляются в одну сторону.

Нам нужно создавать альтернативы, и над этим я работаю вместе с группами в Европе и людьми из США и других стран. Но как выглядит значительный капитал, вложенный в создание независимых технологий? Как обезвредить массивные платформы, уничтожить их облачные инфраструктуры, то, что они контролируют нашу медиа-экосистему, всю матрешку токсичных технологий, которые мы наблюдаем в результате этого, и при этом построить альтернативы, которые действительно соединят мир?

Как выглядят коммуникационные сети, поддерживающие это видение? Как выглядит независимая облачная инфраструктура? Как мы можем открыто управлять технологиями, которые были закрыты и захвачены этими крупными компаниями? И как мы сделаем это на уровне реального создания вещей? Я очень заинтересована в этом, потому что думаю, что это понадобится всему миру.

Э.Г. Значит ли это, что еще через 10 лет появятся Signal-поиск, Signal-диск, Signal-что угодно?

М.У. Мы такого не планируем. Мы не обязаны делать все. У Signal есть свое направление, и мы делаем его очень, очень хорошо. Возможно, найдется другой независимый игрок, который сможет предоставить некоторые из этих услуг. Как некоммерческая организация, мы не стремимся отравлять почву для других и делать все сами. Нам нужна экосистема, полная людей, которые действительно внедряют инновации, а не просто предоставляют финансовую инфраструктуру для стартапов, которые в один прекрасный момент будут приобретены Big Tech.

Э.Г. Это почти плохая привычка — думать о том, что одна компания должна доминировать во всем.

М.У. Ага.

Э.Г. Но все же Signal служит моделью для всех этих вещей, которые вы хотите видеть в мире. Как же будет выглядеть сам Signal через 10 лет?

Я вижу Signal через 10 лет почти повсеместным. Я вижу, что он будет поддерживаться новой инфраструктурой устойчивого развития — я говорю об этом без конкретики, потому что считаю, что нам действительно нужно создавать такие фонды и механизмы поддержки, которые смогут поддерживать капиталоемкие технологии без бизнес-модели наблюдения. И это то, над чем я сейчас размышляю.

Я думаю, что большинство людей будут использовать Signal. Я думаю, что Signal будет известен как большой игрок в этой IT-сфере. И я думаю, что мы увидим, как эта модель взлетит настолько, что будет смысл говорить о технологиях не как о Big Tech, а как о гораздо более разнородном ландшафте со многими, многими другими вариантами сохранения приватности.

Э.Г. Это прекрасное видение. Но, похоже, никто, кроме Signal, не смог воплотить его в жизнь. Пока что коммерческая модель продолжает побеждать, за одним исключением.

М.У. Продолжает побеждать в чем?

Э.Г. Продолжает побеждать в пользователях.

М.У.  Значит, монополистическая гегемония — очень хороший способ достичь этого. Но она не завоевывает сердца и умы. А мы сейчас полностью перевернули отношение общества к Big Tech. Люди вынуждены пользоваться основанными на нем технологиями, потому что без них невозможно участвовать в жизни общества, но это не завоевание пользователей. Это принуждение. Мы говорим о безальтернативности, когда другие варианты были закрыты государством или монополией. Спрос на альтернативу никогда не был так велик.

Signal — это героический пример, который развился в момент определенных исторических обстоятельств и в котором приняли участие по-настоящему гениальные люди, преданные своему делу и придерживавшиеся трудовой этики, которая поддерживала его на протяжении всего этого времени. Поэтому я знаю, что технологии, основанные на других принципах, возможны. Я не думаю, что другие альтернативные модели не работают, потому что люди предпочитают Big Tech. Нет, эти альтернативные модели не получили необходимого капитала и поддержки. И они плывут против течения, против бизнес-модели, которая препятствует их успеху.

Дело не в отсутствии идей или возможностей. Дело в том, что мы действительно должны начать серьезно относиться к тем изменениям, которые потребуются для создания технологий, отвергающих слежку и централизованный контроль. Необходимость изменений сейчас очевидна для всех.

Источник

Переводчик: Кот Иван

Поддержать работу Автономного Действия