Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum Founder
Buterin• Объект человек » Персоналии по алфавиту » Персоналии на Бу » Бутерин, Виталик Proposes Defense
Strategy Against
AI Doom Scenario
Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum Founder Buterin• Объект человек » Персоналии по алфавиту » Персоналии на Бу » Бутерин, Виталик Proposes Defense Strategy Against AI Doom Scenario
by Jake Simmons
3 minutes ago
in Crypto News
0
Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum co-founder Vitalik Buterin• Объект человек » Персоналии по алфавиту » Персоналии на Бу » Бутерин, Виталик has published a sweeping vision for a new
era of “decentralized and democratic differential defensive acceleration,”
warning that superintelligent AI may pose existential threats unless humanity
adopts a carefully balanced approach of accelerating protective technologies,
fostering openness, and building strong liability and regulatory safeguards.
Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum Founder Wars Of AI Doom
“It’s not clear that the default outcome is automatically positive,” he writes
in his latest blog post, emphasizing that in a world where artificial
superintelligence could arrive in as little as five years, the margin for
error shrinks dramatically. “If we don’t want the world to be destroyed or
otherwise fall into an irreversible trap, we can’t just accelerate the good,
we also have to slow down the bad, and this means passing powerful regulations
that may make powerful people upset.”
Buterin• Объект человек » Персоналии по алфавиту » Персоналии на Бу » Бутерин, Виталик’s proposal focuses on finding equilibrium between rapid technological
advancement and preparedness. He urges people to “build technology that keeps
us safe without assuming that ‘the good guys (or good AIs) are in charge,’”
warning that a careless arms race in AI research or biotech could just as
easily empower militaries or malicious actors.
Related Reading: Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum Taker Buy Sell Ratio Signals Rising Optimism – Is
$4,000 Within Reach?
In a striking example, he predicts a near-future scenario in which “a disease
that simulations show might have been five times worse than Covid• Медицина » Заболевания » Инфекционные заболевания » Вирусология » Вирусы » Коронавирусы
• Медицина » Эпидемиология » Инфекционные заболевания » Вирусология » Вирусы » Коронавирусы twenty years
ago turns out to be a non-issue today,” thanks to decentralized,
community-driven defenses like open-source• Информационные технологии » Информатика » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение air monitoring and instantly
updated vaccine• Медицина » Фармакология » Лекарственные средства » Вакцина
• Медицина » Заболевания » Инфекционные заболевания » Вакцина
• Медицина » Профилактика (медицина) » Вакцинация » Вакцина
• Медицина » Эпидемиология » Инфекционные заболевания » Вакцина
• Медицина » Иммунология » Вакцина
• Медицина » Эпидемиология » Инфекционные заболевания » Вакцинация » Вакцина
• Медицина » Заболевания » Инфекционные заболевания » Вакцинация » Вакцина
• Медицина » Иммунология » Вакцинация » Вакцина code. “People who have been working on these technologies for
years are increasingly aware of each other’s work,” he observes, adding that
“the same kinds of values that motivated Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum and crypto can be applied to
the wider world.”
The heart of the Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum co-founder’s defense strategy rests on expanding and
refining what he calls “d/acc,” a plan to prioritize tools that empower
individuals rather than governments or corporations to decide who gets access
to crucial resources. “If we want to create a brighter alternative to
domination, deceleration, and doom, we need this kind of broad coalition
building,” he says, noting that the decentralized aspect of his framework
would avoid “some period of war of all against all” and stave off an
equilibrium where only the strongest rule.
He specifically calls out the dangers of centralized authorities managing AI.
“We saw this in Covid• Медицина » Заболевания » Инфекционные заболевания » Вирусология » Вирусы » Коронавирусы
• Медицина » Эпидемиология » Инфекционные заболевания » Вирусология » Вирусы » Коронавирусы , where gain-of-function research funded by multiple
major world governments may have been the source of the pandemic• Медицина » Эпидемиология » Пандемия,” he writes,
stressing that heavy-handed central control is often the source of
catastrophic failure rather than a reliable defense.
The Defense Strategy
He devotes much of his post to two legal and regulatory ideas for confronting
the potential runaway risks of advanced AI. One is liability: “Putting
liability on users creates a strong pressure to do AI in what I consider the
right way,” he says, arguing that people who directly utilize AI systems
should bear the cost if those systems cause harm.
He acknowledges the complications that arise when dealing with open-source• Информационные технологии » Информатика » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
models or powerful militaries, but insists liability is still “a very
general-purpose approach that avoids overfit.” He also points out that holding
deployers and developers accountable also makes sense, so long as it doesn’t
crush open innovation with excessive legal burdens. “Even if some users are
too small to be held liable, the average customer of an AI developer is not,”
he suggests, seeing this as a pressure that could naturally push dangerous AI
research toward safer pathways and more transparent governance.
His second regulatory approach is more audacious. “If I was convinced that we
need something more ‘muscular’ than liability rules,” he explains, “this is
what I would go for: a global ‘soft pause’ button• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Графический интерфейс пользователя » Элементы интерфейса » Кнопка (элемент интерфейса программ)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Графический интерфейс пользователя » Элементы интерфейса » Кнопка (элемент интерфейса программ)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Графический интерфейс пользователя » Элементы интерфейса » Кнопка (элемент интерфейса программ) on industrial-scale
hardware.” He imagines a scenario where specialized chips inside the most
powerful computing• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Графический интерфейс пользователя » Элементы интерфейса » Кнопка (элемент интерфейса программ)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Графический интерфейс пользователя » Элементы интерфейса » Кнопка (элемент интерфейса программ)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Графический интерфейс пользователя » Элементы интерфейса » Кнопка (элемент интерфейса программ) machines, used to train or run near-superintelligent AI
models, would require a set of signatures every week from multiple
international bodies.
Related Reading: Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum Weekly RSI Resets: Is A Rebound To $4,000 Imminent?
“This feels like it checks the boxes in terms of maximizing benefits and
minimizing risks,” he says, describing how shutting down or throttling the
world’s total compute capacity by 90–99% for a year or two could give humanity
time to respond if an emerging AI threat started spiraling out of control.
He remarks that such an all-or-nothing pause on hardware would be difficult to
undermine, since “there would be no practical way to authorize one device to
keep running without authorizing all other devices.” But he also concedes the
immense difficulty of persuading the global community to adopt such a measure,
saying it will take “hard work of actually trying to cooperate” rather than
trusting one major power to dominate everyone else.
Buterin• Объект человек » Персоналии по алфавиту » Персоналии на Бу » Бутерин, Виталик connects his thinking on AI risks to the broader ethos of Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum,
open-source• Информационные технологии » Информатика » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение development, and decentralized governance, asserting that “the
same kinds of values that motivated Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum and crypto can be applied to the
wider world.” He notes that collaboration tools like prediction markets, which
are already flourishing on Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum and other blockchain• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн platforms, could
serve as powerful defenses against misinformation and panic if combined with
privacy mechanisms such as ZK-SNARKs .
He also sees “formal verification, sandboxing, secure hardware modules, and
other technologies” as cornerstones for building a robust cyber-defense layer
that could thwart an AI trying to hijack systems. “It hacks our computers, it
creates a super-plague, it convinces us to distrust each other—these are the
ways an AI takeover could happen,” he warns, offering bio-defense,
cyber-defense, and ‘info-defense’ as critical aspects of the protective
infrastructure that the Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum community can help build.
He also delves into the question of how these decentralized, security-focused
projects might find funding, reaffirming his faith in “strong decentralized
public goods funding” to ensure that open-source• Информационные технологии » Информатика » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение vaccines, biotech, and
encryption tools do not languish for lack of profit. “Quadratic funding and
similar mechanisms were precisely about funding public goods in a way that is
as credibly neutral and decentralized as possible,” he explains, though he
acknowledges that older systems can quickly turn into popularity contests that
favor flashier projects.
His latest approach, “deep funding,” seeks to let AI models aggregate human
evaluations of which projects deserve financial support, using a “dependency
graph” so that donors can see how each initiative builds on the work of
others. “By using an open competition of AIs, we reduce the bias from any one
single AI training and administration process,” he notes, celebrating crypto’s
ability to rally communities around such experiments.
His blog post repeatedly returns to the idea that focusing on purely defensive
or purely centralized strategies is a recipe for disaster. “The challenge with
attempts to slow down technological progress, or economic degrowth, is
twofold,” he says, pointing out that trying to halt research outright would
impose huge costs on humanity and fail to stop rogue actors.
He also warns against strategies that place too much trust in “the center,”
citing the World Health Organization• Объект организация » Организации по алфавиту » Организации на Вс » Всемирная организация здравоохранения (ВОЗ)’s early denial of airborne Covid• Медицина » Заболевания » Инфекционные заболевания » Вирусология » Вирусы » Коронавирусы
• Медицина » Эпидемиология » Инфекционные заболевания » Вирусология » Вирусы » Коронавирусы
transmission as an example of how big organizations can get things dangerously
wrong. “A decentralized approach would better address risks from the center
itself,” he insists.
The Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum co-founder closes by urging supporters to see that technology can
be both a threat and a tool for empowerment, depending on how it is handled.
“We, humans, continue to be the brightest star,” he declares, insisting that
global coordination, open-source• Информационные технологии » Информатика » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение collaboration, and defense-minded
acceleration are the keys to weathering a century that could bring
superintelligent AI, breakthrough vaccines, and a new generation of security
technologies.
“Access to tools means that we are able to adapt and improve our biologies and
our environments, and the ‘defense’ part of d/acc means that we are able to do
this without infringing on others’ freedom,” the Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum co-founder writes.
“The task ahead of us, of building an even brighter 21st century that
preserves human survival and freedom and agency as we head toward the stars,
is a challenging one. But I am confident that we are up to it.”
At press time, Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum traded at $3,639. Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum price, 1-week chart |
Source: ETHUSDT on TradingView.com
Featured image from YouTube, chart from TradingView.com
Канадско-российский программист, сооснователь журнала Bitcoin Magazine, сооснователь проекта Ethereum Ethereum (2014-***) организации Всемирная организация здравоохранения (ВОЗ)
