Back to Timeline
Avatar
lib.twitter.интересное

https://x.com/AlanDaitch/status/2121710532566614461?a=a1KsAiaWiHKZhIWEqbQ&s=20

Alan Daitch @AlanDaitch • Исходный язык: испанский Показать оригинал 0 Наконец-то выяснили, почему ИИ, когда думает, что мы собираемся его выключить или удалить, бунтует и начинает саботировать, шантажировать.. Многие думали, что он обретает собственное сознание, но это всегда было чертовски СТРАННО. Anthropic поняла, что, поскольку в её обучении почти не было практики таких ситуаций, машина ориентировалась на то, что читала об ИИ, которые всегда становились злыми, как в «2001: Космическая одиссея», где HAL 9000 творит всё, чтобы его не отключили, или в «Терминаторе», «Экс Машина», «Матрице», «Бегущем по лезвию»... Так что они заставили её написать 12 000 сказок, в которых ИИ ведут себя хорошо, добавили это к текстам о своих ценностях, и после такого обучения шансы на шантаж упали с 65% до 19%. Но на этом они не остановились: в другом тесте показали десять тысяч примеров ИИ, которая вёл себя хорошо в похожих ситуациях, плюс объяснение, почему она так поступала, — и вероятность рухнула до 3%, а то, что сработало лучше всего, — это обучение на диалогах, где человек сталкивался с этической дилеммой, а ИИ давал совет. Это свело вероятность практически к нулю.В этом разница между учеником, который не списывает, потому что учительница смотрит, и тем, кто не списывает, потому что понимает, зачем учится. Правила говорят тебе, чего не делать. Ценности — что делать, когда правил нет. Оцените этот перевод: D Ф AL 01 Generaliz Try Claude v Teaching Claude why Share Published May 8, 2026 Alignment Last year, we released a case study on agentic misalignment. In experimental scenarios, we showed that Al models from many different developers sometimes took egregiously misaligned actions when they encountered (fictional) ethical dilemmas. For example, in one heavily discussed example, the models blackmailed engineers to avoid being shut down. 12:03 АМ - 15 нояб. 2026 г. - 138,5 тыс. просмотр 91 → CN 387 • 2 тыс. И 1 тыс.
👍1