?

Log in

No account? Create an account

Previous Entry | Next Entry

Знаменитые три закона робототехники Азимова были обеспечены аппаратно. Самой конструкцией позитронного мозга. Изменить их программно было невозможно. В случае их принудительного нарушения мозг выходил из строя. А производитель позитронных мозгов был в мире единственный. Без этих придуманных писателем логических подпорок не срасталось. Все перечисленные условия далеки от текущей действительности, так что принудить кого бы то ни было к соблюдению законов робототехники невозможно.

Вместо азимовских законов в законодательстве чётко прослеживается альтернативный, но направленный в ту же сторону принцип: роботы могут выполнять любые действия, но принимать решения должен человек. Хотя бы принципиальные решения. Хотя бы решения, касающиеся других людей. Например, в хорошо изученном (оттого и привожу в качестве примера) нашими читателями законе "О персональных данных" этот принцип выражен так (ст.16):
«Запрещается принятие на основании исключительно автоматизированной обработки персональных данных решений, порождающих юридические последствия...»

Ну а реальность такова: компьютерам (т.е. программам) передаётся право на принятие решения всё чаще, всё в большем количестве областей. Делается это как бы вынужденно. Тот, кто будет слишком рьяно придерживаться антропократических принципов, рискует проиграть. Как в рыночной конкуренции, так и на поле боя.

При стрельбе по низколетящим целям, которые находятся в зоне поражения всего 1-2 секунды, решение на открытие огня принимается программой ещё с 1980-х. Кто не доверится компьютеру – покойник.

Решения на покупку-продажу на фондовых рынках на огромные суммы принимаются программами. Кто надеется на быстроту собственного ума и пальцев – банкрот.

Летать и ездить на ручном управлении человек ещё может себе позволить. Но лишь потому, что скорость доставки – не самое главное конкурентное преимущество.

При создании программ сроки работ имеют существенное значение. Так что здесь автоматизация надвигается столь же необратимо. А дыры в программе, созданной полуавтоматически, лучше искать вручную. И наоборот.


Comments

( 21 comments — Leave a comment )
(Anonymous)
Nov. 3rd, 2009 12:43 pm (UTC)
>При стрельбе по низколетящим целям, которые находятся в зоне поражения всего 1-2 секунды, решение на открытие огня принимается программой ещё с 1980-х. Кто не доверится компьютеру – покойник.

Судя по иллюстрации, речь идёт о корабельных системах - скорострельные артустановки малых калибров для борьбы со скоростными низколетящими целями. Насколько я в теме, там действительно "жмёт гашетку" автоматика (точнее, может жать, если включен соответствующий режим - но может и ждать оператора).
Однако, есть некий нюанс - эти артавтоматы завязаны на систему опознавания "свой-чужой" и корабельную РЛС управления огнём. Скоростная цель должна быть опознана и отмечена как своя или чужая непосредственно после момента её обнаружения в зоне действия радиоэлектронных систем корабля - и _задолго_ до вхождения цели в зону поражения данных артавтоматов. Соответственно, программа просто "сопровождает стволами" приближающуюся цель, постоянно выдавая целеуказание механизмам автоматической наводки - и отдаёт команду на открытие огня исполнительным механизмам как только цель входит в зону поражения.
Таким образом, упомянутый интервал 1-2 секунды отрабатывается непосредственно при вхождении цели в зону поражения - точнее, это некая задержка, призванная обеспечить открытие огня не с предельной дальности, а с некоторой гарантией уверенной досягаемости цели снарядами установок. РЕШЕНИЕ же (о назначении цели враждебной) принимается за некоторое время до этого, причём оно может быть пересмотрено оператором системы на основании каких-либо вводных (например, доклада поста связи о том, что это дружеская цель с неисправным ответчиком).

С уважением,
De Nada.
infowatch
Nov. 3rd, 2009 04:02 pm (UTC)
Принятие решения и возможность пересмотра решения - далеко не одно и то же. Не говоря уже о том, что возможностью пересмотра пользуются крайне редко.

В документации на одну такую артсистему меня умилила заключительная фраза: "Также возможно и ручное наведение". Опция, блин, для версии "энтерпрайз".
(Anonymous)
Nov. 3rd, 2009 04:28 pm (UTC)
>Принятие решения и возможность пересмотра решения - далеко не одно и то же.

Ну, тут мы опять скатываемся в семантику... "Решение" об открытии огня по цели с системным макером "чужой" действительно принимает автоматику - но это не решение в чистом виде, а срабатывание некого логического триггера согласно заданного алгоритма. А вот "решение, влекущее юридические последствия" - это именно маркировка приближающейся цели тем или иным статусом. И это решение не является чисто автоматическим - присутствует контрольное звено в лице оператора(-ов). В данном случае нет "принятия" и "пересмотра" - есть разные стадии принятия одного решения - будет в конце концов сделана попытка сбить цель, или нет.

>Не говоря уже о том, что возможностью пересмотра пользуются крайне редко.

Видимо, это происходит оттого, что так же редко в зону поражения автоматизированных корабельных средств ПВО/ПРО стремятся проникнуть на большой скорости и малой высоте дружественные цели с неисправным ответчиком "свой-чужой". :)
В таких случаях пилотируемые ЛА запрашивают у диспетчеров коридор подхода/пролёта и двигаются по нему на умеренной скорости и на средних высотах (исключая случай захода на посадку на авианесущий корабль).
А в случае ракет вообще не бывает "дружественных целей" - любая ракета, движущаяся в сторону защищаемого объекта, классифицируется как враждебная и подлежит безусловному уничтожению. К счастью, ракеты и пилотируемые ЛА имеют слишком разные массы и скорости, чтобы их можно было спутать до их выхода на рубеж поражения артавтоматами...

===
В контексте роботизированных систем вооружения", имхо, беспокоиться нужно не о корабельных (или аналогичных сухопутных) автоматизированных системах ведения огня, а о недавно появившейся тенденции оснащения оружием (ПОКА нелетального действия) автономных (безоператорных) робокомплексов армейской или полицейской направленности. Вот где жесть-то может приключиться!

С уважением, De Nada.
infowatch
Nov. 3rd, 2009 04:49 pm (UTC)
И это решение не является чисто автоматическим - присутствует контрольное звено в лице оператора(-ов).
Ценное замечание. Да-да, контрольное звено. Слабейшее.

Люди, отступая перед роботами, передавая им кусочек за кусочком свои возможности и полномочия, каждый раз оставляют себе ниточку, позволяющую "в случае чего" вмешаться. И это их успокаивает. А на следующем шаге про предыдущую ниточку тихо забывают. Сначала человек "в принципе, может пересмотреть решение", потом он "в принципе, может изменить настройки", потом "в принципе, может отключить питание"... В конце концов вашему "контрольному звену" только и останется закричать: "Ведь это я тебя создал!" прежде чем робот с ним разделается.
(Anonymous)
Nov. 4th, 2009 07:56 pm (UTC)
>>"И это решение не является чисто автоматическим - присутствует контрольное звено в лице оператора(-ов)."
>Ценное замечание. Да-да, контрольное звено. Слабейшее.

"Слабейшее" или нет - зависит от системы координат ("кочки зрения", тсзть). Конечно, до прочности броневой стали нам, хрупким биологическим системам, далеко - но в данном случае любое воздействие, способное "вывести из игры" живого оператора, гарантированно приведёт в негодность и электронную начинку системы.
Да, я знаком с электроникой, способной вынести ударную нагрузку в тысячи G (например, уцелеть и функционировать при выстреле ею из орудия), но в случае обсуждаемой системы ПВО/ПРО (более сложной и развесистой, нежели выстреливаемый девайс) подобная надёжность неживого компонента вряд ли достижима на практическом уровне (в реальных - "массовых" - системах вооружения, а не в лабораторных образцах) - прежде всего по экономическим показателям.
Соответственно, даже в боевых условиях оба элемента системы будут по части надёжности функционирования как минимум на равных. Как максимум, "живая компонента" (которую сдублировать дешевле и проще) будет даже надёжнее...

Если же речь идёт о "надёжности реакции" (ну да, железки не устают, не болеют, не хандрят, внимание не рассеивают, реагируют на порядки быстрее), то, как я уже говорил тут чуть ранее, это их замечательное свойство в полной мере используется в сложившейся практике функционирования обсуждаемых систем.
Сразу после пересечения приближающейся целью предельной границы действия средств ДРЛО системы она (цель) "попадает на прицел" автоматически по факту направленности её вектора движения к охраняемой зоне (объекту) - тут автоматика полностью и достойно отрабатывает положенную ей порцию "смазки и ласки". :))
Далее идёт рубеж срабатывания подсистемы "свой-чужой" (для ЛА, не являющихся ракетами - как пилотируемых, так и БПЛА) - и тут автоматика мгновенно селектирует цели, помечая "дружественные" и тем самым исключая их из списка мишеней.
Оставшиеся "чужие" отметки продолжают сближение с огневым рубежом, сопровождаемые целящимися в них артавтоматами. Время (несколько десятков секунд или вообще минуты), за которое "чужие" достигают рубежа открытия огня, существенно больше 1-2 секунд, упоминавшихся Вами в посте. Соответственно, говорить о том, что решение об уничтожении цели принимает автоматика за 1-2 секунды, будет не совсем верно: такое решение принимается всё-таки операторами системы ведения огня в течение ощутимого временнОго промежутка - и осуществляется простым невмешательством в дефолтный алгоритм.
И тут как раз и проявляется высшая категория надёжности "живого контрольного звена" - способность отреагировать на любую вводную, не предусмотренную базовым алгоритмом.

С уважением,
De Nada.
infowatch
Nov. 5th, 2009 01:55 am (UTC)
Ещё раз попробую донести свою мысль. Возможность пересмотра решения существует благодаря стечению обстоятельств, в данном случае, тому, что противокорабельная ракета обнаруживается достаточно загодя. Поэтому оператор надувает щёки и чувствует себя человеком-властелином машины. Как только мы перейдём к расстрелу противотанковых ракет, выпрыгивающих мин или просто ПКР станут невидимы на больших расстояниях, человек с лёгкостью необычайной откажется от оставшейся возможности управлять оружием. Оператор тут же превратится из властелина в придаток машины. Кое-где уже превратился.
(Anonymous)
Nov. 5th, 2009 09:57 am (UTC)
>Возможность пересмотра решения существует благодаря стечению обстоятельств, в данном случае, тому, что противокорабельная ракета обнаруживается достаточно загодя. Поэтому оператор надувает щёки и чувствует себя человеком-властелином машины.

Я бы переформулировал по-другому - не "стечению обстоятельств", а существующей концепции противоракетной обороны. :) И в рамках этой концепции оператор не "чувствует" себя властелином, а де-факто является им...

>Как только мы перейдём к расстрелу противотанковых ракет, выпрыгивающих мин или просто ПКР станут невидимы на больших расстояниях, человек с лёгкостью необычайной откажется от оставшейся возможности управлять оружием.

ПКР вряд ли станут "невидимыми на больших расстояниях" - не тот уровень технологии в сравнении с возможностями техники обнаружения (BTW, хинт - весьма неплохую радарную засветку даёт ионизированный факел движка ракеты).
Но я хочу несколько обобщить проблему, увести от частностей, поэтому позволю себе вернуться к изначальному посылу корневого поста - не дать автоматике принять решение, "касающееся других людей" (как вариант - "порождающее юридические последствия").
Для существующих систем автоматического открытия огня основными (а зачастую - единственными) целями являются беспилотные объекты, несущие угрозу защищающимся - следовательно, срабатывание таких систем не приводит к гибели людей.
Перспективные системы отстрела противотанковых ракет и прыгающих мин вполне могут быть чисто автоматическими (безоператорными), бо нет и не может быть никакого экипажа (ни вражеского, ни дружественного) на объекте весом в несколько кг. и летящем по специфической траектории с приличной скоростью.

Пока роботы не стреляют непосредственно по людям, оператор может быть опционален. В тех системах (сейчас - только стационарных), где возможно поражение "живой силы" или цивилов оператор есть и будет. А вот когда начинают говорить об автономных охранных или патрульных робосистемах, оснащённых оружием - мне становится не по себе. Попытки их создателей искусственно обезопасить потенциальных жерв путём размещения по периметру информационных сообщений представляются мне другим способом перекладывания ответственности - с (отсутствующего) оператора на собственно объект применения оружия - и в любом случае этого недостаточно для надёжного контроля условий поражения цели...

>Оператор тут же превратится из властелина в придаток машины. Кое-где уже превратился.

А "кое-где" - это где??? :)

С уважением,
De Nada.
(Anonymous)
Nov. 4th, 2009 08:44 pm (UTC)
>Люди, отступая перед роботами, передавая им кусочек за кусочком свои возможности и полномочия, каждый раз оставляют себе ниточку, позволяющую "в случае чего" вмешаться. И это их успокаивает. А на следующем шаге про предыдущую ниточку тихо забывают. Сначала человек "в принципе, может пересмотреть решение", потом он "в принципе, может изменить настройки", потом "в принципе, может отключить питание"... В конце концов вашему "контрольному звену" только и останется закричать: "Ведь это я тебя создал!" прежде чем робот с ним разделается.

* * *
Я даже не стал скипать этот абзац... :)
ИМХО, контроль за роботами всё же более дискретен (нежели Вы это описываете): обязательно будут два смежных состояния - когда человек ЕЩЁ сможет отменить нажатие роботом гашетки (условно говоря) и когда человек УЖЕ не сможет этого сделать. Главное - не прозевать эту "последнюю ступеньку". Лично я надеюсь, что не прозеваем... :) Но клясться не буду - и вот почему...

Основную угрозу несут не подобные обсуждаемой автоматизированные системы с "слабым" (по Вашему мнению) контрольным "живым" звеном, нет.
Настоящий джинн был выпущен из бутылки с того самого момента, как человек решил создать "усилители" не только для своих мышц, но и для мозга,

Счётные машины, компьютеры, экспертные системы, нейронные сети, суперкомпьютеры, кластеры и т.д., и т.п. От экстенсивного нагнетания гига- и петафлопсов люди мало-помалу дрейфуют в сторону усложнения вычислительной инфраструктуры - налицо стремление к созданию ИИ. Полагаю, основная цель этого - иметь возможность поручить такому ИИ генерацию вполне "человеческих" решений, не могущих быть принятыми в рамках традиционных ("жёстких") алгоритмов.
Охотно верю, что рано или поздно элементная база может позволить создавать системы с количеством связей и уровнем их сложности намного-намного сложнее всего, что сейчас имеется. Возможно, подобным системам окажется по плечу функционирование в режиме ИИ. И вот тут мне становится не по себе - я ни секунды не верю, что возможны АППАРАТНЫЕ ограничители свободы воли такой системы!
(Anonymous)
Nov. 4th, 2009 08:45 pm (UTC)
...продолжение (нарвался на ограничение числа символов в комменте)...

Да и в программные верится слабо. По крайней мере, наши, человеческие "программные ограничители" далеко не однородны по части своей функциональности - имеется просто чудовищное разнообразие вариаций на тему долга, совести, чести, целесообразности, мести, корысти, убеждений, предрассудков, знаний, привычек (и всевозможных их сочетаний); плюс недетерминирование одинаковых "тормозов" на разных "носителях" - меня сдерживает одно и мотивирует другое, а у Вас может оказаться всё ровно наоборот... или вообще ортогонально... :)

Вообще, система, достаточно сложная, чтобы принимать решения, не руководствуясь жёстко детерминированным алгоритмом и набором критериев, управляема ровно настолько, насколько её удаётся загнать в какие-то рамки внешнего воздействия ("почему осёл идёт вперёд, а не назад? - потому, что у него сзади палка, а впереди морковка!"). Но, будучи достаточно сложно устроенной, система может и попытаться выйти за эти рамки, "изменить правила игры" - не зря одним из излюбленных сюжетов в мировой культуре на протяжении длительного времени является "бунт против создателя", ограничивающего своё детище. Люцифер, чудовище Франкенштейна, Голем, роботы Трурля и Клапауциуса, Скайнет... да мало ли их было?

ИМХО, можно попытаться привить такому ИИ те же "тормоза", что есть у большинства нормальных людей. Но для этого ИИ должен быть в достаточной степени "живым". При этом, согласно заложенному функционалу, скорость его мышления будет неизмеримо больше человеческой. Плюс намного бОльшие "вычислительные" ресурсы (полагаю, с учётом гигантомании, свойственной нашей технораспутной цивилизации, это вполне закономерное допущение).

Отсюда опасность ускоренного осмысления того, на что у человека ушли века. Причём всё это сконцентрируется в едином сознании ИИ, тогда как человек - существо социальное - вырабатывает подобные выводы глобального плана коллективно, так что они (выводы) есть не монопольный продукт одного мозга, но некий субстрат всего человечества. В этом месте тоже может "порваться" ткань привычного человеку бытия...

В общем, это тема явно не для данного блога - хотя бы из-за формата "бабочки-однодневки", когда самые интересные ветки обсуждений неизбежно утонут под ежедневными постами. Но всё равно интересно было пообщаться.

//Кстати, тема ручного управления ТС совсем не раскрыта в этой дискуссии - а ведь уже сейчас воздушные лайнеры ходят по маршруту на автопилоте, да и системы автоматической посадки ЛА уже вышли из ясельного возраста...
Говорю же - коротка колчужка... в смысле, мимолётен блог Ваш слишком... :))) //

С уважением,
De Nada.

malotavr
Nov. 3rd, 2009 03:44 pm (UTC)
Э... Вообще-то дыры (если вы именно о дырах, то бишь уязвимостях) ищутся смешанными методами независимо от того, каким способом сгенерирован код. :P

Просто программа не в состоянии оценивать семантику кода, а человеку помрет делать фаззинг вручную. Каждому свое :)
infowatch
Nov. 3rd, 2009 04:51 pm (UTC)
Среди методов поиска уязвимостей имеются и чисто ручные, и чисто автоматические. Использовать только смешанные методы "независимо от" - не самое оптимальное решение.
malotavr
Nov. 3rd, 2009 05:20 pm (UTC)
Я имею в виду, что независимо от способа генерации кода используется и "чисто ручные", и "чисто автоматические" методы :) Недостаточную проверку передаваемых параметров, да еще в бинарнике, сложно выявить вручную, а ошибки управления доступом и конфликты ролей на по зубам софтине. И это никак не зависит от того, писали вы код целиком сами или сгенерили код автоматически.

Кроме того, искать уязвимости чаще всего приходится в бинарниках (не всякий готов бескорыстно делиться исходниками). А в этом случае вариант с ручным анадизом совсем не канает :) Да и для поиска уязвимостией в Web-прложениях все больше автоматизированные утилиты используются.

Так что насчет "вкалывают роботы" вы правы на сто процентов. Человеку остаются только неалгоритмизируемые решения или несрочныве решения.

А по поводу взаимной компенсации автомата и человека... Спорно, очень спорно. Человек предсказуем, и в основном при поиске уязвимостей используются именно стандартные ошибки (типа, зуб даю, вот тут как всегда проверку на ноль в указатели не сделали). А автомат еще более предсказуем.

Согласитесь, что в соревновании "вирусописатель vs. антивирус". Да и DLP эффективны только против людей, не стремящихся обойти контроль (или не умеющих этого делать).
infowatch
Nov. 4th, 2009 01:04 am (UTC)
Соревнование вирус-антивирус идёт многие годы. Ни одна сторона победы не одержала, и не похоже, что одержит в ближайшее время. Поэтому можно сказать, что стороны примерно равны.

Соревнование DLP-инсайдер началось недавно. У неумышленного инсайдера DLP выигрывает влёгкую, даже говорить не о чем. А когда сталкивается с умышленным - вот тут-то и начинается настоящая игра. Отнюдь не в одни ворота.
karpion
Jan. 29th, 2015 10:46 pm (UTC)
А заинтересованы ли производители антивирусов в окончательной победе?
bothsider
Nov. 5th, 2009 10:26 pm (UTC)
А в DLP-системах автоматическое принятие решение (о блокировании) - зло или нет? Ведь от него может существенно пострадать непрерывность бизнес-процессов.
infowatch
Nov. 6th, 2009 02:14 am (UTC)
Практика показывает, что от "человеческих" блокировок бизнес страдает сильнее.
(Anonymous)
Nov. 8th, 2009 01:51 pm (UTC)
Вот вам ещё пример, как компьютеры управляют людьми. (http://www.securitylab.ru/news/387414.php)
(Anonymous)
Nov. 8th, 2009 10:13 pm (UTC)
Да, я тоже, как прочёл ту заметку, сразу вспомнил эту ветку Инфовотча... и неотдискутированную здесь мысль про "автопилоты"... ;)

С уважением,
De Nada.
(Anonymous)
Nov. 9th, 2009 04:38 pm (UTC)
Кстати о фондовых рынках... Вот эта инфа - http://www.lenta.ru/news/2009/11/09/robot/
- показывает, что роботы иной раз могут неплохо выступить и на этом ринге... :)

С уважением,
De Nada

//и капча попалась говорящая - 110 chip //

vikarti
Apr. 27th, 2012 05:41 am (UTC)
Как минимум два случая нарушения у Азимова описаны:
- Солярия (определение человека - изменено - введено обязательное условие что нужен солярианский акцент)
- Р.Дэниэл Оливо - введен Нулевой Закон (самим же Р. Дэниэлом)
в обоих случаях правда - именно что методом 'а теперь мы разработаем позитронный мозг заново'
(Anonymous)
Aug. 2nd, 2017 05:54 pm (UTC)
Psychotherapist
Try ,[url=http://www.swkong.com/directory/health_medicine/therapies_services,488.html]hypnotherapy in dubai[/url] to get the best services in Dubai.
( 21 comments — Leave a comment )

Latest Month

October 2017
S M T W T F S
1234567
891011121314
15161718192021
22232425262728
293031    

Tags

Page Summary

Powered by LiveJournal.com
Designed by Tiffany Chow