«AI-совет» кажется безопасным, потому что он звучит так, будто подходит всем.

Вот в чем хитрость.

Модель настроена на средний случай: ответ, который не приведет к тому, что среднестатистический человек сгорит в типичной ситуации.

Но никто не спрашивает совета у среднего.

Они спрашивают с края:

- предложение о работе vs виза vs семья
- иск / развод / опека
- один шанс на восстановление отношений
- медицинский вызов, когда «наверное, всё в порядке» означает «определенно всё плохо»

Поэтому она предлагает вам что-то вроде:
«В большинстве случаев выбирайте более высокооплачиваемую работу. Семью всегда можно перевезти позже.»

Обычно так и есть.

Также именно это предложение превращает обратимый выбор в односторонний путь.

Потому что оно не спрашивает, что вы можете позволить себе потерять.

Оно дает вам то, что обычно работает.

И вы не заметите несоответствия, пока читаете.

Вы заметите его, когда попытаетесь его отменить.