AI 存在性风险

这是什么

研究与讨论 AI 可能参与导致人类灭绝，或永久、严重损害人类未来潜力的情景。它不等于声称今天的聊天机器人已秘密觉醒。具体机制、概率与应对方式都存在争议。

最有力的理由

当潜在损失极大时，即使概率低且不确定，也可能值得研究。等灾难充分证明自己后再理解机制，通常不是理想策略。

难题与分歧

后果重大不等于某个概率或政策已经成立。理论需要具体因果路径与检验。关注远期灾难不应抹去当前伤害，分歧也不该被简化为是否关心人类。