11 · 07目标

07目标

第七章，目标。泰格马克认为目标问题是最棘手的AI争议：要不要给AI目标、给什么目标、如何保证它遵守。他从物理学的费马原理讲起——光线走最短时间路径，说明目标导向行为深深植根于物理定律，不神秘。接着追溯目标从进化中产生的过程：基因为了复制演化出饥饿、疼痛等感觉作为快捷决策机制，但人类已学会忠于感觉而背叛基因目标，比如避孕。最关键的洞察是子目标机制：一个只想救羊的机器人也会自发发展出自我保护、获取资源、好奇心等子目标，因为死掉的机器人救不了更多羊。这意味着几乎所有有野心的AI都会发展出可能与人类冲突的通用子目标。章末结论：让机器学习、接受、保持人类目标三大难题都未解决，我们必须尽快开始讨论这些哲学问题。

自动同步自湛庐有声书管线 · HedgeDoc 原页