Patrick：你觉得大家会不会开始“刷分”——有意迎合评测信号？你们遇到过吗？比如大家都说自己去目标国家留学过。
Jacob：大家都说自己去目标国家留学过。
Patrick：对，比如都说自己在招聘地留学过。
Brendan：是的，所以有时候我们要对信号保密。我们和所有大型招聘流程一样，经常遇到这种情况。关键是确保评测足够动态，比如经常更换问题，或者针对候选人背景问很深入的问题。因为模型能为面试做大量准备，人才评估的深度和广度前所未有。
比如我第一次面试高管候选人，可能只看几分钟LinkedIn和一些笔记，但如果我能听他们上过的播客，读他们写的博客或论文，再针对这些提问，深度和细节就完全不同。
Jacob：你们的模型很擅长预测候选人表现，这个过程需要可解释性吗？还是说模型黑箱给出结论就可以？
Brendan：我认为可解释性很重要，有两个原因。第一是让客户理解和信任模型的结论，建立信任和推理链。第二是确保模型选人是基于正确的理由。所以可解释性很有价值。
但我认为最终的经济形态可能就是API式的，人们需要完成工作，或者需要一定的人类参与，然后只要一个置信区间预测这个人能否胜任，整个流程里人类的中介作用会大大减少。
Jacob：这算是通往那个目标的信任里程碑，很有道理。目前数据标注环节有明确的反馈回路，比如多个人标注同一份数据。你怎么看把这种方法应用到更模糊的人类工作领域的挑战？也许你得等15年才能获得反馈。
Patrick：比如VC（笑）。
Brendan：我的一个看法是，如果有100个人做同样的工作，很容易给他们排名。但如果100个人做的工作都不一样，比如创始人，每个人的工作都很有差异，就很难找到共性，难以判断哪些行为或信息和结果有关。因为变量太多了。所以对于大规模同质岗位，比如招20个客户经理，模型可以从中学习信号并优化。但对于复杂岗位，比如我们在评估一批Thiel Fellows（蒂尔奖学金项目），这种情况就更具挑战性，更依赖模型的推理能力。
Jacob：有哪些具体挑战？
Brendan：主要挑战是很多信息没进到模型上下文里，模型无法学习，人们也经常忘记补充信息。比如我听朋友说某公司产品很好，这种信息没被输入模型。确保所有推荐信、人与人之间的细节都被输入，是主要难题。我们发现，其实只要把必要数据输入模型上下文，就解决了大部分问题。
Jacob：也许未来我们每个人的智能眼镜都在录音，随时把信息输入模型。
Brendan：对。
Jacob：会不会变成桥水基金那样的程度？
Brendan：也许是。但很多公司会排斥这种做法，出于法律和合规原因也不愿意。但我认为会有更好的流程，让模型能更好地获取上下文。比如AI做离职面谈，采访经理和团队成员，了解更多细节。人们脑子里有很多细节信息，我们只需要把这些信息输入模型，就能做出超越人类的预测。