经理需要质疑任何williamhill中文欢迎您的“地面真相”来自
williamhill中文欢迎您工具是大生意。他们进入生活的各个方面； 分配社会住房，雇用顶尖人才，诊断医疗状况，预测交通拥堵，预测股票价格，产生销售线索以及名单继续。
本十年的全球williamhill中文欢迎您市场预计将超过1万亿美元。无论是媒体，商业还是政府，每个人似乎都在讨论williamhill中文欢迎您以及它将如何改变世界。
经理们正在采用williamhill中文欢迎您，因为他们认为这将使他们的组织能够执行任务并更快，更准确，更低的成本，而其成本低于他们的员工。
采用压力来自各个方向；供应商，董事会，竞争市场，甚至媒体。而且，基于看似可信的第三方绩效索赔，使用共同的评估措施，这些williamhill中文欢迎您工具将兑现其承诺的不断保证。
但是，管理者常常冒着发现期望与现实之间存在巨大差距的风险。 williamhill中文欢迎您工具并没有提高绩效，可能会降低决策的准确性和质量，甚至破坏该组织数十年来建立的知识资本。
如果听起来令人震惊，那应该是。因为正如我与合着者莎拉·勒博维茨（Sarah Lebovitz）和纳塔利亚·莱维纳（Natalia Levina）的屡获殊荣的研究所表明的那样，这是一种风险，即成千上万的组织在采用williamhill中文欢迎您解决方案时未能进行适当的尽职调查来承担数千个组织的风险；这种风险不仅可能会损害组织和政府，而且在某些情况下甚至损害了生命。
我们能够在非常近的地方学习如何在美国著名的美国医院收养五种williamhill中文欢迎您工具，该医院在其领域雇用了领先的专家。
williamhill中文欢迎您的应用程序在诊断放射学中。在长达11个月的时间里，我们观察到经理人在研究会议，研讨会，研讨会，供应商演讲和31次详细评估会议以及22次访谈和许多非正式对话中测试和评估williamhill中文欢迎您工具。我们还可以访问广泛的相关数据。
我们发现的东西既令人惊讶又令人担忧。并不是说涉及的医疗专业人员不想彻底评估williamhill中文欢迎您工具。相反，他们最初并不知道要进行可靠评估的关键问题。
进一步探测并超越了表面级别的指标，他们发现了williamhill中文欢迎您的基本缺陷，就像对williamhill中文欢迎您的训练和验证一样。
在任何williamhill中文欢迎您软件的核心都是其“地面真相”，该标记的数据表示（并用于验证）williamhill中文欢迎您试图解决的问题的正确答案。例如，最简单的是，猫识别的地面真相数据集可能包括各种猫的标记图像。然后可以根据地面真相数据集检查猫的图片，以查看它是哪种类型的猫。
但是，组织中williamhill中文欢迎您工具的大多数应用程序都更加复杂，无论是确定放射学图像是否显示出恶性肿瘤，候选人是合适的雇员，还是可以投资初创企业。什么构成地面真理的远非明确和绝对，通常是为了讨论。在这些情况下，用户需要确定地面真理是真相的足够可验证的版本，以便他们可以依靠它来进行决策。
在可能的情况下，地面真相数据集应基于客观信息。例如，应针对随后的活检结果检查用于检测恶性肿瘤的放射学图像。
通常，许多预测问题的性质意味着地面真相数据的标签不一定是客观的。在这种情况下，标签应由足够专家的人进行和检查，并使用专业知识并将相关的专业标准应用于该信息。
为什么经理在采用williamhill中文欢迎您时不应依靠AUC
在实践中，这意味着工具开发人员与相关的专家从业人员进行互动，并利用专家的积累知识和经验，以更好地了解所涉及的实践和流程，以使尽可能多的知识编纂。
不幸的是，与许多其他制定williamhill中文欢迎您购买决策的组织一样，我们研究中的管理人员非常依赖于通常用于评估williamhill中文欢迎您绩效的指标 - AUC（接收器操作特征曲线下的区域）。。。。。
问题在于，AUC对工具的性能和将使用该工具的人的绩效几乎没有说明。相反
一旦我们的研究中的医疗专业人员超越了AUC指标，并开始将williamhill中文欢迎您工具放在关注的焦点下，很快就会出现问题。在一系列的试点研究中，医学专业人员利用专家专业知识来开发自己的地面真相数据集并对williamhill中文欢迎您进行测试。
在许多情况下，它们的结果与该工具所要求的准确性措施相抵触。经过仔细检查，很明显，模型所使用的基础真理并未以反映专家在现实生活中的决定时的方式产生。
大多数采用williamhill中文欢迎您的组织都不会经历如此严格的评估过程。但是未能检查williamhill中文欢迎您工具会因其糟糕的性能而遭受损害的危害。
经理的行为，通常是不情愿的williamhill中文欢迎您采用者，也会加剧问题。他们可能会反对williamhill中文欢迎您工具来支持自己的专业知识，在继续像往常一样继续工作的同时，支付了唇部服务。
这里的风险是，至少一个组织中，高级经理给予了williamhill中文欢迎您工具的良好结果，并使员工冗余。危险在于，当组织意识到其表现和专业知识所带来的打击时，它变得非常昂贵甚至不可能纠正。
最好的策略是在收购，实施和嵌入组织中之前对williamhill中文欢迎您工具进行彻底评估。这意味着要向正在为williamhill中文欢迎您采用的人提出一些关键问题，无论是设计师，供应商还是组织自己的数据科学家。
购买williamhill中文欢迎您时需要询问的问题
准确地了解了williamhill中文欢迎您工具的训练方式。可以客观地验证吗？数据是如何标记的？标签并验证了标签？他们在领域的专家如何？是否达到了该领域预期的专业标准？使用了什么证据？数据源来自哪里？它适用于确切的用例？
不要推迟。不要接受掩盖真理的充满术语的反应。只有那时，如果对答案感到满意，是时候驾驶工具了。
williamhill中文欢迎您将是难以想象的变革，在许多情况下，更好的是。最终，构建williamhill中文欢迎您工具的方式将变得更加透明，利益相关者建立的最佳实践，以及williamhill中文欢迎您工具的交易更好地监管。
，但在此之前，我们的研究表明，当买方单独负责在购买前检查商品的质量和适用性时，必须是考虑采用williamhill中文欢迎您工具的组织的口号。
目前，检查这些williamhill中文欢迎您工具的优点的负担落在了购买者身上。如果组织想避免买家的re悔案件不好，则需要进行全面的尽职调查。
进一步阅读：
Lebovitz S.，Lifshitz-Assaf H.和Levina N.（2022）。 参与或不与williamhill中文欢迎您进行关键判断：专业人士在使用williamhill中文欢迎您进行医学诊断时如何处理不透明度。 组织科学。 33（1）：126-14。
Lebovitz S.，Levina N.和Lifshitz-Assaf H.（2021）。 williamhill中文欢迎您地面真相真的吗？培训和评估williamhill中文欢迎您工具的危险是基于专家的知识。MIS季度45（3b）：1501-1525。
Hila LifShitz-Assaf是哈佛大学实验室创新科学实验室的管理教授和访问学院。她教授数字化转型执行MBA, 远程学习MBA并管理数字创新信息系统和数字创新的MSC管理.
在Twitter上关注Hila LifShitz-Assaf@h_diginnovation.
有关数字创新和企业家的更多文章，请注册到核心见解这里.