问题：可预测性和预测的错觉
Posted: Wed Jan 15, 2025 8:49 am
决策者可以使用回归方程来预测结果。然而，索耶和霍加斯发现，应用回归分析的专家常常无法正确评估预测中涉及的不确定性。相反，他们评估改变预测变量的平均效果，而不是评估围绕该平均值的分布。
最终结果是结果被认为比模型证明的更可预测。索耶和霍加斯将此称为可预测性错觉。
研究对预测不确定性的感知
索耶和霍加斯要求 257 名经济学家使用回归结果来做出决策。大多数实证经济研究都使用回归分析，因此经济学家对此非常熟悉。
研究人员以主要经济期刊中大多数实证研究使用的格式呈现回归结果：描述性统计、回归系数、常数、标准误差、R 平方和观测值数量。
作者提出了几种模型，并主要向应用经济学和计量经济学教授提出了质疑。让我们看一个例子。
根据回归模型做出决策
个人需要保证他/她以 95% 的概率获得阳性结果 (Y> 0) 的最小值 X 是多少？
标准误差位于括号内，系数在 95% 置信水平下显着。
多变的 平均的 开发。标准
X 50.72 28.12
是 51.11 40.78
X系数 1.001 (0.033)
持续的 0.32 (1.92)
R² 0.50
氮 1000
答案说明了感知与现实之间的差异
76% 的参与者认为非常小的 X (X <10) 足以保 奥地利数据 证正 Y。给定回归方程：Y = 0.32 + 1.001X，X 为 10 时，Y 为 10.33。这似乎远高于零才能保证积极的结果，不是吗？这是平均结果，但是周围的变化呢？
由于存在可变性，正确答案实际上是 47！尽管可以使用所提供的信息以数学方式解决该问题，但只有 20% 的专家提供了封闭的答案（毕竟，这些是专家）。
如果用这个答案来分析一个重要的决定怎么办？
专家们严重低估了平均结果的变异性。 Soyer 和 Hogarth 对 R² 仅 25% 的模型提出了同样的问题，结果几乎相同。没有针对更大的不确定性进行调整！
这是一个心理问题，统计数据和回归方程使预测比实际情况更准确。
我曾写过，高 R² 并不总是那么重要，除非您进行预测。因此，使用 50% 的 R²（更不用说 25%）应该会引发有关不准确预测的警告。
解决方案：用图形表示关系中的不确定性
索耶和霍加斯向不同的专家组提出了同样的问题，但改变了演示方式：一组看到带有散点图的回归结果，另一组只看到散点图。令人惊讶的是，散点图产生的正确答案百分比最高。
散点图对应于回归结果。通过散点图，只有 10% 的受访者回答少于 10，而 66% 的答案是正确的。
关键是散点图可以帮助观看者体验和理解不确定性。事实上，我们可能会看到数据点低于期望值。可以这么说，这给你带来了不确定性！
为了使可预测性的错觉变得真实，请将上面显示实际变化的散点图与下面的散点图与感知变化量进行比较。两者之间的差异令人惊讶！
结束语
预测并不像将数字代入方程那么简单。如果大多数应用回归专家都被数值结果所愚弄，想象一下经验不足的分析师的错误率！
我完全同意索耶和霍加斯关于改进应用回归结果呈现方式的呼吁。我经常在博客中使用 Minitab 的拟合线图（带有回归线的散点图）。它是一个以快速且易于理解的方式解释回归结果的好工具。眼见为实！
然而，研究人员提出的模型特别适合视觉分析。只有一个预测变量，它允许二维图。有许多数据点 (n = 1,000) 均匀分布在分析空间中。此示例在任何 X 值的可能值和不可能值之间产生了视觉上清晰的界限。
如果您有多个预测变量，那么应用多元回归又如何呢？
或者具有相互作用和曲率的模型？
或者数据不那么基础和丰富的情况？
我们仍然需要将现实世界的不确定性纳入基于应用回归分析的决策中。这是第二部分的主题。
最终结果是结果被认为比模型证明的更可预测。索耶和霍加斯将此称为可预测性错觉。
研究对预测不确定性的感知
索耶和霍加斯要求 257 名经济学家使用回归结果来做出决策。大多数实证经济研究都使用回归分析，因此经济学家对此非常熟悉。
研究人员以主要经济期刊中大多数实证研究使用的格式呈现回归结果：描述性统计、回归系数、常数、标准误差、R 平方和观测值数量。
作者提出了几种模型，并主要向应用经济学和计量经济学教授提出了质疑。让我们看一个例子。
根据回归模型做出决策
个人需要保证他/她以 95% 的概率获得阳性结果 (Y> 0) 的最小值 X 是多少？
标准误差位于括号内，系数在 95% 置信水平下显着。
多变的 平均的 开发。标准
X 50.72 28.12
是 51.11 40.78
X系数 1.001 (0.033)
持续的 0.32 (1.92)
R² 0.50
氮 1000
答案说明了感知与现实之间的差异
76% 的参与者认为非常小的 X (X <10) 足以保 奥地利数据 证正 Y。给定回归方程：Y = 0.32 + 1.001X，X 为 10 时，Y 为 10.33。这似乎远高于零才能保证积极的结果，不是吗？这是平均结果，但是周围的变化呢？
由于存在可变性，正确答案实际上是 47！尽管可以使用所提供的信息以数学方式解决该问题，但只有 20% 的专家提供了封闭的答案（毕竟，这些是专家）。
如果用这个答案来分析一个重要的决定怎么办？
专家们严重低估了平均结果的变异性。 Soyer 和 Hogarth 对 R² 仅 25% 的模型提出了同样的问题，结果几乎相同。没有针对更大的不确定性进行调整！
这是一个心理问题，统计数据和回归方程使预测比实际情况更准确。
我曾写过，高 R² 并不总是那么重要，除非您进行预测。因此，使用 50% 的 R²（更不用说 25%）应该会引发有关不准确预测的警告。
解决方案：用图形表示关系中的不确定性
索耶和霍加斯向不同的专家组提出了同样的问题，但改变了演示方式：一组看到带有散点图的回归结果，另一组只看到散点图。令人惊讶的是，散点图产生的正确答案百分比最高。
散点图对应于回归结果。通过散点图，只有 10% 的受访者回答少于 10，而 66% 的答案是正确的。
关键是散点图可以帮助观看者体验和理解不确定性。事实上，我们可能会看到数据点低于期望值。可以这么说，这给你带来了不确定性！
为了使可预测性的错觉变得真实，请将上面显示实际变化的散点图与下面的散点图与感知变化量进行比较。两者之间的差异令人惊讶！
结束语
预测并不像将数字代入方程那么简单。如果大多数应用回归专家都被数值结果所愚弄，想象一下经验不足的分析师的错误率！
我完全同意索耶和霍加斯关于改进应用回归结果呈现方式的呼吁。我经常在博客中使用 Minitab 的拟合线图（带有回归线的散点图）。它是一个以快速且易于理解的方式解释回归结果的好工具。眼见为实！
然而，研究人员提出的模型特别适合视觉分析。只有一个预测变量，它允许二维图。有许多数据点 (n = 1,000) 均匀分布在分析空间中。此示例在任何 X 值的可能值和不可能值之间产生了视觉上清晰的界限。
如果您有多个预测变量，那么应用多元回归又如何呢？
或者具有相互作用和曲率的模型？
或者数据不那么基础和丰富的情况？
我们仍然需要将现实世界的不确定性纳入基于应用回归分析的决策中。这是第二部分的主题。