【外汇课堂】如何避免过度拟合设计交易系统的陷阱？

在建立量化交易模型的过程中，很多人都经历过过拟合。过拟合其实是机器学习和统计领域的一个概念。它通常用于表示模型在测试中表现非常好，但在实践中表现不如预期。

对于传统的机器学习，过拟合的影响不是很明显，但是金融数据的时间序列特征和数据的高噪声特性决定了过拟合的巨大影响。所以在建模的时候一定要注意避免过拟合。

01

过拟合的原因

程序化交易系统的设计过程包括两个部分，两者都可能导致过拟合。结合。

交易系统设计的第一部分是形成一个完整的交易规则体系。形成交易规则一般有自上而下和自下而上两种方法：自上而下的方法是在长期观察市场行情的基础上总结出规则机器学习防止过拟合，然后在规则的基础上形成量化交易策略这个过程需要长期交易经验的积累；

自下而上的方法是从市场数据和统计分析中形成的一种交易策略，以获得市场特征。

交易者在用历史数据对交易系统进行回测时，往往会根据测试结果重新训练交易规则，形成新的交易规则，或将这些规则组合生成交易系统。轻松适应市场数据。

同时，在交易系统的量化实现过程中，一般会使用参数来描述系统。设计者会通过增加参数的数量并优化这些参数来找到最佳的交易系统。

如果参数数量过多或参数过度优化，往往会导致历史行情完美过拟合，但未来表现会大打折扣。

02

如何避免过拟合

设计交易系统的目标是在未来稳固的市场中产生利润，而不是追求美丽的过度拟合交易系统的历史测试曲线是一个“美丽的陷阱”。如何摆脱这个陷阱？我们认为可以从两个方面入手：交易规则的形成和交易系统的发展。

现代数学对金融市场的数据分析表明，时间价格序列包括两部分：

第一部分是确定性项，从中可以找到一定的规则；

第二部分是随机项目。根本没有确定性的规律。某种现象的发生只是概率性的。

当我们从历史行情中提取交易规则时，需要分析规则的逻辑性和规律性。交易规则需要能够反映市场的规律性，具有一定的合理性。

交易者通过各种渠道形成交易规则时，在具体的交易系统设计过程中，需要注意以下问题：

首先，增加历史测试数据的样本容量，避免交易太少。

做大宗商品期货的人都知道，如果通过品种分类来进行回测，那么不活跃的品种在一年内可能不会有多少交易，即使是几年之后。不到100次。这么小的体积的结果是没有意义的，而且很容易过拟合。尤其是套利策略持仓的策略会更长，交易量一年也只有几次，更不靠谱。

所以我们在回测策略时需要增加交易策略的数量。一般来说，300多笔交易就可以证明该策略是有效的。

其次，在测试时，将测试的数据样本分为样本内和样本外。

当使用样本内数据设计系统，然后使用样本外数据测试生成的系统时，如果效果大大降低，则该系统很可能是合适的。

三、核心参数不宜过多。

参数过多的系统是多自由度系统，优化多个参数后，总能得到一个漂亮的系统，但这样的系统的可靠性值得怀疑。

第四，在优化交易系统的参数时机器学习防止过拟合，我们需要检查最优参数附近的参数。

如果附近参数系统的性能远不如最优参数，那么最优参数可能是过拟合的结果，在数学上称为奇异解，是不稳定的。如果市场特征稍有变化，最优参数可能会变成最差参数。

文章五、保证一定的平均利润。

在验证了一些策略之后，我们会发现交易次数比较多，表现也不错，但是平均利润太低了。有的朋友可能会认为，平均利润低不重要，只要能盈利就行。但除了关注利润之外，还必须注意滑点。如果平均利润太低，很可能会受到滑点的影响。稳定盈利的量化交易策略最终会变成稳定亏损的策略。