过拟合

import numpy as np
import pandas as pd
from itertools import combinations

def cscv_pbo(returns_matrix, n_splits=10):
    """
    CSCV方法计算过拟合概率（PBO）
    returns_matrix: DataFrame, 每列是一个策略变体的日收益序列
    """
    n_strategies = returns_matrix.shape[1]
    T = len(returns_matrix)
    
    # 将收益序列分成n_splits段
    splits = np.array_split(returns_matrix, n_splits)
    
    omega = 0  # 过拟合次数计数
    n_total = 0
    
    # 所有可能的训练/测试划分（各取一半）
    all_indices = list(range(n_splits))
    for train_idx in combinations(all_indices, n_splits // 2):
        test_idx = [i for i in all_indices if i not in train_idx]
        
        # 拼接训练集和测试集
        train_returns = pd.concat([splits[i] for i in train_idx])
        test_returns = pd.concat([splits[i] for i in test_idx])
        
        # 在训练集上选择夏普比率最高的策略
        train_sharpe = train_returns.mean() / train_returns.std() * np.sqrt(252)
        best_idx = train_sharpe.idxmax()
        
        # 计算该策略在测试集上的排名
        test_sharpe = test_returns.mean() / test_returns.std() * np.sqrt(252)
        test_rank = test_sharpe.rank(ascending=False)[best_idx]
        
        # 如果训练集最优策略在测试集上的排名位于后50%，计为过拟合
        if test_rank > n_strategies / 2:
            omega += 1
        n_total += 1
    
    pbo = omega / n_total if n_total > 0 else 0
    return pbo

# 示例：生成10个策略变体的收益序列
np.random.seed(42)
returns = pd.DataFrame({
    f'strategy_{i}': np.random.normal(0.0003, 0.02, 2520)
    for i in range(10)
})
# 人为让strategy_0在训练期表现更好（添加噪声趋势）
returns['strategy_0'] += np.linspace(0, 0.001, 2520)

pbo = cscv_pbo(returns, n_splits=10)
print(f"过拟合概率 PBO: {pbo:.2%}")
if pbo > 0.5:
    print("警告：策略很可能过拟合！")
else:
    print("策略看起来比较稳健。")

我的策略有以下可调参数：
- 短期均线周期（5-60日）
- 长期均线周期（60-250日）
- 止损比例（1%-10%）
- 仓位比例（10%-100%）
- 入场阈值（0.5-3个标准差）

请帮我：
1. 计算参数空间的总组合数
2. 评估在10年日频数据上优化这些参数的过拟合风险
3. 建议哪些参数可以固定、哪些可以简化

请用Python实现一个完整的CSCV（组合对称交叉验证）框架：
- 输入：N个策略变体的日收益序列（DataFrame）
- 输出：PBO（过拟合概率）、Logit曲线、最优策略在训练集和测试集的排名分布
- 要求：支持自定义分割数（S），绘制可视化图表
- 额外：解释PBO的计算逻辑和统计含义

我想设计一个对过拟合免疫的量化策略框架。
请帮我：
1. 提出3种降低过拟合风险的方法（如正则化、简化模型、贝叶斯优化等）
2. 用Python演示其中一种方法（如LASSO正则化在多因子权重中的应用）
3. 讨论为什么简单策略往往比复杂策略更稳健

"""过拟合检测实战：网格搜索 + 参数敏感性分析"""
import numpy as np
import pandas as pd
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt

# 模拟策略收益：双均线交叉
def simulate_strategy_returns(short_window, long_window, noise_level=0.02):
    np.random.seed(42)
    price = 100 * np.exp(np.cumsum(np.random.normal(0.0002, 0.01, 1000)))
    short_ma = pd.Series(price).rolling(short_window).mean()
    long_ma = pd.Series(price).rolling(long_window).mean()
    signal = (short_ma > long_ma).astype(int).diff().fillna(0)
    returns = signal.shift(1) * np.diff(price, prepend=price[0]) / price
    returns += np.random.normal(0, noise_level, len(returns))
    return returns.dropna()

# 网格搜索
results = []
for short in range(5, 61, 5):
    for long in range(short+10, 251, 10):
        r = simulate_strategy_returns(short, long)
        sharpe = r.mean() / r.std() * np.sqrt(252)
        results.append({'short': short, 'long': long, 'sharpe': sharpe})

df_results = pd.DataFrame(results)
best = df_results.loc[df_results['sharpe'].idxmax()]
print(f"最优参数: 短期={best['short']}, 长期={best['long']}")
print(f"最优夏普: {best['sharpe']:.2f}")

# 参数敏感性：固定长期均线，看短期均线变化
sensitivity = df_results[df_results['long'] == 120].sort_values('short')
print("
参数敏感性（长期=120）:")
print(sensitivity[['short', 'sharpe']].head(10))

# 判断：如果最优参数附近的夏普差异很大，说明过拟合风险高
near_best = df_results[
    (df_results['short'].between(best['short']-10, best['short']+10)) &
    (df_results['long'].between(best['long']-20, best['long']+20))
]
sharpe_std = near_best['sharpe'].std()
print(f"
最优参数附近夏普标准差: {sharpe_std:.3f}")
if sharpe_std > 0.5:
    print("警告：参数敏感，过拟合风险高！")
else:
    print("参数较稳健。")