163 lines
4.6 KiB
Markdown
163 lines
4.6 KiB
Markdown
|
# TTA-E参数优化算法对比
|
|||
|
|
|
|||
|
|
本项目提供了两种强大的进化算法来优化TTA-E集成参数：**遗传算法(GA)**和**差分进化(DE)**。
|
|||
|
|
|
|||
|
|
## 🧬 遗传算法 (GA_optimize.py)
|
|||
|
|
|
|||
|
|
### 算法特点
|
|||
|
|
- **模拟生物进化**：选择、交叉、变异
|
|||
|
|
- **离散+连续优化**：适合混合参数空间
|
|||
|
|
- **多样性保持**：通过多种遗传操作维持种群多样性
|
|||
|
|
|
|||
|
|
### 配置参数
|
|||
|
|
```python
|
|||
|
|
self.population_size = 20 # 种群大小
|
|||
|
|
self.num_generations = 20 # 迭代代数
|
|||
|
|
self.num_parents_mating = 5 # 父代数量
|
|||
|
|
self.mutation_percent_genes = 20 # 变异率(%)
|
|||
|
|
keep_parents = 2 # 保留最佳父代数
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 优势
|
|||
|
|
- ✅ **成熟稳定**：PyGAD库经过充分测试
|
|||
|
|
- ✅ **参数控制**：丰富的参数调节选项
|
|||
|
|
- ✅ **并行支持**：内置多线程处理
|
|||
|
|
- ✅ **精英保留**：确保优秀解不丢失
|
|||
|
|
|
|||
|
|
### 适用场景
|
|||
|
|
- 参数空间复杂，需要探索多样性
|
|||
|
|
- 对算法透明度要求高
|
|||
|
|
- 需要精细调节进化策略
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 🔄 差分进化 (DE_optimize.py)
|
|||
|
|
|
|||
|
|
### 算法特点
|
|||
|
|
- **向量差分变异**：基于种群差异生成新解
|
|||
|
|
- **连续优化专家**：专为实数优化设计
|
|||
|
|
- **自适应收敛**：自动调节搜索策略
|
|||
|
|
|
|||
|
|
### 配置参数
|
|||
|
|
```python
|
|||
|
|
self.population_size = 15 # 种群大小倍数(实际=15×6=90)
|
|||
|
|
self.max_iterations = 50 # 最大迭代次数
|
|||
|
|
self.mutation_factor = 0.7 # 变异因子[0.5, 2.0]
|
|||
|
|
self.crossover_prob = 0.9 # 交叉概率[0, 1]
|
|||
|
|
self.tolerance = 1e-6 # 收敛容忍度
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 优势
|
|||
|
|
- ✅ **收敛快速**：通常比GA更快找到全局最优
|
|||
|
|
- ✅ **参数少**：调节参数相对简单
|
|||
|
|
- ✅ **数学严谨**：基于向量运算，理论基础扎实
|
|||
|
|
- ✅ **内置精炼**：SciPy实现包含局部优化
|
|||
|
|
|
|||
|
|
### 适用场景
|
|||
|
|
- 连续参数优化为主
|
|||
|
|
- 对收敛速度要求高
|
|||
|
|
- 喜欢简洁算法配置
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 📊 性能对比
|
|||
|
|
|
|||
|
|
| 特性 | 遗传算法(GA) | 差分进化(DE) |
|
|||
|
|
|------|-------------|-------------|
|
|||
|
|
| **收敛速度** | 中等 | 较快 |
|
|||
|
|
| **参数调节** | 复杂(7个主要参数) | 简单(4个主要参数) |
|
|||
|
|
| **种群大小** | 固定20个体 | 自适应(15×6=90个体) |
|
|||
|
|
| **内存使用** | 较低 | 中等 |
|
|||
|
|
| **算法透明** | 高(详细日志) | 中等 |
|
|||
|
|
| **局部优化** | 无 | 有(内置polish) |
|
|||
|
|
| **随机性** | 高 | 中等 |
|
|||
|
|
|
|||
|
|
## 🎯 优化目标对比
|
|||
|
|
|
|||
|
|
两种算法都优化相同的6维参数空间：
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
参数维度：
|
|||
|
|
- gru_weight: [0, 1] # GRU模型权重
|
|||
|
|
- tta_weights[0]: [0, 5] # Original增强权重
|
|||
|
|
- tta_weights[1]: [0, 5] # Noise增强权重
|
|||
|
|
- tta_weights[2]: [0, 5] # Scale增强权重
|
|||
|
|
- tta_weights[3]: [0, 5] # Shift增强权重
|
|||
|
|
- tta_weights[4]: [0, 5] # Smooth增强权重
|
|||
|
|
|
|||
|
|
目标函数：
|
|||
|
|
minimize PER (Phoneme Error Rate)
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 🚀 使用建议
|
|||
|
|
|
|||
|
|
### 选择遗传算法(GA)的情况：
|
|||
|
|
- 🔍 **探索阶段**：初次优化，需要探索参数空间
|
|||
|
|
- ⚙️ **精细控制**：需要调节具体的进化策略
|
|||
|
|
- 📈 **渐进改进**：可以接受较慢但稳定的优化过程
|
|||
|
|
- 🧪 **实验研究**：需要分析优化过程的详细信息
|
|||
|
|
|
|||
|
|
### 选择差分进化(DE)的情况：
|
|||
|
|
- ⚡ **快速收敛**：需要尽快找到优秀解
|
|||
|
|
- 🎯 **精度优先**：追求最终解的质量
|
|||
|
|
- 🔧 **简单配置**：希望算法参数调节简单
|
|||
|
|
- 🏁 **生产应用**：追求稳定可靠的优化结果
|
|||
|
|
|
|||
|
|
## 📝 运行示例
|
|||
|
|
|
|||
|
|
### 运行遗传算法：
|
|||
|
|
```bash
|
|||
|
|
conda activate b2txt25
|
|||
|
|
cd /root/autodl-tmp/nejm-brain-to-text/TTA-E
|
|||
|
|
python GA_optimize.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 运行差分进化：
|
|||
|
|
```bash
|
|||
|
|
conda activate b2txt25
|
|||
|
|
cd /root/autodl-tmp/nejm-brain-to-text/TTA-E
|
|||
|
|
python DE_optimize.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 📈 预期结果
|
|||
|
|
|
|||
|
|
### 遗传算法输出：
|
|||
|
|
```
|
|||
|
|
Generation 15
|
|||
|
|
Best solution: GRU weight=0.989, TTA weights=[2.297, 1.438, 3.661, 2.911, 0.156]
|
|||
|
|
Best fitness (negative PER): -10.130
|
|||
|
|
Best PER: 10.130%
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 差分进化输出：
|
|||
|
|
```
|
|||
|
|
🎯 Eval 145: New best PER = 9.874%
|
|||
|
|
GRU weight = 0.8234, TTA weights = [1.892, 2.156, 3.445, 1.234, 0.891]
|
|||
|
|
📊 Progress: 150 evaluations, Best PER = 9.874%
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 🔧 高级配置
|
|||
|
|
|
|||
|
|
### 并行运行对比：
|
|||
|
|
可以同时运行两种算法，最后比较结果：
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
# 终端1：运行GA
|
|||
|
|
python GA_optimize.py &
|
|||
|
|
|
|||
|
|
# 终端2：运行DE
|
|||
|
|
python DE_optimize.py &
|
|||
|
|
|
|||
|
|
# 等待两者完成，比较结果
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 结果分析：
|
|||
|
|
优化完成后，检查生成的结果文件：
|
|||
|
|
- `ga_optimization_result_YYYYMMDD_HHMMSS.pkl`
|
|||
|
|
- `de_optimization_result_YYYYMMDD_HHMMSS.pkl`
|
|||
|
|
|
|||
|
|
选择PER最低的方案作为最终配置。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
**建议**：对于TTA-E参数优化，推荐先使用**差分进化(DE)**快速找到优秀解，然后可选择性地使用**遗传算法(GA)**进行精细调节或验证结果的稳定性。
|