37 lines
1.1 KiB
Markdown
37 lines
1.1 KiB
Markdown
|
# ISSUES
|
|||
|
|
|
|||
|
|
## 双重梯度裁剪
|
|||
|
|
优化器级别：global_clipnorm=self.args.get('grad_norm_clip_value', 0.0)（第283行）
|
|||
|
|
手动级别：tf.clip_by_global_norm（第447-449行）
|
|||
|
|
这导致梯度被裁剪两次，并且在TPU的分布式训练中可能引发内部状态冲突。
|
|||
|
|
|
|||
|
|
修复总结
|
|||
|
|
问题根源：双重梯度裁剪导致AdamW内部状态冲突 修复内容：
|
|||
|
|
移除了优化器级别的梯度裁剪：删除了 global_clipnorm 参数
|
|||
|
|
保留手动梯度裁剪：在 _train_step 中继续使用 tf.clip_by_global_norm
|
|||
|
|
为什么会出错：
|
|||
|
|
```python
|
|||
|
|
# 之前：双重裁剪
|
|||
|
|
optimizer = tf.keras.optimizers.AdamW(
|
|||
|
|
global_clipnorm=clip_value # 第一次裁剪
|
|||
|
|
)
|
|||
|
|
```
|
|||
|
|
```python
|
|||
|
|
# 在 _train_step 中：
|
|||
|
|
tf.clip_by_global_norm(gradients, clip_value) # 第二次裁剪
|
|||
|
|
optimizer.apply_gradients(...) # 内部再次处理，导致冲突
|
|||
|
|
现在的修复：
|
|||
|
|
```
|
|||
|
|
```python
|
|||
|
|
# 现在：只有一次裁剪
|
|||
|
|
optimizer = tf.keras.optimizers.AdamW(
|
|||
|
|
# 没有 global_clipnorm
|
|||
|
|
)
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
```python
|
|||
|
|
# 在 _train_step 中：
|
|||
|
|
tf.clip_by_global_norm(gradients, clip_value) # 唯一的裁剪
|
|||
|
|
optimizer.apply_gradients(...) # 正常工作
|
|||
|
|
```
|