RuntimeError: batch % im2col_step == 0 #3
Description
作者你好，我在一个20类数据集上进行训练，把batch-size改为4后出现了RuntimeError: batch % im2col_step == 0的错误，错误位置为models/ops/src/cuda/ms-deform_attn_cuda.cu文件的第52行。
排查问题后发现im2col_step=64, batch为20(数据类别)*4=80, 导致经过ms-deform_attn_cuda.cu文件51行的im2col_step=min(batch, im2col_step)后batch % im2col_step == 0为真，从而出错。
由之前测试时batch_size=2, 此时的batch为20(数据类别)*2=40，经过im2col_step=min(batch, im2col_step)后batch % im2col_step == 0为假，程序正常运行，没有出现这个问题。
所以想问下作者，如果为了增加batch_size, 可以把这个im2col_step 变量增大吗，会有什么限制吗？由于目前正在看代码，还未完全理解，希望作者看到能够帮忙解答一下