推理时模型无法正常终止输出

[zhi-xuan-chen]

你好，我在使用ross的参数在新的数据集微调后，发现模型始终在推理时会在正常输出一段内容后开始不断重复一句话，而无法正常终止，直到达到最大的输出token数。

同时我也尝试了直接使用ross的参数进行推理，同样遇到了这个问题。其中conversation template已经采用了qwen_2的版本。

请问这可能是什么原因导致的，应该如何解决？

[Haochen-Wang409]

直接使用开源的权重进行推理有类似的问题吗？

[zhi-xuan-chen]

也会有这个问题，用的是hf上的推理代码

[Haochen-Wang409]

能否提供一些例子？

[zhi-xuan-chen]

比如这个图片，使用这个prompt：“This is a chest X-ray image. Please generate a detailed radiology findings report describing any observed abnormalities or normal structures.”