cpu和gpu同时使用问题

我已经在gpu上训练完了基于palm的模型，预测的话可以实现请问可以实现在cpu和gpu上都能运行吗？
我把palm依赖于paddle关于cuda的代码注释掉是可以在cpu上跑的。但是要实现cpu和gpu同时运行（留一个use_gpu=True/False)的属性，是需要对paddle.fluid.core_avx'的 'get_cuda_device_count进行修改吗