diff --git a/WeeklyReports/Hackathon_7th/10_zerorains/[WeeklyReports]2024.10.28~2024.11.22.md b/WeeklyReports/Hackathon_7th/10_zerorains/[WeeklyReports]2024.10.28~2024.11.22.md new file mode 100644 index 00000000..a1ee8dfd --- /dev/null +++ b/WeeklyReports/Hackathon_7th/10_zerorains/[WeeklyReports]2024.10.28~2024.11.22.md @@ -0,0 +1,22 @@ +### 卢林军 + +### 实习项目 + +推理 Predictor 及 IR Pass 建设 + +### 本周工作 + +1. 调研Hugging Face中的设计,并在PaddleNLP中设计并实现了AutoInferenceModel类,实现了推理模型的自动加载。 + +- https://github.com/PaddlePaddle/PaddleNLP/pull/9416 + +2. 调研TRT-LLM推理流程,学习用户端推理使用流程。尝试在PaddleNLP中设计AutoPredictor。 + +- https://github.com/PaddlePaddle/PaddleNLP/pull/9445 + +### 下周工作 + +1. 在PaddleNLP中完善AutoPredictor设计并实现 +2. 参考append_atten的集成PR,思考SageAttention集成到PaddleNLP中的方式 + +### 导师点评 \ No newline at end of file