亿安天下“多节点异构环境下的大模型推理调度方法及系统”专利获授权

天眼查APP显示，近日，北京亿安天下科技股份有限公司申请的“多节点异构环境下的大模型推理调度方法及系统”专利获授权。摘要显示，本发明涉及多节点任务数据处理技术领域，具体涉及一种多节点异构环境下的大模型推理调度方法及系统。该方法对于每个计算节点提取了已推理任务两个阶段下的阶段向量，进一步确定功耗特征差异和超额延迟。基于两个特征训练两个独立的预测器。构建每个计算节点的状态转换有向图，边权值的设置同时由状态节点之间的阶段向量差异，以及由预测器得到的附加风险进行确定。在确定待推理任务在状态转换有向图中对应的节点之后，确定每个计算节点对于该待推理任务的最优路径，进而筛选出最优执行计算节点。本发明通过确定最优执行计算节点，避免因为盲目选择执行的计算节点导致硬件性能不稳，进而影响任务的执行。

【免责声明】本文仅代表作者本人观点，与和讯网无关。和讯网站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。邮箱：news_center@staff.hexun.com