Skip to content

DeepSeek推理仿真问题 #262

@BGPonlooker

Description

@BGPonlooker

您好,SimAI在描述中说明已经可以适配DeepSeek-V3-671B的仿真,对此,我有三点问题希望能帮忙解答一下,谢谢
(1)在推理仿真中,SimAI说明对于MoE架构的仿真支持还在进行中,并未实现。但是DeepSeek模型是MoE架构的,那请问SimAI是如何仿真DeepSeek的呢,特别是在推理仿真方面?
(2)我在推理仿真中按照Run Llama-3-8B with simai_simulation的步骤运行实验没有问题,但是把--replica_config_model_name改成deepseek后,运行会报错《No such file or directory: './data/profiling/compute/a100/deepseek-671B/mlp.csv'》,请问是否是因为缺乏deepseek的实测数据,那是否可以通过实测补充deepseek的a100数据后进行仿真,还是说目前simai对于deepseek的推理仿真只支持aicb的后端?我目前想要进行完整的deepseek的推理仿真,请问是否有更具体的运行步骤教程。
(3)关于推理仿真的workload是否有更具体的说明,在目前的README似乎没有看到具体关于workload的选择和说明。

感谢解答

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions