觀點網訊:11月9日消息,億道信息在投資者關係活動記錄表中表示,億靈AISSD異構推理技術針對MoE混合專家架構大模型進行底層調度優化。
據披露,該技術通過動態專家駐留策略降低內存佔用,並可在內存、速度之間靈活調檔,使普通PC、NAS等內存受限的端側設備能夠運行35B或更大的模型。
億道信息在投資者關係活動記錄表中披露億靈AISSD異構推理技術,該技術針對MoE混合專家架構大模型優化,通過動態專家駐留策略降低內存佔用,使普通PC、NAS等內存受限端側設備能夠運行35B或更大的模型。
觀點網訊:11月9日消息,億道信息在投資者關係活動記錄表中表示,億靈AISSD異構推理技術針對MoE混合專家架構大模型進行底層調度優化。
據披露,該技術通過動態專家駐留策略降低內存佔用,並可在內存、速度之間靈活調檔,使普通PC、NAS等內存受限的端側設備能夠運行35B或更大的模型。
免責聲明:本文内容與數據由觀點根據公開信息整理,不構成投資建議,使用前請核實。