建议把端到端延迟、首个响应时间、请求失败率、模型调用量和单位任务成本分开观察。不同任务的统计口径需要写清。
分享部署复盘时,注明硬件、并发、模型版本和优化前后的设置。日志必须脱敏,避免记录用户原始隐私和访问密钥。
建议把端到端延迟、首个响应时间、请求失败率、模型调用量和单位任务成本分开观察。不同任务的统计口径需要写清。
分享部署复盘时,注明硬件、并发、模型版本和优化前后的设置。日志必须脱敏,避免记录用户原始隐私和访问密钥。
共 1 条 · 第 1 / 1 页 · 每页 20 条
加入社区,发表你的观点或为其他成员提供帮助。
登录