状态: 活跃研究主权与本地 AI
本地与主权推理
端侧与边缘推理、面向受限硬件的模型优化,以及降低单一供应商依赖的多供应商可移植性。
摘要
我们评估有用推理在本地或边缘可运行的程度、模型如何针对受限硬件优化,以及工作负载如何在推理供应商之间保持可移植。
问题与动机
对单一外部推理供应商的依赖带来成本、隐私与主权风险;本地推理的实际边界尚不清晰。
研究问题
- 在哪些任务上,本地推理在通用硬件上已经足够?
- 在边缘设备上,优化技术的准确率/成本权衡如何?
方法
- 在代表性任务上对比本地与托管推理。
- 在受限硬件上测量优化的影响。
局限
- 基准为内部且与具体硬件相关,并非通用排名。
- 可移植性结论取决于所测试的具体供应商。
披露
- 资助
- 基础设施与硬件由 Octopus Core Pty Ltd 提供。
- 利益冲突
- Octopus Core 提供商业本地部署产品;相关发现独立报告。