论文总结
Pushing Mixture of Experts to the Limit: Extremely Parameter Efficient MoE for Instruction Tuning
背景
现实场景——我们能否成功将 MoEs 应用于仅微调远少参数的参数高效微调（PEFT）方法，如 (IA)3或 LORA等。这是一个重大挑战，不仅因为我们的目标是仅更新所有参数的一小部分，还因为我们需要在更受限的环境中应对 MoEs 固有的优化挑战，这些挑战已被先前工作所指出。
总结：将PEFT方式moe化以微调更少的参数，获得更好的微调效果
GPTSwarm: Language Agents as Optimizable Graphs
概述
本文提出了一种将智能体描述为计算图的方法，（1）通过节点级 LLM 提示优化（节点优化）来改进节点，以及（2）通过改变图连接性来改进智能体编排（边优化）。实验表明，框架可用于高效地开发、集成和自动改进各种 LLM 智能体。