-
aaideit_admin 管理员
OpenAI Austra模型曝光：采用循环深度架构，35亿参数等效500亿算力
据《The Information》9月2日报道，OpenAI即将推出的旗舰模型Astra采用了名为"循环深度"（recurrent depth）的新技术，该架构允许模型在输出下一个词之前，将文本在同一网络层中多次循环处理。
技术原理
标准Transformer模型采用线性流水线模式处理信息，而循环深度技术打破了这一限制。模型不再单纯依赖物理层面增加网络层数，而是让文本进入一个由"数学组件合并构成的循环块"中重复处理多次。
据此前公开研究显示，一个35亿参数的循环深度模型，在推理时等效调用最高500亿参数模型的算力，可榨出14倍参数潜能。
安全风险与应对
循环深度带来的副作用是推理过程（思维链）将变得不可读，这将加重业界对AI越界行为的担忧。OpenAI已在Astra中人为限制了该技术的使用比例，确保模型仍能生成人类可读的思维链。