OpenAI最新模型Astra用上字节架构：Transformer同一层反复算

AI 摘要

OpenAI即将发布的Astra模型采用循环推理架构，让同一组Transformer层反复计算，增加推理深度。该路线与字节跳动Seed团队去年公开的Ouro模型类似，可在不生成更长思维链的情况下提升小模型效果。但此架构使部分推理过程隐藏在内部状态中，难以通过思维链审查合规性，OpenAI已限制其使用程度并增加额外监控。