RNN效率媲美Transformer,谷歌新架构两连发:同等规模强于Mamba
RNN效率媲美Transformer,谷歌新架构两连发:同等规模强于Mamba去年 12 月,新架构 Mamba 引爆了 AI 圈,向屹立不倒的 Transformer 发起了挑战。如今,谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。
搜索
去年 12 月,新架构 Mamba 引爆了 AI 圈,向屹立不倒的 Transformer 发起了挑战。如今,谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。
谷歌DeepMind、UC伯克利和MIT的研究人员认为,如果用大语言模型的思路来做大视频模型,能解决很多语言模型不擅长的问题,可能能更进一步接近世界模型。
一年多来,AI 渐渐变得普通和日常。当巨头们你追我赶扔下新的王炸,AI 也在更多不起眼的地方出现,地铁、电梯间、产品海报、软件开屏,与普通人的线上和线下擦肩而过。
一项最新研究发现,人工智能在创造力方面的表现超过了人类。通过对人类和AI参与者进行创造力测量任务的比较,研究显示AI在原创性和详细程度上具有明显优势。然而,真正的创造力远远超越了创新思想的产生,它还需要实践能力来解决现实世界问题。
在目前的模型训练范式中,偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中,偏好数据通常被用作对齐(alignment)时的训练优化目标,如基于人类或 AI 反馈的强化学习(RLHF/RLAIF)或者直接偏好优化(DPO),而在模型评估中,由于任务的复杂性且通常没有标准答案,则通常直接以人类标注者或高性能大模型(LLM-as-a-Judge)的偏好标注作为评判标准。
马斯克一纸诉状,把OpenAI告上法庭,科技圈又炸开了锅。
Sora刚发布不久,就被逆向工程“解剖”了?!
Google 最近在大模型上动作不断,先是发布了性能更强大的多模态 Gemini 1.5 Pro,然后是开源的小模型 Gemma,评测结果超过了 7b 量级的 Llama 2。
AI课程是否收费引发争议,多种观点并存。
Ideogram凭借不输Midjourney的生图能力和遥遥领先的图片中文字渲染能力,获得了包括Jeff Dean和Karpathy在内一众大佬的8000万美元融资,文生图这条离钱最近的AI赛道又加入了一名重量级选手。