AI资讯新闻榜单内容搜索-训练大模型

关键词: 训练大模型,scaling law,模型训练,chatGPT,minicpm

根据scaling law，模型越大，高质量数据越多，效果越好。 但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。

关键词: Reka,LLM,Karpathy, 模型训练,Yi Tay

一家大模型初创公司从创立到训练出大模型，要克服怎样的难题？前谷歌科学家离职后创业一年，发文自述算力是训练大模型的难点。

关键词: WikiChat,维基百科大模型,WikiChat,GPT-4

大模型固有的幻觉问题严重影响了LLM的表现。斯坦福最新研究利用维基百科数据训练大模型，得到的WikiChat成为首个几乎不产生幻觉的聊天机器人。

关键词: 灵犀医学,AI脑疾病诊疗,AI医疗

依托清华大学神经工程实验室在神经科学和脑机解码领域的技术和经验积累，灵犀医学于2019年创立，如今已建立以百万病例EEG数据为基础的脑功能数据库。基于超大规模人体大脑数据训练神经动力学大模型，灵犀医学打造了针对癫痫、抑郁症、阿尔兹海默症等脑疾病的AI精准诊断和治疗平台。

关键词: AI,数据标注,模型训练,chatGPT

而在AI大模型的相关市场竞争中，除了底层的算法、架构外，“语料”则是一个被反复提及的关键要素。