会议的主题是“预见新世界，构建新格局”。卡耐基梅隆大学计算机学院前副院长、达沃斯世界经济论坛(WEF)计算机全球未来理事会前主席Justin Kassel，以及来自360集团、致远研究院、昆仑万伟、云知声、蓝色光标、万兴科技、智创宇等众多行业的高管到场，与数千名与会者进行了深入交流。
峰会上，云知声创始人兼CEO黄伟以“智慧未来之路”为主题进行了分享。
以下是分享内容的汇编:
云知声是个创业老手。在过去的十年里，他专注于语音识别和自然语言处理。我们的技术领域是最接近大模型的。5月24日，我们在北京发布了山海大学的模型。作为一个初创公司，键入大模式演变的经验。
一开始我们希望按照专家的方式，给机器一些方法论。十年前，机器开始从错误的反馈中学习。这些都是过去人工智能技术中大致的阶段和路径。
今天OpenAI推出了ChatGPT和预训练模型，整个智能变得更加拟人化。第一，我们用非常强大的计算能力阅读全世界已知的所有文本，并训练形成一个大模型。特别像婴儿的大脑，可能有几百亿或者几千亿的参数。和人类的大脑不同，婴儿最多只是继承了父母的外貌和性格，而大模型的大脑继承了知识，这只是初始状态。然后通过微调等手段，像孩子在成长过程中会有各种教育，整个大模型的进化会更加拟人化。
这是整个人工智能的变化。
今天的AGI和以前相比有什么本质的变化？在2022年12月之前，整个人工智能还是一种有鉴别力的人工智能，做判断题，特殊系统和智能模块，做一些特定的任务。一方面，人工智能的性能没有那么智能，经常被别人诟病“你提供的是人工智障”，以至于过去人工智能的天花板很低。
第二，在很多场景下，客户的需求千差万别，但是人工智能的能力没有那么强，很多公司和团队用各种定制来满足。人工智能企业不像高科技公司。过去十年，是只能做歧视性AI的手工作坊时代。但是现在有了大模型和更强大的通用能力，人工智能开始进入产业化时代。
有了新的生成能力和涌现能力，一个模型可以在很多场景下解决不同的问题。当今时代，人工智能的大模型就是生成器。在发动机发明之前，中东国家没有那么富裕，石油的价值也没有那么大。就像今天，你可以把数据变成燃料和能力，用这种能力去赋能千万个行业。
为什么云知声能在短时间内推出自研大型机型？
我们成立于2012年，是国内第一次将深度学习应用于语音能力。我们以前在科幻片里看到过。2012年推出了基于深度学习的语音识别引擎。当时深度学习被视为云知声的整个技术框架。
2016年看AlphaGo，我们把医疗产品放在医院里帮助北京协和医院的医生，大大提高了工作效率。在医院的场景中，仅仅使用效率工具是不够的。人工智能真正的智能是认知智能。Transformer是2017年提出的，认知智能的背后需要相对强大的计算能力。
有了这些准备，我们在学术和工程方面都积累了很多经验。这种体验对个人来说是你的谋生能力，但对公司来说是在市场上取胜的核心竞争力。看了ChatGPT框架，发现没有一个是新的，只是一些已有的工程组合。我们很快就把这种能力结合起来，投入到大型号的研发中。
三天前，我们发布了一个叫山海的大型商业模型。所有的前期训练，指令微调，基于人的反馈的强化学习都贯穿其中，看到了期待已久的涌现能力。当时团队在想要不要给它起个名字。那段时间经常出差，觉得名字挺好的。大海波澜壮阔，海纳百川，体现了大模型的无限生成能力。山高，知道什么能说，什么不能说。这恰恰是为了既强调大模型的生成能力，又强调大模型的安全性和合规性。
有一个很有意思的现象。每个人都在谈论大模型。国内对大模型的关注是春节后的事，但大家都不谈，也没什么想法。时至今日，有一种观点认为，这件事仅靠技术是做不到的。即使所有人都到位了，培训成本也很高，极其昂贵。大模型不是科学革命，也不是新算法的发明，而是现有算法的组合，让它变得更大。大部分都是有价格的，当然也有很多项目在里面。观点是对的。
另一方面，如果你认为大模式是未来10-20年的大机会，BAT投不进去，你就放弃了。我觉得还有机会。
前几年，云知声并不需要一个特别优秀的科学家。我甚至不认为这个东西是科学家做的。科学家没发挥过那么大的计算能力，不知道场景在哪里，结果肯定不好。有场景的厂商最有可能成功。
山海之名还有一层意思，就是山海即使相隔也可以。
山海的力量是十项全能。生成能力是很主观的。当场景真的落下时，语言的理解能力很重要。为什么之前觉得是人工智障？因为你缺乏理解和编码的能力。代码能力的提升可以帮助提升大模型的推理能力，输出的结果必须符合国内的法律法规甚至道德价值观。我们还采用GPT-4插件的架构，帮助企业和客户提供数据优化、模型训练、模型部署等一条龙服务。
为什么大型模型具有复杂的逻辑推理能力？我们今天做到了，但是不知道为什么500亿参数好还是1000亿参数好，但是很难说，可能1000亿参数的神经元还没有被激活。
此外，还有医疗。一开始，我们在做一个大模型。很多人以为云知声做的是垂直行业模式，其实不是。我们在做行业应用。挑战了最严重的一幕——医疗。通过前期训练阶段，我们收集了很多医学文献、专著、书籍、病历，积累了几千万的真实标记数据，这些数据可以转化为我们的微调数据。
此外，2019年获得北京市科技进步一等奖。获奖项目为大规模知识地图构建的关键技术及应用。我们有中国最大的医学知识图谱之一。我们把知识图谱分解成知识插件，嵌入到大语言模型中，让大模型成为医学领域的专家。
MedQA是一个非常权威的医学知识问答集，包括Google的Med-PaLM，ChatGPT和GPT-4，都公布了他们的评测结果。山海在最近的测评中得了81分，大大超过了GPT-4的71分。领域增强后，大模型可以变成某个领域的专家。还有一个图可以横向对比。医学院毕业生必须通过临床医师考试。目前已知的最高AI成绩是456分，山海大约511分。这就是大模在领域增强后获得的超能力。
做一个大模型是相当困难的，门槛很高。除了很多钱，优秀的算法工程师和算法，我们还需要很多能力。我们总结为山海之功。直观来说，大模型本身就是大数据集，大模型是工程师的作品。为什么云知声能在几个月内做出非常权威客观的评测数据？我们会在内部进行评估，不仅是医疗方面，一般领域也是如此。云知声就是其中的佼佼者。
计算平台不仅仅是买多少卡插多少卡。云知声几乎有200P的计算能力。利用聚类的效率达到行业顶尖水平，可以用相对较少的卡快速训练我们的模型。
目前GPU集群的利用率可以达到50%，大型机型需要多卡。目前行业水平在42%左右。大模型也要进行3D混合并行训练。什么是3D？它是模型、数据和管道的并行化。需要将任务拆分到很多不同机器的不同卡片上分别计算，最终快速得到响应结果。此外，在模型推理上做了很多优化，推理速度提升了5倍。怎么把训练卡和推理卡分开？训练卡是A800，推理卡在单卡A6000上，可以实现快速推理。
另外，数据很重要，数据规模、数据多样性、数据质量都很高。现在，我们可以支持10T级快速重复数据消除。ChatGPT的训练数是45T，但是优化后我们用了几百g的数据进行训练。
有了这些能力，基于Atlas和UniDataOps的能力，我们可以更好地为山海和行业客户的能力提供服务。
智能物联网也是公司的重要业务。我们有很多落地，过去用的效果真的不太好。希望山海之后，物联网现有的产品都用一个大模型做出来。
医疗是我们看好的方向。以前医疗产品主要有两个方面。一种是直接用麦克风说话，不用敲键盘，大大提高了医生的工作效率，将输入病历的时间从3小时缩短到1小时。第二，有了病历之后，还有一个系统，通过AI大脑审核病历，检查病历有没有错误。现在用AI大模型能力可以做什么？
对话过程中的所有对话都会被记录下来，里面的关键信息会被识别为信息的摘要。有了沟通后的关键信息，就可以一键引导生成案例。以前需要医生逐字阅读病历，现在可以根据关键信息形成病历。
山海的愿景是通过人工智能，创造一个互联、直观的世界。以前人工智能的定义是让机器服从人。今天，我希望机器更加拟人化。人与物的交流会变得更加直观，新的能力会带来新的产品和新的商业模式。我非常愿意和在座的各位一起迎接大模特的新时代。

黑马AIGC工业营地
理解AIGC的基本逻辑，一步到位地了解行业的未来。
3个核心认知，6个前沿主题
(扫描下方二维码，立即加入)
↓↓↓"