邓楠虽然算不上多专业,好歹在自动化研究所和半导体所当过工程师,还是有一些专业底子的。
关键是放得下面子,不怕说错话。
看着笔记本上记录的内容,努力思考了一阵,看向曲卓:“想解决这些问题,是不是要重新设计呀?”
“如果只是进行科学计算类的任务,眼下的架构没问题。但如果想跑人工智能,重新设计是最好的选择。但……投入不小。”
“是呀。”邓楠犯愁的点头,试探着问:“你说,有没有有其它的,比较折中的解决办法呢?”
曲卓见邓楠嘴上询问,手上已经把笔记本翻到空白页,眼睛看着自己做好记录准备。稍犹豫了一下,决定给个方向:“拓扑结构的优势,在于灵活的小规模并行。在不针对人工智能体的需求,对处理器进行适配性设计的前提下,可以减小单个集群的规模。
比如,三十个核心为一个单元,或六十个核心为一个单元。空出来的串行通道挂载外部内存和存储器。再用一台主控计算机协调若干个单元并行工作。
这样一来,既可以通过降低维度,来降低最远节点之间数据转发造成的延迟,还能更加高效的分配负载,降低时钟抖动,提高协作效率。
但是,对主控计算机软件系统的设计要求比较高。链路协议的复杂程度,也高的不止一点两点。”
邓楠快速记录,写完后看了看记下来的内容,心说:得,今儿这趟真不算白跑,收获颇丰呀。
正要说两句吹捧的话,忽然想到还有个事儿。趁着曲某今天心情似乎很不错,愿意多说,顺口问了:“对啦,温莎B实验室搞国际象棋邀请赛时,悟空的……自然语言交互能力,可是震惊了许多人呢。”
“勉勉强强吧。”曲卓很谦虚:“只能进行一些简单交流。如果是复杂语境的长句多轮对话,根本就没眼看。”
“要是换成中文字库,能用中文对话吗?”邓楠貌似好奇的问。
“能是肯定能的,但需要通盘重新训练。而且,太吃算力了。就算训练出来,处理和输出效率也没眼看。”曲卓表情很无奈。
“为什么?因为中文字多?”邓楠问。
“一方面吧。英文字母加符号一共也没几个。换成中文……想覆盖绝大多数日常语言,起码要六千个字左右。而且,一个汉字要占用两个字符。”
“还有呢?”邓楠听出来,不止是因为中文字多。
“中文与英文相比信息密度高,这是优势,也是劣势。英文词间有空格分隔,边界清晰。而中文的一句话,需要结合上下文语境,还要套用大量对应不同场景的固定搭配。
形态变化繁杂的时态、单复数、变形,大量连接词、从句嵌套,冗余虚词,还有一字、一词多意。即便是标准普通话,都复杂的很,要是再加上方言……”
眼看邓楠好像听得有点迷糊,曲卓改为举例:“比如,英文的charge,应该是语义最复杂的单词之一了,冲锋、充电、收费、指控、装药,听起来含义很多,但英语词汇以动态为根本,这些貌似没有关联的翻译,都有同一个内核……赋能。
给一辆空马车装上货物,是赋能,骑兵朝向敌人加速冲击是赋能,给蓄电池补电是赋能,为服务和货物买单也是赋能。
但在中文里……植物的花朵,购物的花钱。李耳是老子,你爹也是老子。南京市涨江大桥和南京市长江大桥,招阳路和朝阳路。
还有貌似简单,实则非常难以理解的一只、一支、一条、一匹、一头、一挂、一个、一头……
想让LLM模型搞清楚这些复杂的语言结构和关联谱系,不但需要大量不同风格和场景的训练数据,和消耗大量的训练时间,输入分析和输出构型,也需要消耗大量的算力。
同样的算力平台,同样体量的训练素材,英文训练一个月,中文训练两个月。同样内容的短句对话,如果英文理解和输出需要五秒。中文可能需要八秒、十秒,甚至更久。
换成复杂长句,英文会慢,但能生成有效回复的概率比较高。换成中文,慢不说,大概率会胡言乱语。
“差那么多呢?”邓楠有点听懂了。
“So much difference. 差那么多呢?拆那么多呢?”曲卓给出最直观的对比。
邓楠越发的理解了,大脑被忽然意识到的,中文的复杂性占据,说话就少了思量,几乎是下意识脱口而出:“你大屿山的奥丁能用汉语……”
话说一半,邓楠猛地醒过神,赶紧收声……但似乎有点晚了。
曲卓眼瞅着邓楠说漏嘴了,紧急刹车后脸上不受控制的露出尴尬,好容易才憋住笑,假装没听出来:“大屿山B实验室的超算,之所以能流畅的用中文对话。不止是进行了大量的训练,关键在于算力。”
“算力?”邓楠见曲某人似乎没反应过来,心里暗松了口气,但依旧后悔的厉害。
本小章还未完,请点击下一页继续阅读后面精彩内容!
喜欢1976步步生莲请大家收藏:(m.x33yq.org)1976步步生莲33言情更新速度全网最快。