【上游新闻】漫谈ChatGPT|重庆大学大数据与软件学院院长:看好ChatGPT未来在软件开发中“代码智能”研究领域的潜力
上游新闻作者 : 付迪西
最近,无论刷抖音还是看新闻,你都会莫名发现被ChatGPT刷屏。它到底凭什么“出圈”?
作为由人工智能实验室OpenAI发布的对话式大型语言模型回答软件,它可以天南海北和你胡诌聊天,也可以算数学、写代码、甚至帮你轻快地写一篇文章,流利回答法律、医学、历史以及其他你能想象到的几乎任何问题。
当然,仅是如此会有人认为不过是人工智能玩出“花里胡哨”、华而不实的功能。但实际上,不少相关领域的学者、企业家却对其作出了更为广阔应用领域的前瞻。ChatGPT到底能给金融、医疗、教育、制造等领域带来哪些机遇与影响。或许行业中的领军企业人物,会有自己的不同看法。
为此,上游新闻将专题采访高校教授、相关行业领军企业及技术专家,漫谈他们心中的ChatGPT。
本期嘉宾:张洪宇,重庆大学大数据与软件学院院长、教授。
与传统搜索引擎大不同 ChatGPT可更好地理解人类语言
问:ChatGPT是如何实现聊天的?它和人类学会语言的逻辑和方式有什么不同?
张洪宇:最近,大模型技术如ChatGPT表现出很高的自然语言理解能力,具备了一些通用人工智能的特征。ChatGPT实现聊天主要分为两步:首先,ChatGPT使用大规模预训练语言模型GPT-3.5,“预先阅读”海量文本数据,比如维基百科、图书等,学习句子中单词之间的前后概率关系。然而,这样的“回答”可能有很多种,有些可读性很强,表达明确,有些则出现很多语法错误,可读性差。
其次,为了生成更好的回答,ChatGPT使用基于人类反馈的强化学习,调整预训练语言模型,使之与用户意图一致。调整后的模型可以不断接收人们的问题,并且给出答案,实现多轮对话的能力,即“聊天”能力。
人类学习语言主要是通过文字符号来描述现实世界,便于记录、交流、思考、解决问题等。ChatGPT借用大数据和大规模计算资源,学习文字世界中的概率关系。我觉得其思考和解决问题的能力是通过阅读海量文献“涌现”出来的,其其学习的逻辑和推理的方式目前尚不清楚,需要进一步研究。
问:ChatGPT与我们此前使用的网络搜索引擎,有哪些技术革新?
张洪宇:通过关键词索引的网络搜索引擎,多数时候是在互联网的历史数据中寻找与关键词相关的数据,返回匹配的结果。其缺陷在于:一是自然语言理解能力差,无法理解关键词所表达的复杂含义;二是知识表示能力不足,无法理解大规模数据中的知识;三是问答能力不足,只能简单地返回可能相关的结果,无法整合出有价值的答案。
ChatGPT背后的语言模型能够更好地理解人类语言的描述和数据中的知识,甚至可以通过再次询问的方式明确具体需求。此外,ChatGPT也能够根据模型学习过的海量历史数据,自动生成一些匹配的内容作为回答。这样,人们无需花费时间和精力去鉴别、筛选、整合搜索回来的结果,这无疑是搜索引擎的一次革命。
重庆已初步具备研发类似产品的条件 但仍需探索
问:ChatGPT对实现数字产业化,产业数字化会有哪些影响和推动?
张洪宇:ChatGPT强大的自然语言处理能力可以更好地理解用户需求,挖掘数据中的知识,解决不同数据描述中的随机性和不确定性。这些能力正是突破数字化挑战的一大关键,对推动数字经济和实体经济深度融合具有重要作用,可以加快企业数字化转型,进一步推动智慧城市、智慧经济的发展。
ChatGPT能在现有产业的基础上提供多种更智能的服务产品,如机器人客服、辅助教育、法律顾问等等。同时,ChatGPT具备不错的代码生成能力,它可以将用户的具体开发需求转变成可供程序员参考的代码,进一步提升数字化的工作效率。例如,作为程序员的编程助手,在汽车软件开发中,一些初步代码和文档可以通过ChatGPT自动生成,可以很大地提高软件开发效率。
问:重庆目前人工智能水平如何?是否可实现研发属于自己的ChatGPT?
张洪宇:达到ChatGPT当前版本的水准需要付出大量的物力、人力和智力。训练一个大规模预训练语言模型需要大量的计算资源(如网络,存储,GPU等);ChatGPT的训练中又依赖于大量人工标注信息,这些也需要大量的人力成本;ChatGPT的训练需要更为先进的算法,这也离不开专业技术的智力支持。
重庆在实现类似ChatGPT产品上有一定优势:《重庆市数字经济“十四五”发展规划》中提到“到2025年,建成算法开发、服务支持、运营保障、资源配置于一体的国家级超级计算资源集聚高地”,这些高性能超算中心能够为训练ChatGPT提供一定的算力支持;重庆市作为中国西部文化科教中心,具备充足的人力资源储备,能提供人力支持;重庆大学等高校,特别是重庆大学大数据和软件学院,具有很强的人工智能、服务计算、软件开发相关科研能力,这为实现ChatGPT提供了智力支持。
当然,构建ChatGPT是一件极其昂贵的事情,仅以其背后依赖的模型的早期版本GPT-3在训练过程中消耗的计算资源为例,据估算相当于约300万~460万美元。构建ChatGPT还需要很强的云计算基础设施和AI平台,以及经验丰富的人才。
总而言之,我认为重庆目前已初步具备研发类似ChatGPT产品的条件,但如果要达到现在ChatGPT的水准,可能还需几年时间的探索与完善。
ChatGPT能进一步提升“代码智能”的研究应用
问:在ChatGPT推出后不久,微软也发布了类似的New Bing,据媒体评测,体验甚至更好。这是否意味着它可以快速迭代进化。
张洪宇:快速迭代进化是可以的。ChatGPT自2022年11月发布以来,受到了全世界的关注,收到了很多反馈意见。截至2023年2月27日,ChatGPT已有5次版本迭代。根据前述模型训练方法的叙述,其采用了强化学习方法,根据用户反馈进行模型迭代,而这期间大量用户的使用记录可用于进一步训练模型。因此,利用更多的数据和计算资源,结合用户的反馈,能够让ChatGPT和New Bing快速迭代进化。
问:除了作诗、写作,未来ChatGPT还可以与哪些领域进一步合作?
张洪宇:ChatGPT可能被用在几乎所有与自然语言理解相关的领域中。同时,我想重点说明它在软件开发中的应用。自动化、智能化一直是软件技术发展的核心目标之一。我早在2016年就开创性地提出了基于深度学习的代码推荐技术,展示了人工智能在软件开发中的应用潜力,工作发表在软件工程顶会FSE 2016中,目前已经收到近560次引用。之后,我又提出了一系列数据驱动的,AI赋能的软件开发技术,如代码搜索、自动摘要、代码生成,缺陷检测等技术,推动了“代码智能”这一新研究领域的发展。ChatGPT的出现会进一步提升“代码智能”的研究与应用。例如,作为程序员的编程助手,ChatGPT可以检索相关编程知识,编写初步程序,检查软件中的质量问题和安全问题等。
来源:上游新闻