编者按 复旦大学新闻学院教授邓建国，复旦大学新闻学院博士生黄依婷在《传媒观察》2026年第8期发文，认为“信息单位”指经过离散化形成的、能被一个信息系统作为独立对象进行处理的最小单元。从古老的陶筹（tokens）、楔形文字、字母到比特，信息单位经历了从具体到抽象、从高维到低维、从可见到不可见的演变过程。大语言模型的词元（Token）在延续这一过程的同时，使得语义第一次可以被离散化、标准化与可计算化，并因此能被工业化生成，传播也由此从“信息传递”转变为“语义生成”，人类社会因而进入“语义计算文明”时代。“语义计算文明”正在重构人类的整个知识体系，包括“生成逻辑”取代“作者逻辑”，“按需生成”取代“先生产后分发”，“认知交互”取代“用户阅读”等。但与所有媒介一样，大语言模型具有“良药-毒药”的双面性，需要人类趋利避害。

打开主流大语言模型的订阅界面或应用程序接口的计费页面，一个含义模糊的词——Token（词元）——出现在眼前。这些大语言模型的服务收费不是按照页数、字数、文件大小或回答条数来计算，而是采用词元这一新的基础信息单位。但纵深考察，“Token”其实是人类媒介文明演化史上存在已久的一个信息单位。在此文中，我们首先提出“信息单位”的定义和特征，并简述信息单位从陶筹、楔形文字、字母到比特的演化史；然后，结合香农信息论、神经网络架构与大语言模型的发展，分析人类语言的“语义”如何通过“词元”这一最新信息单位首次变得可计算和可按需生成；最后，探讨词元如何重构人类的知识生产、传播与消费。我们认为，随着语义变得可计算、计价和工业化生成，人类正迈向以词元为信息单位的“语义计算文明”时代，其巨大影响如同此前的陶筹、楔形文字、字母和比特，需要传播学予以密切关注和深入阐释。

一、人类信息单位的演化简史：陶筹、文字和比特

如果我们剥离掉技术介质的外衣，便会发现每一次媒介革命本质上都是“信息单位”的革命。

“信息单位”（informationunit）指经过离散化（discretization）形成的、具有明确边界和独立身份，能够被信息系统记录、存储、传播、操作、组合和解释的最小可操作单位（minimumunitofoperation），是整个信息活动得以展开的基础。所谓离散化，是将原本连续、复杂或不可直接处理的对象，划分为具有明确边界的单位，使其能够进入记录、传播、存储、计算和认知过程。没有离散化，就不存在可以操作的信息单位。

人类最早的信息单位出现于公元前8000年左右。当时，近东地区出现了陶筹（tokens）。从媒介史的角度看，陶筹的重要性在于它第一次使现实世界中的对象被离散化和可计算化。

20世纪中叶，人类对信息的理解发生了更为根本的转变。香农真正改变的并不是某一种具体媒介，而是信息本身的定义方式。文字、声音、图像和视频进入计算机之后，都必须首先转换为二进制信息单位，即比特（Bit）。“比特”的出现是继陶筹、楔形文字和字母之后，信息单位历史上的又一次根本性变革。只是，作为一种新的信息单位，比特不再对应现实对象和语言声音，而是成为机器表示、存储、传输和计算信息的基本单位。

以上漫长的媒介史告诉我们，人类社会的每一次媒介革命都不只是新媒介的出现，也意味着信息单位向更高程度的离散化、标准化和可计算化迈进。而当所有信息最终都能够统一表示为比特时，一个问题也越来越明显：信息虽然因此能被统一表示、存储与计算，但其意义却被计算体系搁置了。

二、词元：让语义变得可计算的信息单位

语言天然地拒绝被异化为纯粹的工具，必然要指向社会成员之间的相互理解。因此，在“比特”将“意义”（语义）暂时搁置的这些年，人工智能科学家们一直在思考怎样才能让语义重新回到计算体系中——由此，“词元”作为人类最新的信息单位登场。

（一）从广义语义到狭义语义

香农敏锐地发现了这一机制。他指出，随着上下文不断累积，预测下一个符号是什么的不确定性会持续下降。香农据此认为，自然语言并不是随机出现的符号集合，而是具有高度统计规律的概率系统。由此可见，香农的信息论虽然排除了社会层面上的语义，建立了一套关于符号概率分布的理论，但也在数学上揭示了一条通往语义计算的重要路径。值得注意的是，香农当时所排除的主要是人类传播中关于意义、意图和社会情境的广义语义。但在实际的语言预测实验中，他又触及了狭义上的形式语义学，也就是语言字符之间的统计关联和上下文关系。

（二）从理解语义到计算语义

香农之后，人类自然语言处理的发展几乎都围绕同一个目标展开，即如何利用更多的上下文，以更准确地预测下一个语言单位。真正的转折点出现在2017年。GoogleBrain和GoogleResearch的研究团队发表了论文《你所需要的只是注意力》，提出了一种名为“transformer”的神经网络架构。值得注意的是，这一架构并没有改变香农所建立的预测逻辑，但其创新之处在于改变了这种预测逻辑的实现方式：通过注意力机制（attentionmechanism），使得每一个位置都能直接看到序列中的任意其他位置，无论距离远近。由此，人类语言不再只是一个按照先后顺序排列的符号链条，而是开始被处理为一个由多重关系构成的动态网络。

尽管如此，一个事实已经不可逆转：从香农的字母级上下文，到神经网络的注意力机制，再到AI大语言模型的海量数据和参数，“上下文”这一概念被不断放大，“预测人类语言的下一个词”这个数学任务本身没有变，但任务的实际效果已经从符号统计跨越到了语义理解的边界，而且完成的是一次从“理解意义”到“逼近意义”的转变——而正是在这个逐步“逼近”的过程中，一种全新的信息单位诞生了。

（三）词元：作为新的信息单位

根据OpenAI和微软的官方技术文档，当下所谓的“Token”，是大语言模型理解、处理和生成自然语言的基本单位。当用户输入一段自然语言时，模型并不会直接处理完整的句子，而是首先通过分词（tokenization）将连续文本切分为一系列Token，再对其进行向量表示、上下文计算和概率预测，最后生成可供人类阅读的自然语言。

这里的Token与人类习惯使用的语言单位并不完全重合。一个Token可能对应一个完整单词，也可能是单词的一部分、一个汉字、标点或带有空格的字符组合。因此，Token首先是一种面向机器计算的语言单位。

更重要的是，Token已经超越了单纯的计算单位，成为人工智能行业的基本尺度。Token同时承担着语言单位、计算单位以及计价单位等多重角色，成为连接数据、算法、算力与商业模式的媒介基础设施。

但耐人寻味的是，即便是这一技术的开发者，也未必完全理解自己究竟造出了什么。然而，这种不确定性并未削弱Token的历史意义：人类文明第一次开始大规模、工业化地处理语言，而人类的媒介化传播也第一次从“信息流动”变成了“意义生成”。我们不再只是简单地把内容传出去，而是开始实时地生成意义，这无疑是人类传播的新的范式革命。

三、词元对人类知识生产、传播与消费的重构

当语言开始工业化以后，一个更根本的问题也随之浮现：知识这一人类文明最古老、也最令现代人引以为傲的资产究竟正在经历怎样的结构性重构？换言之，大语言模型所改变的，是知识作为一种文明资产的存在方式本身。

（一）知识生产：从“作者逻辑”到“生成逻辑”

长久以来，知识生产遵循的是“作者逻辑”。现代出版制度正是这一逻辑最集中的体现。互联网时代这一逻辑并没有改变，只是博客、维基百科、公众号和视频号等平台把“作者”（谁有资格生产知识）从专业的知识生产机构转移到了个人，UGC（用户生成内容）因此成为知识增量的主要来源。

大语言模型依据概率预测持续生成新的内容。此时，知识不再来源于某个具体人类作者的创作，而是在人机交互中被实时计算生成。不同的提示词和不同的模型参数，都可能生成不同的结果，让“作者”和“文本”都不再固定和有迹可循——从某种意义上而言，大语言模型时代，“作者已死”、“文本已死”。

然而，“生成逻辑”的兴起并不意味着知识生产能力的同步提升。大语言模型更接近于一种“动物知识”（animalknowledge）：它能够处理复杂的信息，却可能缺乏自我反思的能力，无法说明这些知识为何成立，更难以验证其真伪。

由此可见，当越来越多基于概率生成的文本不断进入知识体系，真正稀缺的不再是文本，而是经过事实检验、逻辑论证与原创解释所形成的知识。未来知识生产真正需要回答的问题，或许已不再是“如何生产更多知识”，而是“如何重新分辨出真正的知识”。

（二）知识传播：从“先生产后分发”到“按需生成”

在人类历史上，知识传播总是伴随着媒介技术的发展而不断变化。其中持续时间最长和影响最为深远的是以出版业为代表的“先生产后分发”逻辑。作者完成创作之后，知识以图书、报纸或论文等固定文本的形式进入传播流程。互联网的兴起虽然改变了知识传播的组织方式，却并未改变这一底层逻辑。

大语言模型则完全打破了这个前提。在“按需生成”的逻辑下，知识并非预先存储于某个数据库之中，而是在用户输入提示词后，由模型依据上下文即时计算生成。此时，知识不再是一种等待被传播的“存量内容”，而成为一种伴随着交互不断生成的“流量结果”。

这一变化意味着媒介产业资源的重新配置。知识传播的竞争，也因此开始由内容竞争转向计算竞争，而这背后是资本的竞赛。

更值得关注的是，以上变革正在悄然改变人类共同体赖以存在的公共知识空间。然而，人工智能时代的知识由用户按需生成，各不相同。这看似解放了知识生产，实则剥夺了人类社会的共享文本，削弱了人类作为一个理智共同体的对话能力。

（三）知识消费：从“阅读知识”到“认知交互”

印刷时代的知识消费以阅读为核心。阅读并不是知识的简单输入，而是一个新知识不断嵌入既有记忆结构，重组认知框架的主动建构过程。

大语言模型则改变了以上现实。用户与大语言模型对话时处理的不是一段预先存在的文本，而是动态生成的内容。用户每一次提问，不仅在获取知识，也在生成知识，模型生成的回答也不断地影响用户下一步的提问与思考。由此，知识消费从“阅读知识”变成了“认知交互”。

这种“认知交互”对不同用户的影响截然不同。然而，无论用户的信任度如何，这种技术都带来了一种认知风险：当写作、总结、归纳等核心认知任务被外包给算法时，人类自身的整体认知水平会面临下降的风险。

四、结语：语义计算文明，人类的增强还是取代？

此文将信息单位重新放回到文明史中，由此让我们看到一条清晰的脉络：陶筹第一次将现实世界中的物品离散为可以计数的单位，使人类能够稳定地记录和管理信息；……词元则建立在比特的数字化基础之上，将连续的语言切分为可以被向量表示、上下文关联和概率预测的计算单位，并前所未有地使语义进入了计算体系……这是一个人类不断地将世界离散化、标准化和可计算化的过程。如果说媒介决定了信息如何被记录、保存和传播，那么信息单位则决定了信息中的什么能够被识别、处理和计算。

人类社会每一次信息单位的变化，都不只是计算方式或记录方式的变化，更意味着一种新的文明形态的生成。这是信息单位演化史上的一次根本性转向：人类第一次不再只是利用技术“传播意义”，而是开始利用技术“生成意义”；语言也不仅是人与人之间交流的媒介，而是成为了可以被工业化的生产资料、加工对象和标准产品。

我们可以看到，大语言模型并非只是知识领域的技术增益，更是一种具有双面性的媒介力量。人工智能既使知识变得更加开放，也使知识变得更加不稳定；既使知识更加容易获得，也使知识更加难以辨认；既拓展了人类理解世界的边界，也加重了人类判断知识真伪的负担。

“Token”，或是数千年前的陶筹，或是今天的AI词元，它们差别巨大，但作为信息单位，都重构了人类语言、知识与文明。今天词元让语义变得可计算和可工业化生产，此时，我们真正面对的是一种可以取代人类认知的新文明形态的开始。身处这个惊险的分岔口，人类究竟将走向何方？答卷将由我们人类自己书写。

（载《传媒观察》2026年第8期，原文约13000字，标题为《语义计算文明的到来：从陶筹到词元的信息单位演化》，此为节选，注释从略，学术引用请参考原文。）

【作者简介】

邓建国，复旦大学新闻学院教授

黄依婷，复旦大学新闻学院博士生