机器人
AI摘要
chengeGPT
password
AISummary
type
status
date
slug
summary
tags
category
icon
多年以来,我一直对大脑究竟如何学习感兴趣,但这块的研究学界也一直没有定论。直到后来接触《追寻记忆的痕迹》、《认知神经科学》,才开始逐渐了解大脑学习的底层机制。
为何要了解大脑的学习机制?因为与我看来,“磨刀不误砍柴工”,研究大脑的学习机制有助于了解大脑的认知原理和学习的底层机制,能够帮助我们更好地学习。

▎引子:研究的层次

西蒙 · 赫伯特在《认知》一书中提到研究的三个层次:
  1. 研究思维策略,如问题的解决、语言现象;
  1. 研究简单的信息加工过程,如对于图形的判断等;
  1. 研究生理过程,比如神经的结构。
如果和计算比较比较,关系大概如下图。
notion image
这三者虽然有关联,但并非必须知晓其他两个层次才能开展研究,更好的方式是在研究中熟悉其他几个层次。
本文则更侧重于大脑认知的第一性原理:记忆的生理过程和机制,通过底层机制来建构大脑思维和认知的知识框架和基石体系。

大脑的基本功能

笼统地说,大脑的功能是接收来自环境的信号,对其进行处理并做出有效反应,以支持有机体的健康和生存。
至于在给定环境感知输入的情况下如何有效反应的信息,是存储在记忆系统中,从过去经验中获得的知识中检索出来的。
就像看见老虎,大脑的第一反应是逃跑。而老虎 → 逃跑的知识是从过去的经验中学习的(比如同伴被捕食),并存储在长期记忆系统中,当再次看到老虎时,该知识/信息被从记忆系统中检索出来,触发了逃跑反应。
就像看见老虎,大脑的第一反应是逃跑。而老虎 → 逃跑的知识是从过去的经验中学习的(比如同伴被捕食),并存储在长期记忆系统中,当再次看到老虎时,该知识/信息被从记忆系统中检索出来,触发了逃跑反应。
那么知识是如何存储在记忆中的?

▎大脑如何记忆

常规的记忆有两种模式:查找记忆和网络记忆。
查找记忆:记忆方式与九九乘法表一样,就是将所有情况都记录下来,随后根据输入去查找对应的输出。这是我们意识层面比较熟悉的记忆。
以异或门处理为例,查找记忆需要提前存储如下4*3的信息表格,然后根据输入情况匹配索引条目,从而得到输出。
notion image
  • 特点:
    • 记忆迅速、保存稳定、不会混淆、可以独立提取记忆信息;
    • 不具备泛化能力(无法应对未存储的输入情况);
网络记忆:不同于查找记忆,网络记忆的信息并非独立存储在某个特定位置,而是由网络权重共同存储的,无法直接查看,只能根据输入计算输出。
同样以异或门处理为例,要实现和查找记忆相同的输入输出,需要增加一个隐藏层,然后调整网络权重,当权重调整足够精确,那么对应的正确输入就可以得到正确输出。
notion image
  • 特点:
    • 网络记忆是一种贝叶斯式的记忆(基于输入概率的模型筛选机制),具备泛化能力,即学习、调整和预测的能力,可以根据已有和当前的信息量实时调整(查找记忆不具备该能力,需要遇到并记忆所有情况);
    • 对于大量的信息,网络记忆速度慢,需要容量小,但不那么精确;
    • 不精确,会出现混淆两个相似记忆的特征。因为每记忆一个新的输入,会对之前的网络权重有影响(即导致遗忘);
现代计算机和磁盘存储的记忆原理,主要是查找记忆。而人脑,是由千亿神经元构成的百万亿级别连接的庞大神经网络(每个神经元可以连接几千~几万个其他神经元),而网络记忆也就是人脑记忆的基础模式(当然不完全是上面那种只有边权重的记忆模式),不精确、速度慢、容量巨大、具备泛化能力、容易干扰和遗忘。
如果把人类大脑当作黑盒,抽象为函数,那么它就是接受视听味嗅触五感输入,然后执行五脏六腑+全身肌肉输出控制的一个黑盒函数,这个函数很可能是一个有几百上千万输入和输出参数的多元函数。对于如此庞大的输入输出响应,网络是如何实现这样的函数的呢?很简单,增加网络中间层,只要中间层增加的足够多,中间状态的维度足够大,就可以拟合任意函数,而一旦拟合任意函数也就意味着这个函数的所有情况,都被记忆在网络的权重之中了。
这便是机器学习中神经网络的奠基定理:【通用近似定理】,通用近似定理保证了网络可以实现记忆功能。
✉️
概念卡片
通用近似定理
在人工神经网络的数学理论中, 通用近似定理(或称万能近似定理)指出人工神经网络近似任意函数的能力。通常此定理所指的神经网络为前馈神经网络,并且被近似的目标函数通常为输入输出都在欧几里得空间的连续函数。此定理意味着神经网络可以用来近似任意的复杂函数,并且可以达到任意近似精准度。
notion image
说回来,既然大脑是以庞大的神经网络来运行,所有过去的经验都被存储在庞大神经网络的权重之中,而网络记忆不像查找记忆,记录的是信息的原本模样,每一个独立信息都被分散在网络权重中储存,那么又是如何唤醒和回忆的呢?
基于当前的科学发现,学界普遍认为记忆存储在神经元模式中(即存储在神经元之间建立的连接以及形成的网络拓扑中),不断强化的刺激会改变连接的强度以及拓扑结构,从而影响网络输入和输出响应。
庞大网络中的神经元之间相互激活,形成了同步活动的路径和网络,被称之为神经环路。如果大脑神经元之间建立了新的连接并形成新的网络,它们可能会在未来被重新激活。我们记忆中的每个概念都被存储在特定的神经元活动模式中——正如下图这个高度简化的节点和连接图模型所代表的那样。
notion image
特定的神经元模式(神经元连接及拓扑)最初是在学习期间临时创建的,然后可能会持久化并稳定并转为长期记忆(等效于通过学习记住了概念),将来,它们可能会在回忆或检索时重新激活。
例如上图,假设“老虎”这个概念被表示为图右绿色六边形的小网络。该网络通过与其他概念网络(例如“动物园”、“捕食者”、“丛林”、“哺乳动物”等)的连接关联起来,这些网络共同包含了我们对老虎的了解。
为了执行有效的响应,当环境刺激到来时,大脑能够访问和检索相关概念,然后进行操作和连接,而保持这种“实时”动作序列的心理功能称为工作记忆,通俗来说,工作记忆有点像电话接线员,根据输入信号激活对应关联的网络,从而激发联想和回忆。
【关于意识的补充】大脑一直是非常活跃的,因为大脑实时接受并处理来自五感的各种信息,但只有其中的一小部分会被注意到并进入意识,而大部分未被意识注意到的活动都在潜意识之下。
📌
记忆存储在神经网络固化的连接拓扑和强度中,而回忆则是神经网络受到关联激发对过去的网络节点进行重激发的过程。
为什么我们总会有一种「此时此地此景我似乎在哪里见到过」?
因为大脑的记忆存储时会将内容识别为各种「概念」,回忆的时候将各种关联「概念」激活并拼装成大概的样子。
比如当你经历「2001 年那个寒冷的下雪的晚上」,你会把「寒冷」「下雪」「晚上」以及 「2001 年」这些「概念」分别存储在不同的神经环路中,并且在概念之间建立关联关系(关联越强记忆越深刻),当受到关联输入刺激时,这些概念会被重新激活并进入意识,再由意识将其一起「拼装」出来。当你回忆去年很冷的晚上遇见了一个老朋友,那么这个「寒冷」的概念记忆就是被复用的,这也是为什么我们总会有一种「此时此地此景我似乎在哪里见到过」的原因 ,因为概念激活导致错误触发了其他的概念记忆然后拼装出错觉(错误的记忆)。

▎大脑如何学习

大脑学习的过程,就是通过信息输入不断调整和重塑神经网络连接及权重(记忆)的过程。学习的过程主要分为以下四个步骤:
1,知道(建立独立的概念网络)
学习任何概念的第一阶段是初次相遇:当学习者第一次看到或听到一个以前从未遇到过的全新概念(单词、对象等)之前,大脑神经网络中不会以任何方式表示该概念(下左图)。在第一次相遇之后,神经网络就可以表示新概念(下右图):在激活的节点之间形成连接(绿色六边形)并创建一个小型网络。
第一次接触概念后,如果再次明确提出该概念,学习者可能会在不久的将来将其识别为熟悉的概念。这时可以说学习者知道这个概念,但由于该概念尚未与其他概念相连接,因此只是独立的概念理解,仅此而已。
【例子】当你注意到外语中的一个新单词时。
notion image
2,理解(与已有概念建立关联)
接下来,对当下可识别概念进行解释,通过建立关联独立的概念开始变得有意义。
当新概念(绿色六边形)与学习者已经熟悉的其他概念(单词、物体、程序等)(深灰色)以一种对学习者有意义的方式联系起来时,意义就产生了。学习者现在理解了新概念的含义(理解就是新概念与已有概念建立连接的过程)
notion image
当我们理解后,我们开始对这个概念有一定的认知,但这并不意味着这个概念是真正对我们有帮助能够应用的,要实现这一点,我们需要经历下一个阶段。
【例子】当新的外语单词被定义和/或翻译后。
3,使用(建立可被检索的通路)
接下来,为了使学到的概念变得有意义,它必须具有功能性:关键是要确认我们是否能够访问新概念并使用它。
我们的目标是建立能够在需要时回忆起这个概念的途径,而我们需要开始构建这些途径。
下图与上图相比,显示了一个概念 "有意义"(上图)和可用(下图)之间的区别,前者是知道并能够理解概念,而后者是可以识别并应用概念。它强调了一个经常被大家误解的观点:通过吸收信息来获取信息与试图把它拿出来或主动检索信息的行为是不同的。
💭 这就是为什么“一学就会,一用就废”:我们的学习往往停留在理解阶段,便觉得自己已经学会这个知识/概念了,但其实是大脑的错觉,这些学到的知识仅仅是 "有意义 "但不可用,只有当这些知识/概念的检索路径被建立起来后,我们才真正学会使用学到的概念,这是才算是“学会”(会用)。
notion image
【例子】当我们能够用新学的词语正确造句来表达意思。
4,刻意练习直至精通(通过不断使用强化关联和检索通路已达到熟练掌握程度)
当我们随着时间的推移反复练习使用新概念时,在不同的环境中,与一系列线索的联系,我们逐渐建立更多的检索路径并巩固它们,我们最终达到了一种掌握的状态。
下左图展示了建立新的通路需要付出很多努力,但通过重复,我们设法使这些路径更有效(下右图):更强大、更健壮(省略次要的连接,避免过拟合)。
notion image
掌握后,可以轻松快速地甚至自动地检索概念,甚至是复杂的概念。这个概念现在可以被描述为“模式”(一个被训练的非常好、连接很稳定的概念网络)的一部分。
【例子】当我们一遍又一遍地练习新的词汇时,在许多不同的句子、时态、语法形式,以及与许多其他单词和概念的关系中不断练习,直到它完全融入我们的活跃词汇并流利使用。

▎小结

人脑完整的记忆和学习机制仍然是当前未被完全理清的领域,但对于部分基础机制的理解已经可以帮助我们理解并更好地学习。
了解对大脑如何学习的机制,你就会知道很多学习方法的有效性来源,比如当下流行的概念笔记+双向链接构造知识网络体系,其实是在仿照大脑模式进行数字孪生(在外部体系中复刻并建构知识体系),在构建体系的过程中,通过深度加工方法不断将新学的知识与已有知识概念建立连接,强化理解的同时也在使用旧的知识,同时巩固旧知识的巩固和加快新知识的吸收。再通过间隔复习的方式进行刻意练习来强化新学习的知识(之所以需要间隔复习是因为短时间持续的复习刺激对强度提升帮助不大)。
我也逐渐意识到自己当初学习好的部分原因,我并非天生聪慧,而是在特定的环境中,刚好习得并使用了正确的学习方法。当年为了能给喜欢的女生讲题,每学完一个知识点,我都会在脑海里模拟这样一个场景:我要把这个知识点讲给别人听并且让别人听懂,我应该要怎么讲,举什么例子可以帮助理解,别人会提什么样的问题,我应该如何回答。后来我才知道,这被称作“费曼学习法”,是目前公认最高效的学习方法。
很多人付出大量努力而成效不好,并非不够聪明,而是没有找对方法。当然,这也在侧面说明中国教育的任重道远。

推荐阅读:
王慧文的清华产品课笔记“自证预言“——相信的力量
  • Twikoo