A Factor Graph Description of Deep Temporal Active Inference 2017
深层时态主动推理的因子图描述
https://www.frontiersin.org/journals/computational-neuroscience/articles/10.3389/fncom.2017.00095/full
摘要
主动推断是自由能原理的一个推论，它规定了自组织生物代理如何与其环境交互。主动推断过程的研究依赖于生成概率模型的定义以及在模型下通过神经消息传递最小化自由能泛函的描述。本文通过Forney风格因子图（FFG）介绍了指定主动推断过程的教程。FFG框架提供了概率模型的直观表示和生物学上合理的推理方案，原则上可以在计算机模拟中自动执行。作为一个说明性示例，我们展示了一个深度时间主动推断过程的FFG。该图清晰地展示了在适当的生成策略模型中，策略选择通过预期自由能最小化如何源自自由能最小化本身。
**关键词**：主动推断，自由能原理，因子图，信念传播，消息传递，多尺度动力系统
引言
主动推断是自由能原理（FEP）的一个推论。FEP从第一原理出发，认为生物系统通过单一机制保留其身份（即保持生存），即在环境模型下最小化变分自由能（这等价于最大化该模型的贝叶斯证据）（Friston et al., 2006; Friston, 2012）。原则上，生物或人工代理通过以下两个过程实现主动推断：
1. **模型规范**：为代理的感官观察指定概率生成模型。在生物学上，这始于有机体的基因型，由DNA编码。对于希望模拟主动推断过程的科学家或工程师来说，这项任务涉及实际指定所研究的概率模型。
2. **自由能最小化**：一旦模型被指定，代理通过变分自由能最小化（VFEM）处理感官观察。自由能最小化是代理近似最大化其环境模型贝叶斯证据的工具，因为显式证据最大化在计算上是不可行的。关键的是，相同的VFEM过程用于推断所有潜在变量，包括与感知过程、动作选择、注意机制、记忆创建和模型修剪相关的变量。为了执行VFEM，代理还需要访问“提议”分布（通常是生成模型的平均场版本或因子分解），但实际上，一旦生成模型被定义，这个分布相对容易指定。
第二个任务，自由能最小化，原则上是一个可自动化的过程，因为要最小化的成本泛函完全由生成模型和提议模型（与感官观察相结合）指定。在生物系统中，模型规范（第一个任务）通过自然选择的进化精炼发生，这也是在大时间尺度上自由能最小化的表现（Harper, 2009; Campbell, 2016）。因此，FEP的主动推断在生物系统中是一个完全自动化的（即自组织的）过程。
对于旨在模拟主动推断过程的科学家来说，拥有一个“VFEM软件工具箱”将非常有帮助，该工具箱可以为广泛的概率模型自动化推理过程。如果这样的工具箱可用，科学家的工作流程将包括提出新的候选模型，并通过调用VFEM工具箱中的适当函数来评估这些模型的性能。在没有这样的VFEM工具箱的情况下，科学家可能会被迫手动推导特定于模型的VFEM更新方程，这对于大型模型来说很快就会成为一个几乎无法克服的障碍。因此，合成主动推断的速度和质量取决于伴随候选模型分析的推理任务的润滑。
自动化推理工具的影响不仅限于快速模拟，还支持对生物主动推断过程本身的研究。主动推断本身就是一个自动化科学探究过程的模型，其中所有任务（试验设计、试验执行、性能评估和适应）都作为概率模型上的推理任务执行。从工程师的角度来看，开发基于主动推断的人工代理，通过与环境的情境交互学习有目的的行为（例如，音频或视频处理任务），是一种诱人的设计策略（例如，Van de Laar和De Vries, 2016）。
软件工具箱自动化概率推理的潜在巨大影响也在机器学习社区中得到认可。在“概率编程”的标题下，目前正在进行各种开发自动化推理工具箱的倡议（Lunn et al., 2000; Minka et al., 2014; Salvatier et al., 2016; Tran et al., 2016; Carpenter et al., 2017）。特别是最近关于黑箱变分推断（BBVI）的工作在自动化推理模拟的背景下很有趣（Ranganath et al., 2014; Taylor, 2016; Tran et al., 2016）。然而，在研究大脑时，我们不仅对自动化推理感兴趣，还对这些推理过程的生物学上合理的实现感兴趣。这一特征在当前的BBVI研究路线中并不是一个硬性标准。
与其依赖自动化推理工具箱，不如尝试开发一种生物学上可行的主动推断过程理论（Bastos et al., 2012; Friston et al., 2017a）。这些理论伴随着“SPM工具箱”中的自由可用软件模拟（Friston, 2014）。SPM工具箱确实支持广泛的演示，但不支持用于指定具有自动化推理支持的新候选模型的脚本语言。最近的工作集中在主动推断过程的图形模型描述上（Friston et al., 2017c）。本文提供了一种图形模型变体的教程介绍。
在本文中，我们介绍了Forney风格因子图（FFG）作为支持自由定义生成模型的视觉表示和通过生物学上合理的消息传递算法进行推理自动化的工具（Forney, 2001）。Forney风格因子图是一种图形模型，与贝叶斯网络和马尔可夫随机场等类似框架共享品质（Koller and Friedman, 2009）。FFG图提供了生成模型的视觉直观表示，这对于构成分层主动推断过程的复杂模型尤其有益（预览图7为例）。与贝叶斯网络和BBVI工具相比，FFG还提供了基于消息传递的推理过程的精确视图和描述。因此，FFG中的推理提供了生物神经推理过程可能如何执行的规范描述（在计算抽象级别上）。
FFG最初是作为图形框架开发的，用于自动化基于推理的（解）码过程。大约十年前，一系列论文揭示了许多经典信号处理算法可以被视为FFG上的消息传递算法（例如，Loeliger, 2004; Dauwels et al., 2005a,b; Dauwels, 2007; Loeliger et al., 2007）。最近，FFG在控制理论（Hoffmann and Rostalski, 2017）、线性代数（Al-Bashabsheh et al., 2011）、量子力学（Loeliger and Vontobel, 2017）、音频处理算法设计（Van de Laar and De Vries, 2016）和涡轮均衡（Guo and Ping, 2008）等不同领域找到了应用。
总之，在黑箱和模型特定模拟框架之间，FFG形式主义为描述和模拟复杂主动推断过程提供了一种视觉直观且生物学上可行的图形过程理论。
本文的目标是将FFG形式主义介绍给系统神经科学社区。我们的介绍将包括为深度时间主动推断（DTAI）过程（Friston et al., 2017b）开发FFG，这可以说是当前最先进的主动推断模型。我们还将为DTAI模型中的自动化推理开发局部时间和位置的消息传递调度。第2节从FFG的概率建模教程介绍开始。第3节继续介绍线性高斯动态系统的具体图形示例，这些是更现实的感官观察分层模型的构建块。我们在第4节中介绍了多尺度分层动态（MSHD）系统的FFG图。在第5节中，我们展示了深度时间主动推断过程是具有特定策略模型的MSHD过程的一个实例。特别是，我们解决了同时最小化自由能和预期自由能的特殊性，后者用于设置代理所考虑的策略（动作序列）的先验。FFG框架清晰地展示了预期自由能最小化如何作为生成模型内的推理子任务嵌套。换句话说，自由能原理完全解释了（甚至要求）在主动推断过程中最小化预期自由能。
2. 使用因子图的概率建模
由于当x、y和z是向量变量时，这个表达式也是正确的，因此总是可以将任何子集的干扰变量从系统中积分出去，并对任何子集的观测变量进行条件化。因此，贝叶斯推断的问题主要是一个计算问题，因为分母中的积分（或求和）通常是难以处理的。例如，在离散字母表上，如果y和z共同包含20个维度，且每个维度定义在10个值上，那么分母包含10^20项。
2.1. Forney风格因子图
如果模型可以分解，推断的计算负荷可以大大减少。考虑模型
及其对应的Forney风格因子图（FFG）如图1A所示。在FFG中，每个因子由一个节点表示，每个变量由一条边表示。如果边变量是节点函数的参数，则该边连接到节点。仅出现在一个因子中的变量（例如，x6）由半边表示。在本文中，我们将假设全局函数f和因子f•都表示概率分布。
请注意，变量名称在FFG中最多可以出现在两个因子中，因为一条边只有两个端点。对于模型
由于因子的分解，我们可以通过分配律将其分解为
这个模型包含的计算量远少于方程（4）中的完整6维积分。
为了区分前向消息 和后向消息，绘制带有指向箭头的图（如图2所示）可能是有用的。不过，原则上，FFG（因子图）是一个无向图，箭头的方向没有计算上的影响。
消息是通过将图2中红色框内的所有因子相乘，然后对所有边完全在框内的变量进行边缘化得到的，即，
这种“封闭盒子”操作的结果是，它产生了一个函数，该函数是那些穿过盒子边界的变量的函数，在这种情况下是x3。这个函数 被称为求和-乘积消息，而不是在FFG中绘制盒子，习惯上是在边缘旁边用一个小箭头来表示消息。
如果全局函数f是一个联合概率分布，那么消息表示一个关于x3的概率分布，它编码了包含在红色盒子内对x3的信念。同样，围绕节点fd到fg的蓝色盒子封闭起来会导致消息，它持有包含在x3边右侧子图中的对x3的信念。通过乘以前向和后向消息来获得x3的边缘，即。这种乘法融合了来自x3边左右两侧子图关于x3的信息。
封闭盒子的过程可以嵌套，直到每个盒子包含一个节点，该节点有（可能多个）传入消息和一个传出消息，例如，参见图2中的嵌套来计算。因此，通过从终端节点向x3传递求和-乘积消息，可以在FFG中推断边缘。在这个视角中，每个节点仅处理本地传入的消息以产生传出消息。节点的求和-乘积更新规则简单地是所有传入消息与因子的乘积，然后是对传入边上的变量进行边缘化，参见图3A。这是基于消息传递的封闭盒子规则的重写。例如，的求和-乘积更新规则可以写成（也参见图2）
很容易验证，将封闭盒子规则应用于终端节点会得到因子本身作为求和-乘积消息，例如，。来自半边（例如，x6）的传入消息总是等于1。这可以通过意识到在图中添加一个终端节点不会改变全局函数来简单检查。换句话说，来自半边的传入消息是无信息的。
为了计算图中所有边缘的边缘（对于所有边缘），我们从终端和半边的传入消息开始，并继续进行，直到每条边缘都有前向和后向消息。求和-乘积定理指出，如果图是一棵树，那么在一条边上的前向和后向消息的乘积就会产生相应变量的确切（贝叶斯）边缘（Kschischang等人，2001）。如果图包含循环，则不能保证这个结果。在实践中，通过迭代消息传递更新，在循环图中经常获得良好的近似推断结果，就好像循环图被展开成一棵深树一样（Vasudeva Raju和Pitkow，2016）。文献中也使用“信念传播”这个术语来描述通过在一般图上迭代求和-乘积消息传递的推断近似（这个术语最初由Pearl在1982年引入）。
将封闭盒子过程应用于一组节点，会产生一个新的“复合”节点，该节点隐藏了盒子的内部结构，而不影响与图其余部分的接口。这是FFG的一个非常有吸引力的特性，它提供了网络结构的层次视图。例如，在图2中，围绕fa、fb和fc封闭红色盒子会产生一个新的节点fababc(x3)，其因子（和传出消息）由方程（6）给出。将封闭盒子过程应用于整个图会产生一个数字（不是变量的函数）。这个数字等于该图的贝叶斯证据。
消息传递有一个有趣的解释，它与自由能原理中的惊奇最小化观点非常契合。一个节点的传出消息（与）是传出边变量的后验概率分布，在通过边缘化处理了盒子中的所有信息之后。将变量 x 的概率分布 p(x) 转换为该变量的惊奇（或自信息），是很容易的。因此，从惊奇的角度来看，节点处理是为了解释掉传入的惊奇，并在传出消息中传递剩余的惊奇。当没有惊奇剩下时，就没有什么需要沟通的了，消息也就变得没有信息量了。换句话说，消息传递是一个分布式的惊奇最小化过程。
2.3 变分消息传递
通过和积消息传递进行推断在很多因子图中效果很好，我们将在第3.2节中通过一个示例（卡尔曼滤波）进行说明。然而，和积消息传递并不总是合适的。例如，对于离散值变量，所有可能设置的总和可能包含太多项，以至于在可用时间内无法计算。如果隐藏变量是连续值的，那么和积更新规则可能不会导致解析表达式。此外，在有环图中，前向和后向消息的乘积不会导致真实的（贝叶斯）边际。这些或类似的计算问题，是任何试图执行精确贝叶斯推断的（生物或人工）代理所共有的。自由能原理断言，真实的大脑通过最小化自由能泛函来应对这些计算问题，这实际上将一个难以处理的推断问题转化为一个可处理的（近似正确的）优化问题。
考虑一个模型 ( p(z, o) )，其中 ( o ) 收集所有观测值，( z ) 包含系统中的所有隐藏变量，包括状态 ( s )、控制 ( u ) 和参数。贝叶斯推断的目标是计算潜在变量的后验 ( p(z|o) ) 和模型证据 ( p(o) )。我们不精确计算( p(z|o) )，而是考虑一个近似解 ( q(z) )，称为提议（或识别）分布。（吉布斯）自由能（FE）泛函定义为：
公式（8）并不是唯一的自由能泛函。Minka（2005）讨论了一类基于信息散度的损失函数，这些函数导致了不同的消息传递算法。事实上，和积消息传递也可以通过最小化所谓的贝叶斯自由能（Yedidia 等人，2005）来推导。没有根本的理由反对在图中的不同边上结合不同的消息更新规则，例如，和积消息传递可以很容易地与变分消息传递（Riegler 等人，2013）结合。
总结来说，Forney 风格的因子图不仅提供了一种视觉上直观的表示，还为通过消息传递最小化概率模型的自由能泛函提供了一种强大的计算过程理论。
3. 线性动态系统与卡尔曼滤波
Forney 风格的因子图在通过消息传递自动化动态系统推断方面特别有用。在本节中，我们描述了一个简单线性高斯动态系统的 FFG 和消息传递推断，这是更复杂结构的重要构建模块。
3.1. 模型规范线性高斯动态系统（Linear Gaussian Dynamical System，简称 LGDS）由以下方程描述：
3.2. 通过消息传递的卡尔曼滤波
考虑在时间步 t 更新隐藏状态估计的任务，基于给定的 t-1 时间步的状态估计和新的观测 ot。卡尔曼滤波这个名字与一个高效的递归算法相关，用于解决这个推断问题（Kalman, 1960）。卡尔曼滤波是状态空间建模基础的工程领域如信号处理和控制理论的基石，同时也作为人类感知的基本动态模型。由于 LGDS 中观测和潜在变量的联合分布是多元高斯分布，给定观测 o1:t 的（卡尔曼）状态估计 st 必然也是由高斯分布描述的。动态系统文献的很大一部分致力于扩展卡尔曼滤波，以处理更宽松的模型假设，包括非线性、非高斯扰动和层次结构。图 4B 显示了 FFG（因子图）和卡尔曼滤波的求和-乘积消息传递序列。注意，ot 的边现在由一个（小）黑色节点终止，表示 ot 已被观测。如果 ot 未被观测，相应的半边将向图中传递一个非信息性消息 ←−µ(ot) = 1。如果 ot 被观测，比如说 ot = ˆot，那么黑色节点发送一个 delta 消息 ←−µ(ot) = δ(ot − ˆot) 进入图中。图可以被视为在“根节点” st 下的一棵树。st 的更新包含在消息 7 中，可以通过从树的终端（即 st−1, ϑs, ϑo, ot）开始的消息传递序列计算，并向树的上方移动，朝向消息 7（见图 4B）
因此，等式节点的外出消息涉及传入消息的乘积。对于高斯输入消息，这意味着外出消息也是一个高斯消息，其均值为传入消息的精度加权均值之和，精度为传入消息的精度之和。显然，图4B中的等式节点用于实现贝叶斯规则。传入消息3可以解释为基于先验的状态预测消息，而消息6是处理观测值的似然消息。消息7通过贝叶斯规则融合先验预测和似然消息的信息。有关通过求和乘积消息传递进行Kalman滤波的完整描述，请参见Loeliger等人（2007）。
对于大量简单节点函数，可以推导出解析的求和乘积更新规则。表1展示了一些常见因子的更新规则。在计算机模拟环境中，如果这些规则存储在查找表中，则可以在自由定义的图中自动执行推理。对于某些复合节点，例如通过在图4A中围绕等式节点和似然因子A画一个框，也可以将消息制成表格。与其在复合节点内部传递消息，不如通过自定义算法计算消息（从复合节点传出），这可能在计算上更有优势。使用这种方法，Loeliger等人（2007）和Loeliger等人（2016）提出了复合节点的消息更新规则，这些规则有助于Kalman滤波，并提高了数值稳定性和计算负载。
3.3 具有控制信号的动态系统
我们现在考虑LGDS模型的一个扩展，其中状态转移模型可以由另一个代理控制。当我们考虑分层系统时，这一特性将变得重要。为了简化，我们假设状态转移模型由以下公式给出：
其中β是一个标量增益，见图4C。从原始LGDS（没有β的先验）的角度来看，β可以解释为影响状态转移模型的外部控制信号，而先验p(β)可以视为控制器的模型。控制器节点可能包含一个大型网络，该网络在图4C中被包含在复合节点p(β)中。假设我们感兴趣的是从观测中学习一个合适的控制器。这将涉及通过图4C中的消息8–10扩展Kalman滤波消息序列。消息10包含从观测o_t获得的新信息，关于β。在附录A中，我们推导了消息10的高斯变分消息。
4. 分层动态系统
自然信号是分层组织的。例如，语音信号包含多个时间尺度的模式，包括句子（∼1秒）、音素、声门脉冲和共振峰（Turner和Sahani，2008）。因此，大脑中的主动推理过程依赖于多尺度分层动态（MSHD）模型。在本节中，我们考虑一个MSHD模型的FFG描述，该模型最初是为了展示用于阅读的深层时间模型而提出的（Friston等人，2017b）。我们的目的仅在于描述FFG框架如何为模型定义和推理问题提供见解。
4.1 模型规范
考虑图5中的三层MSHD系统。FFG展示了一个时间步的顶层（第三层）生成模型：
在这个例子中，中间层在一个顶层时间步内进行两个时间步的状态空间模型。通常，较低层在一个顶层时间步内可能进行多个时间步。在图5中，中间层用阴影框标出。
第二层的生成模型由以下公式给出：
同样地，在每个时间步，我们允许中间层的状态生成“层内”观测和较低层的观测。在图5中，我们再次假设在第二层的一个时间步执行期间，第一（底部）层进行两个时间步。准确地说，第一层的动态由以下公式给出：
第一层状态的上下文由元组 ( (t, k) ) 唯一描述，其中 ( t ) 和 ( k ) 分别是顶层和中间层的当前时间步。
顶层一个时间步的完整生成模型由方程（17-19）的乘积指定。
虽然这一组方程构成了生成模型的精确规范，但在分层模型中跟踪上标中的上下文的符号开销相当繁琐。这是另一个原因，图形FFG表示法更受分层模型的青睐。
4.2 推理
我们现在将注意力转向MSHD模型中的推理。在时间步 t 的推理目标是基于所有观测值（所有实心黑色矩形）更新图中所有隐藏变量的信念。更新过程由最小化图中的自由能的目标引导，并且可以通过消息传递来执行。
存在各种消息传递序列计划和更新规则，但所有方案都依赖于自上而下的预测传递，随后是自下而上的校正步骤。图6展示了一个可能的中间层消息传递计划。
注意，中间层的图包含环。这是一个问题，因为后向和前向求和乘积消息的乘积不再保证等于边际分布。在实践中，可能需要对每条边进行多次迭代更新，以收敛到一个足够好的近似推理过程。
Forney风格的因子图使得可视化这种迭代更新计划的工作变得容易。在图6中，我们将中间层的图划分为两个简单的（即无环的）子图。在这些标记为layer-2a和layer-2b的子图中，通过一次前向-后向传递可以获得正确的边际。推理过程首先将完整图划分为简单子图。每个简单子图自主处理传入的证据。当新证据通过其终端的传入消息呈现时，子图首先更新隐藏变量的边际，然后更新传出消息。
让我们考虑图6中中间层的这个过程。我们假设顶层发送一条包含顶层状态 ( s_t ) 信念的消息（标记为1）。Layer 2a现在将更新其隐藏状态的边际，并将新证据的影响传递到其终端。我们可以忽略后向消息，因为还没有来自layer 2b的传入证据。Layer 2a将通过前向传递将消息1的效果传播到layer 2b，结果是消息3、5和6。
Layer 2b现在有来自layer 2a的新证据，并且没有来自较低层的新证据。与layer 2a类似，layer 2b将通过前向（预测）传递处理传入消息，结果是传出消息7、11、13和16。
Layer 2b现在将等待通过消息17-20将其底部终端的校正证据传递进来。接下来，通过消息21-26在Layer 2b中更新内部边际，并通过消息27-29将任何剩余的自由能传递到layer 2a。反过来，layer 2a通过消息30-31更新其内部状态，并通过消息32将未解释的证据传递到layer 1。
因此，在完整图级别上，推理通过逐层前向预测传递进行，随后是基于在每层收集的证据的校正后向传递。注意，在layer 2b基于来自layer 1的传入证据更新其内部状态的边际后，原则上它可以更新传出消息，既可以向layer 2a，也可以返回layer 1。换句话说，在将结果发送到图的其他部分之前，可以在两个子层（例如，layers 1和2a）之间迭代更新。关于什么是最佳调度策略，目前几乎没有理论。将这个“推理调度”问题本身视为受自由能原理约束的策略推理过程的解决方案，是一个未被探索但引人入胜的想法。
5. 深层时间主动推理（DTAI）
在本节中，我们将多尺度分层动态系统扩展为描述深层时间主动推理（DTAI）过程，如Friston等人（2017b）所讨论的，他们通过一个阅读示例说明了三层主动推理过程。顶层的任务是推断正在阅读的句子（从有限集合中）。每个句子由一系列单词组成，每个单词由一系列字母组成。中间层和底层分别推断当前正在阅读的单词和字母。中间层和底层还可以选择（肌肉）动作来控制眼睛下一步将看向哪里以阅读单词或字母。感知（解码字母、单词和句子）和动作都是通过自由能最小化来推断的。Friston等人（2017b）表明，这种方法导致动作寻求最大化信息增益，因为眼睛不断移动到字母（和单词）位置，以期望解决当前单词（和句子）的最大不确定性。
接下来，我们提供一个FFG描述，用于说明这种深层时间主动推理过程
5.1 模型规范
在我们描述的动态系统中，状态转移可以通过控制信号进行修改。在多尺度分层动态系统（MSHD）中，这些控制信号是上层状态的函数。我们将遵循控制理论的术语，其中一系列（未来）控制信号被称为策略。例如，第4节中MSHD系统的第2层的策略模型由指定，其中 是时间步 t 的策略。
策略模型的选择
在强化学习设置中，通常指定一个“奖励”函数，并选择旨在最大化预期未来奖励的策略。相比之下，主动推理系统（包括其策略模型）遵循自由能原理，因此不使用外部定义的奖励函数。相反，主动推理过程使用的唯一信息是它将在未来最小化自由能的自我知识。因此，唯一的自洽策略选择过程是选择最小化预期未来自由能的控制。
因此，深层时间主动推理模型是MSHD系统的一个实例，其策略模型是预期自由能。图7展示了一个具有预期自由能策略模型的三层主动推理过程。第2层的策略模型由一个深色阴影矩形包围。在图8中，第2层被划分为三个简单的（无环的）子图。顶部子图（红色）表示期望状态和观测的先验。中间子图（绿色）是状态空间模型的副本，策略模型使用它来模拟状态空间模型的未来。底部子图（layer 2c）的控制信号通过layer 2a和2b中的自由能最小化来推断。这导致控制信号最小化预期自由能。
“生成”策略模型由以下公式正式指定：
注意，该模型并不直接指定预期自由能。相反，这是一个控制（策略）的生成模型，通过自由能最小化的前向推理传递，导致策略的预期自由能先验（见第5.2节）。这个生成策略模型需要访问动态系统模型的副本，以便模拟未来。在正式的生成模型规范中，我们使用变量名上的条形符号来区分策略模型中的状态和观测变量与常规动态系统中的“镜像”变量。
方程（18, 20）一起指定了深层时间主动推理模型中间层的生成模型。DTAI系统的完整生成模型是所有层模型的乘积。
5.2 深层时间主动推理模型的推理
图8展示了深层时间主动推理模型中间层被划分为三个无环子图的情况。如前所述，在无环图中，通过将每条边的前向和后向消息相乘，可以获得隐藏变量的适当贝叶斯边际。现在，我们将讨论中间层可能的推理计划。
推理过程
首先，上层的状态在layer 2a中用于通过消息1-11推断状态和观测的先验。这些先验指定了期望的未来状态轨迹和观测模式，从而取代了外部奖励函数的需要。
初始状态消息3现在被layer 2b用于通过消息12-18向前运行动态系统。为了计算消息13（状态转移），节点 需要消息12和来自的传入控制消息46。控制消息最初设置为无信息消息，对每个控制选项进行同等加权。也可以使用对可接受控制的替代先验。这个前向传递导致对未来状态和观测的预测。
接下来，layer 2a的传出消息被layer 2b处理，就好像它们是layer 2b的观测一样。Layer 2b通过后向传递（消息19-23）处理这些先验，从而更新layer 2b中隐藏状态的边际。
在推断出动态系统的“期望”未来隐藏状态后，layer 2b将在消息25-26中推断适当的控制信号。这些控制信号旨在引导layer 2c中的状态转移，以实现layer 2a中先验编码的奖励状态轨迹。
消息24-26现在被layer 2c通过消息27-34进行前向传递，以推断层内和下层观测的预测。实际观测证据通过消息35-38传递到layer 2c，并在layer 2c中通过消息39-44进行校正后向传递进一步处理。Layer 2c中的后向和前向消息结合，更新隐藏状态的边际。
在layer 2c的状态通过观测证据校正后，layer 2c通过消息45-47将更新后的信息向上传递到初始状态和控制边。
为了避免使图表更加杂乱，我们没有绘制将校正推回layer 2b、layer 2a，然后向上传递到更高层的消息。
消息25和26涉及控制信号，这些信号最小化动态系统中的预期自由能。消息46和47在观察到证据后对这些控制信号进行校正。前向和后向消息对（25, 46）和（26, 47）相乘以校正控制信号的边际（类似地，24和45结合以更新初始状态的边际）。
在初始状态和控制信号的边际更新后，我们可以再次向前运行layer 2b，以获得状态的校正预测。
接下来，layer 2a以两种方式处理这些更新后的预测。校正可能部分被吸收，通过更新的先验。这是一个学习步骤。剩余的自由能通过状态的后向消息传递到上层。
先验的学习服务于与逆强化学习算法中奖励函数学习类似的目的（Ng和Russell，2000）。关键在于，主动推理不需要特殊的学习奖励或选择有用策略的配方。所有相关任务都是通过在生成概率模型中最小化自由能来完成的。
总结来说，深层时间主动推理可以被建模为具有特定策略模型的多尺度分层动态系统。每个层可以被划分为三个无环子层。FFG形式主义提供了既直观又通过消息传递在（子）层内和层间执行主动推理过程的计算机制。
6. 讨论
欣赏主动推理层中的对称性是很有趣的。再次考虑图7中的中间层。蓝色子图是展开的状态空间模型，由实际观测 终止。绿色子图是相同状态空间模型的副本，但现在由先验终止。后向消息流将来自层内和下层观测的证据转移到先验 中。剩余的自由能被推到更高层。
如果更高层与较低层在相同的时间尺度上运行，那么后向消息将很快变得无信息，并且高阶层的处理将无法有效吸收惊奇。相反，高阶层处理在多个较低层时间步长上累积的惊奇。在这些较大的时间尺度上，传入的后向消息再次变得有信息，并且处理这些消息导致更多的惊奇最小化（相对于在较低层相同时间尺度上的处理）。因此，有效惊奇最小化高度结构化信号自然导致多尺度分层模型。
网络中隐藏状态的更新通过前向预测步骤进行，这些步骤向下推动预期的（或预测的）自由能，并通过向上校正步骤推动未解释的自由能。Forney风格的因子图框架将完整的算法分解为小（可自动化的）局部时间-地点消息传递步骤。注意，前向和后向消息的更新规则基于相同的通用（求和乘积和变分）更新规则。因此，将惊奇最小化解释为预测-校正过程是有趣的，但与网络本身无关。消息传递仅用于最小化惊奇。
在本文中，我们几乎没有触及学习问题。有目的行为的学习依赖于更新生成模型参数（A, B等）的先验。在贝叶斯上下文中，参数更新在概念上与动态系统中的状态更新没有区别。从卡尔曼更新方程（特别是等式节点的求和乘积更新规则）中可以明显看出，动态系统中潜在变量的适应量在微妙的方式上取决于基于先验的状态预测的精度与校正证据（似然）的精度之间的比率。
这些精度变量（像所有变量一样）由FFG中的边表示，并且通过这些边上的消息传递动态地改变对精度的信念。在真实的神经电路中，多个并行操作的主动推理列可能通过横向连接上的消息传递直接影响其他列中对精度的动态信念（Kanai等人，2015）。在FFG图中，这些复杂电路看起来像具有水平和垂直连接的矩阵。为了推进对这些复杂神经结构的研究，有必要在计算机模拟中模拟这些网络的行为。黑箱变分推理工具箱可能不会提供任何关于底层神经惊奇最小化机制的见解，同时这些网络可能过于复杂，无法允许手动推导神经消息传递信号。
在本文中，我们将Forney风格的因子图框架作为一个替代候选形式主义，用于研究复杂神经电路的行为。FFG提供了因子分解概率模型的直观视觉表示。简单的关闭盒子规则通过创建复合节点导致更高的视觉抽象级别，并基于消息传递的惊奇最小化。原则上，FFG中的惊奇最小化在自由定义的图中是可自动化的。实际上，开发高质量的FFG模拟工具箱并非易事。目前，我们团队在埃因霍温理工大学正在开发一个用于模拟广泛动态FFG模型中推理过程的工具箱。我们希望在2018年的某个时候发布所展示图的模拟结果和该工具箱的第一个公共版本。
7. 结论
我们提出了一种图形过程理论，用于研究基于消息传递的惊奇最小化在神经电路中的应用。Forney风格的因子图在信息论社区的编码分支中已经享有良好的声誉。我们认为，这些图形模型也非常适合支持复杂神经电路中主动推理处理的研究。为了论证我们的观点，我们描述了一个深层时间主动推理模型的图。关闭盒子和复合节点的概念非常清楚地表明，深层时间主动推理是多尺度分层动态系统的一个特例。特别是，FFG图很好地展示了预期自由能最小化如何通过生成策略模型的前向推理传递实现。
我们非常清楚，当前的论文留下了许多开放问题，但我们希望这篇论文能够激发神经科学界对因子图作为复杂生成神经模型的描述工具的兴趣。