双向互联想网络抗噪声能力提高方法
作者：曹培杰 马东 罗建 程敬之
单位：曹培杰(西安交通大学生物医学工程与仪器系 陕西西安 710049)；马东(西安交通大学生物医学工程与仪器系 陕西西安 710049)；罗建(西安交通大学生物医学工程与仪器系 陕西西安 710049)；程敬之(西安交通大学生物医学工程与仪器系 陕西西安 710049)
关键词：双向互联想记忆；信噪比
中国医疗器械杂志000103
提 要：分析了双向互联想记忆网络的算法结构。其本质是一种对样本矢量的加权求和，权系数由输入矢量和样本矢量的内积确定，网络的抗噪声能力决定于权系数的形式。采取侧向抑制的权系数方法能获得最大抗噪声能力。
中图分类号：TP 183 文献标识码：A
, 百拇医药
文章编号：1000-6974(2000)01-0009-03
A New Method to Improve Performance of BAM in presence of Noise
CAO Pei-jie
(Xi'an Jiaotong University)
MA Dong
(Xi'an Jiaotong University)
LUO Jian
(Xi'an Jiaotong University)
CHENG Jing-zhi
, 百拇医药
(Xi'an Jiaotong University)
Abstract：Algorithm of bidirectional associative memory (BAM)is depicted.BAM sum up all sample pattern with different weighting factor to recall the true pattern.The ability to recall pattern correctly is determined by how the sample pa-
ttern are weighted.Selecting the maximum of weighting factors by competition can get best performance of BAM in presence of noise.
, http://www.100md.com Key words：BAM;SNR▲
具有两层结构的KOSKO型非线性神经网络具有很好的双向联想记忆功能(Bidirectional Associative Memory)，简称BAM[1]。BAM在噪声存在的情况下也可以基本正确地联想、恢复样本。但其抗噪声能力有限，随着输入矢量的信噪比(SNR)减小，样本矢量之间的汉明距离必须增大，才能保持一定的联想正确率。这样就限制了可存储样本对的数目[2]。为克服此缺点，文献[3]提出一种指数形式的BAM；文献[4]提出了高阶自相关器方法。以上工作都通过加大存储样本对的收敛半径，加强正确目标的功率，减少非正确目标的影响来提高联想正确的概率。
本文给出了BAM的算法结构描述。在权系数确定过程中，引入自适应谐振理论(ART)的侧向抑制方法，最大限度地增大目标样本矢量的权系数值，减小非正确目标矢量的影响。
, 百拇医药
1 BAM的算法结构描述
给定以下M个样本对：
(As,Bs),s=0,1,…，M-1
其中：As=[as0,as1,…，aSN-1]T
Bs=[bs0,bs1,…，bSp-1]T
As∈{-1，1}N Bs∈{-1，1}P
(1)
按照KOSKO方法[1]，对任意一个输入矢量，网络经过若干次迭代计算：
, 百拇医药
WBt→At+1
WTAt+1→Bt+2
WBt+2→At+3
(2)…
直至A、B为稳态，演变过程结束。
网络学习遵从Hebb规则[1]：
(3)
将式(3)代入式(2)：
, http://www.100md.com
(4)
令WAS=
Bt，可见迭代过程实际为样本矢量的加权求和，BAM的算法结构描述如下：
图1中，输入矢量At,Bt,分别由网络上下端输入。当输入为Bt时，Bt分别和存储的样本作T( )运算。在KOSKO的BAM中，T( )代表矢量内积运算。运算结果作为As的权系数WAS。加权求和并经过非线性处理后，输出At+1，又作为下一次输入矢量由网络上端输入，其过程和Bt输入对应，最后从网络下端输出Bt+1，如此迭代，直至网络输出为稳态。
, 百拇医药
图 1 KOSKO型BAM的算法结构描述
图1中：θ=[θ0，θ1，…，θN-1]T
μ=[μ0,μ1，…，μP-1]T
当θ、μ均为零矢量时，图1对应齐次BAM结构。
2 BAM抗噪声能力的关键因素
由式(1)知，As,Bs均为等幅矢量，在图1中，只有对应权系数较大的样本矢量才能使输出矢量具有自己的特征。设AD为正确目标输出，若AD的某一位ADk，k=0,1…N-1，在输出At+1中获胜，必须满足条件：
, 百拇医药
(5)
当
时，输出A(t+1)k保持目标ADK的特征，而式(5)中的第二项则为干扰，直接影响联想的正确性。在KOSKO的BAM中，WAS(或WBS)由矢量的内积得到：
(6)
P维矢量X、Y的汉明距离为[1]：
(7)
由于｜Bsi-Bti｜非0即2故有：
, http://www.100md.com
WAS=P-2dH(Bs,Bt)
同理 WBS=N-2dH(As,At)
(8)
以WAS为例，当dH(Bs,Bt)=P/2时，WAS=0，As对输出没有影响；当dH(Bs,Bt)=0时，WAS=P，As对输出影响最大；当dH(Bs,Bt)=P时，WAS=-P,As对输出亦影响最大，但输出反相。
将图1中T( )加绝对值符号，可以避免输出反相的情况，使联想正确概率提高一倍。
, 百拇医药
当WAD=P时，即输入Bt无噪声，为样本矢量BD，此时，正确联想AD的概率决定于各个样本矢量之间的汉明距离。当各个样本矢量Bs(或As)之间的汉明距离为P/2时，若输入Bt=BD，则WAD=P而其余WAS｜S≠D=0，由式(5)知，正确输出AD的概率为1。但对于P维矢量，若各个样本矢量之间的汉明距离为P/2，其样本容量受到很大限制。增大样本数目，必然会出现样本之间汉明距离小于P/2的情况。此时，式(5)中第二项对正确输出产生干扰。
采取任何增大WAS或(WBS)之间对比度的措施均会使联想正确率提高，如(WBS)2、bWbs形式[2]。但是，无论采取哪种形式，只要式(5)中第二项存在且不为零，随样本数目增大，就可能对正确联想产生干扰。只有将其彻底消除，才能使网络具有最大的抗干扰能力，并且收敛速度最快。
, http://www.100md.com
3 采用侧向抑制竞争输出的BAM
将图1算法结构中的加权求和改为竞争机制，引入ART1中侧向抑制算法[1]。当输入Bt和某个样本BD的汉明距离最近时，将相应权系数WAD置1，而其余竞争失败的权系数WAS｜S≠D置0，正确联想AD的概率为1。当样本矢量为P维，样本间距为D，D
若神经元非线性函数为f，则齐次动态差分方程为：
由B联想A：
a(t+1)i=f{(BD.Bt)*aDi(BD.Bt)
, 百拇医药
=max{(Bs.Bt),S=0,1,…，M-1}}
i=0,1,…，N-1
由A联想B：
b(t+2)j=f{(AD.At+1)*bDj(AD.At+1)
=max{(As.At+1),S=0,1,…，M-1}}
j=0,1,…P-1
(9)
, http://www.100md.com
KOSKO型BAM能够抑制一定程度的噪声，关键在于其算法中的非线性函数f,这样，在逐次迭代过程中，噪声作用不会积累。但是由于算法中没有对加权后的样本矢量作非线性处理(见图1)，而是直接求和，导致噪声在输出中占有一定比例，影响了联想结果，同时减慢了收敛速度。
4 实验结果
采用以下4对标准样本矢量对[1]，进行仿真实验：
A1=[1，-1，1，-1，1，-1，1，-1，1，-1，1，-1]T
A2=[1，1，-1，-1，1，1，-1，-1，1，1，-1，-1]T
A3=[1，1，1，-1，-1，-1，1，1，1，-1，-1，-1]T
, 百拇医药
A4=[1，1，1，1，-1，-1，-1，-1，1，1，1，1]T
B1=[1，1，1，1，-1，-1，-1，-1，1，1]T
B2=[1，1，1，-1，-1，-1，1，1，1，-1]T
B3=[1，1，-1，-1，1，1，-1，-1，1，1]T
B4=[1，-1，1，-1，1，-1，1，-1，1，-1]T
分别采用KOSKO型BAM及本文方法验证算法的抗噪声能力，结果如图2。
, http://www.100md.com
图 2 两种方法在不同噪声时的联想正确率
实验中，由B联想A。样本矢量Bs若干位取反形成含有噪声的输入矢量Bt。噪声位随机选取。样本矢量Bs之间的汉明距离为4～6，当Bt的噪声位数超过3时，SNR已严重超出正常范围。由图2可见，本文方法和KOSKO型BAM相比，在正常的SNR范围内，具有明显的抗噪声能力。
5 结论
KOSKO型BAM本质是一种对样本矢量的加权求和，然后对求和结果进行非线性处理。各个样本矢量的权系数由输入矢量和样本矢量内积确定。当样本矢量之间的汉明距离为矢量长度一半时，正确联想的概率最高。非线性处理是其保证噪声在迭代过程中不会线性积累的关键因素；对标准样本的直接加权求和又是其抗噪声能力差的限制因素。采用侧向抑制的竞争机制可以最大限度地提高联想正确概率。■
参考文献：
, 百拇医药
[1]殷勤业，杨宗凯.模式识别与神经网络.机械工业出版社.1992.
[2]Chuachin Wang.An analysis of high capacity discrete exponential BAM. IEEE Trans.Neural Networks.1995；6(2)
[3]Y.-J.Jeng,et al.Exponential bidirectional associative memory.Electron Lett.1990；26(11):717-718.
[4]H.M.Tai.et al.High-order bidirectional associative memory. Electron Lett.,1989；25.1424-1425.
收稿日期：1998-10-14, http://www.100md.com
单位：曹培杰(西安交通大学生物医学工程与仪器系 陕西西安 710049)；马东(西安交通大学生物医学工程与仪器系 陕西西安 710049)；罗建(西安交通大学生物医学工程与仪器系 陕西西安 710049)；程敬之(西安交通大学生物医学工程与仪器系 陕西西安 710049)
关键词：双向互联想记忆；信噪比
中国医疗器械杂志000103
提 要：分析了双向互联想记忆网络的算法结构。其本质是一种对样本矢量的加权求和，权系数由输入矢量和样本矢量的内积确定，网络的抗噪声能力决定于权系数的形式。采取侧向抑制的权系数方法能获得最大抗噪声能力。
中图分类号：TP 183 文献标识码：A
, 百拇医药
文章编号：1000-6974(2000)01-0009-03
A New Method to Improve Performance of BAM in presence of Noise
CAO Pei-jie
(Xi'an Jiaotong University)
MA Dong
(Xi'an Jiaotong University)
LUO Jian
(Xi'an Jiaotong University)
CHENG Jing-zhi
, 百拇医药
(Xi'an Jiaotong University)
Abstract：Algorithm of bidirectional associative memory (BAM)is depicted.BAM sum up all sample pattern with different weighting factor to recall the true pattern.The ability to recall pattern correctly is determined by how the sample pa-
ttern are weighted.Selecting the maximum of weighting factors by competition can get best performance of BAM in presence of noise.
, http://www.100md.com Key words：BAM;SNR▲
具有两层结构的KOSKO型非线性神经网络具有很好的双向联想记忆功能(Bidirectional Associative Memory)，简称BAM[1]。BAM在噪声存在的情况下也可以基本正确地联想、恢复样本。但其抗噪声能力有限，随着输入矢量的信噪比(SNR)减小，样本矢量之间的汉明距离必须增大，才能保持一定的联想正确率。这样就限制了可存储样本对的数目[2]。为克服此缺点，文献[3]提出一种指数形式的BAM；文献[4]提出了高阶自相关器方法。以上工作都通过加大存储样本对的收敛半径，加强正确目标的功率，减少非正确目标的影响来提高联想正确的概率。
本文给出了BAM的算法结构描述。在权系数确定过程中，引入自适应谐振理论(ART)的侧向抑制方法，最大限度地增大目标样本矢量的权系数值，减小非正确目标矢量的影响。
, 百拇医药
1 BAM的算法结构描述
给定以下M个样本对：
(As,Bs),s=0,1,…，M-1
其中：As=[as0,as1,…，aSN-1]T
Bs=[bs0,bs1,…，bSp-1]T
As∈{-1，1}N Bs∈{-1，1}P
(1)
按照KOSKO方法[1]，对任意一个输入矢量，网络经过若干次迭代计算：
, 百拇医药
WBt→At+1
WTAt+1→Bt+2
WBt+2→At+3
(2)…
直至A、B为稳态，演变过程结束。
网络学习遵从Hebb规则[1]：
(3)
将式(3)代入式(2)：
, http://www.100md.com
(4)
令WAS=
Bt，可见迭代过程实际为样本矢量的加权求和，BAM的算法结构描述如下：图1中，输入矢量At,Bt,分别由网络上下端输入。当输入为Bt时，Bt分别和存储的样本作T( )运算。在KOSKO的BAM中，T( )代表矢量内积运算。运算结果作为As的权系数WAS。加权求和并经过非线性处理后，输出At+1，又作为下一次输入矢量由网络上端输入，其过程和Bt输入对应，最后从网络下端输出Bt+1，如此迭代，直至网络输出为稳态。
, 百拇医药
图 1 KOSKO型BAM的算法结构描述
图1中：θ=[θ0，θ1，…，θN-1]T
μ=[μ0,μ1，…，μP-1]T
当θ、μ均为零矢量时，图1对应齐次BAM结构。
2 BAM抗噪声能力的关键因素
由式(1)知，As,Bs均为等幅矢量，在图1中，只有对应权系数较大的样本矢量才能使输出矢量具有自己的特征。设AD为正确目标输出，若AD的某一位ADk，k=0,1…N-1，在输出At+1中获胜，必须满足条件：
, 百拇医药
(5)
当
时，输出A(t+1)k保持目标ADK的特征，而式(5)中的第二项则为干扰，直接影响联想的正确性。在KOSKO的BAM中，WAS(或WBS)由矢量的内积得到：(6)
P维矢量X、Y的汉明距离为[1]：
(7)
由于｜Bsi-Bti｜非0即2故有：
, http://www.100md.com
WAS=P-2dH(Bs,Bt)
同理 WBS=N-2dH(As,At)
(8)
以WAS为例，当dH(Bs,Bt)=P/2时，WAS=0，As对输出没有影响；当dH(Bs,Bt)=0时，WAS=P，As对输出影响最大；当dH(Bs,Bt)=P时，WAS=-P,As对输出亦影响最大，但输出反相。
将图1中T( )加绝对值符号，可以避免输出反相的情况，使联想正确概率提高一倍。
, 百拇医药
当WAD=P时，即输入Bt无噪声，为样本矢量BD，此时，正确联想AD的概率决定于各个样本矢量之间的汉明距离。当各个样本矢量Bs(或As)之间的汉明距离为P/2时，若输入Bt=BD，则WAD=P而其余WAS｜S≠D=0，由式(5)知，正确输出AD的概率为1。但对于P维矢量，若各个样本矢量之间的汉明距离为P/2，其样本容量受到很大限制。增大样本数目，必然会出现样本之间汉明距离小于P/2的情况。此时，式(5)中第二项对正确输出产生干扰。
采取任何增大WAS或(WBS)之间对比度的措施均会使联想正确率提高，如(WBS)2、bWbs形式[2]。但是，无论采取哪种形式，只要式(5)中第二项存在且不为零，随样本数目增大，就可能对正确联想产生干扰。只有将其彻底消除，才能使网络具有最大的抗干扰能力，并且收敛速度最快。
, http://www.100md.com
3 采用侧向抑制竞争输出的BAM
将图1算法结构中的加权求和改为竞争机制，引入ART1中侧向抑制算法[1]。当输入Bt和某个样本BD的汉明距离最近时，将相应权系数WAD置1，而其余竞争失败的权系数WAS｜S≠D置0，正确联想AD的概率为1。当样本矢量为P维，样本间距为D，D
若神经元非线性函数为f，则齐次动态差分方程为：
由B联想A：
a(t+1)i=f{(BD.Bt)*aDi(BD.Bt)
, 百拇医药
=max{(Bs.Bt),S=0,1,…，M-1}}
i=0,1,…，N-1
由A联想B：
b(t+2)j=f{(AD.At+1)*bDj(AD.At+1)
=max{(As.At+1),S=0,1,…，M-1}}
j=0,1,…P-1
(9)
, http://www.100md.com
KOSKO型BAM能够抑制一定程度的噪声，关键在于其算法中的非线性函数f,这样，在逐次迭代过程中，噪声作用不会积累。但是由于算法中没有对加权后的样本矢量作非线性处理(见图1)，而是直接求和，导致噪声在输出中占有一定比例，影响了联想结果，同时减慢了收敛速度。
4 实验结果
采用以下4对标准样本矢量对[1]，进行仿真实验：
A1=[1，-1，1，-1，1，-1，1，-1，1，-1，1，-1]T
A2=[1，1，-1，-1，1，1，-1，-1，1，1，-1，-1]T
A3=[1，1，1，-1，-1，-1，1，1，1，-1，-1，-1]T
, 百拇医药
A4=[1，1，1，1，-1，-1，-1，-1，1，1，1，1]T
B1=[1，1，1，1，-1，-1，-1，-1，1，1]T
B2=[1，1，1，-1，-1，-1，1，1，1，-1]T
B3=[1，1，-1，-1，1，1，-1，-1，1，1]T
B4=[1，-1，1，-1，1，-1，1，-1，1，-1]T
分别采用KOSKO型BAM及本文方法验证算法的抗噪声能力，结果如图2。
, http://www.100md.com
图 2 两种方法在不同噪声时的联想正确率
实验中，由B联想A。样本矢量Bs若干位取反形成含有噪声的输入矢量Bt。噪声位随机选取。样本矢量Bs之间的汉明距离为4～6，当Bt的噪声位数超过3时，SNR已严重超出正常范围。由图2可见，本文方法和KOSKO型BAM相比，在正常的SNR范围内，具有明显的抗噪声能力。
5 结论
KOSKO型BAM本质是一种对样本矢量的加权求和，然后对求和结果进行非线性处理。各个样本矢量的权系数由输入矢量和样本矢量内积确定。当样本矢量之间的汉明距离为矢量长度一半时，正确联想的概率最高。非线性处理是其保证噪声在迭代过程中不会线性积累的关键因素；对标准样本的直接加权求和又是其抗噪声能力差的限制因素。采用侧向抑制的竞争机制可以最大限度地提高联想正确概率。■
参考文献：
, 百拇医药
[1]殷勤业，杨宗凯.模式识别与神经网络.机械工业出版社.1992.
[2]Chuachin Wang.An analysis of high capacity discrete exponential BAM. IEEE Trans.Neural Networks.1995；6(2)
[3]Y.-J.Jeng,et al.Exponential bidirectional associative memory.Electron Lett.1990；26(11):717-718.
[4]H.M.Tai.et al.High-order bidirectional associative memory. Electron Lett.,1989；25.1424-1425.
收稿日期：1998-10-14, http://www.100md.com