神经网络是机器学习的关键组成部分，它使机器能够学习复杂的模式并解决具有挑战性的问题。它受人脑启发，由排列在输入层、隐藏层和输出层中的相互连接的神经元组成，协同工作以处理数据并通过学习不断优化预测结果。
人工神经网络 (ANN)架构描述了神经元及其相互连接的结构化排列，这种结构能够实现有效的数据处理和学习。它由多层组成，信息通过加权连接和非线性激活函数向前流动，从而产生有意义的输出。
- 分层结构： ANN由输入层、一个或多个隐藏层和输出层组成，每一层负责数据转换的特定阶段。
- 相互连接的神经元： 层内的神经元通过权重连接，这些权重决定了它们之间数据流的强度和影响力。
- 隐藏层： 这些层执行中间计算，允许网络从数据中学习复杂的非线性模式。
- 激活函数： 诸如ReLU、Sigmoid和Softmax等函数引入了非线性，使网络能够对复杂关系进行建模。
- 架构选择： 层数、神经元数量和连接模式直接影响准确性、学习速度和整体性能。
1. 单层前馈网络
单层前馈网络是最简单的人工神经网络，其中数据仅从输入流向输出，没有任何隐藏层。其简单的结构使其能够高效地学习和解决线性可分问题。
!111单层前馈网络
- 由输入层组成，通过加权连接将特征直接传递到输出层。
- 输出神经元计算输入的加权和，并应用激活函数来生成预测。
- 模型参数通过反向传播更新，通过最小化输出误差来优化。
这种简单的结构使得单层前馈网络易于理解和实现，但也限制了其建模复杂非线性关系的能力。
2. 多层前馈网络
多层前馈网络通过在输入和输出之间引入一个或多个隐藏层来扩展基本神经网络。这些隐藏层使模型能够捕获复杂的非线性模式，使其在图像识别、语音处理和自然语言理解等实际任务中非常有效。
!222 多层前馈网络
- 接受输入特征，通过多个隐藏层进行处理，并在输出层生成预测。
- 隐藏层利用加权和激活函数将原始输入转换为更高层的表示。
- 模型学习通过反向传播实现，其中根据输出误差迭代更新权重。
3. 竞争网络
竞争网络是一种人工神经网络，其结构类似于单层前馈网络，但在学习行为和神经元交互方面有所不同。在此网络中，输出神经元相互连接，并相互竞争以响应给定的输入，从而实现无监督学习和自动模式发现。
!3竞争网络
- 输出神经元通过侧抑制连接进行竞争，仅允许激活度最高的神经元（或一小群神经元）对给定输入胜出。
- 学习是无监督的，通常遵循“胜者通吃”或“胜者得大头”的策略，这使得网络在聚类和原型学习方面非常有效。
- 获胜的神经元更新其权重，使其更类似于输入模式，帮助网络随着时间推移将输入组织成不同的簇。
对于输入向量 x，每个输出神经元使用距离或相似性度量来计算其激活度。选择激活度最高的神经元，而其他神经元则通过抑制连接被抑制。只有选定的神经元或其邻域内的神经元会更新权重，逐渐形成簇代表。