maximum-likelihood
测试，日后再补
相关推荐
2025-06-07
Gradient Descent
梯度下降（Gradient Descent）是机器学习和深度学习中广泛使用的一种优化算法，可以类比于单变量函数中的牛顿法（切线近似） 基本概念在数学中，梯度是一个向量，它的方向指向函数增长最快的方向，而其反方向则是函数下降最快的方向。梯度下降算法的核心思想就是沿着目标函数的梯度反方向，逐步更新模型的参数，以达到最小化目标函数的目的。 想象你在一座大山上，目标是找到山的最低点（即目标函数的最小值）。梯度下降就像是你每次都朝着最陡峭向下（即梯度反方向）的路径走一步，通过不断地重复这个过程，逐渐接近山底。 数学原理假设我们有一个目标函数 $J(\theta)$，其中 $\theta$ 是模型的参数向量（例如在线性回归中，$\theta$ 包含了权重和偏置）。梯度下降的参数更新公式为： $$\theta_{i} = \theta_{i} - \alpha \frac{\partial J(\theta)}{\partial \theta_{i}} $$ 其中，$\theta_{i}$ 是参数向量 $\theta$ 的第 $i$ 个分量，$\frac{\partial...
2025-06-07
YOLOv2框架解析
~~测试测试 例会讲义， 摘自《YOLO目标检测》 overview 使用新的网络结构 引入由 Faster R-CNN 工作提出的先验框机制 提出基于k均值聚类算法的先验框聚类算法 采用新的边界框回归方法 ………… ~ 优化详解 引入批量归一化(BN)层关于BN ,参考：[[Batch Normalization Layer]] ‘’卷积三件套‘’ 高分辨率主干网络预备知识：预训练（pretrain），微调（fine-tune） v1中：先基于GoogLeNet的网络结构设计了合适的主干网络，并将其放到ImageNet数据集上进行一次预训练，随后，再将这一预训练的权重作为YOLOv1的主干网络的初始参数 问题：ImageNet 中 图像大小为 $224 \times 224$， 而训练的 voc 中大小为 $448 \times 448$ 也就是原来的预训练后的参数不太好，会忽略很多细节特征 解决方案： 微调： 二次预训练 ，再使用 $448\times448$ 稍微训练几次 不过，后来被时代抛弃了，...
2025-06-06
YOLOv1原理解析
例会讲义， 摘自《YOLO目标检测》 Network Structureoverview 逻辑：仅使用一个卷积神经网络来端到端地检测目标（not two-stage） 遗风：图像分类网络都会将特征图展平(flatten)，得到一个一维特征向量，然后连接全连接层去做预测。（如图） 容易计算从特征图被展平，再到连接4096的全连接层时过程的参数量：$$7×7×1024×4096 + 4096 \approx 2×10^{8}$$ YOLOv1这一缺陷是致命的（后续的改进便是优化该层网络结构） how to realize detection综述：将输入图像划分成$7\times 7$的网格，然后在网格上做预测。（DL works on CV because of CNN） 概览YOLO 一张RGB图像输入网络经过一系列的卷积和池化操作后，得到一个经过64倍降采样的 $feature\space map$ （获取高级特征） 将其展平为一个一维的特征向量，再由若干全连接层处理，最后做一些必要的维度转换操作，得到输出张量 $Y \in...
2025-06-02
Validation Set
定义验证集是从原始训练数据中划分出来的一部分数据，它与训练集和测试集不同，主要用于模型训练过程中调整模型的超参数，以及对模型的性能进行初步评估，以避免模型过拟合，提高模型的泛化能力。 作用 调整超参数：超参数是在模型训练之前需要手动设置的参数，如学习率、层数、神经元数量、正则化参数等。通过在验证集上评估不同超参数组合下模型的性能，可以找到最优的超参数设置，使模型在测试集或实际应用中表现更好。例如，在训练多层感知机时，通过在验证集上比较不同学习率下模型的损失值和准确率，选择使得验证集准确率最高的学习率作为最终的学习率。 防止过拟合：过拟合是指模型在训练集上表现很好，但在新的数据（测试集或实际应用中的数据）上表现不佳的现象。在训练过程中，使用验证集可以监控模型的性能变化。如果发现模型在训练集上的损失不断下降，而在验证集上的损失开始上升，准确率开始下降，这可能是模型开始过拟合的信号。此时，可以采取一些措施，如提前停止训练、增加正则化项、减少模型复杂度等，以防止模型过拟合。 划分方式 留出法：直接将原始数据集按照一定的比例划分为训练集、验证集和测试集。通常情况下，训练集占比 60%...
