深入理解机器学习与监督式学习:神经网络基础与模型训练详解 常州营销推广合作公司招聘
栏目:广告营销 发布时间:2026-01-20
目录 第1章 什么是损失函数 1.1 什么是机器学习 【人工智能-深度学习-8】:神经网络基础知识-机器学习、深度学习模型、模型训练_文火冰堂(王文冰)的博客

目录

第1章 什么是损失函数 1.1 什么是机器学习

【人工智能-深度学习-8】:神经网络基础知识-机器学习、深度学习模型、模型训练_文火冰堂(王文冰)的博客-CSDN博客

1.2 什么是监督机器学习?

百度百科:监督学习(英文: )是机器学习中的一种方法,可以从训练数据中学习或建立一种模式(函数/模型),并根据该模式推断新的实例。

训练数据由输入对象(通常是向量)和预期输出组成。

函数的输出可以是连续值(称为回归分析),也可以预测分类标签(称为分类)。

白话:所谓监督学习,给定的数据集和对应的标准答案,也就是标签。未来让机器从数据集的标准答案中学习。

其中,数据集用{Xi}表示,对应的标签值也称为样本值,期望值用{Yi}表示。

神经网络模型利用当前参数对数据集{Xi}进行运算和预测,得到的输出值为{}。

也就是说,监督室的学习是指有标准答案的学习。

标准答案格式:

注:标签值、样本值、期望值并不是没有任何误差的期望值,而是人工采样值,是表面现象下的参考值,内涵上不一定是正规值。

1.3 什么是损失函数?

监督学习本质上是给定一系列训练样本{Xi},试图学习样本的映射关系{Xi -> Yi},使得给定a,即使这不在训练样本{Xi -> Yi}中,它仍然可以获得其输出值 {} 尽可能接近真实的 {} 输出。

损失函数(Loss)是这个过程中的关键组成部分。用于衡量模型的预测输出{}与样本真实值{Yi}之间的差异,并指示模型的优化方向:对于给定的样本{Xi}具有最小的误差,即预测输出 {} 与样本的真实值 {Yi} 尽可能接近和相似。损失值越小,相似度越高,误差越小。

在实际工程中,由于{}是未知的,因此在监督学习中,将样本标签{Yi}作为样本数据集{Xi}的真实值! ! ! !

由于实际样本数据集不是单个数据,因此损失函数实际上是所有样本误差的平均值,它反映了模型对样本数据集中所有样本的预测映射关系{Xi -> },以及与已知的样本标签。 {Xi -> }整体的相似度,而不是个别样本的相似度! ! ! !

在同一应用场景下,描述相似程度的损失数学函数是不同的。

在不同的应用场景下,描述相似程度的损失数学函数是不同的。

因此,损失函数也多种多样,如均方误差损失、平均绝对误差损失、平均误差损失、huber损失、分位数损失loss、交叉熵损失函数Cross Loss、铰链损失Hinge Loss等。

不同损失函数的基本函数表达、原理和特点都不相同。

因此,损失函数研究的是如何表达两个函数之间相似程度的数学表达式(XY的映射关系称为函数)。

因此,损失函数研究的是:如何表达两个函数之间距离的数学表达式(XY的映射关系称为函数)。

1.4 本文重点讨论:

均方误差损失、平均绝对误差损失、平均误差损失和 huber 损失。

这些损失函数主要用于线性拟合或线性回归,而不是逻辑分类。

评论:

本文也表述为

第 2 章 平均误差损失 (MAE) 2.1 概述

描述两个函数之间的距离最容易想到的是:在相同的 Xi 输入下,两个函数的输出 Yi 之差的绝对值。平均绝对误差损失就是基于这种考虑。

2.2 损失函数的数学表达式

其数学函数表达式为:

平均绝对误差损失也称为 L1 损失。

2.3 损失函数的几何和意义

从上图可以看出:

2.4 特点 第 3 章 平均误差损失(MSE) 3.1 概述 3.2 损失函数的数学表达式

均方误差损失也称为 L2 损失。

3.3 损失函数的几何和意义

(1) 单变量模型

(2)多元函数

从上图可以看出:

3.4 特点第4章MSE和MAE的比较

上图将 MAE 和 MSE 损失绘制到同一张图中。

第 5 章 平滑平均绝对误差 Huber 损失 (SMAE) 5.1 概述

MSE损失收敛快但容易受到影响。

MAE 对更稳健,但收敛速度较慢。

Huber Loss 是结合了 MSE 和 MAE 的损失函数,并利用了两者的优点。它也称为平均误差损失 (SMAE)。

它的原理和规则很简单:

当样本Xi的误差小于1或接近0时,使用MSE计算其误差。

当样本Xi的误差大于1或更大时,使用MAE计算其误差。

SMAE的优点和缺点:

优点是:训练后获得较高的模型精度,训练后的模型与目标的相似度较高。

缺点是牺牲了模型训练时间,模型收敛速度比MSE慢,模型训练时间较长。

同一个函数如何能同时表达上述规则呢?

5.2 SMAE损失函数的数学表达——方法1

(1)数学表达式

(2)几何图形及物理意义

(三)主要优缺点

优点:该方法简单明了。

缺点:规则僵化、不可控、不可调整。损失函数的来源只能根据|Yi-|之间的关系来选择和(Yi-)^2,是否是|Yi-|或 (Yi-)^2。

SMAE没有对上述方法进行采样,而是采用了更灵活的解决方案,如下方法2:

5.2 SMAE损失函数的数学表达——方法2

(1)数学表达式

或表示为:

该方法的特点:

(2)几何图形及物理意义

5.3 特点

使用 MSE 训练神经网络的一个大问题是其梯度持续较大,这可能导致在使用梯度下降训练结束时丢失最小值。对于 MSE,当损失接近最小值时,梯度会减小,从而变得更加准确。

Huber 损失在这种情况下非常有用,因为它围绕递减梯度的最小值弯曲。它对异常值的鲁棒性比 MSE 更强。因此,它结合了MSE和MAE的优异性能。然而,Huber损失的问题是我们可能需要训练超参数delta

,这是一个迭代过程。

作者主页(文火冰堂硅基工坊):文火冰堂(王文兵)的博客_文火冰堂硅基工坊_CSDN博客


# 拼多多网站优化方案  # 更强  # 网站推广服务找哪家  # 工作室网站建设专家  # 精准seo  # 孟州律师网站推广公司  # 广东seo推广源码  # 泰安推广营销运营  # 甘肃网站推广哪家公司好  # 如何执行seo容器策略  # 徐汇抖音seo优化平台  # 多种多样  # 石狮营销推广定制店地址  # 什么网站能引流推广呢  # 怎么找人推广网站链接  # 做|直播|营销推广有用吗  # 网站站内优化  # 建设微信公众号网站  # 石碣企业网站建设价格表  # 网站建设需具备的要素  # 泉山网络营销推广工作  # seo软件优化营销方案  # 而不是  # 深入理解机器学习与监督式学习  # 神经网络基础与模型训练详解  # 的是  # 上图  # 较高  # 博客  # 最小值  # 问题是  # 可以看出  # 越小  # 深入理解机器学习与监督式学习:神经网络基础与模型训练详解  # 都不  # 没有任何  # 是指  # 更大  # 这是一个  # 英文  # 采用了  # 很简单  # 因为它 


相关文章: 微博推广方法有哪些?常见的5个微博推广方法介绍!  天降福利?揭露最新网络刷单骗局的套路,一网友被骗47万!  如何做好网络营销?14种常见的网络营销形式介绍!  在家赚钱的工作有哪些?在家里就做这6个靠谱的网上赚钱项目!  2017淘宝客微信群推广具体流程及操作思路分享 关键词网站排名就选w火20星  知乎引流应该怎么做?有什么需要注意的呢?  护眼合伙人招募计划,自己创业当老板,火速加入!  云淞网络:专注网站等开发,多项指标出色获雇主好评 辽宁网站建设公司推荐  分享10个很火的淘客联盟赚钱渠道,副业搞起来!  2020年适合上班族的三个副业赚钱项目,基本无门槛,快速赚钱!  手机信号满格却打不通?别急!背后原因大揭秘   网站引流渠道有哪些呢?在这些渠道引流效果非常棒!  点击广告赚钱是真实的吗?是不是骗局?  微信朋友圈广告的主要推广方法有哪些?  遇到一些“做任务”的推广你可要小心了,很容易被骗!  建一个企业网站要花多少钱?价格差距大的原因分析 黑帽seo黑酷科技  做国外广告联盟赚钱需要准备什么软件和注意哪些细节?  揭秘利用百度小程序挂广告赚钱的操作玩法,竟然还可以这样玩?  推广赚钱的渠道有哪些?只有这样才能实现一劳永逸的躺赚!  十大实用且有效的网站赚钱常见方法!你知道几个?  有什么靠谱的有收益还不错的在家赚钱副业吗?推荐这五个!  现代职场加班管理难题待解!如何用记录佐证事实? 河源湖南网站建设  怎样选择一个结算及时、不扣量的比较靠谱的广告联盟平台?  开发完app之后,app运营推广应该这么做!  月入3w的推广方法,如何操作?  广告推广赚钱常用的几种常见的引流方式介绍!  教你如何足不出国就能轻松操作国外广告联盟赚取美金!  广告联盟怎么接单赚钱?单子、cpc单子、单子哪个更赚钱?  小红书引流推广教程:精准触达目标群体,引发用户共鸣的利器 云南个人网站建设平台  如何利用广告联盟推广产品广告来赚钱获取收益?  如何使用TikTok编辑视频?这些操作步骤你知道吗? 全国抖音seo哪家好  比较靠谱的9个网上兼职项目,看看你适合做哪个?  app线下预装推广如何做?有哪些优势与不足?  app推广中所说的app买量是什么意思?  点击广告赚钱的任务去哪找?一天能赚多少?  网页优化和网站搜索引擎优化有何区别?  国外的广告联盟有哪些?如何选择适合自己的国外广告联盟?  利用探探每日引流上百女粉,女粉变现月入过万的操作方法思路分享  app推广之在APP Store上该怎么推广?  QQ群里的这个日赚500的赚钱方法,你知道吗?  信息流广告为什么受广告主喜欢?  可以长期去做的五种网络赚钱方法,赶快行动起来!  如何鼓励联盟营销的伙伴来推广我们的商品以及服务?  社群赚钱攻略,你需要注意这四点!  推广之利用微信引流吸粉的四个方法  seo网站关键词优化该怎么做?如何提升网站排名?  微信小店推客业务虽火,但强IP与强私域才是带货关键? seo软件百科  如何利用引流脚本通过广告联盟等渠道收益月入过万?  推广的好好的突然被叫停?可能是这四个原因!  加入百度广告联盟有哪些好处?申请条件有哪些? 


相关栏目: 【 广告资讯90366 】 【 广告推广18483 】 【 广告优化154267 】 【 广告营销46464