博客
关于我
机器学习(四)--------逻辑回归(Logistic Regression)
阅读量:460 次
发布时间:2019-03-06

本文共 870 字,大约阅读时间需要 2 分钟。

 

 

 

逻辑回归(Logistic Regression)

线性回归用来预测,逻辑回归用来分类。

线性回归是拟合函数,逻辑回归是预测函数

 

逻辑回归就是分类、

分类问题用线性方程是不行的   线性方程拟合的是连续的值     

逻辑回归是分类问题   比如肿瘤问题    只有 0 ,1 两种情况

逻辑回归的方程写成     

X是特征向量   theta是参数向量    theta转置乘以特征向量 就是参数与特征相乘

g代表逻辑函数     一个常用的s型逻辑函数就是 :

 

图为:

 

python代码为:

 

的意义呢     因为结果是 0 1  所以他的意义其实是为1的概率

 

 

决策边界decision boundary

比如说模型是这样的

g还是和上边一样  0 1  逻辑回归都用这个

 

我需要做的就是用一条线把他们分开   这条线可能是直线  也可能是更复杂的线

数𝜃 是向量[-3 1 1]。 则当−3 + 𝑥1 + 𝑥2 ≥ 0,即𝑥1 + 𝑥2 ≥ 3时,模型将预测 𝑦 =

1,那么这条线就是𝑥1 + 𝑥2 = 3

 

还有更复杂的场景:

 

 

ℎ𝜃

(𝑥) = 𝑔(𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2 + 𝜃3𝑥1

2 + 𝜃4𝑥2
2
)是[-1 0 0 1 1],则我们得到的判定边界恰好是圆
点在原点且半径为 1 的圆形

 

代价函数:的逻辑回归模型的拟合问题

 对于线性回归模型,我们定义的代价函数是所有模型误差的平方和。理论上来说,我们

也可以对逻辑回归模型沿用这个定义,但是问题在于,当我们将ℎ𝜃
(𝑥) =
1
1+𝑒
−𝜃𝑇
𝑋
带入到这样
定义了的代价函数中时,我们得到的代价函数将是一个非凸函数(non-convexfunction)

 

除了梯度下降,还有其他一些算法共轭梯度(Conjugate Gradient),局部优化法(Broydenfletcher goldfarb shann,BFGS)和有限内存局部优化法(LBFGS)。

也可能用特征缩放来进行优化。还有其他的一些优化方法。

 

 

多类别的分类问题

 

这种情况要定义正向类,负向类,进行多次决策。

 

转载地址:http://asrfz.baihongyu.com/

你可能感兴趣的文章
mysql5.7示例数据库_Linux MySQL5.7多实例数据库配置
查看>>
Mysql8 数据库安装及主从配置 | Spring Cloud 2
查看>>
mysql8 配置文件配置group 问题 sql语句group不能使用报错解决 mysql8.X版本的my.cnf配置文件 my.cnf文件 能够使用的my.cnf配置文件
查看>>
MySQL8.0.29启动报错Different lower_case_table_names settings for server (‘0‘) and data dictionary (‘1‘)
查看>>
MYSQL8.0以上忘记root密码
查看>>
Mysql8.0以上重置初始密码的方法
查看>>
mysql8.0新特性-自增变量的持久化
查看>>
Mysql8.0注意url变更写法
查看>>
Mysql8.0的特性
查看>>
MySQL8修改密码报错ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
查看>>
MySQL8修改密码的方法
查看>>
Mysql8在Centos上安装后忘记root密码如何重新设置
查看>>
Mysql8在Windows上离线安装时忘记root密码
查看>>
MySQL8找不到my.ini配置文件以及报sql_mode=only_full_group_by解决方案
查看>>
mysql8的安装与卸载
查看>>
MySQL8,体验不一样的安装方式!
查看>>
MySQL: Host '127.0.0.1' is not allowed to connect to this MySQL server
查看>>
Mysql: 对换(替换)两条记录的同一个字段值
查看>>
mysql:Can‘t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock‘解决方法
查看>>
MYSQL:基础——3N范式的表结构设计
查看>>