LuoTeng's Blog

每一个不曾起舞的日子都是对生命的辜负


  • 首页

  • 标签

  • 分类

  • 归档

朴素贝叶斯 Naive Bayes 分类算法

发表于 2018-12-23 | 分类于 机器学习 , 算法
先验概率与后验概率先验概率先验概率(Prior probability)在维基百科中定义如下: In Bayesian statistical inference, a prior probability distribution, often simply called the prior, of an uncertain quantity is the probability distribution that would express one’s beliefs about this quantity before some evidence is taken into accoun ...
阅读全文 »

隐马尔科夫模型

发表于 2018-12-20 | 分类于 机器学习 , 概率图模型

隐马尔科夫模型定义

隐马尔可夫模型 (hidden Markov model,HMM) 是关于 时序 的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列,称为状态序列 (state sequence);每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列 (observation sequence)。序列的每一个位置又可以看作是一个时刻。

隐马尔科夫模型的数学表达

设 $ Q $ 是所有可能的状态的集合,$ V $ 是所有可能的观测的集合。

$$ Q=\lbrace q_1,q_2,\cdots,q_N \rbrace, V=\lbrace v_1,v_2,\cdots,v_M\rbrace $$

其中,$ N $ 是可能的状态数,$ M $ 是可能的观测数。状态 $ q $ 是不可见的,观测 $ v $ 是可见的。

$I$ 是长度为 $T$ 的状态序列,$O$ 是对应的观测序列。

$$ I=\lbrace i_1,i_2,\cdots,i_T\rbrace,O=\lbrace o_1,o_2,\cdots,o_T\rbrace $$

$A$ 为状态转移概率矩阵:

$$ A = \begin{bmatrix} a_{ij} \end{bmatrix}_{N \times N} $$

其中:

$ a_{ij} = P(i_{t+1}=q_j|i_t=q_i),i=1,2,\cdots,N;j=1,2,\cdots,N $ 是在时刻 $t$ 处于状态 $q_i$ 的条件下在时刻 $t$+1 转移到状态 $q_j$ 的概率。

B是观测概率矩阵:

$$ B = \begin{bmatrix} b_j(k) \end{bmatrix}_{N \times M} $$

其中,

$ b_j(k)=P(o_t=v_k|i_t=q_j),k=1,2,\cdots,M;j=1,2,\cdots,N $ 是在时刻t处于状态 $q_j$ 的条件下生成观测 $v_k$ 的概率(也就是所谓的“发射概率”),在其它资料中,常见到的生成概率与发射概率其实是一个概念。

$\pi$ 是初始状态概率向量:$\pi=(\pi_i)$

其中,$ \pi_i=P(i_1=q_i),i=1,2,\cdots,N $ 是 $t$=1时刻处于状态 $q_i$ 的概率。

隐马尔可夫模型由初始状态概率向量 $π$、状态转移概率矩阵 $A$ 和观测概率矩阵 $B$ 决定。$π$ 和 $A$ 决定状态序列,$B$ 决定观测序列。因此,隐马尔可夫模型可以用三元符号表示,即

$$ \lambda=(A,B,\pi) $$

$A,B,\pi$ 称为隐马尔可夫模型的三要素。如果加上一个具体的状态集合 $Q$ 和观测序列 $V$,构成了 HMM 的五元组,这也是隐马尔科夫模型的所有组成部分。

阅读全文 »

EM算法

发表于 2018-12-20 | 分类于 机器学习 , 算法
从极大似然说起问题描述假设我们需要调查我们学校学生的身高分布。我们先假设学校所有学生的身高服从正态分布 $N\left(\mu, \sigma^{2}\right)$ 。(注意:极大似然估计的前提一定是要假设数据总体的分布,如果不知道数据分布,是无法使用极大似然估计的),这个分布的均值 $\mu$ 和方差 $\sigma^{2}$ 未知,如果我们估计出这两个参数,那我们就得到了结果。那么怎样估计这两个参数呢? 学校的学生这么多,我们不可能挨个统计吧?这时候我们需要用到概率统计的思想,也就是抽样,根据样本估算总体。我们可以先对学生进行抽样。假设我们随机抽到了 200 个人(也就是 200 个身高 ...
阅读全文 »

SYN flood 攻击及 SYN cookie 原理分析

发表于 2018-12-17 | 分类于 计算机网络 , 实验
实验简介 最近在学习《计算机网络系统与方法》这本书,课程布置了一个网络攻击的作业 SYN Flooding Attack ,本文就本次实验做一个完整的实验报告及总结。 SEED简介SEED:计算机安全教育的教学实验平台,纽约雪城大学 杜文亮 (Du, Wenliang) 教授设计和实现,从2002年开始得到NSF 1.2M$的资助。 官方地址:http://www.cis.syr.edu/~wedu/seed/ SEED 内容包含一下几类: 本次实验为 Network Security Labs 中的 TCP/IP Attack Lab。 配置环境 操作系统:Windows10 虚拟机操作系 ...
阅读全文 »

Linux 上配置 jupyter notebook

发表于 2018-12-12 | 分类于 配置
进入python环境,获取秘钥我用的 Linux 版本为 CentOS7,感觉配置 jypyter notebook 在其他 Linux 版本都大同小异。 首先,在 Linux 环境下要安装有 python-3.x 版本,输入 python 进入编程环境后,输入命令 from notebook.auth import passwd 如下: 12345678Python 3.6.3 |Anaconda, Inc.| (default, Oct 13 2017, 12:02:49)[GCC 7.2.0] on linuxType "help", "copyright& ...
阅读全文 »

配置 CentOS7 GPU 环境

发表于 2018-12-12 | 分类于 配置

00_title

基本配置

  1. 先装wget

    1
    yum -y install wget
  2. 新建自己的文件夹

    1
    mkdir sunyan
阅读全文 »

GitHub + Hexo 从零开始搭建个人博客

发表于 2018-12-09 | 分类于 工具
前言使用 GitHub Pages 服务搭建博客的好处有: 全是静态文件,访问速度快; 免费方便,不用花钱就可以搭建个人博客,不需要服务器不需要后台; 可以随意绑定自己的域名; 数据绝对安全,基于 GitHub 的版本管理,想恢复到哪个历史版本都行; 博客内容可以轻松打包、转移、发布到其它平台; 自己可以随性所欲的设计,美观大气上档次; 准备工作 有一个 GitHub 账号,没有的话去注册一个; 安装了 node.js、npm,并了解相关基础知识; 安装了 git for windows(或者其它 git 客户端); 注册GitHub账号进入GitHub官网,新用户注册,一定记住注册的账 ...
阅读全文 »

Hello World

发表于 2018-12-08
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick StartCreate a new post1$ hexo new "My New Post" More info: Writing Run server1$ hexo server More in ...
阅读全文 »
1…56

Luo Teng

58 日志
18 分类
74 标签
GitHub 知乎
Links
  • mamaxu
  • sunyan
© 2020 Luo Teng
由 Hexo 强力驱动
|
主题 — NexT.Gemini v5.1.4