数字图像处理

绪论

概念

• 图像：二维函数f(x, y)
  • x与y为位置坐标，该函数为某点处的值，与强度或者灰度相关
  • 灰度图像是一个二维灰度函数
  • 彩色图像是三个二维灰度（或者亮度）函数
• 数字图像：连续图像f(x, y)离散化之后的结果
  • 数字图像由有限数量的元素组成，每个元素都有一个特定位置和幅值
  • 二维阵列的每个元素被称为pixel或者pel
  • 定义域、值域都是有限、离散的数值
    • 灰度图像：f(x, y)∈[0, 255]，x, y∈N
• 数字图像处理：借助计算机来处理数字图像（data+algorithm）
  • 三个层次：低级、中级、高级
    • 越往上，算法越复杂，数据量越小

历史

• 人类解译
  • 注意：只有数字计算机发展之后，才有数字图像处理的概念
• 机器感知
  • 特点
    • 以更适合计算机处理的形式从图像中提取信息
    • 多维距离测度
    • 傅里叶变换系数
    • 统计矩
  • 典型应用

应用领域

• 图像获取
  • 人类视觉感知：EM的可见光波段
  • 机器感知
    • EM整个波段
    • 电子显微镜
    • 超声波
    • 计算成像
• 根据图像源的分类（不同波长）

基本步骤

• 两个类别
  • 输入输出都为图像
  • 输入为图像，输出为从图像中提取的属性

• 数据流
  • 图像获取+预处理→图像分割+特征提取→目标识别+视觉计算

数字图像基础

人眼成像模型

• 透视投影模型：
  

图像感知与获取

• 成像传感器原理：将传感器响应数字化，光电转换，A/D转换
• 影响因素：时间、能量
• 组合输入电能与传感器对正被检测能量类型的响应

单个成像传感器

• 精度高、慢
• 由机械装置携带单个传感器，在x、y轴位移；与激光器、平面反射镜等组合，有具体的实现形式

条带成像传感器

• 线阵扫描
• 医学成像等高动态成像

阵列成像传感器

• 响应正比于传感器上能量的积分，有去噪的能力
• 直接对光源成像

成像模型

• f(x, y) = i(x, y)r(x, y)

  • 其中，i(x, y)为入射函数，r(x, y)为反射/透射/开关函数

• 物理含义：传感器单元接收到的能量值

• 灰度级范围：
  
  可以归一化，则最终为[0,1]

  出于存储考虑，灰度取2的整数次幂。离散的灰度是等间隔的[0, L - 1]的整数

图像取样与量化（重点）

• 取样：对图像的坐标进行数字化

• 量化：对图像的幅度值进行数字化

  • 从连续图像的顶部开始，逐行取样与量化，生成一幅二维图像
  • 空间域：由图像坐标张成的平面，x与y称为空间变量/空间坐标（一定是整数！）

• 数字图像表现方式

  1. 三维可视化图形
  2. 二维灰度图像阵列
  3. 二维矩阵阵列
     • 该值并不一定为灰度值
     • 教材与opencv中为右手笛卡尔坐标系，x为行（向下为正），y为列（向右为正）
     • 图像中心向下取整

• 对数字图像三要素的限制：

  • 取样：将xy平面分为网格，每个单元的中心坐标为整数集合
  • 量化：本质为对坐标为(x, y)的元素赋值

• 动态范围、对比度

  • 动态范围：最大与最小可检测灰度之比。上限取决于饱和度，下限取决于噪声（也会出现在较亮的灰度中）
  • 对比度：一幅图像中最高与最低灰度之间的的灰度差
  • 动态范围↑，对比度↑
    • 此部分内容与第三章直方图部分相关联

• 空间分辨率：图像中可区分最小细节的度量

  • 线对数：单位距离内可分辨的最大线对数
    • PPI：电子显示设备
    • DPI：单位距离的点数，用于打印设备
  • 图像好坏要与空间单位声明关联，图像大小本身并不含有空间分辨率信息

• 灰度分辨率：灰度级中可分辨的最小变化

  • 量化灰度时用的比特数描述
  • 灰度级越多，可区分的图像细节越精细。一般灰度级数是2的整次幂
  • 灰度可分辨变化影响因素：噪声、饱和度值、人类感知
  • 伪轮廓：平滑区域灰度级不够产生
    • 通常在16个灰度级以下显示的图像中产生

• 改变空间分辨率与灰度分辨率对图像质量的影响

  • 细节越少，等偏爱曲线向右上方移动
  • 细节↑，曲线垂直，灰度级↓

• 图像插值：

  • 在诸如放大、缩小、旋转和几何校正的过程中，采用重取样，计算非整数坐标位置像素点的对应值（灰度，梯度等），用已知数据估计未知位置的数据

  • 最近邻插值（邻1像素）

    • 计算量小，但会造成图像灰度不连续，在灰度变化的地方可能出现明显的锯齿状

  • 双线性插值（邻4像素）

    • 灰度
      
      其中a到d可以由(x, y)的四个最近邻点求出

  • 双三次插值（邻16像素）

    • 用矩形网络中最近16个采样点加权平均得到，使用两个多项式插值三次函数（具体使用卷积实现）

像素间的基本关系（重点）

• 邻域

  • p相邻像素的图像位置集合称为p的邻域。如果包含p则为闭邻域，不含p则为开邻域

  • 4-邻域，D-邻域，8-邻域

    

• 邻接：两个图像位置相邻+灰度值满足相似性

  • 判断灰度值相似的时候，会定义一个灰度值集合V（0到255中的子集）

  • 4-邻接（位置在4-邻域），8-邻接（位置在8-邻域），m-邻接（混合邻接）

    • m-邻接：用于消除8-邻接产生的二义性
      1. 4-邻域
      2. D-邻域，且这种方式相邻的两元素的4-邻域内没有共同元素

• 通路：两两互相邻接的像素组成的坐标序列

  • 通路长度：不是几何长度！是通路中点的个数
  • 闭合通路：第一个点坐标等于最后一个点坐标
  • 4通路、8通路、m通路

• 连通：p与q之间存在一个完全由S中像素组成的通路

  • 连通分量：对于S中任何像素p，在S中连通到p的像素集称为S的连通分量

  • 连通集：若S只有一个连通分量，则S称为连通集

  • R属于I，若R是一个连通集，则称R为图像的一个区域

    • 必须指定邻接类型

    • 两个区域联合形成连通集时为邻接区域，不邻接的区域称为不相交区域

    • 为图像中K个不相交区域，为的并集（前景），为补集（背景）。

  • 边界（轮廓）：R和R的补集中像素相邻的一组像素

    • 内边界：至少有一个背景邻点的像素集（必须指定邻接类型，通常指定为8连通）

    • 外边界：依据背景定义的边界，确保边界是闭合通路

    • 图像的边界：图像第一行、第一列与最后一行、最后一列的像素集

    • 边缘：因为导数超过某个预设阈值的像素而形成，是局部的概念

  • 距离

    • 满足以下条件：

      
      距离总是正的，与起终点无关；两像素最短距离沿直线

    • 距离度量：

      1. 欧几里得距离（模2）：
         
         到点(x, y)的距离小于等于r的像素，是中心在(x, y)， 半径为r的圆盘

      2. 城市街区距离（模1）
         

      3. 棋盘距离（模∞）
         
         与可能存在于这些点之间的通路无关，仅涉及点的坐标。

      4. ：m-邻接的情况下，两点之间的距离定义为两点之间的最短通路

数字图像处理所用数学知识

• 阵列和矩阵操作

  • 阵列乘操作：
    

  • 矩阵乘操作

• 线性与非线性操作

  • 线性操作：
    1. 加性条件：对应加法
    2. 同质性条件：对应乘法

• 算数操作

  • 图像间的算数操作是阵列操作。在f与g中相应像素对之间执行操作。
  • 算数平均降低噪声
  • 使用图像相乘、相除校正阴影

• 空间操作

  • 单像素操作：以灰度为基础改变单个像素的值
  • 邻域操作

直方图处理

背景

• 空间域增强：根据变换函数改变输入图像像素的灰度值。（一种操作就是一种算子）
  • ROI：以为中心，包含该点及其邻域像素在内的小区域
  • 空间滤波：邻域的中心从图像左上角开始，一个像素到另一个像素移动，在每个像素位置执行预定义操作
  • 空间滤波器：邻域与预定义的操作
    • 掩膜：spatial mask
    • 核：kernel
    • 模板：template
    • 窗口：window
• 点运算——灰度变换：根据一些变换函数（不关心像素的邻域）改变像素的灰度值
  • 输出灰度值依赖：输入灰度值f(x,y)与变换函数T
  • 不依赖：像素位置（Homogeneous Point Operation）(x,y)与邻域像素的灰度值
  • 典型的灰度变换
    • Addition（改变亮度）：g(x,y)=f(x,y)+k
    • Multiplication（拉伸或压缩对比度）：g(x,y)=f(x,y)×k
    • 实函数（如Gamma校正）：等
    • 全局阈值化处理
  • Clamping——灰度值调整
    • 处理结果超出可显示灰度值之外的像素
    • clamp(force)所有
  • 群运算

基本灰度变换

• 线性、对数、指数

1. 图像反转
2. 对数变换
3. 指数变换
4. 分段线性变换
   • 对比度拉伸

直方图处理（重点）

• 直方图只有发生次数的统计信息，没有关联像素的位置

  • 归一化直方图：PDF

• 基于直方图计算：由其计算均值、方差、n阶矩

• 基于灰度计算：计算均值、方差

直方图均衡化

• 直方图PDF为常数的时候对比度最好；已知输入和输出PDF，令CDF作为变换T(r)。

  • 直方图是PDF的近似，因此很少在均衡化后出现完全平坦的直方图

• 具体步骤：

  • 求
  • 求
  • 求
  • 利用与s的对应行画出

• 标准差：与对比度相关

局部均值和方差

• 邻域方差与均值的含义：

• 无法用模型描述的情况，可以考虑转向深度学习

空间滤波基础（重要）

• 滤波：频域处理，指接收、改变、拒绝特定频率分量

• 空间滤波器：又称空间掩膜、核、模板或者窗口，直接作用于图像本身叶可以完成频率

• 滤波器构成

  • 规定一个邻域
  • 对邻域覆盖的图像像素执行预定义操作，由滤波器系数决定

• 空间滤波（滑动、乘积、求和）

  • 滤波产生新像素，坐标为邻域中心对应输入图像的坐标；像素的值为滤波操作的结果
    • 平滑滤波后所有的系数之和为1：为了不改变图像的灰度范围
    • 润滑滤波：
  • 线性操作：线性滤波器；反之为非线性滤波器
  • 在实践时，因为有二维循环，硬件条件可能不满足快速解算

• 空间滤波机理——图像边界处理

  • 处理具体边界时，需要与具体的需求联系起来
    1. 直接复制相邻元素
    2. 镜像填充1
    3. 镜像填充2（认为图像是首尾相接的，因此没有覆盖的卷积核的一部分是覆盖到了图像下面的部分）
    4. 几何变换
    5. 当作常数

• 空间相关和卷积

  • 相关：在图像上移动滤波器中心，并计算每个位置乘积和
    • 得到滤波器的翻转版本
  • 卷积：与相关的机理相似，但滤波器首先要旋转180°
    • 得到滤波器本身
    • 在滤波器关于其中心对称的情况下，卷积与相关的计算结果相同

• 空间域与频域滤波的对应

  1. 卷积是空间域滤波的基础，等效于频域中的乘法
  2. 空间域中振幅为A的冲激，是频域中值为A的一个常数。反之亦然
  • 周期信号，或是曲线下面的面积是有限的非周期信号：可以表示为不同频率与振幅的正弦波之和
  • 将某些频段与图像特征关联
    • 强度缓慢变化的图像区域的特征在低频正弦波
    • 边缘和其他尖锐的强度突变以高频为特征
    • 减少图像的高频分量将趋于使其模糊
      • 能量：低频；信息：高频
    • 先高频强调滤波，再直方图均衡化

• 空间滤波器模板的产生

  1. 基于数学知识设计滤波器
     1. 基于积分的滤波器模糊图像
     2. 基于微分的滤波器锐化图像
  2. 对具有期望形状的连续二维函数进行离散取样
     • 高斯函数离散化构建加权均值滤波
     • 根据频域内指定的二维滤波器F逆变换
  3. 设计具有指定频率响应的空间滤波器
     1. 利用滤波器设计软件，设计出一维，然后合成二维
  4. 典型线性滤波器
     1. 平滑
        1. box
        2. Gaussian
     2. 锐化
        1. Laplacian

平滑（低通）空间滤波器

• 性质

  • 空间线性滤波主要是滤波器与图像的卷积，平滑滤波器与图像的卷积模糊了图像，模糊程度由滤波器的大小与系数决定

    • 大多数时候不用于消除噪声

  • 低通滤波器派生锐化滤波器、带通滤波器、带阻滤波器

  • 负面效应：平滑滤波器降低了图像中噪声，模糊了图像中的边缘

    • 线性滤波器模糊图像所有的图像结构，降低图像质量

  • 盒状滤波器：最简单的可分离低通滤波器

  • 高斯低通滤波器（实验7——使用低通滤波实现阴影校正）

    • 图像相除实现阴影矫正

• 统计排序（非线性）滤波器

  • 步骤：首先明白想滤去的噪声属于某一类，然后再选择对应的方法
  • 噪声类型：
    • 椒盐噪声
    • 高斯噪声（加性）
    • 散斑噪声（乘性）
    • 周期噪声
  • 滤波器：
    • 中值滤波器：用像素邻域中灰度的中值代替该像素的值。用于消除噪声，保持结构信息
    • 最大值滤波器
    • 最小值滤波器

锐化空间滤波器

• 基于一阶微分与二阶微分的锐化滤波器
  • 一阶微分：
    • 恒定灰度区域中必须为0
    • 在灰度台阶或者斜坡的开始点必须不为0
    • 沿着灰度斜坡区间必须不为0
  • 二阶微分：
    • 恒定灰度区域中必须为0
    • 在灰度台阶或者斜坡的开始点和结束点必须不为0
    • 沿着灰度斜坡区间必须为0
    • 各向同性微分算子（基于90°的步长去旋转的话，与旋转无关）：拉普拉斯算子
      • 在拉氏滤波之后，与原图叠加

钝化掩蔽与提升滤波

• 非锐化掩膜处理定义：
  • 一幅图像减去对应的拉普拉斯图像就等同于对该图像进行非锐化模板处理

组合空间增强

频域滤波

傅里叶变换基础

• 一维傅里叶变换
  • 正变换（可分性）
  • 逆变换（可加性）
  • 离散傅里叶变换对
  • 傅里叶变换：重要的数学工具，利用傅里叶级数展开中的有限项直和你和（重建）任何函数
    • 主要参数：振幅、频率、相位、方向
• 台阶函数
  • 不同频率的信号是相互独立的
  • 低频：决定目标信号的整体形状，幅值大；高频：锐化边缘，提供细节，幅值小
    • 平滑：把高频信号消除，保留低频信号
    • 锐化：消除低频，保留高频，细节增强

二维离散傅里叶变换

• 正变换（可分性）：频率矩阵（复数）
• 逆变换（可加性）：图像矩阵（实数）
• 二维离散傅里叶变换对
  • 并不是一一对应的关系，F(u,v)对应的是所有的f(x,y)与的乘积的和
• 典型图像与傅里叶变换
  • 频谱图像中的每一个点，可以理解为在描述一种平面波
  • 频谱图像中每一个点：
    1. 到原点的距离描述的是频率
    2. 原点到它的方向是平面波的方向
    3. 那一点的灰度值是幅值

二维离散傅里叶变换性质

• 空间与频率间隔的关系：倒数

• 平移

• 频谱中心化

  • F(u,v)的原点平移到频率坐标(M/2,N/2)，即二维DFT在M×N的区域的中心
  • 频率矩形：定义在频率范围u[0, M - 1]，v[0, N - 1]的矩形

• F(0,0)：谱的最大分量，变换的直流分量

  • 如果把零频率的挖掉，则图像亮度马上显著降低

• 矩形函数的频谱-平移

  • 旋转：跟随变化

• 相角阵列

  • 相位：各个正弦分量关于原点的位移的测度
  • DFT相位：一个角度阵列，携带较多的关于图像中可识别目标的位置信息
    • DFT的直流项，图像大小为，为像素的平均值

卷积定理

• 二维离散卷积定理：0填充解决缠绕误差

使用频域滤波器平滑图像

使用频域滤波器锐化图像

选择性滤波

• 理想带阻滤波器（IBRF）
  • 由理想低通滤波与理想高通滤波构建
  • 基本要求：
    • 传递函数值域：[0,1]
    • 距离频谱原点值为0
    • 频率范围具有规定宽度W
      • 要求：与W可控
• 高斯带阻滤波器（GBRF）：低通+高通
  • 不同截止频率的高斯低通与高斯高通滤波器求和形成的带阻滤波器：
    • 不能控制宽度W
    • 处H(u,v)值非0
    • 无法求低通高斯函数与高通高斯函数交点处的解析解，只能试错
  • 修改高通滤波器：
    • 将零点H(u,v)=0从D(u,v)=0变成D(u,v)=：不满足在零频率的地方为1，其他都满足
    • 继续修改。让D(u,v)=0时指数无限，基本高斯形状得到保留，并且满足前面提出的三个要求
• 巴特沃斯滤波器（BBRF）
• 使用带阻滤波器消除周期噪声
  • 图像傅里叶变换后，零点附近最亮（低频直流成分最多）
  • 原理：将滤波器与原频谱相乘，消除噪声造成的亮点，限制为圆形
• 陷波滤波器
  • 零相移滤波器必须关于原点对称，陷波滤波器成对出现，形状可以是任意的
  • 陷波带阻滤波器：用中心被平移到陷波滤波器的中心的高通滤波器的乘积构建

形态学图像处理

• 输入是图像，输出是图像中提取的属性

预备知识

• 目标元素与结构元
  • 目标（Objects）：前景像素集合
  • 结构元（SE）：根据背景与前景像素确定，基本形态学运算中的形状模板，可具有任何形状，大小不限，每个结构元有原点
    • 结构元用法类似空间卷积，形态学图像处理要求将集合嵌入到矩形阵列，目标集合需要添加至少一个背景元素
• 在图像与结构元之间执行形态学运算
  1. 形成一幅大小与I相同的新图像，最初只包含背景值
  2. 在图像I的上方平移（滑动）B
  3. 每平移一个增量，若B完全包含于I，则将B的原点位置标记为新图像中的一个前景像素；否则则为一个背景点

腐蚀

• 作用：
  • 将小于结构元的图像细节消除
  • 消除物体边界点：将小于结构元素的物体去除，选取不同大小的结构元素，可以在原图像中去掉不同大小的物体
  • 两个物体中有细小连通，如果结构元素足够大，可以通过腐蚀运算将两个物体分开

膨胀

• 定义：平移结构元的原点位置组成的集合，反射结构元平移后与目标集合的交集不为空
  • 运算类似卷积：结构元先镜像翻转，后平滑。但卷积是线性算子，膨胀是非线性算子
  • 操作时注意：在处理的时候需要新拷贝一份图像，不能在原处理的基础上继续膨胀
• 对偶性：可以通过腐蚀的方法来实现膨胀的效果，反之亦然
  • 注意：膨胀与腐蚀并不是完全可逆的。只有中心对称物体完全可逆

开运算与闭运算

• 开运算：先腐蚀后膨胀，两者用同样的结构元（球在内部滚）
  • 为平移后的结构元组成的集合
  • 平滑目标的轮廓，断开了细的连接部分，去掉了细的突出
• 闭运算：先膨胀后腐蚀，两者用同样的结构元（球在外部滚）
  • 平滑物体的轮廓，填满比结构元小的缝隙

击中-击不中变换（HMT）

• 形状检测，从包含多个形状的图像中，找到特定形状的位置，类似模板匹配
• 用两个结构元与同时平移z，在前景中找到了匹配项，在背景中找到了匹配项，两者取交集
• 击中-击不中变换可以在结构元边缘定义，重新定义的结构元中一定包含背景元素，并且原点可定义为前景元素

图像分割

基础知识

• 令R表示一幅图像占据的整个空间区域，将图像分割视作将R分作n个子区域的过程。满足以下条件：
  • 分割是完备的
  • 不同的区域是一个连通集
  • 对所有的i跟j，i≠j，交集为空
  • 灰度相似性
  • 邻接区域有共同的边界像素
• 两类特性：不连续性与相似性

点、线与边缘检测

• 用微分来检测灰度的突变
• 通过Taylor级数来获取一阶微分近似
  • 前向差分
  • 后向差分
  • 中间差分
• 孤立点检测
  • 拉普拉斯算子计算图像的二阶导数；对二阶微分图像进行阈值化
• 用拉普拉斯检测线
  • 三种边缘：台阶边缘、斜坡边缘、屋顶边缘
• 边缘检测
  • 基于一阶微分绝对值的极大值去找边缘点
  • 二阶微分=0：必要不充分条件
    • 二阶微分，且零点附近有符号的变化，超过一定阈值——边缘
  • 边缘提取基本步骤
    1. 降噪
    2. 边缘点检测
    3. 边缘定位

基本边缘检测

• 边缘法向量

• 梯度方向：f的最大变化率方向

• 算子

  • Roberts
  • Prewitt
    • 对称，有抑制噪声的作用，不会漏检
  • Sobel
    • 给四邻域像素更大的权重，通过增加中心点的重要性

• 梯度近似计算

  • 平方和变成绝对值求和
    
    可以大幅减少计算量，在用硬件进行图像处理时十分有用；对于垂直和水平边缘，这种近似没有损失

  • 消除细节的方法：平滑、（形态学方法）腐蚀、开闭运算

更先进的边缘检测技术

• 经典梯度算子的特点：方向算子，未对图像特性与噪声采取专门的处理

  • 更先进的边缘检测算法应该考虑图像噪声与边缘本身特性的因素
    • Canny

• 边缘检测算子的依据

  1. 微分算子，可以计算一阶导或二阶导的数字近似
  2. 可以调整到任意的尺度，大模板算子用于检测模糊边缘，小模板算子用于检测细节

  满足以上两个算子的滤波器：

• LoG(Marr-Hildreth)

  • 特点：
    1. 高斯部分：模糊图像，避免ringing的引入
    2. 拉普拉斯算子——滤波器的二阶微分：
       • Isotropic：各向同性，避免使用多个模板选择性计算图像中任何点处的最强响应
       • 零交叉，确定宽度未1个像素的边缘
  • 步骤：
    1. 获得高斯低通滤波器，对输入图像进行平滑
    2. 对1中图像进行拉普拉斯变换
    3. 对2中图像进行零交叉检测
       1. 搜索以p为中心的3×3邻域
       2. 零交叉：至少有两个相对的邻域像素的符号不同
       3. 如果g(x,y)与一个阈值比较，相对邻域的符号不同，且它们的数值差的绝对值必须超过阈值
  • 总结：
    1. 线性算子，先卷积平滑图像，然后求卷积结果图像的拉氏变换
    2. 高斯函数进行图像平滑，主要作用是抵消拉式算子引起的噪声影响
    3. 缺点：零阈值产生闭合环（spaghetti effect），零交叉计算复杂

• 边缘检测器的3个基本目标

  1. 低错误率
  2. 定位精度高
  3. 单个边缘点响应

• Canny边缘检测器

  • 对最优台阶边缘检测子的一个较好近似是高斯一阶导数
  • 采用边缘的法线方向，在可能的方向上应用
  • 计算过程：
    1. 高斯平滑
    2. 计算梯度图像及角度图像
    3. 非最大值抑制
    4. 双阈值处理和连通性分析来检测与连接边缘
  • 梯度方向

• Hysteresis Thresholding算法

  • 强边缘图像
  • 弱边缘图像
  • 将中的所有强边缘像素标记为有效边缘像素
    1. 定位下一个未被访问的边缘像素p
    2. 将弱边缘像素中，与强边缘像素有8邻接关系的像素加入中

• 边缘连接

  • 由于噪声的原因，边缘的特征很少能被完整描述，在亮度不一致的地方会中断
  • 典型的边缘检测算法后，总要跟随着连接过程，将边缘像素组合成有意义的边缘

阈值处理基础知识

• 根据直方图的形状去寻找阈值

  • 全局阈值：对整幅图像阈值为常数
  • 局部阈值：阈值依赖f(x,y)与局部领域
  • 动态阈值：每个像素的阈值可能不同

• 影响阈值的因素

  • 波峰的间隔
  • 图像中的噪声
  • 物体与背景的相对尺寸
  • 光源的均匀性
  • 图像反射或透射的均匀性

基本全局阈值

• 初始化：选择初始阈值，设定初始阈值在最小值与最大值之间
• 用T分割图像
• 计算和的均值
• 计算新的阈值
• 重复迭代，直到连续迭代中的两个T值之间的差小于ΔT为止。
  • 一般拿平均值来作为初始阈值
  • 双峰态直方图模式的图像适合选择全局阈值处理

Otsu全局阈值

• 阈值处理：分类引入的平均误差最小
• 一般采用迭代的方式，算出归一化直方图（PDF）
• 基于类间方差最大来选择阈值
• 四类均值
  1. 类c1均值
  2. 类c2均值
  3. 累计均值
  4. 全局均值

类间方差计算

• 只需要计算1次全局均值，只需要计算m和

改进全局阈值

• 平衡目标与背景的像素数量之间的差距

• 思路：要想用直方图去找阈值，最理想的是将直方图变化成双峰态分布

• 基于局部统计特性的可变阈值

  • 根据图像中每一点的邻域像素的标准偏差和均值来获取局部均值

区域分割

• 区域生长
  • 基本处理方法：以一组“种子”点开始，形成这些生长区域，把预先定义好的与这些种子性质相近的邻域像素附加到这些种子上。在分类过度之后需要聚合

目录

背景

边界预处理

链码算法

• 网格稀疏化：关注低频成分与慢变化
• 链码的归一化：规避起点与角度的不同造成的编码差异。将链码看作方向编号的循环序列，对起点进行重新定义使得到的编码序列整数值最小；通过使用链码的一次差分代替编码本身

链码应用

• 算法：阈值处理，网格化编码

标记图

• 笛卡尔坐标系转化为极坐标系
• 二维边界的一维函数表示方法：主轴定义为长轴，再去计算其余的点与质心的连线与长轴的夹角与此线的长度的关系
  • 数峰值个数作为图形的边角个数
• 性质：平移不变性
  • 旋转：选取主轴
  • 缩放：归一化

边界描述子

• 简单描述子：

  • 长度：边界上的像素数量
    

  • 直径：对应边界的长轴（距离质心最远）

    • 短轴与长轴垂直
    • 基本矩形：长轴与短轴确定的方框

  • 离心率：长轴与短轴的比值

  • 边界曲率：相邻边界线段的斜率差

• 形状数

  • 循环首差：不依赖于旋转，但是边界的编码依赖于网格的方向
  • 形状数：最小循环首差
  • 网格取向归一化

• 傅里叶描述子

  • 对于xy平面上的每个边界点，用傅里叶变换

  • 近似重构：。只关注反映大体形状的低阶系数，P越小，丢失的细节就越多

  • 协同不变性：图像在变化，傅里叶描述子的变化规律可知

    变换	边界F	F描述子
    恒等	s(k)	a(u)
    旋转
    平移
    缩放
    起点

• 统计矩

  边界线段的形状可以用统计矩去定量描述

区域特征描述子

基本描述子

• 面积A、周长P：归一化使用
• 紧致度：，圆为，正方形为16
• 圆度：，圆为1，正方形为。
• 偏心率
• 通过图像在不同的特征描述子上的差异，去区分不同的图像
  • 具体而言，比对图像在三维空间上的特征是否属于某一种模式
• 拓扑描绘子
  • 图像未受任何撕裂或拼合（橡皮膜变形）
    • 欧拉数E=C（连通分量数量）-H（孔的数目）=V（顶点数）-Q（边数）+F（面数）

纹理

• 纹理表达物体表面或结构属性，没有精确的定义

• 方法

  1. 统计方法：光滑、粗糙和颗粒等纹理的特征描述

     使用图像或区域的灰度直方图的统计矩。

     二阶矩描述对比度，可建立纹理的平滑度描述子

     三阶矩是直方图偏斜度的测度

  2. 频谱方法：基于傅里叶频谱特性，通过识别频谱中高能量的窄峰检测图像中的全局周期性

灰度共生矩阵

• 注意：还可以有其他形式的共生矩阵，只不过这里仅仅提到灰度

• 灰度图像中某种形状（满足位置算子定义的相对位置）的像素对，在图像中出现的次数

• 构建共生矩阵

  • 共生矩阵G的大小由输入图像的灰度级决定（n×n），将灰度重新在一个小的灰度范围内进行量化，减小矩阵尺寸；最终要把共生矩阵的所有元素之和归一化成1
  • 基本测度计算
    • 行、列均值；行、列方差

• 共生矩阵序列应用

  • 增大邻点之间的距离，导出共生矩阵，形成共生矩阵序列，量化灰度数
  • 水平“偏移”从1到50时的函数

• 纹理-频谱方法

  • 傅里叶频谱中突起的峰值对应纹理模式的主方向
  • 频谱转化为能量，
    • 固定θ：径向频率特性，
    • 固定r：圆周方向的频率特性
    • 形成描述子

• 随机目标图像、有序目标图像与对应频谱

  • 随机：没有强周期性
  • 有序：有重复周期

图像模式分类

基本概念

模式和模式类

原型匹配模式分类

基于相关的原型匹配

• 用模板子图像直接作为模式（而不是描绘子）
• 通过子图像与原图像直接进行相关计算，将相关计算作为决策函数
• 相关计算获得最大值的位置，认为是匹配成功

归一化相关

本章小结

一些老师上课提到的库

• EDline（用于找直线）、EDcircle（用于找圆跟椭圆）——两个opencv里的特征提取算法，效果较好
• Boost库——c++
• itk
• qt
• findcontour-opencv中的函数，用于提取封闭轮廓
• xld：动态提取，将图像中的基本结构近似出来
• 书：multiple view geometry