Gray-Level Grouping

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.

1. Abstract

本文提出了一种新颖的彩色图像直方图均衡方法：该方法利用颜色分量之间的相关性，并借用语言统计工程中的多级平滑技术进行图像增强。多级平滑技术旨在有效地处理不可见颜色值的问题，其利用一种单独考虑或者综合考虑的方法解决。最终将这项技术应用于图片的HSI 颜色空间，此处将其应用于 HSI 颜色空间以获得强度概率和给定强度的饱和概率，而色调保持不变。
此外，为消除色域问题，本文提出了，在基于保持色调不变的情况下，对非线性变换的技术进行了扩展的方法。这是论文中提出的第二种方法。
接着，本文将以上两种均衡图像方法与其他熟知的方法进行比较。为此，本文提出了一种根据处理后图像的视觉吸引力和客观品质因数来判断的图像均衡质量评价算法，例如：将所得颜色直方图与多元均匀概率密度函数之间的熵和 Kullback-Leibler 散度估计算法。

2. Introduction

图像增强旨在从人类视觉的角度改进图像。通过增加图像动态范围的方式，锐化图像的边缘、边界和对比度等图像特征，而不改变图像中固有信息内容。为此，开发了多种技术。其中包括对比度处理、降噪、边缘锐化和锐化、过滤、伪着色、图像插值和放大。
对比度操纵技术可以分为全局或自适应。全局技术对所有图像像素应用变换，而自适应技术使用随局部图像特征自适应变化的输入-输出变换。更常见的全局技术比如线性对比度拉伸、直方图均衡和多通道过滤。最常见的自适应技术是自适应直方图均衡化 (AHE) 和对比度限制自适应直方图均衡化 (CLAHE) [2,3]。 AHE 将不同的灰度变换局部应用于每个小图像区域，因此需要确定区域大小。 CLAHE 通过限制局部对比度增益来改进刚刚描述的技术。已确定后一种方法的两个缺点，即对图像平滑区域中产生不可避免的噪声增强和对比度增益。
本文主要使用全局的方法对图像进行增强处理。更准确来说，为了共同均衡HSI色彩空间的饱和度以及强度两个分量，本文利用从统计语言建模中借用的一元和二元概率的概念以及概率平滑均衡化彩色直方图。直方图均衡化方法部分建立在Pitas and Kiniklis建议的基础上，但它通过平滑必要的概率进行扩展，以抵消看不见的颜色分量组合的影响，这源于颜色空间的维度和图像中存在的颜色数量通常有限。此外，开发了第二种方法，以通过利用 Naik 和 Murthy [6] 中提出的转换，来消除色域问题。将所提出方法的性能与 Pitas 和 Kiniklis [5,7] 提出的方法以及每个颜色分量的单独均衡进行比较。比较不仅使用主观度量（即均衡图像在视觉上的吸引力如何），还使用客观的品质因数，例如所得颜色直方图与相应的多元均匀概率密度之间的熵和 Kullback-Leibler 散度功能。
论文的大纲如下。在第 2 节中，简要介绍了彩色图像直方图均衡方法。在第 3 节中，描述了本文提出的基线直方图均衡方法和新算法。实验结果在第 4 节中展示，最后在第 5 节中得出结论。 RGB 和 HSI 颜色空间的简要描述在附录 A 中给出。

3. Algorithms

颜色空间介绍

RGB转化到HSV的算法:

max=max(R,G,B);

min=min(R,G,B);

V=max(R,G,B);

S=(max-min)/max

if(R = max) H =(G-B)/(max-min) 60;

if(G = max) H = 120+(B-R)/(max-min) 60;

if(B = max) H = 240 +(R-G)/(max-min) 60;

if(H < 0) H = H+ 360;

HSV(hue,saturation,value)颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集，圆锥的顶面对应于V=1. 它包含RGB模型中的R=1，G=1，B=1 三个面，所代表的颜色较亮。色彩H由绕V轴的旋转角给定。红色对应于角度0° ，绿色对应于角度120°，蓝色对应于角度240°。在HSV颜色模型中，每一种颜色和它的补色相差180° 。饱和度S取值从0到1，所以圆锥顶面的半径为１。HSV颜色模型所代表的颜色域是CIE色度图的一个子集，这个模型中饱和度为百分之百的颜色，其纯度一般小于百分之百。在圆锥的顶点(即原点)处，V=0,H和S无定义，代表黑色。圆锥的顶面中心处S=0，V=1,H无定义，代表白色。从该点到原点代表亮度渐暗的灰色，即具有不同灰度的灰色。对于这些点，S=0,H的值无定义。可以说，HSV模型中的V轴对应于RGB颜色空间中的主对角线。在圆锥顶面的圆周上的颜色，V=1，S=1,这种颜色是纯色。HSV模型对应于画家配色的方法。画家用改变色浓和色深的方法从某种纯色获得不同色调的颜色，在一种纯色中加入白色以改变色浓，加入黑色以改变色深，同时加入不同比例的白色，黑色即可获得各种不同的色调。

HSI

HSI色彩空间是从人的视觉系统出发，用色调(Hue)、色饱和度(Saturation或Chroma)和亮度 (Intensity或Brightness)来描述色彩。HSI色彩空间可以用一个圆锥空间模型来描述。用这种描述HIS色彩空间的圆锥模型相当复杂，但确能把色调、亮度和色饱和度的变化情形表现得很清楚。
通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于色彩处理和识别，人的视觉系统经常采用HSI色彩空间，它比RGB色彩空间更符合人的视觉特性。在图像处理和计算机视觉中大量算法都可在HSI色彩空间中方便地使用，它们可以分开处理而且是相互独立的。因此，在HSI色彩空间可以大大简化图像分析和处理的工作量。HSI色彩空间和RGB色彩空间只是同一物理量的不同表示法，因而它们之间存在着转换关系。
HSI 色彩模型是从人的视觉系统出发，用 H 代表色相 (Hue)、S 代表饱和度 (Saturation) 和 I 代表亮度 (Intensity) 来描述色彩。饱和度与颜色的白光光量刚好成反比，它可以说是一个颜色鲜明与否的指标。因此如果我们在显示器上使用 HIS 模型来处理图像，将能得到较为逼真的效果。
- 色相 (Hue)：指物体传导或反射的波长。更常见的是以颜色如红色，橘色或绿色来辨识，取 0 到 360 度的数值来衡量。
- 饱和度 (Saturation)：又称色度，是指色彩的强度或纯度。饱和度代表灰色与色调的比例，并以 0% (灰色) 到 100% (完全饱和) 来衡量。
- 亮度 (Intensity)：是指颜色的相对明暗度，通常以 0% (黑色) 到 100% (白色) 的百分比来衡量。

3.1 Separate equalization of the three color components—Method I

：以每个像素的灰度值作为随机变量
：灰度取值范围，本文为256

$\begin{equation} f_{\mathbf{x}}\left(x_{k}\right)=P\left\{\mathbf{x}=x_{k}\right\}=\frac{N\left(x_{k}\right)}{\sum_{m=0}^{L-1} N\left(x_{m}\right)} \quad \forall k=0,1, \ldots, L-1 \end{equation}$ $y_{k}=F_{\mathbf{x}}\left(x_{k}\right)=P\left\{\mathbf{x} \leqslant x_{k}\right\}=\sum_{m=0}^{k} f\left(x_{m}\right) \quad \forall k=0,1, \ldots, L-1$

(1)为概率密度函数，（2）为分布函数

3.2. 3-D Equalization in the RGB space—Method II

：原来的像素点随机变量
：经过（4）式变换后的像素点

$\begin{aligned} y_{\mathrm{R}_{k} \mathrm{G}_{s} \mathrm{~B}_{t}} &=F_{\mathbf{x}_{\mathrm{R}} \mathrm{x}_{\mathrm{G}} \mathbf{x}_{\mathrm{B}}}\left(x_{\mathrm{R}_{k}}, x_{\mathrm{G}_{\mathrm{s}}}, x_{\mathrm{B}_{t}}\right)=P\left\{\mathbf{x}_{\mathrm{R}} \leqslant x_{\mathrm{R}_{k}}, \mathbf{x}_{\mathrm{G}} \leqslant x_{\mathrm{G}_{\mathrm{s}}}, \mathbf{x}_{\mathrm{B}} \leqslant x_{\mathrm{B}_{t}}\right\} \\ &=\sum_{i=0}^{k} \sum_{j=0}^{s} \sum_{m=0}^{t} f\left(x_{\mathrm{R}_{i}}, x_{\mathrm{G}_{j}}, x_{\mathrm{B}_{m}}\right) \quad \forall k, s, t=0,1, \ldots, L-1 \end{aligned}$ $\begin{aligned} y_{\mathrm{R}_{k^{\prime}} \mathrm{G}_{j} \mathrm{~B}^{\prime}} &=\sum_{i=0}^{k^{\prime}} \sum_{j=0}^{s^{\prime}} \sum_{m=0}^{t^{\prime}} \frac{1}{L^{3}} \\ &=\frac{\left(k^{\prime}+1\right)\left(s^{\prime}+1\right)\left(t^{\prime}+1\right)}{L^{3}} \forall k^{\prime}, s^{\prime}, t^{\prime}=0,1, \ldots, L-1, \end{aligned}$

具体而言，对于每一个像素变换后为，应满足，且尽可能小。

3.3. Equalization of the intensity component in the HSI space— Method III

：对应每一个像素的随机变量，式（5）为其概率密度函数

$f_{\mathrm{x}_{\mathrm{I}}}\left(x_{\mathrm{I}_{k}}\right)= \begin{cases}12 \times x_{\mathrm{I}_{k}}^{2} & \text { for } 0 \leqslant x_{\mathrm{I}_{k}} \leqslant 0.5 \\ 12 \times\left(1-x_{\mathrm{I}_{k}}\right)^{2} & \text { for } 0.5 \leqslant x_{\mathrm{I}_{k}} \leqslant 1\end{cases}$

3.4. 2-D Equalization for intensity and saturation in the HSI space — Method IV

：对应每一个像素的随机变量
：取亮度和饱和度作为研究对象的随机变量
：联合分布函数

对于给定n个任意的随机变量，的形式为

$\mathbf{y}_{1}=F\left(\mathbf{x}_{1}\right), \quad \mathbf{y}_{2}=F\left(\mathbf{x}_{2} \mid \mathbf{x}_{1}\right), \ldots, \mathbf{y}_{n}=F\left(\mathbf{x}_{n} \mid \mathbf{x}_{n-1}, \ldots, \mathbf{x}_{1}\right)$

其均衡后的像素为：其中，

$y_{\mathrm{I}_{k}}=F\left(x_{\mathrm{I}_{k}}\right)=P\left\{\mathbf{x}_{\mathrm{I}} \leqslant x_{\mathrm{I}_{k}}\right\}=\sum_{m=0}^{k} f\left(x_{\mathrm{I}_{m}}\right)=\sum_{m=0}^{k} P\left(\mathbf{x}_{\mathrm{I}}=x_{\mathrm{I}_{m}}\right)$ $y_{\mathrm{S}_{t}}=F\left(x_{\mathrm{S}_{t}} \mid x_{\mathrm{I}_{k}}\right)=\sum_{m=0}^{t} f\left(x_{\mathrm{S}_{m}} \mid x_{\mathrm{I}_{k}}\right)=\sum_{m=0}^{t} \frac{P\left(\mathbf{x}_{\mathrm{I}}=x_{\mathrm{I}_{k}}, \mathbf{x}_{\mathrm{S}}=x_{\mathrm{S}_{m}}\right)}{P\left(\mathbf{x}_{\mathrm{I}}=x_{\mathrm{I}_{k}}\right)}$

其实就是亮度的分布函数，以及给定亮度，饱和度的条件概率分布函数

但作者发现由于二维随机变量分布的稀疏性（L*M种可能），所以需要对原来的概率密度进行平滑处理

$P\left(\mathbf{x}_{\mathrm{I}}=x_{\mathrm{I}_{k}}\right)=P\left(x_{\mathrm{I}_{k}}\right)= \begin{cases}\frac{N\left(x_{1 /}\right)-b_{1}}{N} & \text { if } N\left(x_{\mathrm{I}_{k}}\right)>0 \\ b_{\mathrm{I}} \frac{L-n_{0}}{N} \frac{1}{\sum_{L: N\left(\mathrm{x}_{i}\right)=0}^{1} 1} & \text { if } N\left(x_{\mathrm{I}_{k}}\right)=0\end{cases}$ $P\left(\mathbf{x}_{\mathrm{S}}=x_{\mathrm{S}_{t}} \mid \mathbf{x}_{\mathrm{I}}=x_{\mathrm{I}_{k}}\right)=P\left(x_{\mathrm{S}_{t}} \mid x_{\mathrm{I}_{k}}\right)$

是灰度和饱和度的可取的数值个数
是图片像素总数
对于指定颜色的像素个数
为图片中为出现亮度值得个数
是给定亮度下，未出现饱和度值得个数，
：某种（亮度，饱和度）出现的次数

3.5. 2-D Equalization in Intensity-saturation components of the HSI space with gamut elimination—Method V

利用非线性变换的方法解决色域问题

$f_{m, n}(x)= \begin{cases}\delta_{1}+\left(m-\delta_{1}\right)\left(\frac{x-\delta_{1}}{m-\delta_{1}}\right)^{n}, & \delta_{1} \leqslant x \leqslant m \\ \delta_{2}-\left(\delta_{2}-m\right)\left(\frac{\delta_{2}-x}{\delta_{2}-m}\right)^{n}, & m \leqslant x \leqslant \delta_{2}\end{cases}$

：为两个常数。在标准的S-type 对比度增强里，.
：是像素强度值归一的结果
- ，其中：
- 当说明像素值可能超过了色域范围，颜色向量则会转换到CMY空间
  $x_{\mathrm{C}}=1-x_{\mathrm{R}}, \quad x_{\mathrm{M}}=1-x_{\mathrm{G}}, \quad x_{\mathrm{Y}}=1-x_{\mathrm{B}}$
- 然后，每个像素值通过进行缩放，再将像素值转化会RGB空间

Results

同时利用主观的方式以及客观的方式
- 主观方式：视觉吸引力和不必要的颜色失真
- 客观方式：交叉熵以及KL散点
熵代表一个随机变量的不确定程度，因为熵越大代表随机变量的分布越均匀，所以本文最大化交叉上

$\begin{aligned} H\left(\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{n}\right)=&-\sum_{x_{1}} \sum_{x_{2}} \cdots \sum_{x_{n}} P\left(x_{1}, x_{2}, \ldots, x_{n}\right) \\ & \times \log _{2} P\left(x_{1}, x_{2}, \ldots, x_{n}\right) \end{aligned}$

KL散度用于衡量两个概率分布的差别，在本文实验中KL散度用于衡量原始直方图和均衡后的直方图与均匀分布的相似度。

$\begin{aligned} &D\left(f\left(x_{1}, x_{2}, \ldots, x_{n}\right) \| g\left(x_{u}, y_{u}, \ldots, z_{u}\right)\right) \\ &\quad=\sum_{x_{1}} \sum_{x_{2}} \cdots \sum_{x_{n}} P\left(x_{1}, x_{2}, \ldots, x_{n}\right) \\ &\quad \times \log _{2}\left(\frac{P\left(x_{1}, x_{2}, \ldots, x_{n}\right)}{g\left(x_{1}, x_{2}, \ldots, x_{n}\right)}\right) \end{aligned}$

为n-dim均匀分布