使用Python寻找图像最常见的颜色
如果我们知道图像或对象最常见的是哪种颜色,那么可以解决图像处理中的几个用例,例如在农业领域,我们可能需要确定水果的成熟度。我们可以简单地检查一下水果的颜色是否在预定的范围内,看看它是成熟的,腐烂的,还是未成熟的。
与往常一样,我们可以使用Python和简单但功能强大的库(如Numpy、Matplotlib和OpenCV)来解决这个问题。我将演示如何使用这些软件包在图像中找到最常见的颜色的几种方法。
步骤1-加载包
import cv2 as cv
import numpy as np
import matplotlib.pyplot as plt
import PIL
%matplotlib inline
在这里加载基本包,后续会继续加载更多的包。另外,由于我们是用Jupyter编程的,所以不要忘了包含%matplotlib内联命令。
步骤2-加载并显示示例图像
在本教程中,我们将展示两个并排的图像。所以,让我们用一个helper函数来实现。
def show_img_compar(img_1, img_2 ):
f, ax = plt.subplots(1, 2, figsize=(10,10))
ax[0].imshow(img_1)
ax[1].imshow(img_2)
ax[0].axis('off') # 隐藏轴
ax[1].axis('off')
f.tight_layout()
plt.show()
接下来,我们将加载一些在本教程中使用的示例图像,并使用上面的函数演示它们。
img = cv.imread("img/img_1.jpg")
img = cv.cvtColor(img, cv.COLOR_BGR2RGB)
img_2 = cv.imread("img/img_2.jpg")
img_2 = cv.cvtColor(img_2, cv.COLOR_BGR2RGB)
dim = (500, 300)
# 图像大小自定义
img = cv.resize(img, dim, interpolation = cv.INTER_AREA)
img_2 = cv.resize(img_2, dim, interpolation = cv.INTER_AREA)
show_img_compar(img, img_2)
现在我们准备好了。接下来要找出这些图像中最常见的颜色了。
方法1-平均值
第一种方法是最简单的(但无效的),找到平均像素值。
img_temp = img.copy()
img_temp[:,:,0], img_temp[:,:,1], img_temp[:,:,2] = np.average(img, axis=(0,1))
img_temp_2 = img_2.copy()
img_temp_2[:,:,0], img_temp_2[:,:,1], img_temp_2[:,:,2] = np.average(img_2, axis=(0,1))
show_img_compar(img, img_temp)
show_img_compar(img_2, img_temp_2)
使用numpy的average函数,我们可以很容易地得到行和宽度轴的平均像素值axis=(0,1)。
我们可以看出,平均法可以给出误导或不准确的结果,因为它给出的最常见的颜色与实际偏离,这是因为平均值结合了所有像素值。当我们有高对比度的图像(在一个图像中“光”和“暗”),如在第二幅图中,这个问题更明显。
它给了我们一种在图像中不明显的新颜色。
方法2-最高像素频率
第二种方法要比第一种方法精确一些,我们只需计算每个像素值中出现的次数。
幸运的是,numpy给了我们另一个函数,这个函数给出了精确的结果。但首先,我们必须重塑图像数据结构,使其仅给出3个值的列表(每个R、G和B通道强度各一个)。
可以简单地使用numpy的reshape函数来获得像素值的列表。
现在我们有了正确结构的数据,我们可以开始计算像素值的频率。只需使用numpy的unique函数,参数return_counts=True。
完成了,接下来在图像上运行。
img_temp = img.copy()
unique, counts = np.unique(img_temp.reshape(-1, 3), axis=0, return_counts=True)
img_temp[:,:,0], img_temp[:,:,1], img_temp[:,:,2] = unique[np.argmax(counts)]
img_temp_2 = img_2.copy()
unique, counts = np.unique(img_temp_2.reshape(-1, 3), axis=0, return_counts=True)
img_temp_2[:,:,0], img_temp_2[:,:,1], img_temp_2[:,:,2] = unique[np.argmax(counts)]
show_img_compar(img, img_temp)
show_img_compar(img_2, img_temp_2)
这比第一个更有意义,对吧?最常见的颜色是黑色区域。但我们可以更进一步,如果不只取一种最常见的颜色,而是多取一种呢?用同样的方法,我们可以选择前N种最常见的颜色。但是如果你看第一张图片,频率最高的许多颜色很可能是相邻的颜色,可能只有几个像素的差别。
换言之,我们要取最常见的,不同颜色的簇。
方法3-使用K均值聚类
我们使用Scikit-Learn来实现。我们可以使用K-Means聚类将颜色组聚集在一起。
现在,我们只需要一个函数来显示上面的颜色簇并立即显示出来。
def palette(clusters):
width=300
palette = np.zeros((50, width, 3), np.uint8)
steps = width/clusters.cluster_centers_.shape[0]
for idx, centers in enumerate(clusters.cluster_centers_):
palette[:, int(idx*steps):(int((idx+1)*steps)), :] = centers
return palette
clt_1 = clt.fit(img.reshape(-1, 3))
show_img_compar(img, palette(clt_1))
clt_2 = clt.fit(img_2.reshape(-1, 3))
show_img_compar(img_2, palette(clt_2))
我们只需创建一个高度为50、宽度为300像素的图像来显示颜色组/调色板。对于每个颜色簇,将其指定给调色板。
K-Means聚类在检测图像中最常见的颜色方面给出了很好的结果。在第二张图中,我们可以看到调色板中有太多的棕色阴影。这很可能是因为我们选择了太多的簇。让我们看看是否可以通过选择较小的k值来修复它。
def palette(clusters):
width=300
palette = np.zeros((50, width, 3), np.uint8)
steps = width/clusters.cluster_centers_.shape[0]
for idx, centers in enumerate(clusters.cluster_centers_):
palette[:, int(idx*steps):(int((idx+1)*steps)), :] = centers
return palette
clt_3 = KMeans(n_clusters=3)
clt_3.fit(img_2.reshape(-1, 3))
show_img_compar(img_2, palette(clt_3))
是的,解决了。
由于我们使用K-Means聚类,仍然需要自己确定适当的k。3似乎是个不错的选择。
但我们仍然可以在这些结果的基础上改进。我们也展示一下这些簇在整个图像中所占的比例如何?
方法3.1-K均值+比例显示
我们需要做的就是修改调色板函数。我们不使用固定的步长,而是将每个簇的宽度更改为与该簇中的像素数成比例。
from collections import Counter
def palette_perc(k_cluster):
width = 300
palette = np.zeros((50, width, 3), np.uint8)
n_pixels = len(k_cluster.labels_)
counter = Counter(k_cluster.labels_) # 计算每个簇有多少像素
perc = {}
for i in counter:
perc[i] = np.round(counter[i]/n_pixels, 2)
perc = dict(sorted(perc.items()))
# 用于日志记录
print(perc)
print(k_cluster.cluster_centers_)
step = 0
for idx, centers in enumerate(k_cluster.cluster_centers_):
palette[:, step:int(step + perc[idx]*width+1), :] = centers
step += int(perc[idx]*width+1)
return palette
clt_1 = clt.fit(img.reshape(-1, 3))
show_img_compar(img, palette_perc(clt_1))
clt_2 = clt.fit(img_2.reshape(-1, 3))
show_img_compar(img_2, palette_perc(clt_2))
这样好多了,它不仅给了我们图像中最常见的颜色。它还提供了每个像素出现的比例。
它也有助于告诉我们应该使用多少个簇。在上面的图像中,两到四个簇似乎是合理的。在第二张图像中,我们至少需要两个簇。不使用一个簇(k=4)的原因是可能会遇到与平均方法相同的问题。
结论
我们介绍了使用Python和一些著名的库来获取图像中最常见颜色的几种技术。另外,我们也看到了这些技术的优缺点。到目前为止,使用K>1的K-Means找到最常见的颜色是在图像中找到最常见颜色的最佳解决方案之一(至少与我们已经使用的其他方法相比)。
Github仓库代码:https://github.com/mrakelinggar/data-stuffs/tree/master/frequent_color。