勇哥的视觉实验:MLP分类器(三) 图片分割

前言:

==========================================================

分类器相对于深度学习来讲是一种古老传统的图片处理技术。halcon中常见的有四类分类器:

  • MLP(多层神经网络neural Nets)

  • SVM(支持向量机)

  • K-NN(K-最邻近)

  • GMM(高斯混合类型)

分类器的应用领域主要是下面这些:

  • image segmentation         图像分割  

  • object recognition             对象识别 

  • quality control                 质量控制

  • novelty detection             缺陷检测 

  • optical character recognition(OCR)      光学字符识别

勇哥第一次见到分类器的视觉项目是锂电池的极片缺陷检测,效果还不错。

这两年深度学习火起来后,发现深度学习完成上面所说的领域的应用更容易,效果也更好。

但深度学习对硬件要求太高,你把IPC加装个一百多W的显卡很多时候是不现实的。

如果你用cpu来跑,会发现速度乎快乎慢,cpu全部内核会100%被占用。

分类器相对于深度学习来讲不吃硬件,所以相对来讲算是轻量级的应用。

==========================================================

这个示例程序演示了如何使用MLP分类器分割RGB图像。

四种颜色的分类器是不同的。请注意,得到的分类直观上是正确的。

然而,也可以看到,在训练课程范围之外的颜色将被分配给其中一个类,并具有很高的可信度。

在这幅图中,船舷上的黄色油漆、船顶灯光上的绿色以及船门被高度自信地分配到了四个级别中的一个。


例程详解:


程序做了两次图片分割。第一次分割时分了4类,它们的采样范围如下图:

image.png


下面是分割为4类的结果。

参考一下上图,你会发现下面这几个地方颜色纹理是不同的。但是它们被统一分到黑色类了。

这是因为mlp不像gmm那样自动设置有一个例外类。所以不属于四个类的颜色纹理会被自动分到4个类其中的一个。

如果你不想这样,那么不好意思,你得再新增一个类。

image.png  image.png  image.png

image.png


下面我们新增了一个类,以黄色框表示了采样范围。

在例程中,这个过程称为显示的标注一下“拒绝类”,其实就是再多分一类重新再训练罢了。

image.png


再次训练后的图片分割效果如下:

结果已经达到了我们的目的。

image.png


C#
dev_update_off ()
dev_close_window ()
dev_open_window (0, 0, 735, 485, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
dev_set_draw ('margin')
dev_set_colored (6)
dev_set_line_width (3)
read_image (Image, 'patras')
dev_display (Image)
Color := ['indian red','cornflower blue','white','black','yellow']
* Create regions that contain the training samples of the four classes
gen_rectangle1 (Sea, 10, 10, 120, 270)
gen_rectangle2 (Deck, [170,400], [350,375], [-0.56,-0.75], [64,104], [26,11])
union1 (Deck, Deck)
gen_rectangle1 (Walls, 355, 623, 420, 702)
gen_rectangle2 (Chimney, 286, 623, -0.56, 64, 33)
concat_obj (Sea, Deck, Classes)
concat_obj (Classes, Walls, Classes)
concat_obj (Classes, Chimney, Classes)
dev_set_color (Color[0])
dev_display (Deck)
dev_set_color (Color[1])
dev_display (Sea)
dev_set_color (Color[2])
dev_display (Walls)
dev_set_color (Color[3])
dev_display (Chimney)
Message := 'Training regions for the color classifier'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()
* Create the classifier and add the samples
create_class_mlp (3, 3, 4, 'softmax', 'principal_components', 3, 42, MLPHandle)
add_samples_image_class_mlp (Image, Classes, MLPHandle)
dev_display (Image)
Message := 'Training ...'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
* Train the classifier
train_class_mlp (MLPHandle, 200, 1, 0.01, Error, ErrorLog)
Message := Message + ' ready.'
Message[1] := 'Segment image using the classifier ...'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
* Segment (classify) the image
classify_image_class_mlp (Image, ClassRegions, MLPHandle, 0.5)
region_to_mean (ClassRegions, Image, ImageClass)
dev_display (ImageClass)
Message[1] := Message[1] + ' ready.'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()
* 由于船舷上的黄色油漆、顶灯上的绿色和门无意中被分配到四个训练类中的一个,
* 我们将构造一个显式拒绝类,其中包含每个不需要的颜色的样本,并使用拒绝类重新训练分类器。
gen_rectangle2 (Rejection, [193,66,261], [235,332,328], [-0.32,-1.45,-1.51], [33,34,60], [4,3,3])
union1 (Rejection, Rejection)
concat_obj (Classes, Rejection, Classes)
dev_display (Image)
dev_set_color (Color[0])
dev_display (Deck)
dev_set_color (Color[1])
dev_display (Sea)
dev_set_color (Color[2])
dev_display (Walls)
dev_set_color (Color[3])
dev_display (Chimney)
dev_set_color (Color[4])
dev_display (Rejection)
disp_message (WindowHandle, 'Add a rejection class to improve the robustness of the classifier', 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()
dev_display (Image)
* Create the classifier and add the samples
create_class_mlp (3, 4, 5, 'softmax', 'principal_components', 3, 42, MLPHandle)
add_samples_image_class_mlp (Image, Classes, MLPHandle)
* Train the classifier
Message := 'Training the classifier with rejection class...'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
train_class_mlp (MLPHandle, 200, 1, 0.01, Error, ErrorLog)
Message := Message + ' ready.'
Message[1] := 'Segment image using the classifier ...'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
* Segment (classify) the image
classify_image_class_mlp (Image, ClassRegionsNotRejected, MLPHandle, 0.5)

* 选择除拒绝类以外的所有类
copy_obj (ClassRegionsNotRejected, ClassRegionsNotRejected, 1, 4)

* 注意,平均值图像中的黑色区域对应于被拒绝的像素
region_to_mean (ClassRegionsNotRejected, Image, ImageClassNotRejected)
dev_display (ImageClassNotRejected)
Message[1] := Message[1] + ' ready.'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')


最后显示效果的几句代码要提一下:

因为最后分了5类,所以copy_obj选择了前4类的region, 再用region_to_mean把region转为灰度平均值的的image。

这样未选择区域就变黑色了,刚好达到了演示“拒绝类”的效果。

C#
copy_obj (ClassRegionsNotRejected, ClassRegionsNotRejected, 1, 4)
region_to_mean (ClassRegionsNotRejected, Image, ImageClassNotRejected)

其实,如果选择全部的5个region,再region_to_mean,也是可以的,只是第5个类就会显示成不是黑色的颜色,

意义是一样的,但是结果不好看罢了。

C#
copy_obj (ClassRegionsNotRejected, ClassRegionsNotRejected, 1, 5)
region_to_mean (ClassRegionsNotRejected, Image, ImageClassNotRejected)

image.png



--------------------- 

作者:hackpig
来源:
www.skcircle.com
版权声明:本文为博主原创文章,转载请附上博文链接!


本文出自勇哥的网站《少有人走的路》wwww.skcircle.com,转载请注明出处!讨论可扫码加群:

发表评论:

登录注册后再发表评论!

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

会员中心
搜索
«    2025年4月    »
123456
78910111213
14151617181920
21222324252627
282930
网站分类
标签列表
最新留言
    热门文章 | 热评文章 | 随机文章
文章归档
友情链接
  • 订阅本站的 RSS 2.0 新闻聚合
  • 扫描加本站机器视觉QQ群,验证答案为:halcon勇哥的机器视觉
  • 点击查阅微信群二维码
  • 扫描加勇哥的非标自动化群,验证答案:C#/C++/VB勇哥的非标自动化群
  • 扫描加站长微信:站长微信:abc496103864
  • 扫描加站长QQ:
  • 扫描赞赏本站:
  • 留言板:

Powered By Z-BlogPHP 1.7.2

Copyright Your skcircle.com Rights Reserved.

鄂ICP备18008319号


站长QQ:496103864 微信:abc496103864