Главная страница
qrcode

4 1 Обзор методов шумоподавления


Скачать 20.36 Mb.
Название4 1 Обзор методов шумоподавления
Дата03.08.2019
Размер20.36 Mb.
Формат файлаpdf
Имя файлаdiploma.pdf
оригинальный pdf просмотр
ТипРеферат
#157265
страница3 из 3
Каталог
1   2   3
Соотвественно оптимальное значение можно обозначить следующим образом:
J
?
= min x
k y ? x k
2 2
+? k Dx k
1
(28)
Нахождение оптимального значения является сложной задачей, из-за того что
`
1
норма не дифференцируема. Рассмотрим задачу как двойственную. Для этого представим `
1
норму в следующей форме:
k x k
1
= max
|z|?1
z t
x
(29)
Таким образом мы получим:
J
x
= min x
max
|z|?1
k y ? x k
2 2
+?z t
Dx
(30)
Описание вывода решения двойственной задачи 30 будет опущенно, так как оно не входит в рамки данной ВКР. Результатом является итерационный алгоритм,
который выглядит следующим образом:
x
(i+1)
= y ? D
t z
(i)
z
(i+1)
= clip(z
(i)
+
1
?
Dx
(i+1)
,
?
2
)
f or i ? 0 withz
(0)
= 0 and a ? maxeig(A, A
0
)
36
1.10.3 Результат работы фильтра
(a)
(b)
(c)
Рис. 21: Результаты работы фильтра на основе вариации функции с различными регуляризационными параметрам: (a) оригинал; (b) ? = 1; (b) ? = 0.6
Для рис. 21(b) PSNR= 27.93, а для 21(c) PSNR= 24.95.
1.11 Выводы по разделу
В данном разделе была поставлена задача шумоподавления, были рассмотрены самые простые методы обработки изображений и выявлены их недостатки.
Также были классифицированны некоторые продвинутые методы шумоподавления. Были описаны основные идеи каждого фильтра и их математическое описание.
37
2 Система оценки эффективности алгоритмов шумоподавления
2.1 Тестовое множество
2.1.1 Изображения
Для исследования были взяты изображения из открытой базы данных ImageNet[8],
а также из личной коллекции. Была произведенна следующая классификация и для каждой классификации было взято по 20 изображений с разрешением в среднем 450 Ч 450:
?
Изображения людей;
?
Изображения архитектуры;
?
Изображения полученные при недостаточной освещенности.
Данная классификация обусловлена распространенностью данных классов изображений и прикладных задачах в области обработки изображений. Фотографии людей используются как в повседневной жизни, так и во многих алгоритмах компьютерного зрения, таких как например распознавание лиц.
Не менее распространены также и изображения полученные при недостаточной освещенности, что приводит к низко контрастному изображению. Это мешает их анализу. Также это актуально и для обычных пользователей фото и видеокамер, устройство которых все еще не позволяет достичь приемлемых результатов при съемке ночью.
Последняя категория была выбрана в качестве примера, где некоторые части изображения похожи друг на друга. Это может быть полезно в таких областях связанных с медициной, электроникой и астрономией. Где изображения, необходимы для последующей обработки имеют подобные свойства.
38
Для каждой категории было отобрано по 20 изображений. Ниже приведены примеры некоторых из них.
а) Ночная съемка б) Человек в) Архитектура
Рис. 22: Примеры изображений различных категорий
2.1.2 Видео
Данные необходимые для исследования видео последовательность были взяты из открытой базы данных YouTube-8M[19].
Было выбранно 10 видео последовательностей каждой категории, в среднем с
39
разрешением 1920 Ч 720 и содержать примерно по 300 кадров. Ниже приведены кадры из видео каждой категории.
а) Ночная съемка б) Человек в) Архитектура
Рис. 23: Примеры кадров видео различных категорий
2.2 Схема программы
Работу реализованной программы можно описать следующим образом. На вход программы подаются данные (видео или изображение). Далее накладывается гауссовский шум. После проводится шумоподавления различными алгоритмами с различными параметрами. В итоге выбирается алгоритм, который показал наилучшие результаты PSNR или SSIM для большего количества данных.
40
Рис. 24: Схема итоговой программы
2.3 Критерии оценки эффективности алгоритмов
2.3.1 PSNR
Для оценки степени искажения изображений, используются различные методы. Самым популярным является пиковое соотношение сигнал/шум (PSNR). Оно обозначает соотношение между максимумом возможного значения изображения и мощностью шума, который искажает данное изображение. Значения лежат в диапазоне от (0, ?), чем больше PSNR, тем изображение считается более похожим на оригинал.
P SN R = 10log
10
(
M AX
2
I
M SE
)
(31)
где
? M AX
I
- максимально возможное значения пикселя;
? M SE =
1
nm
P
n i=0
P
m j=0
(x i,j
? y i,j
)
2
- средний квадрат ошибки между оригинальным изображением x и искаженным y;
?
m,n - высота и ширина изображения.
PSNR имеет как ряд преимуществ так и некоторые недостатки. К преимуществам относят быстроту и легкость вычисления. К недостаткам: для вычисления необходимо иметь исходную и преобразованную картинку, при этом не может быть точно известно, что оригинальная картинка не имела искажений, также в ряде
41
случаев PSNR плохо коррелирует с субъективными мерами оценки качества. Т.е.
высокие значения PSNR не всегда обеспечиваются лучшим качеством картинки с визуальной точки зрения.
2.3.2 SSIM
Из-за несовершенств метрики PSNR разрабатывались все новые и новые методики. Одной из который является структурная схожесть (SSIM). Отличительной особенностью метода, является то, что метод учитывает ѕвосприятие ошибкиї
благодаря учјту структурного изменения информации. Идея заключается в том,
что пиксели имеют сильную взаимосвязь, особенно когда они близки пространственно. Данные зависимости несут важную информацию о структуре объектов и о сцене в целом[20].
SSIM =
(2µ
x
µ
y
+ c
1
)(2?
x,y
+ c
2
)

2
x
+ µ
2
y
+ c
1
)(?
2
x
+ ?
2
y
+ c
2
))
(32)
где
? µ
x
- среднее х
? µ
y
- среднее y
? ?
2
x
- дисперсия x
? ?
2
y
- дисперсия y
? ?
2
x,y
- ковариация x и
? c
1
= (k
1
L)
2
, c
2
= (k
2
L)
2
- две переменных
? L
- динамический диапазон(максимальное значение пикселя)
? k
1
= 0.01, k
2
= 0.03
- константы.
42
Формула 32 указана только для яркостной компоненты. Значения находятся в отрезке (?1, 1), если значение +1, то изображение наиболее похожи. При полном несоответствии -1. Также данная метрика зависит от размера окна, обычно размер берется 8 Ч 8.
2.4 Выбор оптимального алгоритма
На основе критериев эффективности алгоритмов приведенных выше был предложен следующий метод оценки оптимального алгоритма. Для каждой категории изображений производятся испытания всех реализованных алгоритмов с различными параметрами. Алгоритмы, которые показали максимальные значения SSIM
и PSNR для большего количества изображений объявляются оптимальными.
2.5 Выводы по разделу
Развитие критериев оценивания схожести двух изображений продолжается и по сей день. Охватить их в полном объеме не получится, поэтому для дипломной работы были выбраны наиболее популярные метрики, хоть они и обладают некоторым недостатком. А именно, для них необходимо иметь не зашумленное изображения. Что в целях ВКР не является существенным. Также предложен собственный метод выбора оптимального алгоритма, для определенной категории изображений.
43
3 Результаты проведенных экспериментов
3.1 Результаты исследования
Исследование разбито на две части. В первой части для каждого алгоритма подбираются оптимальные параметры, которые дают максимальной значение
PSNR или SSIM для определенного типа изображения или видео. Исходя уже из полученных результатов будут сравниваться между собой все алгоритмы.
На графиках по оси x отложены значения дисперсии шума, по оси y количество изображений, для которых фильтр показал максимальные значений PSNR или
SSIM, по сравнению с остальными фильтрами.
3.1.1 Изображения
Ниже представлены графики с результатами для каждой категории изображений, с различным количеством аддитивного гауссовского шума.
На рисунке 25 видно, что наиболее оптимальными алгоритмами являются билатеральный фильтр и Non-Local mean. При этом при величине дисперсии шума большей 0.005, количество изображений, для которых билатеральный фильтр показал максимальные значения PSNR и SSIM снижается. Для Non-Local mean фильтра, количество максимальных результатов наоборот увеличивается. Но при высоких значениях шума ?
2
= 0.15
, эффективность всех алгоритмов снижается,
за исключением TV фильтра.
На рисунке 26 для критерия оценивания SSIM наиболее оптимальным является билатеральный фильтр при низких и средних значениях шума. Для больших значений шума, TV и Guided будут наиболее оптимальными. Для PSNR также при маленьких значениях шума билатеральный фильтр будет лучшим решением.
А для высоких значений шума, выбор стоит между Non-Local mean фильтром и
TV.
44
На рисунке 27 лучшим фильтром для малых и средних значений ?
2
оптимальным является билатеральный фильтр. Однако при высоких значениях, лучше всего себя показывают фильтры: Guided, Non-Local mean. Если брать во внимания критерий оценки SSIM, то также оптимальным алгоритмом может считаться
Guided.
Данные выводы справедливы и для результатов обработки видео.
45
(a)
(b)
Рис. 25: Результаты работы фильтров, для категории изображений ночная съемка:
(b) для PSNR, (a) для SSIM
46
(a)
(b)
Рис. 26: Результаты работы фильтров, для категории изображений архитектура:
(b) для PSNR, (a) для SSIM
47
(a)
(b)
Рис. 27: Результаты работы фильтров, для категории изображений человек: (b)
для PSNR, (a) для SSIM
48
(a)
(b)
Рис. 28: Результаты работы фильтров, для категории видео ночная съемка: (b)
для PSNR, (a) для SSIM
49
(a)
(b)
Рис. 29: Результаты работы фильтров, для категории видео архитектура: (b) для
PSNR, (a) для SSIM
50
(a)
(b)
Рис. 30: Результаты работы фильтров, для категории видео человек: (b) для
PSNR, (a) для SSIM
51
Заключение
Были реализованы популярные методы шумоподавления. Была разработана программа, которая определяет наиболее оптимальный фильтр для определенной категории изображений, с определенным уровнем шума.
Для обоих критериев оценки эффективности алгоритмов шумоподавления при низких дисперсиях шума, наиболее оптимальным алгоритмом, с точки зрения разработанной методики оценки, является билатеральный алгоритм.
При высоких значениях дисперсии, во всех случаях оптимальным является алгоритм TV.
Для средних значений дисперсии, оптимальным алгоритмом является NonLocal mean.
52
Список литературы
[1] Д. Калинкина, Ватолин Д. Проблема подавления шума на изображениях и видео и различные подходы к ее решению. 2005.
[2] Farooque M. A., S.Rohankar J. SURVEY ON VARIOUS NOISES AND TECHNIQUES FOR DENOISING THE COLOR IMAGE // International Journal of
Application or Innovation in Engineering & Management (IJAIEM). 2013. Nov.
Vol. 2.
[3] Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. М.: Техносфера,
2005. 1072 с.
[4] В.В. Пасынков, Л.К. Чиркин. Полупроводниковые приборы. 6 изд. СПБ:
Лань, 2002. с. 480.
[5] С. Вентцель Е. Теория вероятностей. 10 изд. М.: Academia, 2005. 576 с.
[6] Hasino S. W. Photon, Poisson Noise // Computer Vision: A Reference Guide /
Ed. by K. Ikeuchi. Boston, MA: Springer US, 2014. P. 608610.
[7] Garg E. R., Kumar E. A. COMPARISION OF VARIOUS NOISE REMOVALS
USING BAYESIAN FRAMEWORK // International Journal of Modern Engineering Research(IJMER). 2012. Jan-Feb. Vol. 2.
[8] ImageNet. URL: http://www.image-net.org.
[9] Face Detection. URL: https://betaface.com/demo_old.html.
[10] Tomasi C, Manduchi Roberto. Bilateral Filtering for Gray and Color Images.
Т. 98. 1998. 02. С. 839846.
[11] K. H., J. S., X. T. Guided Image Filtering. 2013. // Proc. IEEE Transactions on,
Pattern Analysis and Machine Intelligence. 2013. V.35. N.6. P. 1397-1409.
53
[12] Buades Antoni, Coll Bartomeu. A non-local algorithm for image denoising // In
CVPR. 2005. С. 6065.
[13] Hasan Mahmud, El-Sakka Mahmoud R. Improved BM3D image denoising using SSIM-optimized Wiener lter // EURASIP Journal on Image and Video
Processing. 2018. Apr. Т. 2018, ќ 1. с. 25.
[14] BM3D
circuit.
URL:
https://www.researchgate.net/figure/
BM3D-Block-Diagram-Dabov-et-al-2007c_fig1_301721957.
[15] Danielyan Aram, Foi Alessandro. NOISE VARIANCE ESTIMATION IN
NONLOCAL TRANSFORM DOMAIN.
[16] K. Dabov A. Foi V. K., Egiazarian K. Image denoising by sparse 3D transformdomain collaborative ltering // IEEE Trans. Image Process. 2007. Vol. 16.
P. 20802095.
[17] Lebrun Marc. An Analysis and Implementation of the BM3D Image Denoising
Method // Image Processing On Line. 2012. Т. 2. С. 175213.
[18] Selesnick Ivan W., Bayram Ilker. Total Variation Filtering. 2010.
[19] YouTube-8M Dataset. URL: https://research.google.com/youtube8m/.
[20] Modied image visual quality metrics for contrast change and mean shift accounting / N. Ponomarenko, O. Ieremeiev, V. Lukin [и др.] // 2011 11th
International Conference The Experience of Designing and Application of CAD
Systems in Microelectronics (CADSM). 2011. Feb. С. 305311.
54
Приложение А
Таблицы результатов исследований для изображений
55
Таблица
1:
Резу ль таты для категории:
человек.
Название алгоритма
?
2
=
0
.0001
?
2
=
0
.001
?
2
=
0
.005
?
2
=
0
.055
?
2
=
0
.15
?
2
=
0
.6
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
Без филь тра
16 19 0
10 0
0 0
0 0
0 0
0
Bilateral
3 1
18 20 12 13 0
0 0
0 0
0
Guided
1 0
2 0
2 1
7 0
0 0
0 0
Non-lo cal mean
0 0
0 0
5 5
5 9
0 0
0 0
TV
0 0
0 0
0 0
8 11 20 20 20 20
BM3D
0 0
0 0
1 0
0 0
0 0
0 0
56
Таблица
2:
Резу ль таты для категории:
ар хитектура.
Название алгоритма
?
2
=
0
.0001
?
2
=
0
.001
?
2
=
0
.005
?
2
=
0
.055
?
2
=
0
.15
?
2
=
0
.6
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
Без филь тра
18 20 8
10 0
0 0
0 0
0 0
0
Bilateral
2 0
12 10 18 20 10 6
6 1
1 0
Guided
0 0
0 0
0 0
1 1
4 3
8 2
Non-lo cal mean
0 0
0 0
0 0
6 10 4
4 0
0
TV
0 0
0 0
0 0
3 3
6 12 11 18
BM3D
0 0
0 0
2 0
0 0
0 0
0 0
57
Таблица
3:
Резу ль таты для категории:
ночная съемк а.
Название алгоритма
?
2
=
0
.0001
?
2
=
0
.001
?
2
=
0
.005
?
2
=
0
.055
?
2
=
0
.15
?
2
=
0
.6
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
Без филь тра
0 20 0
0 0
0 0
0 0
0 0
0
Bilateral
6 0
15 19 2
13 0
1 0
0 0
0
Guided
1 0
2 0
0 0
1 0
0 0
0 0
Non-lo cal mean
0 0
3 1
17 7
2 17 0
0 0
0
TV
0 0
0 0
0 0
17 2
20 20 20 20
BM3D
0 0
0 0
1 0
0 0
0 0
0 0
58
Таблица
4:
Резу ль таты для категории:
человек.
Название алгоритма
?
2
=
0
.0001
?
2
=
0
.001
?
2
=
0
.005
?
2
=
0
.055
?
2
=
0
.15
?
2
=
0
.6
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
Без филь тра
8 9
0 0
0 0
0 0
0 0
0 0
Bilateral
1 1
8 10 7
6 0
0 0
0 0
0
Guided
1 0
2 0
1 0
4 0
0 0
0 0
Non-lo cal mean
0 0
0 0
2 3
3 4
0 0
0 0
TV
0 0
0 0
0 0
3 6
10 10 10 10
BM3D
0 0
0 0
0 0
0 0
0 0
0 0
60
Таблица
5:
Резу ль таты для категории:
ар хитектура.
Название алгоритма
?
2
=
0
.0001
?
2
=
0
.001
?
2
=
0
.005
?
2
=
0
.055
?
2
=
0
.15
?
2
=
0
.6
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
Без филь тра
9 10 3
3 0
0 0
0 0
0 0
0
Bilateral
1 0
7 7
8 10 5
2 1
0 0
0
Guided
0 0
0 0
0 0
1 1
3 0
3 0
Non-lo cal mean
0 0
0 0
0 0
1 5
2 2
0 0
TV
0 0
0 0
0 0
3 2
4 8
7 10
BM3D
0 0
0 0
2 0
0 0
0 0
0 0
61
Таблица
6:
Резу ль таты для категории:
ночная съемк а.
Название алгоритма
?
2
=
0
.0001
?
2
=
0
.001
?
2
=
0
.005
?
2
=
0
.055
?
2
=
0
.15
?
2
=
0
.6
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
SSIM
PSNR
Без филь тра
6 10 0
0 0
0 0
0 0
0 0
0
Bilateral
3 0
8 9
0 7
0 0
0 0
0 0
Guided
1 0
0 0
0 0
1 0
0 0
0 0
Non-lo cal mean
0 0
2 1
10 3
1 8
0 0
0 0
TV
0 0
0 0
0 0
8 2
10 10 10 10
BM3D
0 0
0 0
0 0
0 0
0 0
0 0
62
1   2   3

перейти в каталог файлов


связь с админом