Всем привет. Я тут новенький и зашел случайно. Суть проблемы следующая: чем ниже плотность бумаги, тем хуже выглядит скан (настройки порога в сканере не помогают). Причина в том, что на ключевой странице проступает текст от предыдущей. Можно конечно руками чистить, но это на месяцы, если страницы исчисляются тысячами. И топовые программы (например Abbyy) не имеют настроек для очистки страницы от этого мусора. Или другая проблема: рукописный текст, который нужно удалить со скана. В общем, это может быть любой мусор, который мешает распознаванию.

Несколько месяцев пытался решить эту проблему и решил нейросетями. Насколько это интересно и востребовано в вашей работе?

Картинка для понимания:

Да, можно и нужно.
У меня задача была локальная — обработать одну большую книгу (1300 стр). Для этого очистил вручную от мусора 5 страниц и их скормил нейросети для обучения. Она обучилась на этих 5 и дальше сама чистила 1295.

Но я не против добавить и ваш "мусор" для обучения.

вот:
https://drive.google.com/open?id=1UlxDR7K2_5dNOgHNJWprcUNpRd0Nif1d

Тогда уточняющий вопрос: непонятно что значит "этого же типа". Абсолютно непонятно.
Я вас так понял, что вы подсовывали нейросети "буквы отпечатанные" или "буквы рукописные". Она уже обучилась "буквам отпечатанным", соответственно найдёт их и в моих сканах.
В книгах почти никогда не бывает огромной массы однотипно "запорченных" страниц. Такой, чтобы настройка под конкретный косяк была целесообразна по ручным затратам. Вот, скажем, в моей пачке ужасный пример, когда текст с изнанки практически равен передней стороне листа. Такая тетрадка - одна в книге. 16 или 32 страницы. Если обязательно нужно вычистить не менее пяти - нууу... остальные 11 кажутся не столь уж невероятным ручным трудом.
Что-то тут "не то". Допустим, книга исчёркана. Карандашные галочки, ручечные подчерки слов, кое-где волнистые линии цветной ручкой вдоль боковой стороны абзацев. В книге 200 страниц, из них исчёркано - штук 40, может 60. Понемногу, в разных местах, разный тип почеркушек. И что нужно нейросети чтобы "настроиться"?

Разумеется, если бы нейросеть смогла убрать марашки (вертикальные чёрточки между букв), это было бы уже кое-что. Они - типичны для старых наборных книг.

T2k писал(а) 03.07.2018 :: 11:39:54:

Хорошо, поищу сегодня вечером. Может, ещё кто подкинет.

---
А как потом этой нейросетью самостоятельно пользоваться? Не всё же вас просить.

T2k
в каком формате вам изображения залить?
Черно-белый, grayscale 8 bit, цветные?

Ещё вопрос: а ориентация текста (букв) имеет значение? Наклон, небольшой, или поворот на ~90град?

AAW писал(а) 03.07.2018 :: 13:55:56:


Не так важно. Аугментацию я и так делаю (т.е. принудительно поворачиваю под разными углами в момент обучения). 

T2k писал(а) 03.07.2018 :: 15:35:52:

А если по реальную обработку говорить? Я обычно сканы чищу в конце, когда изображение бинаризировано.
Смысла очищения от "мусора" цветных изображений я особо не вижу. Либо храним полноценнное фото/скан со всеми проблемами, либо делаем чистый вариант.

Разве при обучении сети неважна глубина цвета? На первый взгляд чистка должна различается  достаточно сильно.

mor писал(а) 03.07.2018 :: 16:46:12:


Важна. Но что стоит, переделать из цветного в серое, а из серого порогом Отцу превратить в бинарное? 2 строки кода. И наоборот из бинарного в цвет, тоже 2 строки кода.
А цветное приятное потому, что можно преобразовать в HSV, а потом канал Hue менять. И из одной картинки получится много разноцветных. Тут же важно, что чем больше примером, тем лучше.

mor писал(а) 03.07.2018 :: 13:46:45:


А как его скачать? Один спам лезет, вместо файла. Может на гуглдиск?

Вопрос. Нет ли желающих поучаствовать в разметке данных по этой теме? Я пришлю файлы и нужно будет любым графическим редактором (тот же Paint) удалить "мурашки". Очень аккуратно и не спеша. Не повреждая печатные буквы.
Обучение с учителем, оно такое... Нужно показать нейросети, что правильно, а что не очень.

Далее. С разметкой, судя по всему, мы застрянем надолго. Поэтому большая просьба, если вы встретите сканы с "мурашками", то скидывайте их сюда. Они пригодятся. Мы на них будем тестить или возьмем некоторые для обучения, если там окажутся какие-то эксклюзивные шрифты.

Если найдется книга с "мурашками" и будет под рукой сканер, то не поленитесь сделать несколько сканов с разным разрешением/ в разных цветах. Это тоже очень пригодится.

mor писал(а) 03.07.2018 :: 23:57:03:


Скачал, посмотрел. Ну и где там мурашки? Это обычный мусор с предыдущей страницы. Вроде, нормально чистит.

Я, наверное, напишу глупость, но попробую изложить свои мысли. На мой взгляд, алгоритм должен самообучаться и самонастраиваться, причем для каждой книги каждый раз заново.

1. Нейросеть сканирует всю книгу и выделяет отдельные элементы.
2. Сильно схожие элементы она объединяет в один с подсчетом количества объединенных элементов.
3. Элементы сортируются по вот этому количеству в сторону уменьшения.
4. После сортировки в первых позициях будут, скорее всего, правильные буквы. Можно считать, что это будет эталонный алфавит для шрифтов конкретной книги. В конце таблицы будут всякие единичные марашки, а в середине будут искажённые марашками буквы.
5. Далее алгоритм сопоставляет буквы, искажённые марашками с эталоным алфавитом и заменяет искаженную букву на эталонную.
6. Марашки из конца таблицы просто вычищаются.

Возможно, на этапе выявления эталонных букв и букв, искаженных марашками, целесообразно продключить технологии OCR.
Свои навороты потребуются для таблиц, формул и графиков.

На выходе должно получиться две книги:
1. Вычищенная книга
2. Книга с разницей между исходной и вычишенной книгами, чтобы проконтролировать, что не выбросили ничего существенного.

Если задача действительно будет хорошо решаться и не только эта (подчеркивания, мелкий мусор, рукописный текст). Вот тогда можно действительно думать о неком web-сервисе (сайте), где любой желающий сможет загрузить свои файлы и получить новые.  Но это дорого: хостинг, машина с GPU на хостинге, привлечение web-разработчика. Многие из вас захотят вложиться? Не уверен.