Добавил новый порог и отправил PR в ScanTailor Advanced :
ScanTailor Advanced #48 : feature #47: binarizeEdgePlus

Но не хватает меня одного, чтобы провести полное тестирование этого порога. Я знаю (из другого проекта), что данный порог имеет область нестабильности, когда происходит инверсия фона, но привязку к характеристикам исходного изображения сделать не смог.

Кто способен собирать из исходного кода, подсобите с тестингом.

Пример:

Обработка выпуска журонала "Вокруг Света 1959 N03" в BW режиме с порогом EdgePlus (manual: a:5 c:0.99 Equalize:0ff Savitzky-Golay:off) без каких либо дополнительных манипуляций:
PDF: 600dpi: 33,5M: https://disk.yandex.ru/i/d7fu1PwA9xKkyg

zvezdochiot писал(а) 06.05.2023 :: 00:34:21:

ИМХО на автомате - совсем не стоит использовать. Или для мусорных файлов.

Уж лучше ручками, по-старинке. Долго, но качественнее... Не помню выкладывал или нет...
Техника и наука 1989 11
https://disk.yandex.ru/i/WX1xAwOZIz7whA
Исходники:
https://disk.yandex.ru/d/PHpUflkuW3dEVA

zvezdochiot писал(а) 06.05.2023 :: 20:56:02:

А можно еще раз по-русски?...
Никакая обработка сканов не проводилась. Сканировалось в tiff не сжатый, пережималось в tiff lzw. Единственное - при сканировании настраивался яркость-констраст.

zvezdochiot писал(а) 06.05.2023 :: 21:53:39:

Довольно странно оценивать то что издавалось по советским ГОСТам (стандартам) современными на основе сейчасных технологий...

Ещё два теста:


«Наука и жизнь», 1937, №12.
Исходник: http://publ.lib.ru/ARCHIVES/N/''Nauka_i_jizn'''_(jurnal)/Nauka_i_jizn',1937,N12....
Обработка в BW режиме с порогом EdgePlus (manual: a:5 c:0.99 Equalize:0ff Savitzky-Golay:off) без каких либо дополнительных манипуляций:
PDF: 600dpi: 20,1M: https://disk.yandex.ru/i/fpcwIYmWv8q4Eg


«Наука и жизнь», 1938, №11-12.
Исходник: http://publ.lib.ru/ARCHIVES/N/''Nauka_i_jizn'''_(jurnal)/Nauka_i_jizn',1938,N11-...
Обработка в BW режиме с порогом EdgePlus (manual: a:5 c:0.99 Equalize:0ff Savitzky-Golay:off) без каких либо дополнительных манипуляций:
PDF: 600dpi: 24,5M: https://disk.yandex.ru/d/jdSngoWszTZ1Ww

В этот раз .

PS: Есть определённые претензии к тексту - не хватает механизмов селективной очистки. Но их не хватает независимо от порога.

Ещё один тест.


журнал «Радио», 1948, №8.
Исходник: PDF: 600dpi: 100M: http://publ.lib.ru/ARCHIVES/R/''Radio''_(jurnal)/%d0%e0%e4%e8%ee,%201948,%20%b90...
Обработка в BW режиме с порогом EdgePlus (manual: a:5 c:0.99 Equalize:0ff Savitzky-Golay:off) без каких либо дополнительных манипуляций:
PDF: 600dpi: 13M: https://disk.yandex.ru/i/ss1Hayt8sFujpg


.

Ещё один тест на похожем, но слегка ином виде материала:



журнал „Радиофронт“ 1931 N15
Исходник: PDF: 600dpi: 129M: http://publ.lib.ru/ARCHIVES/R/''Radio''_(jurnal)/%d0%e0%e4%e8%ee%f4%f0%ee%ed%f2,...

Обработка в BW режиме с порогом EdgePlus (manual: a:5 c:0.99 Savitzky-Golay:off) без каких либо дополнительных манипуляций:
DjVu: 600dpi: 10M: https://disk.yandex.ru/d/a4RE2qO1WGJcTQ
PDF: 600dpi: 16M: https://disk.yandex.ru/d/2BOQ20HjCy61ng

Правда исходник содержит много пятен, с которыми не очень понятно как бороться. Надо что то искать на "эту" тему.

zvezdochiot писал(а) 13.05.2023 :: 13:18:14:

эффект инь.

zvezdochiot писал(а) 14.05.2023 :: 06:32:36:


если ты сам не умеешь создать алгоритм тестирования

zvezdochiot писал(а) 06.05.2023 :: 21:53:39:


То от других-то чего вербального ответа ждёшь?

Задача тестинга - непонятна, и скорее всего неалгоритмизируема.

Я сравнивал пару послевоенных Радио, каких-либо замечаний к обработке для себя не выявил. В части бинаризации. Но и плюсов, как-то выделенных визуально, также не нашёл. Бинаризация как бинаризация. Единственное что, явно усилены белесые места на сплошных черных заливках. Вплоть до потери смысла картинок. В заголовках статей на силуэтах и крупных буквах это видно.

с размытостями от CIS-сканеров алгоритм, часом, не справляется?

предлагаю область (направление) для дальнейшего тестирования.

сканов в сети - умотаться. Ну детский сад.

регулярно тут кладут: https://rutracker.org/forum/viewtopic.php?p=84712772#84712772

РГБшные поделки. Той же academia. xyz шарил папку.

Можешь экспериментировать на этом отстое:
https://retrolib.pdp-11.ru/arc_tl.html
(остальные форумчане, лучше даже не заглядывайте - там фотосканы)

UPD
в либгене десятки тысяч книг, пожатых в фоторежиме.

AlVaKo писал(а) 14.05.2023 :: 08:04:34:

Ну кое что есть, но это вам в другую тему: Размытые края страниц сообщение 7.

Хотелось бы заметить, что это была ветка truf   -  разработчика форка Scan Tailor Universal, который тут и обсуждался.

Прошу модератора выделить посты про улучшение Scan Tailor Advanced в новую ветку.

AlVaKo писал(а) 14.05.2023 :: 08:50:08:

примерно то же самое будет, если вам всю начисленную за жизнь зарплату выдадут одноразово в день смерти. По сути, ничего не меняется

AlVaKo писал(а) 14.05.2023 :: 08:50:08:

Что не означает, что к немк нельзя применить некую мат. модель.
Но вы правы, плюсую.
Какую модель не применяй, а и модель будет "наивной", и результат будет "тупейшим".
Но может всё-таки не в этой теме? А?

AlVaKo писал(а) 14.05.2023 :: 08:58:44:

Усреднение - делённая на количество сумма.
Интегрирование - сумма малых интервалов.
Ну хз...

AAW писал(а) 14.05.2023 :: 09:30:54:

Неверно. Неверно в самой постановке задачи. Задача не "баш на баш". Надо не из одного числа получить другое, а из одного десять других. Значит применить upscale. Со всеми вытекающими. В этом и подвох.

AlVaKo писал(а) 14.05.2023 :: 09:58:28:

кто хочет? я, например, не хочу. я хотел узнать от ведущего - сумеет ли предлагаемый им алгоритм что-то вытащить из размытого скана. Потому что я не люблю ST и сам без крайней нужды в него не полезу.
А апскейл не тема для алгоритма бинаризации. очевидно, что раз есть термин усреднение, то все 9 чисел = 128. и это лучше чем их полная неопределенность. но я не про это спрашивал. и Кордемского упоминал.

AlVaKo писал(а) 14.05.2023 :: 11:10:04:

я уловил вашу мысль. Но по-моему это масса допусков и предположений.
- что такое "плотность информации" - ? верхняя частота спектра?
- понижение или повышение разрешения - искусственно вводимые вами абстракции. Число отсчетов на дюйме фактически не меняется.

А так - повторюсь - уловил вашу мысль про апскейл внутри алгоритма. Согласен.

по Шеннону.

AlVaKo
https://habr.com/ru/articles/136853/
о размытии

Dmitry7 писал(а) 14.05.2023 :: 17:31:03:

"Идеи по передискритизации и повышению чёткости сканов".
Как то так.

zvezdochiot писал(а) 14.05.2023 :: 03:07:18:

Ещё один тест на похожем, но слегка ином виде материала:

журнал „Радиофронт“ 1935 N4,6-8:
Исходники: PDF: 600dpi: каждый по 100M: http://publ.lib.ru/ARCHIVES/R/''Radio''_(jurnal)/



Обработка в BW режиме с порогом EdgePlus (manual: a:5 c:0.99 Savitzky-Golay:off):
ZIP: PDF + DjVu: 600dpi: 80M: https://disk.yandex.ru/d/wYl8_tvEXP_PaA

UPD:
журнал „Радиофронт“ 1935 N12-13,15-16,20-21,24 (7шт.):
ZIP: PDF + DjVu: 600dpi: 134M: https://disk.yandex.ru/d/d3fmgtqDF8H8Vg

Залил на Я.диск версию ScanTailor Advansed 1.0.18 с порогами EdgePlus и BlurDiv для пользователей Ростелеком (github для них недоступен, как минимум сейчас).

SHA1:
Code:

efda2ddeaf579cd584963958476601403b71f8f6  scantailor-advanced_1.0.18-qt5_win64_epdb.zip
 

Подробности...

zvezdochiot писал(а) 24.05.2023 :: 14:59:39:


На этот раз решил посмотреть результат на менее повреждённом материале:

Lykas писал(а) 25.05.2023 :: 10:58:45:




Сборник статей. - Освоение космического пространства в СССР., 1987г.

Обработка в BW режиме с порогом EdgePlus (manual: a:5 c:0.99 Equalize:off Savitzky-Golay:off):
PDF: 600dpi: 7,3M: https://disk.yandex.ru/d/r9bpfRb5TssTAw
DjVu: 600dpi: 6,1M: https://disk.yandex.ru/d/CK3I0ePdqRs0ug

Dmitry7 писал(а) 25.05.2023 :: 21:46:27:

Буду разбираться. Скорее всего в ScanTailor что то "не докрутил" (использую всё по дефолту кроме порога и отключение указанных выше опций). Так то даже самому интересно.

PS: "Ларчик просто открывался". Что то неладное с "Удалением пятен". Регулятор стоит на минимуме (дефолт), а точки в содержании вычищает под чистую. Думаю в дальнейшем вырубать эту опцию.

UPD: Вырубил "Удалением пятен" совсем. Не поддаётся он какой то разумной регулировке. (буду знать это в дальнейшем)

Сборник статей. - Освоение космического пространства в СССР., 1987г.

Обработка в BW режиме с порогом EdgePlus (manual: a:5 c:0.99 Equalize:off Savitzky-Golay:off Stain_remove:off):
PDF: 600dpi: 7,0M: https://disk.yandex.ru/i/X31QYHiaU8IOOw
DjVu: 600dpi: 6,0M: https://disk.yandex.ru/d/PfSs0AWJnkArfA

zvezdochiot писал(а) 28.05.2023 :: 20:14:01:

11й номер, стр.52, рис.4 справа: кондёр превратился в муть. Просто в лучших традициях какого-нибудь 2004 года. И нафиг так бинаризовывать спустя 20 лет?  Да ещё журнал целиком, да ещё и годовую подборку, чтоб эту ерунду радостно растаскивали по Сети. Мало чтоли в ЛГ подобных переделок с единого негодного источника. По пять копий, а то и по девять.



Материал хоть и в 600дпи, зато сильно ужат джипегом, да и сосканен похоже на плохом сканере. Такие исходники нет смысла бинаризовывать.

zvezdochiot писал(а) 29.05.2023 :: 09:15:04:


Шварц, 1970г
https://disk.yandex.ru/d/KHqIDQzyhyJFuQ

UPD
ещё, помню, масса версий "Чайковский Ю.В. - Наука о развитии жизни (2006).djvu"

Lykas писал(а) 20.05.2023 :: 09:11:18:


На этот раз получился "пограничный" тест:



Сборник статей - 2017 - Инфокоммуникационные технологии N1

Обработка в BW режиме с порогом EdgePlus (manual: a:5 c:1.40 Equalize:off Savitzky-Golay:off Stain_remove:off):

PDF: 600dpi: 8M:  https://disk.yandex.ru/d/DXWAxOtj4Y_5gA
DjVu: 600dpi: 8M: https://disk.yandex.ru/d/FBCh3zrmiMZxLA

Вадим писал(а) 29.05.2023 :: 18:38:47:

И да и нет. Сами говорите - полутоновые. Так это и есть ЧБ (aka BW). И как их сделать действительно серыми - я без понятия. А недосерые и недополутоновые - это наихудший вариант по всем параметрам. Такие вот дела.

PS: И я же написал: ИМХО. Я действительно считаю именно так. Но это моё и только моё личное мнение. Ничьё больше.

PS2: Но вы правы. На этот раз я наверняка "переборщил". Даже параметры использовал пограничные. "Слегка" занесло. Но было интересно.

Lykas писал(а) 29.05.2023 :: 19:20:41:

Подтверждаю. Так оно и есть. (чтоб не было недопонимания и недосказанности)

Вадим писал(а) 29.05.2023 :: 19:57:03:

Ну разумеется.
Только вот данные конкретные иллюстрации - ни разу не "фотографии снятые в оттенках серого" и как их сделать таковыми - понятия не имею.
Ежели есть рецепт - предлагайте.
Но просто сохранить их в сером - это ни разу не сделать их "фотографиями снятые в оттенках серого". Это просто не рыба, ни мясо. Будь они действительно серыми, я бы их точно не стал обрабатывать порогом.

PS: Да и не особо мне интересен глянцевый материал (это я про действительно серые/цветные иллюстрации).

PS2: Та точечная структура, о которой вы говорили ранее - это ни разу не свойства порога (он такое точно не умеет), это, собственно, берётся из оригинала (чтоб и на этот раз не возникло недопонимания).

AAW писал(а) 29.05.2023 :: 20:29:56:

Никаких издёвок. Сказал как есть. Такие вот дела.

PS: Явно опять намечается какое то недопонимание. Ну да ладно. Пущай.

Цитата:


провести обработку в СТ с сегментацией фоток. смешанный режим
потом сделать экспорт задников и передников
потом (цветные) задники конвертировать в серый ирфаном , кромсатором, да чем угодно.
потом собрать задники и передники воедино в DJVU Small Mod  или   FSD

Писал я разработчику СК о том, что было бы неплохо пакетами папки картинок друг на друга накидывать, но увы ...
Я также писал и разработчикам форков СТ, что была бы полезна опция конвертации в серое. Но тут тоже увы.

Кстати, вот раз звездочет порог в СТ смастрячил, то может пуш-реквест (или как это на гитхабе с готовым к интеграции кодом называется) по конвертации в серое прикрутить сможет.


UPD  хочу заметить, что к STU был также прикручен экспорт масок картинок, чтобы теоретически их можно было бы в СК импортировать, вот вам и будет их автосегментация

zvezdochiot писал(а) 29.05.2023 :: 20:46:53:

Я же говорю: не надо издеваться, вы провоцируете очевидные вещи: играете на двусмысленности понятия "полутоновые иллюстрации".
Во-первых, в журнале иллюстрации для Вадима (и для меня, например, который, по вашему выражению с руборды, "читает" книги) действительно "серые", а вы приблизили их на 400% и говорите "нет, они ЧБ, потому что точками B и W". Но иллюстрацию не читают в 400%.
Во-вторых, сделать такую растрированную иллюстрацию в сером проще простого - размыть, blur. Но вы манипулируете эмоциями, говоря что "это ни рыба ни мясо".

Цель при этом просматривается одна - троллинг. Здесь это поведение не приветствуется.

можно и дизеринг делать.
но
а) размер
б) муар

zvezdochiot писал(а) 29.05.2023 :: 21:17:37:

Тут не смотрели? Может что полезное можно извлечь?
http://www.madingley.org/james/resources/undither/

zvezdochiot писал(а) 29.05.2023 :: 21:17:37:

так вероятнее всего, эксперты оценивали влияние на "истинно-серые" иллюстрации. кто бы сомневался что убрать ВЧ часть спектра это наихудшее искажение. глаз заточен на резкость переходов. Но тут-то иная задача и другие исходники.

можно ссыль на икспердов?

Чхать я хотел на каких-то там экспертов.
По многолетнему опыту обработки обычный  гауссовый блур  дает всех устраивающие результаты.

Тут следует учесть, что накладываются друг на друга шум при сканировании, потом блур, потом джву-вейвлеты - а вы потом оцениваете уже суммарный результат.

1. Дизерить в черно-белые точки  -  вот самый ужас.
2. Ничего не делать, оставить в сером - плохо - при джву кодировании могут полезть пятна, возможен муар при просмотре
3. Конвертация в серое и блур - стандартная практика  сканобработки.

Случаев когда надо было делать дескрин   (зерна растра в километре друг от друга) я видел, но не больше трёх.

Фигня какая-то. "Я не могу сделать прекрасно, поэтому нормально тоже не буду делать, а буду плодить такое нечто, что все ругаются и спрашивают, зачем это было сделано".

для читателей ? нет
для себя ? вряд ли
для книгообработчиков ?   (оценка полезности порога)   так вроде как с одной стороны вы об этом не спрашиваете, а с другой, раз выкладываемое подвергается критике, то наверное не только в пороге дело.


Лучше чего-нибудь полезное запрограммировали.
Список пожеланий к СТ на форумах был длинный - я в свое время несколько сот хотелок там насчитал.

xyz писал(а) 29.05.2023 :: 21:42:23:

ну да: налицо две различные задачи. тестирование полезности нового метода бинаризации это раз. И обработка сканов книг это два. Здесь в ветке задачи смешаны.
Обе задачи решаются из рук вон плохо:
- порог УЖЕ внедрён, чего его ещё тестировать? И обработчик сам по своему усмотрению должен оценивать им сделанное. Выкладывая резульат в профильной ветке (теме).
- готовые книги обработаны ужасно.

админы, забаньте вы уже его Плевать ему на нас.