Не нашёл на форуме раздела по технике сканирования, поэтому свой вопрос помещаю в данном разделе.
Я впервые столкнулся с удивительным фактом.
Скачал по одной из рекомендованных ссылок книгу Б.В.Некрасова "Основы общей химии" в двух томах. 1973г. Издательство "Химия". Ленинград. Формат djvu. Текст не распознан, только изображения.
Решил сам провести распознавание. И только тогда обратил внимание на удивительный факт:
слова русского текста имеют в изображениях страниц книги множество опечаток. Повторяю, речь не об ошибках распознавания, а об опечатках, заметных визуально на изображениях страниц книги. Уже количество опечаток вызывает оторопь. Но и "качество" их поразительно.
Например.
В большом количестве слов вместо букв "и" стоят буквы "н". И наоборот: "и" вместо "н".
Эти две буквы в шрифте книги сходны по написанию, так что плохо пропечатанную "н" можно, конечно, иногда принять за "и". Про такие случаи я бы не то что на форум не писал, но даже не стал бы над ними задумываться.
Но тут другое. На месте буквы "и" в словах стоят очень чётко пропечатанные буквы "н". И наоборот.
Не может ли такое  МАССОВОЕ ИСКАЖЕНИЕ ТЕКСТА быть результатом работы программы, которая пытается таким нехорошим способом сжать графическую информацию?
В результате чуть не в каждом предложении ПРИ ВИЗУАЛЬНОМ ЧТЕНИИ DJVU попадается такое: ннтрнд, иитрнд, ннтрит, гипофосфнт, окнсь...
Печальную картину дополняют связя вместо связи, такще вместо также и тому подобное.
На что грешить? Неужели наборщики так напортачили в 1973 году?
О злокозненных действиях цифрующих обработчиков книги я стараюсь подозрений не питать. Но если кому-либо известны подобные факты, прошу поделиться информацией и соображениями по этому вопросу.
Предвидя заранее, что меня станут упрекать в излишней мнительности, скажу о себе:
я всегда предпочитаю разобраться в подлинных причинах, а не придумывать такие, которые мне больше нравятся.

Alex55
Проблема давно известная, описанная и обмусоленная лет 5-7 назад. Странно, что Вы до сих пор этого не знали

dns писал(а) 20.02.2012 :: 08:48:31:
Большое спасибо. Как программист с дореволюционным стажем считаю, что руки бы оторвать разработчикам и распространителям такого кодирования.
А скачанный djvu, сделанный очевидно некачественно, можно, значит, выкинуть? Книжки у меня нет, к сожалению.

AAW писал(а) 20.02.2012 :: 11:02:54:
Серьёзное обвинение. Пожалуй даже слишком. Не думаю, что у Вас или у кого-либо ещё есть моральное право писать такое на публичном форуме.

Готов объясниться, что я не несу Зла людям. Видимо это можно сделать в подходящем для таких тем месте.
А здесь мы имеем простой факт, о котором я написал.
Битая цифровая копия распространяется по сети, а защитники добра против такого зла беспомощны.

AAW писал(а) 20.02.2012 :: 11:02:54:
Вы написали про меня НЕПРАВДУ. Когда я согласен с выступающими, то очень часто оставляю последнее слова не за собой. А делать вид, что согласен, когда не согласен в вопросах общественного уровня, - такой "безразличный" стиль общения слишком дорого нам обходится, чтобы на нём столь энергично настаивать.

"Каждый выбирает для себя" (с) Левитанский
и давайте закончим, если никто не против.

update:
если кто-нибудь возьмётся за обработку, я поищу эту "плохую" книжку

AAW писал(а) 20.02.2012 :: 14:01:59:
Невпопад цитата.
AlVaKo писал(а) 20.02.2012 :: 13:48:49:
Дорогие друзья! Если вы все дружно не считаете распространение плохих копий проблемой, то мне к сказанному добавить нечего.
А вот про умение некоторых здешних собеседников вычитывать в сообщениях такое, чего в них не было, мне придётся констатировать, что я это не могу объяснить никакой заботой о добре.
Не удивлюсь, если кто-нибудь из вас скажет, что я предлагал за чтение djvu-книг выкалывать глаза.
Заранее отвечаю: я этого не предлагал. Во всяком случае, сразу оба глаза. Не зверь же я в конце концов.
PS
Впопад была бы такая строка из А.Лифшица:
"Не будите мою совесть, она может покусать"

pohorsky писал(а) 20.02.2012 :: 14:16:54:

ОК, я поставлю в планы на поиск. Примерно через неделю будет ясно, нашлась или нет.

Инь-проблема в djvu известна уже лет 10.   Это результат сканирования с недостаточно малым dpi, после преобразования в djvu - проблема уже не устранима.
Таких книг много в сети.
Оба тома есть у меня, найду время - отсканирую.   Сканер - на работе, но на работе время для сканирования найти можно не всегда.   В книгах Некрасова много мелкого шрифта - сканить надо с 400 dpi (300 dpi - мало).
Книги крупного формата - в разворот не сканируются.
К тому же бумага от времени заметно пожелтела, хотя контраст печати высокий.   Подождите - где-то к маю сделаю.

Jeffry писал(а) 20.02.2012 :: 17:44:30:

Да я посканю 600, лишь бы нашлась. Чего уж, pohorsky если взялся делать - может через 10 дней "закроем тему"
А предыдущее моё сообщение было про html

Это отдельный вопрос. не про "html теоретически", о котором я выше писал (вы ведь тоже спроcили про людей, а не про перевод в html). Я-то вообще ни в чём и ни в ком не уверен на 100%, даже себе обычно даю 98-99%. "Мало ли", думаю
Конечно, чем больше переводов информации из формата в формат, тем выше вероятность ошибок, именно поэтому я ратую за djvu и высококачественную обработку силами "понимающих дело" людей. Которые ляпов типа "инь" не допустят, не смогут по своей природе.

Alex55 писал(а) 20.02.2012 :: 08:16:31:

Вы не очень хорошо искали, раздел такой давно есть, и я Ваше сообщение сюда и перенес

Хотя, как кажется, с этой проблемой можно было в подраздел "Создание электронных книг"

AlVaKo писал(а) 20.02.2012 :: 13:48:49:

вот эти варианты, имхо, самые лучшие, особенно  4-й

AlVaKo писал(а) 20.02.2012 :: 19:14:45:

собственно, у меня-то тоже второе дно в этой переписке - чтоб нашего полку прибыло

"профессионалов всегда мало". Известное дело. Было бы куда расти - подтянулись бы и остальные. А лучше наших гуру сделать уже нельзя, поэтому вероятно Alex55 и предлагает расширить деятельность в сторону качественного доступа к информации. Чтоб на освободившиеся места подтягивался второй эшелон.
(и я об этом думаю давно... но дальше дум не иду)

AlVaKo писал(а) 20.02.2012 :: 19:14:45:
Это Ваша личная форма извиняться - на будущее? Госпадя...
AlVaKo писал(а) 20.02.2012 :: 19:14:45:
Я не буду делать хороших djvu-книжек. Во-первых, я не поклонник подхода "тебе нужно - ты и делай" в отношении книг. К этому принуждает нынешняя обстановка, приходится иногда делать.
И раз уж делаешь что-либо, полезное не только себе, то стараешься сделать общим достоянием, не ниже приемлемого уровня. И в таких делах я - за координацию.
Во-вторых, я принципиально, как алгоритмист, осуждаю нетекстовые форматы текстовых документов, считаю их излишними.
Как исключение - куда ни шло.

Alex55 писал(а) 20.02.2012 :: 23:20:30:

Чегооо?.......
Увидить в невинной шутке оскорбление и поспешные извинения? Это надо уметь! Да Вас так и распирает от осознания собственной значимости.

Цитата:

Да понятно уже. Ничего хорошего Вы делать не будите. Взвалили на себя непосильную ношу координатора с принципом "Мне надо-ты делай". Желаю творческих успехов.

AlVaKo писал(а) 21.02.2012 :: 05:38:02:
Как охотно Вы переводите на меня ответственность за свои невинные шутки. Не знаю, как насчёт книг, а насчёт конструктивного подхода - это не к вам.
AlVaKo писал(а) 21.02.2012 :: 05:38:02:
Просто рефрен какой-то: несёте людям зло, делаете только плохое. Почему бы не предположить, что я ничем не хуже лично Вас? Тогда можно просто обсуждать проблему, а не меня.
Выясняется, что проблема известна уже 10 лет, а люди нарываются на неё и поныне. Плохие копии не помечены, что они плохие.

Нет, конечно, личности мы не обсуждаем. Всё нормально, ждите от меня или от Jeffry сканов.

Alex55 писал(а) 20.02.2012 :: 23:03:11:

Да не ошибка это, а фича. Все дело в перемычке. В сосканированных буквах "и" и "н" при 300dpi косая и прямая перемычка отличаются незначительно, настолько, насколько в принципе допускает lossy-алгоритм. Так что с точки зрения алгоритма все правильно. И сам алгоритм винить нельзя, ведь там черным по белому написано: кодирует с потерями, да еще с агрессивными. Не хочешь - не применяй. Но применяли и многие до сих пор применяют. Этому можно дать объяснение для прежних времен. Все дело в технологии и в технике. Довольно быстро поняли, что при 600дпи артефакта не бывает. Но сканировать сразу в 600dpi было очень и очень долго, поэтому сканили и делали книги в 300dpi b/w. Потом появилась технология сканировать 300dpi цвете с последующим программным увеличением до 600dpi b/w. Технология родилась кстати у нас, и сейчас ее переняли во всех сканирующих странах
Вообщем, на проблему нужно смотреть, учитывая исторические и технические реалии.
Почему сейчас делают так много уродцев (и не только у нас, но и в других странах) - вопрос философский и требует отдельного рассмотрения. Многие "опрошенные" отвечают, что делают для себя, и им этого достаточно. Возможно, это характерно вообще для безвозмездной работы: за это не платят, поэтому делать можно абы как, никто же за это не накажет.

Alex55 писал(а) 21.02.2012 :: 10:00:16:

допущена неточность в охвате сканировщиков. Человек, делающий книгу, очень часто делает её для себя и семьи, и при попытке усовестить за плохое качество отвечает "хотите сделать лучше - сделайте сами. меня всё устраивает, я с вами поделился тем что имею". Ваше предположение "как правило" - ошибочно. Люди делают для себя чаще чем для других.

Некрасова взял на руки оба тома.

bolega писал(а) 21.02.2012 :: 11:51:35:
Не нужно меня "опускать".
Объясняю Вам, как на самом деле обстоит на практике. Одноразовые любительские решения могут быть и сиюминутными. Решения, рекомендуемые к массовому использованию, предполагают несколько иной подход.
Моё (по-моему - общепринятое) объяснение лучше и понятнее Вашего, хотя своё Вы называете артефактами и "землёй", а моё - "философией" в каком-то нехорошем смысле слова.
Ваши предположения насчёт того, чтО я буду утверждать про алгоритм jpg - ошибочны. То ли Вы меня не понимаете, то ли переиначиваете мою "философию" в свои "артефакты" с искажением смысла.
Как видим, искажение Вы и в данном случае считаете оправданным. Стоит ли после этого удивляться тому, что проблемы, подобные обсуждаемой, не просто возникают иногда, но и живут после обнаружения по 10 лет?
На земле, на которой я стою прочно, в такой ситуации должна была бы широко пойти нелестная слава о НЕКОТОРЫХ djvu-копиях. Каждому интересующемуся книгой должно быть известно, что встречаются заведомо плохие, что при выкладке следует проверять качество и непременно предупреждать о тех случаях, когда копия ниже плинтуса, просто лучшей пока нет.
А то ж ведь найдутся среди оцифровщиков какие-нибудь авангардисты вроде Малевича, и читателям придётся проникать мыслью в их загадочные произведения.
А Ваше замечание насчёт "философии" я учту: буду впредь меньше тратить слов на объяснение очевидного.
Мне наиболее интересны технические знания и неочевидные моменты.

Alex55 писал(а) 20.02.2012 :: 23:20:30:

Ну возьмите для примера книжки в моей библиотеке и скажите - какие из них являются излишними в нетекстовом виде.
Да, они в большинстве делались давно и переделывать я пока не собираюсь.

Гы-гы-гы. вот как накалилась атмосфера. Все друг на друга "наезжают".
------------------------------------------------

AAW писал(а) 21.02.2012 :: 05:54:04:


Скандируют потому что не понимают чего от них хочет Alex55. А хочет от судя по всему общих решений общих проблем. Только обратился он не по адресу.

Ну заполнен инет djvu-шками с проблемой "инь". Это недавно стало откровением для Alex55 и он решил здешней публике  "открыть глаза". Естественно встретил непонимание. Здешний люд, в рамках своих возможностей с проблемой справляется и об этом Alex55'у сообщают-"усё под контроллем" (имея в виду свой локальный уровень). Предлогают локальное  решение "локальной" проблемы-переделать конкретную книгу.

Но Alex55 продолжает гнуть свою линию-
"Как вы можете спокойно здесь сидеть, вы вааащеее чем здесь занимаетесь? Уже 10 лет как известно о проблеме, а вы палец о палец не ударили. А ну быстро все на просторы интернета помечать/заменять плохие копии. Завтра приму отчет о проделаной работе."

Вот, как-то так(утрировано) это выглядит с моей стороны. И я не понимаю зачем мне прилагать усилия в понимании мыслей Alex55.

AlVaKo писал(а) 22.02.2012 :: 08:24:45:
Буря в стакане воды. Можно не реагировать.

amyatishkin писал(а) 21.02.2012 :: 16:53:25:
Я не знаю, где Ваша библиотека.

ramirez писал(а) 22.02.2012 :: 15:38:59:

ну почему же мириться? уже придуман способ избежать этой ошибки - просто сканировать в более высоком разрешении (или программно увеличивать). По-моему, это вполне снимает остроту проблемы (в противном случае, возможно, вырастет объем книг, что не всегда желательно). Если я не прав, поправьте

Alex55 писал(а) 22.02.2012 :: 18:10:40:

Извиняюсь за несдержанность.

Нету здесь уже никакой темы, есть только тролль, который всех замучил задолбал.

Alex55 писал(а) 23.02.2012 :: 08:48:19:

Пометить в одной библиотеке, не означает, что уже предупредили о плохой копии по всему инету.
И что значит "низкое качество"? Лет через 10 нынешние копии тоже будут неудовлетворительными. Потому и ничего помечать не нужно, достаточно посмотреть год публикации материала, чтобы заранее знать чего ожидать внутри.

Alex55 писал(а) 23.02.2012 :: 08:48:19:

На один уровень вверх http://publ.lib.ru/cgi/forum/YaBB.pl?board=ebooks - там выносятся все проблемы.

-
Название топика не соответствует обсуждению, я думал тут будет про то, когда текст уплывает от горизонтали, т.е. искажение страницы из-за загибания на стекле сканера. Переименовать бы топик на что-то с "инь".

-
Сканирование в цветном или сером, 300 или 600 - тоже бы обсудить отдельно. Время идёт, сканеры меняются, технологии обработки тоже, я бы что-то почерпнул для себя нового.

Могу и без цитирования.

Alex55 предлагает иформировать о тех файлах, у которых выявлены недостатки. Я считаю, что администратор или модераторы этого сайта смогут сделать такое действие только в пределах именно этой библиотеки, и то, по чьей-то предварительной наводке.

Мне, Alex55, непонятно, как вы будете отличать низкое качество от хорошего. По какому признаку?

Немного не по теме:
вот распространяемая уже много лет "Библиотека колхоза" по нынешним временам практически вся имеет отвратительное качество:

1. как правило, нет обложек (не знаю уж, по какой причине?)
2. многие книги отсканены разворотами, да еще криво!
3. все книги, имеющие OCR, обезображены гиперлинками в виде больших синих квадратов, с надписью "for КОЛХОЗ Library"
4. псевдоштампы "библиотека колхоза Оскорка", тоже портящие вид книг
5. мусор не вычищен
6. разрешение у половины книг низкое, буквы иногда не разобрать. кстати, эффект Инь частенько там присутствует


Резюмируя:

Библиотека Колхоза (мехмата МГУ) в свое время была очень нужной вещью, сам пользовался часто, но сейчас она устарела. Дело djvu-книгоделания сделало большой шаг вперед. Почти все книги надо делать заново (и хорошо, что очень много сделано уже, в том числе и на этом сайте)/

папаВлад писал(а) 23.02.2012 :: 16:55:09:


еще некоторые зачем-то делают аж в "mht" и "its". Но вот с ITS-файлами бывают иногда проблемы нечтения (так же, как с CHM и MHT).

Но поскольку и MHT, и CHM, и ITS являются производными от HTML,XML, все эти форматы не очень удобны для книг, скорее для комп. документации, справок и хелпов...

Dmitry7 писал(а) 23.02.2012 :: 15:21:47:
По-моему как раз по теме.
Пункты (1) и (6) особенно удручают.

Обобщением опыта занимался (занимается?) Monday2000 на своем сайте и форуме

bolega писал(а) 24.02.2012 :: 09:37:27:


уточняю адреса для тех, кто не знает: http://www.djvu-soft.narod.ru - сайт
http://www.djvu-scan.ru/forum - форум

к сожалению, уже 1,5 года там малоактивно и сильно замусорено спамом на форуме.

У меня дома индексированы 15 dvd с книгами.   Ввел в поиск слово "ОКСНД" и сразу нашел штук 40 книг.
Можно попытаться составить списки инь-книг, только кто возьмется их переделывать.
И еще - скачать в прошлом году не означает, что книга собрана в прошлом году, некоторые книги сделаны давно (когда еще не было СК и СТ), но с грязью.   Кто-нибудь почистил грязь (пусть даже в прошлом году), но инь-проблема осталась.  Такое тоже реально .

Люди все разные, так и книги в сети разные.
Насчет 2-х томов Некрасова: я начал сканить 2-й том: страниц 200 уже есть. 400 dpi, качество неплохое, инь - отсутствует.

Супер!   А то у меня сейчас время в обрез.

Alex55 писал(а) 27.02.2012 :: 20:17:06:

где вы видели чтобы изготовители книг себя так называли?!

djvu и pdf книги делает много народу.   Среди них немало с кривыми руками.   О чем тут шуметь?   Можно исправить книги (да и то не все), людей исправить труднее.

AAW писал(а) 27.02.2012 :: 20:30:20:

Ну, про себя наверно так и думают. Втихаря конечно, прямо никогда не признаются 

Alex55 писал(а) 27.02.2012 :: 20:17:06:

Инь-янь - это не самая плохая проблема. Зайдите куда-нибудь типа миркниг.com или englishtips.org (впрочем, на последнем давно не был, может там уже и поменялось к лучшему), скачайте несколько отсканированных тамошними "умельцами" книг и посмотрите (пропуская конечно те, которые отсюда туда приплыли). Вот где ужас. Я уж про кривые ocr-pdf и не говорю (тут тоже поправлюсь: в последнее время их стало намного меньше, чем было ранее). После этого инь-янь покажется цветочком.
Кстати, а кто и где должен "информировать"? Как вы представляете себе этот процесс? Ну нашел я, допустим, в колхозной б-ке пару тысяч книг с таким артефактом. Где я должен информировать? Кого? Авторов? РАО? И кто бросится пересканировать и исправлять эти тыщи книг? А я скажу, кто. Только тот, кому та или иная книга (и не более) по каким-либо причинам позарез нужна будет в хорошем качестве. Тогда он или сам исправит ситуацию (достанет, отсканит, обработает), или придет на этот форум и конкретно, адресно попытается что-то сделать. Массовая же терапия IMHO невозможна. И говорить об этом и вопрошать бессмысленно.

P.S. Вопросы у вас какие-то риторические 

AAW писал(а) 27.02.2012 :: 20:30:20:
Видел. Вот "изготовителей книг" не встречалось. Непонятный термин. Есть автор, издатель, полиграфист, оцифровщик...
А есть ещё и электронные библиотеки. И там, в этом сообществе,  про инь-проказников наверняка слышали. Но я не встречал предупреждений.
Странно. Необъяснимо с точки зрения "разных людей".

Alex55 писал(а) 28.02.2012 :: 07:03:47:

ну началось... конспирология пошла в ход.

AAW писал(а) 28.02.2012 :: 07:05:44:
Штамп "конспирология" тут годится разве что для затыкания рта. А никак не для понимания проблемы.
Мы имеем дело с фактом масштабного публичного явления. Попробуйте его объяснить "стихией", когда многие люди, не сговариваясь между собой, начинают при изготовлении копий портить информацию.
Любой человек с высшим образованием (думаю и со средним техническим) скажет Вам, что алгоритм сжатия, который при некоторых ВЕСЬМА РАСПРОСТРАНЁННЫХ условиях приводит к замене одних букв на другие, неприемлем для массового распространения как потенциально опасный.
Нам остаётся предположить, что люди с высшим образованием непричастны к обсуждаемому явлению. Это очень маловероятно, такие совпадения можно не принимать в расчёт.

Alex55 писал(а) 28.02.2012 :: 09:01:00:


Мне, например, есть что сказать, но мне некогда, как наверное, и AAW, bolega и другим, кто занят решением "проблемы" - сканирует, обрабатывает и переделывает "кривые" оцифровки книг.

pohorsky писал(а) 28.02.2012 :: 10:39:27:
Судя по количеству слов, написанных группой товарищей в этой ветке, время-то у них нашлось, а вот сказать нечего. За добросовестное информирование в вашем сообществе никто не отвечает, - ни формально, ни морально. Таков реальный итог обсуждения.
А что, действительно нет подводной части айсберга, где всё своим хорошо известно, но скрыто от публичного прочтения?

Alex55 писал(а) 28.02.2012 :: 11:28:46:

Кажется, я начинаю понимать, из какой вы организации.
Чуть было не внедрились 

битые книги выкладывались не глядя?
--------------------------------------
Это надо спросить у того, кто их выложил.   А то получается как в анекдоте: "Папа, ты с кем сечас разговаривал?"

Dmitry7 писал(а) 28.02.2012 :: 18:30:46:
Разные. В общем - разнообразно мотивированную заинтересованность в сокрытии информации общественного значения.

Jeffry писал(а) 28.02.2012 :: 17:06:42:
Значит информация о проблеме некачественных книг среди здешних обработчиков поставлена исключительно плохо, если всё ещё "надо спросить". Как же можно судить о чём-то при такой неинформированности? А ведь судят же напропалую, что люди разные, и что алармизм почём зря.
А причина распространения битых книг остаётся фактически невыясненной.
Понимаете, друзья, удивительно всё это.

Предложу совместно составить список битых книг и мест, где часто встречаются таковые. Если это не противоречит безопасности, конечно.

Какой-нибудь безопасности.
Просьба дать ссылку на сканы Курса химии Некрасова, если уже есть. Займусь переводом в html.

Большое спасибо за 1-й том.