Оцифровывал намедни случайно попавшие в руки номера «Пионерской правды» и столкнулся с тем, что вменяемо собрать PDF весьма проблематично.  Вменяемо в моём понимании — это автоматически, в Linux'овой консоли, из обработанных картинок (в том числе нарезанных на сегменты: отдельно фон в B/W, отдельно фотографии в grayscale, отдельно цветные плашки картинками с палитрой), да с распознанным текстом из djvused-файла в UTF-8, ибо от бастарда hOCR тошнит.  hocr2pdf из состава exact-image (его использует pdfsandwich) не подошёл — в XXI веке не умеет UTF-8!  hocr-pdf из пакета hocr-tools понимает только hOCR и JPEG, и строго режет: одна картинка — одна страница.  Собрал PDF в Scribus'е — оказалось нечем подшить скрытый текстовый слой.  В общем, не было в жизни счастья.  Пришлось браться за Python…

Написал в итоге две утилитки: pdfsed-tools.  Первая конвертирует hOCR в любимый djvused и обратно с принудительным пересчётом координат, — и теперь, когда правлю распознанный текст вручную, я забочусь только о координатах отдельных слов.  Кроме того, конвертор позволяет пересчитать координаты под другое разрешение картинки — полезно, если вы случайно распознали исходник в 1200 dpi, а результат у вас должен быть, скажем, 200 dpi.

Вторая же утилита — это собственно генератор PDF.  Работает он по сценарию вроде такого:

Code:

set-title "Пионерская правда - 1961-063 (4502) - 8 августа";
set-author "Редактор: М. Н. Чернова";

create-page 842 1190;
draw-text "1/1.djvused";
draw-image "1/1-0-b.png";
draw-image "1/1-0-r-1.png" pos 45 1113 mask 0xffffff;
draw-image "1/1-0-r-2.png" pos 45 833 mask 0xffffff;
draw-image "1/1-0-r-3.png" pos 468 734 mask 0xffffff;
draw-image "1/1-0-r-4.png" pos 108 85 mask 0xffffff;
draw-image "1/1-0-r-5.png" pos 448 405 mask 0xffffff;
draw-image "1/1-1.png" pos 470 819;

create-page;
draw-text "2/2.djvused";
draw-image "2/2-0-b.png";
draw-image "2/2-1.png" pos 79 742 mask 0xffffff;
draw-image "2/2-2.png" pos 253 89;
draw-image "2/2-3.png" pos 554 89;

create-page;
draw-text "3/3.djvused";
draw-image "3/3-0-b.png";
draw-image "3/3-1.png" pos 56 510 mask 0xffffff;
draw-image "3/3-2.png" pos 541 431;

create-page;
draw-text "4/4.djvused";
draw-image "4/4-0-b.png";
draw-image "4/4-0-r-1.png" pos 66 978 mask 0xffffff;
draw-image "4/4-0-r-2.png" pos 235 359 mask 0xffffff;
draw-image "4/4-0-r-3.png" pos 66 99 mask 0xffffff;
draw-image "4/4-0-r-4.png" pos 572 99 mask 0xffffff;
draw-image "4/4-1.png" pos 234 470; 

(Именно так собирался номер 4502 «Пионерской правды» (PDF, 4,3 Мбайта, Dropbox).)

Что, собственно, делается скриптом?  Смотрим:

Code:

create-page 842 1190; 

Создаём новую страницу размером 842×1190 пунктов.

Code:

draw-text "1/1.djvused"; 

Добавляем на страницу скрытый текст из djvused-файла (можно скормить и hOCR).

Code:

draw-image "1/1-0-b.png"; 

Накладываем на страницу картинку из PNG-файла (не проверял, но уверен, что съест и JPEG; а вот TIFF пока не умеет…).  Здесь: весь текст и line-art чёрной краской.

Code:

draw-image "1/1-0-r-1.png" pos 45 1113 mask 0xffffff; 

Накладываем на то, что уже есть на странице, картинку из другого PNG-файла, да не просто так, а на определённое место (pos 45 1113, координаты в пунктах) и с прозрачным белым цветом (mask 0xffffff).  Здесь: один из блоков красной краской.

Ну, и так далее, имитируя, в некотором смысле, набор спусков из плёнок.  Начинайте плеваться и задавать вопросы насчёт религии, предпочтений и велосипедостроения.

PS: Ах да, скрипту нужен Python v2.7+ с пакетами PIL/Pillow и ReportLab.  Результат рекомендуется оптимизировать чем-нибудь вроде QPDF — со сжатием у ReportLab'а не ахти.

GMAP писал(а) 26.03.2014 :: 12:28:29:


Adobe Acrobat Pro 10.1.9 на чужом компьютере отображает всё как надо, ошибок не выдаёт.  Плагин Google Docs/PDF Viewer для Chrome -- аналогично.  Пишите баг-репорт в «Спортлото» Adobe.

ksa242 писал(а) 26.03.2014 :: 19:49:42:
Да я, собссно, другого ответа и не ожидал. Акробаты от 5-го до 11-го, Дистиллеры, GSView и еще куча других программ не Адобе ведут себя совершенно одинаково - выдают ошибки как при просмотре, так и при попытке конвертации. Но если Вы настолько убеждены насчет своего шагания в ногу, а всех остальных наоборот, не смею препятствовать. Продолжайте в том же духе. Только файл от этого не станет более прямым. Что до методики сборки и прочих комстрочных ухищрений, можно только посочувствовать линуксоидам - тащить корову на крышу всегда было неблагодарным занятием.
Цитата:

 

ksa242 писал(а) 27.03.2014 :: 08:48:58:
Все соответствует. Косяки начинаются на второй странице, первая отображается нормально. Откройте свой файл в PDF Explorer и увидите, что все страницы состоят из отдельных частей, которые так и не были склеены воедино, что логично было бы ожидать для растровой графики. Если работали со слоями, надо в конце сделать Flatten layers, чтобы остался один слой, а не мозаика, это же не вектор плюс растр.

ksa242 писал(а) 27.03.2014 :: 16:06:29:
Это где же я такое предлагал? Мы не поймем друг друга, поскольку я пользуюсь набором инструментов, причем, WYSIWYG, а Вы консолями. Если есть готовые файлы черного текста, красных вставок и серых фото, свести все это воедино, одним слоем pdf, не представляет никакой сложности. Акробат с плагинами делает это влегкую. Хотя для такой макулатуры я бы не стал заморачиваться с красным цветом, а бинаризовал бы вместе с текстом, содержание от этого ничуть бы не пострадало.

К вопросу об инструментах - тот же файл, но обработанный компрессором, вроде все на месте, даже OCR, но размер в три с лишним раза меньше - http://rghost.ru/private/53550261/0d8ba5908df11e8aceed26db9a499c0c

ksa242 писал(а) 30.03.2014 :: 19:40:34:
Шутить изволите? Есть совершенно другие методы  Тормоза при просмотре есть, как не быть, а вот насчет остального не могу согласиться, деградации на черно-белом тексте не заметно. Оригинал качеством не блещет, отсюда и ноги растут. Кроме того, это было нечто вроде шутки. А насчет Flatten layers почитайте описание к Акробату. Хотя, если сидите на Линухе, то о каких Акробатах может быть речь? Разве что под Wine. Нет под Линухом нормального инструментария для pdf, поэтому Вам приходится решать все консолью, долго и трудно, те задачи, для которых достаточно несколько щелчков мышкой. Но убеждения - дело святое, доказывать что ехать важнее "шашечек" не стану.

ksa242 писал(а) 31.03.2014 :: 10:20:21:
Я не знаю что такое "hOCR/djvused" и с чем его едят. В Акробате есть ClearScan и IRIS-овский движок OCR, поэтому никогда не извращался с встраиванием стороннего текста OCR.

ksa242 писал(а) 01.04.2014 :: 16:47:10:
Много, наверное, почти все общеупотребительные. Движок уступает FR/OP, но много лучше халявных тессерактов и прочих недоделок.

ksa242 писал(а) 02.04.2014 :: 15:52:50:
Не уловил, после какой именно операции у Вас получаются такие, гм... результаты. В чем проблема - не получается толком отсканировать, обработать, бинаризовать или очистить? Или все перечисленное разом? Выложите исходный скан 300/600 dpi, но серый, а на этом b/w мусоре бесполезно проверять. Даже FR выдает массу ошибок.