OCR форумы Добро пожаловать, Гость. Пожалуйста, выберите Вход или Регистрация
Всем привет!
Hi all!
 
  ГлавнаяСправкаПоискВходРегистрация Администратор Библиотека  
 
Страниц: 1 
Послать Тему Печать
Re: djvused (метаданные) (Прочитано 5709 раз)
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
10.05.2023 :: 05:47:30
 
nuget писал(а) 10.05.2023 :: 01:27:11:
также изменяется MD5

ага, "вишенка на торте".
Фигня это всё. Необходима внешняя база, а не переделка готовых файлов. Либо встраивание в метаданные исходного значения md5. Кстати, никогда не читал такого в спецификациях, чтоб ссылочный ключ хранить как обычное поле.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #1 - 10.05.2023 :: 07:12:52
 
nuget писал(а) 10.05.2023 :: 01:27:11:
Code:
djvused "book.djvu" -s -e "select; set-meta metadata.txt"
 



Такое может быть "сложно" и главное "непонятно" для некоторых. Я бы предлагал более простой рецепт:
Code:
djvused "book.djvu" -f "book.djvuinfo"
 


где "book.djvuinfo", например:
Code:
select
set-meta
(metadata
    "author" "Сборник / Составитель Носов Е.В."
    "title" "Миров двух между."
    "subject" "«Румбы фантастики», Москва: Издательство «Молодая гвардия», 1988., ББК 84Р7, М64."
    "link" "«Публичная библиотека» (http://publ.lib.ru)."
    "software" "minidjvu-mod, djvulibre, djvused"
)
.
set-outline
(bookmarks
    ("обложка" "#1")
    ("титул" "#4")
    ("СЕМИНАР" "#8"
        ("Виталий ПИЩЕНКО." "#9"
            ("Миров двух между." "#9")
        )
        ("Сахиба АБДУЛЛАЕВА." "#193"
            ("Господство женщин." "#193")
        )
        ("Евгений СЫЧ." "#205"
            ("Не имущий вида." "#205")
        )
        ("Дмитрий ФЕДОТОВ." "#214"
            ("Дверь." "#214")
        )
        ("Александр КОПТИ." "#219"
            ("Полет." "#219")
        )
    )
    ("ГОСТИ СЕМИНАРА" "#252"
        ("Юрий ГЛАЗКОВ." "#253"
            ("Мышеловка." "#253")
        )
        ("Михаил ПУХОВ." "#260"
            ("Операция «Прогрессор»." "#260")
        )
        ("Неархос ГЕОРГИАДИС." "#266"
            ("Жертвы невмешательства." "#266")
        )
    )
    ("ПЕРЕКРЕСТОК МНЕНИЙ" "#274"
        ("Сергей ПАВЛОВ." "#275"
            ("Пора договориться о терминах." "#275")
        )
        ("Юрий МАКАРОВ." "#291"
            ("Попытка контакта." "#291")
        )
        ("Анатолий БАЛАБУЕВ, Ираклий BAXTAHTHШВИЛИ." "#299"
            ("Навстречу гибели... или навстречу жизни?" "#299")
        )
        ("Андрей ДМИТРУК." "#302"
            ("Вечно новая фантастика." "#302")
        )
        ("Александр КАШИРИН." "#304"
            ("Сегодня и ежегодно." "#304")
        )
    )
    ("Послесловие" "#319")
    ("Содержание." "#322")
)
.
save
 


То есть и конанда более понятна, и файл более понятен, так как содержит структуру, а не просто набор текста.

А в общем хорошо расписано.

PS: Желательно при этом сохранять резервную копию исходного djvu, так как мету стоит писать по-чистому, а повторные перезаписи чреваты.
Наверх
« Последняя редакция: 10.05.2023 :: 07:22:49 от zvezdochiot »  

Keep it simple, stupid
WWW  
IP записан
 
AlVaKo
Гуру
****
Вне Форума



Сообщений: 514
Алма-Ата
Пол: male
Re: djvused (метаданные)
Ответ #2 - 10.05.2023 :: 07:23:18
 
Какую цель преследуете? Призывая заполнять метаданные в djvu-ках.

Может лучше озоботиться созданием базы данных для хранения только библиографической информации? А уже в файле или в имени файла держать указание на запись базе данных.
Наверх
 

Сложно отбинаризировать черную перемычку на белой бумаге, особенно если её там нет.
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #3 - 10.05.2023 :: 08:01:40
 
AlVaKo писал(а) 10.05.2023 :: 07:23:18:
А уже в файле или в имени файла держать указание на запись базе данных.

Согласен.
РГБ делает именно так - имя файла есть его уникальный номер в библиографической базе РГБ. И LG тоже файлы на диске как его md5 хранит. Да и я, когда раздумывал над упорядочиванием накопленных объёмов, пришёл к тому, что вместо массовых переименований следует распаковывать всё нераспакованное (djvu+pdf+inf внутри rar и т.п.) и сгенерить для файлов список их хешей. И уж по хэшам, опираясь на публичные базы, выискивать нужную книгу. То есть поделить файлы на:
- имеющие хоть какую-то бибинформацию в Сети,
- имеющие удобопонятное для человеческого поиска имя (автор, год, название, серия и т.п.)
- и неизвестные файлы, с которыми разбираться поштучно.

Ещё нерешаемый момент: а когда книжный материал состоит из нескольких файлов, то как к нему md5 прикрепить. Чей - ? Особо доставляет когда книга была разбита на три дежавюшных куска: страницы 1-100, 101-222 и 223-352, плюс отдельно джипег-обложка. И inf-файл от Вадима. Понятно, что надо создать папку, но ключ-то ей какой назначить? Имя папки? md5 имени папки?
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #4 - 10.05.2023 :: 08:19:35
 
@
zvezdochiot
Вполне годный вариант, только некоторые поля (например, subject) не соответствуют спецификации biblatex. Тут важно, чтобы была согласована единая схема.

AlVaKo писал(а) 10.05.2023 :: 07:23:18:
Какую цель преследуете?

Исключительно некоммерческую, если это вас беспокоит... Улыбка Вопрос, касающийся метаданных возник ещё на форуме ru-board. Я обратил внимание, что практически никто не встраивает метаданные. Сначала я подумал, возможно причина в том, что нет инструментов для этого. Когда я предоставил скрипты, то интереса особого не увидел. Возможно это связано с MSYS2, поскольку скрипты написаны под Linux. На самом деле, меня интересует обратная связь, для более точного понимания технологического процесса. Возможно, я мог бы помочь в разработке инструментов.

AlVaKo писал(а) 10.05.2023 :: 07:23:18:
Может лучше озоботиться созданием базы данных для хранения только библиографической информации?

В этом направлении уже кое что сделано (см. libgen), только вот боюсь этот инструмент не каждому подойдёт... Улыбка
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #5 - 10.05.2023 :: 08:30:31
 
AlVaKo писал(а) 10.05.2023 :: 07:23:18:
Какую цель преследуете?

личную, nuget это на руборде явно проговорил. Обогатить личную базу книг, задачи отдать инфу другим не ставится.

nuget
Чтобы инструмент был универсальным, он должен позволять работать с разными форматами файлов. не только дежавю.

+
Человеку нет никакой выгоды только отдавать бибсведения в базу. Поэтому и не заполняют метаданные. Это тоже "нерешаемый вопрос".
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #6 - 10.05.2023 :: 08:36:09
 
nuget писал(а) 10.05.2023 :: 08:19:35:
@
zvezdochiot

Здесь markdown не пашет. Я даже не знаю, как здесь вообще кастовать кого то.
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #7 - 10.05.2023 :: 08:52:50
 
AAW писал(а) 10.05.2023 :: 08:30:31:
личную, nuget это на руборде явно проговорил.

Ну, я заметил, что ваше кредо, --- это разговоры ни о чём. А когда, касается дела, тут же возникает множество причин, которые мешают сдвинуться с места, так получается?!... Улыбка Мне больше нечем заняться, как только охотиться за какими-то воображаемыми данными для личного обогащения... Прежде чем, что-либо утверждать, для начала нужно точно знать...

AAW писал(а) 10.05.2023 :: 08:30:31:
Человеку нет никакой выгоды только отдавать бибсведения в базу.

А какая выгода, по вашему, человеку делать книгу и выкладывать в публичный доступ?
Наверх
 
 
IP записан
 
AlVaKo
Гуру
****
Вне Форума



Сообщений: 514
Алма-Ата
Пол: male
Re: djvused (метаданные)
Ответ #8 - 10.05.2023 :: 08:57:46
 
Прежде чем обсуждать каким образом засовывать куда-то, и какие метаданные, может лучше определиться с мотивацией людей которые будут это делать.

В этом "театре" есть три основных роли.
Читатели, Библиотекари, Обработчики. Читатели библиоинформацию заполнять не будут ни в каком виде. Никакого единого стандарта на метаданные нет и не будет. От изготовителей djvu-шек вы не дождетесь единообразного заполнения метаданных. Обработчику нет смысла заполнять библиоинформацию, при этом учитывать особенности той или иной эл-библиотеки. Полнота и структура библиоинформации важна только для Библиотекарей, и зависит от структуры их библиотеки.
Наверх
 

Сложно отбинаризировать черную перемычку на белой бумаге, особенно если её там нет.
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #9 - 10.05.2023 :: 09:12:28
 
nuget писал(а) 10.05.2023 :: 08:52:50:
Ну, я заметил, что ваше кредо, --- это разговоры ни о чём. А когда, касается дела, тут же возникает множество причин, которые мешают сдвинуться с места, так получается?!

Именно так и получается, и я не вижу тут повода для шуток. С чего ради я буду заполнять метаданные для вас и так как ВЫ хотите - ? А вы тут опубликовали решение в личном аспекте. Для себя. Я ж не говорю что это плохо. Я предупреждаю, что вы неполноценно ставите вопрос.

nuget писал(а) 10.05.2023 :: 08:52:50:
А какая выгода, по вашему, человеку делать книгу и выкладывать в публичный доступ?

Например, совесть. Кто-то пахал, писал книгу, на этой книге выращены люди, они создали материальные блага в стране, писатель умер, благами я пользуюсь а на память о писателе - мне плевать? Совесть говорит "нет, не плевать. расскажи, чья заслуга в том, чем я пользуюсь."
Например, желание поделиться чувством, переживанием от прочитанного. Выгода в реализации желания. UPD прочитав выложенное, другой сможет со-пережить моё чувство. А если текста нет - не будет общности переживаний.
Например, обмен. У меня есть одно, у вас другое. Мне надо ваше, вам - моё.

Наверх
« Последняя редакция: 10.05.2023 :: 09:19:07 от AAW »  

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #10 - 10.05.2023 :: 09:13:07
 
AlVaKo писал(а) 10.05.2023 :: 08:57:46:
От изготовителей djvu-шек вы не дождетесь единообразного заполнения метаданных. Обработчику нет смысла заполнять библиоинформацию, при этом учитывать особенности той или иной эл-библиотеки.

Неправда. Я обработчик и мне важна мета. И хотелось бы единной формы заполнения. Но тут Adobe и PDF. Никакие bibtex стандарты ты в него не запихнёшь. (ИМХО)
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
bolega
Патриарх
*****
Вне Форума



Сообщений: 1104
Re: djvused (метаданные)
Ответ #11 - 10.05.2023 :: 09:16:27
 
Забавно, когда читаешь про то, что пользователи не склонны вводить какие-то данные через скрипты.
Уверен на 99%, что причина именно в скриптах - сделайте к ним нормальный графический интерфейс, и ситуация возможно исправится.

По делу. nuget, у вас есть база возможных значений publisher и keywords? Одно дело - дать людям готовый gui с выбором параметров из готового списка, другое дело - каждый раз придумывать это самому.

И в pdf можно все эти данные запихнуть без проблем, у него есть такое понятие, как заказные свойства документа, т.е. пары "имя-значение".
Наверх
 
 
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #12 - 10.05.2023 :: 09:26:12
 
bolega писал(а) 10.05.2023 :: 09:16:27:
дать людям готовый gui с выбором параметров из готового списка.

На лине для этого есть wish (aka tcl). Под винду можно из этих скриптов сделать exe-шку с помощью freeWrap.
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #13 - 10.05.2023 :: 09:43:08
 
AlVaKo писал(а) 10.05.2023 :: 08:57:46:
Прежде чем обсуждать каким образом засовывать куда-то, и какие метаданные, может лучше определиться с мотивацией людей которые будут это делать.

1. Какая мотивация у обработчика сканов?
2. Какая мотивация улучшать качество уже обработанных сканов?
3. Какая мотивация встраивать текстовый слой?
4. И самое главное: что побуждает человека тратить время на работу, которая не оплачивается?

Список вопросов можете продолжить...

Я не ожидаю, что все разом начнут встраивать метаданные в DJVU-файлы. Для меня важно понять, что мешает людям это делать, и каковы причины. Если выяснится бесперспективность данного мероприятия, значит мне тут нечего делать, всё просто. Я готов вложиться в реальную разработку только в том случае, если сообществу это будет интересно.
Наверх
 
 
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #14 - 10.05.2023 :: 09:48:31
 
nuget писал(а) 10.05.2023 :: 09:43:08:
Список вопросов можете продолжить...

А стоит? С чего ты взял, что то, что тебе здесь отвечают, является правдой? И чьей правдой? Больше похоже на какие то "хотелки".
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #15 - 10.05.2023 :: 09:54:36
 
bolega писал(а) 10.05.2023 :: 09:16:27:
Уверен на 99%, что причина именно в скриптах - сделайте к ним нормальный графический интерфейс, и ситуация возможно исправится.

Ну, это по вашей части... меня более интересуют концепции...
Наверх
 
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #16 - 10.05.2023 :: 10:00:39
 
bolega писал(а) 10.05.2023 :: 09:16:27:
По делу. nuget, у вас есть база возможных значений publisher и keywords?

Хороший вопрос... по поводу keywords я долго думал, в итоге пришёл к выводу что нужно создавать слой, по верх которого будет проходить трансляция на разные языки... что касается publisher, тут нужно больше информации...
Наверх
 
 
IP записан
 
AlVaKo
Гуру
****
Вне Форума



Сообщений: 514
Алма-Ата
Пол: male
Re: djvused (метаданные)
Ответ #17 - 10.05.2023 :: 10:51:54
 
nuget писал(а) 10.05.2023 :: 09:43:08:
1. Какая мотивация у обработчика сканов?
2. Какая мотивация улучшать качество уже обработанных сканов?
3. Какая мотивация встраивать текстовый слой?
4. И самое главное: что побуждает человека тратить время на работу, которая не оплачивается?


За всех обработчиков не скажу... Мотивация по бесплатной обработке может быть весьма экзотической. "Голая" djvu-шка (без ОЦР, закладок, метаданных и пр. рюшечек) уже является объектом, которым можно пользоваться. Могу создать djvu-шку, пользоваться  и не выкладывать. Добавив метаданные в свою djvu-шку, как читатель я не получаю доболнительного качества. Выложив свою djvu-шку с метаданными в инет, я (как обработчик) не получаю дополнительных удобств по сравнению с выкладыванием без метаданных.

При этом мне, как читателю и неквалифицированому пользователю при поиске, эл-библиотеки предоставляют не всегда удобный интерфейс, с зачастую неадекватными результатами поиска.

Библиоинформация/метаданные нужны в первую очередь для библиотекаря, для каталогизации. Он лучше знает какая информация нужна для его библиотеки. Это его часть работы.
Наверх
 

Сложно отбинаризировать черную перемычку на белой бумаге, особенно если её там нет.
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #18 - 10.05.2023 :: 10:54:32
 
AAW писал(а) 10.05.2023 :: 09:12:28:
С чего ради я буду заполнять метаданные для вас и так как ВЫ хотите - ?

Кто против, если вы предложите лучшую модель... Вот, только на практике получается, что по настоящему проработать этот вопрос оказывается никому и не интересно вовсе,... все почему-то ждут готового решения... а когда предлагаешь, тебе в ответ: да, фигня всё это... Улыбка так получается?!

Почему у вас постоянно какие-то навязчивые идеи по поводу выявления корыстных целей?!... можете быть спокойным, мои интересы не связаны с производством книг... я это делаю, поскольку мне интересно проверить некоторые концепции в разработке программного обеспечения... если моя работа окажется полезной не только мне, я буду рад в двойне... Улыбка
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #19 - 10.05.2023 :: 11:04:54
 
nuget писал(а) 10.05.2023 :: 09:43:08:
Я не ожидаю, что все разом начнут встраивать метаданные в DJVU-файлы. Для меня важно понять, что мешает людям это делать, и каковы причины.

Разве из ответа AlVaKo всё ещё непонятно? Метаданные нужны библиотекарю.
zvezdochiot лукавит, говоря что он обработчик и ему нужны метаданные, да ещё и в некоем едином формате. Когда ему нужны метаданные от других, он в роли не обработчика, а библиотекаря выступает. Библиотекаря своей собственной библиотеки. И никак иначе. Он хочет чтобы скачивая книгу из Сети, он мог её потом найти на своём диске стандартным способом. И только. Вадим недавно предъявил требования к заполнению бибописания е-книг для данной библиотеки. Данной. Не другой. Это сущность, "библиотека". Как и РГБ. У неё - свойства, обычно уникальные.
Вы, nuget, с чего biblatex выбрали? С того, чтобы в свою библиотеку тянуть метаданные. Не в чужую их отдать.

Ещё дальше разжевать? Что любая библиотека основывается на своём собственном стандарте описания, и значит единых метаданных быть не может. В частности, потому что библиотека УЖЕ есть. Создавая сущность, ее владельцы продумали структуру описания с нуля, под свои задачи и под свои ограничения.

"Концепция" сводится к поиску объединяющего библиотеки формата. Библиотеки, а не обработчиков. Ожидать от обработчика, чтобы он заполнял метаданные - бесперспективно. Один льёт книгу в торренты, второй сюда, третий в ленту рубоард, четвёртый ни с кем не делится. Пятому предлагается в либгене заполнить обязательные поля. Потом я как библиотекарь хожу по этим источникам и стягиваю себе нужное. Структурируя не по встроенным кем-то метаданным, а по своим задачам и ограничениям.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #20 - 10.05.2023 :: 11:06:53
 
nuget писал(а) 10.05.2023 :: 10:54:32:
Почему у вас постоянно какие-то навязчивые идеи по поводу выявления корыстных целей?!

Улыбка Улыбка  Да не "корыстных" вовсе. А _личных_. Подумайте над разницей. Вы не видите задачу другого человека.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #21 - 10.05.2023 :: 11:15:53
 
nuget писал(а) 10.05.2023 :: 10:54:32:
предложите лучшую модель...

Очень "смешно". Я бы понял, если бы ты спросил такое у  AlVaKo или  bolega. Но вот AAW вообще ни разу не обработчик и никогда им не был. У кого ты спрашиваешь?
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #22 - 10.05.2023 :: 11:19:54
 
О ! AAW просто предвосхитил мой ответ, который я в ворде набирал:


Мне кажется юзеры могли бы заполнять мета, когда формировали бы свои книжные коллекции.
Т.е нужна какая-то прога для оптимизации хабара на локальном ПК, и вот она бы уже взаимодействовала с модулем заполнения мета.

Как обработчик я заполнял бы мета, если оно было бы более-менее стабильным, небольшим и использовалось при выгрузке библиотекарями на сайт. Возможно, там нужна некая конвертилка данных одних библиотек в другие, т.к. латиницей и с isbn  я точно делать не буду. Также желателен импорт дополнительных недостающих данных из других библиотек или каталогов РГБ/РНБ, возможно, книжных магазинов.
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #23 - 10.05.2023 :: 11:34:41
 
xyz писал(а) 10.05.2023 :: 11:19:54:
Т.е нужна какая-то прога для оптимизации хабара на локальном ПК, и вот она бы уже взаимодействовала с модулем заполнения мета.

Остаётся подвисшим без ответа вопрос: а где этот модуль будет крутиться и с какой целью?
Мы всё это обсуждали на руборде пару лет назад.
Вот скачал я книгу, оформил ее данные хрен пойми каким способом - то ли в имени, то ли в метаданных, то ли в едином TXT "моя база книг", то ли просто по папкам раскидал вообще без оформления. Раз в "remeslo" лежит, значит файл про стройку и инструмент. Ну а дальше куда? Человек САМ строит свою библиотеку. Куда ему выстроенное передать?
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #24 - 10.05.2023 :: 11:45:21
 
AAW писал(а) 10.05.2023 :: 11:04:54:
Вы, nuget, с чего biblatex выбрали?

Спецификация biblatex разработана для целей цитирования, используя механизмы базы данных библиографии. Возможно, с точки зрения цифровой подписи, спецификация epub3 была бы лучшим выбором для DJVU, но не настолько полезным, с точки зрения издательского дела и обмена данными в BIB-формате. То есть, если сложить все за и против, то получается, что выбор в пользу спецификации biblatex, наиболее оптимальный. Если вы вспомните, я сначала склонялся к спецификации epub3 на ru-board, но после погружения в biblatex, понял, что это не верный путь. Важно, чтобы были встроены обязательные поля для соответствия правилам biblatex, а остальные поля, по большому счёту, не имеют значения. В этом смысле, метаданные могут заполняться недостающими полями из спецификации epub3, поскольку на целостность данных это не повлияет. Но, тут возникает вопрос о согласованности выбора пользовательских полей в среде сообщества. Следовательно, сообщество выступает в роли некого регулятора, как это и должно быть, если основная его (сообщества) цель, --- это разработка наилучшего решения. Получается, только если сложить весь опыт сообщества, можно достичь некоего универсального оптимума. Тут, как бы, на передний план выступает сотрудничество, а не перетягивание одеяла в разные стороны...
Наверх
 
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #25 - 10.05.2023 :: 12:14:22
 
xyz писал(а) 10.05.2023 :: 11:19:54:
Мне кажется юзеры могли бы заполнять мета, когда формировали бы свои книжные коллекции.

В идеале, прикрутить пользовательский интерфейс в SK. Но, для этого нужно сначала разработать дорожную карту, согласовать, какая спецификация будет положена в основу наименования полей данных. Исходя из этого будет строится всё остальное: библиотека ключевых слов (keywords), издательства (publisher) и т.п., т.е., то о чём писал выше @bolega. На крайний случай, можно подсмотреть, как это реализовано в JabRef... Улыбка
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #26 - 10.05.2023 :: 12:22:22
 
nuget
тут нет "одеяла", перетягивать нечего.
nuget писал(а) 10.05.2023 :: 11:45:21:
но не настолько полезным, с точки зрения издательского дела и обмена данными в BIB-формате.

А кого-нибудь - кроме вас - интересует "издательское дело" и "обмен в BIB-формате"? То есть о каком со-ТРУД-ничестве речь идёт?
Вы пишете общие фразы, ну неужели самому не видно. Я вас привожу к конкретике, и слышу снова да ладом "опыт сообщества" и прочие благопожелания ни о чём.
Вы не обижайтесь, я зла не желаю, и тоже буду рад если что-то срастётся и получится. Но я твёрдо выучил, что любое совместное дело требует согласия, а оно - как говорил электрик в 12 стульях - "есть продукт при полном непротивлении сторон". Вы о сообществе говорите - а перечислите мне членов вами упомянутого сообщества, согласных хоть в чём-либо. Конкретных субъектов. Я тридцать три раза орал на руборде - нужна библиографическая база, связывающая md5 и РГБ, с полями по качеству, готов заполнять если наберутся заинтересованные на долгий труд люди. Будут люди - можно обсуждать форматы.  И что? По нулям. С субъектов всё начинается, а не с предложений. А у субъектов - с их задач.
И раз людей не набирается, я сам шуршу. Поднял в апреле wiki дома, потренироваться. Понять, а в чём конкретно будут проблемы при заполнении такой "базы про качество".

...
Наверх
« Последняя редакция: 10.05.2023 :: 13:13:04 от AAW »  

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #27 - 10.05.2023 :: 13:59:30
 
AAW писал(а) 10.05.2023 :: 12:22:22:
А кого-нибудь - кроме вас - интересует "издательское дело" и "обмен в BIB-формате"? То есть о каком со-ТРУД-ничестве речь идёт?

Сотрудничество, в смысле согласованности целей сообщества, если таковые имеются... если, таковых нет, то и нет возможностей, для их реализации... может быть вы представляетесь от имени сообщества, мне это не ведомо,... что даёт вам право рассуждать о согласованности? Однако, факт того, что вам не удалось прийти к согласованности с другими членами сообщества, не является показателем объективной реальности. Это может быть банальная психологическая несовместимость, да всё что угодно... Подмигивание
Наверх
« Последняя редакция: 10.05.2023 :: 15:09:40 от nuget »  
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #28 - 10.05.2023 :: 14:24:46
 
Я вам про Фому, вы мне про Ерему Улыбка

Возьмите банальный материалистический пример: постройка моста через реку. Перекидывание брёвен через овражек. В одиночку это невозможно, некому с другой стороны подаваемый вами конец поддержать и направить, чтобы он лег на подготовленную опору. Вы не сможете один строить мост. Вопрос в этой ветке состоит в том, что вы не нашли никого кроме себя, кому нужен мост и он в силах прийти и поддержать бревно.

Другим нужен мост, но в другом месте. Не пешеходный, а автомобильный. Не деревянный, а металлический и разводной. Или с фонарями. Не сейчас, а через полгода. Кому нужен мост в данном месте в данный момент из уже имеющегося материала - ... а вы не ставите вопрос так. Вы удивляетесь: а почему это есть другие характеристики постройки моста, ведь ваше предложение такое отличное. Это даже не детский сад.
Наверх
« Последняя редакция: 10.05.2023 :: 18:10:35 от AAW »  

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #29 - 10.05.2023 :: 17:57:34
 
Файловых менеджеров до шута.
Вот в чём проблема сделать книжный менеджер (Book Manager) ?
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #30 - 10.05.2023 :: 18:04:08
 
Calibre
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
Геолог
Патриарх
*****
Вне Форума


Всем привет!

Сообщений: 1431
Пол: male
Re: djvused (метаданные)
Ответ #31 - 10.05.2023 :: 18:12:10
 
nuget писал(а) 10.05.2023 :: 13:59:30:
Сотрудничество, в смысле согласованности целей сообщества, если таковые имеются...

Это нтересно Улыбка
Давно у нас не было столь живой дискуссии.
"nuget" не сдавайся, идея интересная, и, мягко говоря, давно перезревшая.

Книги сканируют и оцифровывают уже многие, библиотеки и личные и с онлайн доступом, совершенно различного уровня, уже даже сложно охватить одним взором. Как только выхожу в интернет, каждый раз нахожу один, иногда более новых порталов. И каждая библиотека работает по своему, доморещенному, разумению. Одни просто накидывают книги в кучу, по типу финской поленицы, другие делают тематические подборки, наиболее продвинутые делают поисковые системы с различным уровнем сложности и поиском по тегам.
Принять какой либо единый и универсальный формат, приемлимый для всего сообщества, практичеси нереально. Как там у Пушкина - "В одну телегу впрячь не можно, Коня и трепетную лань". Народ форумный своеволен, не терпит над собой управы, и не готов работать по принуждению. А любые рамки, форматы, по свое сути, есть принуждение.
Посему и не надо стараться всем угодить. Надо создать круг заинтересованных, в узком кругу разработать формат представления данных в гипотетической, универсальной, идеальной (от слова Совершенство) Библиотеке. И представить творение Миру.
Мир конечно возмутится, отринет и оплюет. Спокойно выслушать его, и опираясь на Совершенство, где то дать Миру слабину, а где то и подвинуть Мир, в сторону Совершенства. И предоставлять Миру второй, третий  и надцатый вариант приблежения к Совершенству. Этот шутовской план, если подумать, не так уж и плох.
А если серьезно, то:
- потребность в унификации библиотек, уже перезрела, нынешнее положение неприемлимо,
- заставить всех работать в одном формате невозможно,
- можно разработать приемлемый формат, устраивающий часть сообщества,
- при достаточном упорстве и учтении многих пожеланий, формат, со временем, может принять большая часть сообщества,
- остальные либо примут формат по факту его общепринятости, либо им это вообще не интересно, в таком случае их мнение так-же никого не интересует, и собственно его даже озвучивать и воспринимать не имеет смысла.

А вообще, идея моментальной интеграции, полученных со стороны электронных книг в частную или общественную библиотеку великолепна. Она позволит спасти собственно сам обмен книгами, когда онлайн окончательно зажмут всевозможные правообладатели. Поисковики все более странны в поиске, библиотеки множатся и дробятся, а найти то что уже было оцифровано ранее, все труднее. В конце-концов, все может рухнуть опять на уровень передачи файлов по прямым запросам знакомых по личной цепи знакомств, и даже проста с диска на диск. И в этом случае единый формат метаданных, станет спасательным кругом для ищущих Знаний.
Наверх
« Последняя редакция: 10.05.2023 :: 18:43:30 от Геолог »  
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #32 - 10.05.2023 :: 18:28:49
 
Геолог писал(а) 10.05.2023 :: 18:12:10:
идея моментальной интеграции, полученных со стороны электронных книг в частную или общественную библиотеку великолепна

Угу. Есть пачка файлов, и к ним приложено json-описание. Это приблизительно то, что надо. Вопрос в сложном gui. Импорт-экспорт и показ. Почему я к викидвижку и пришёл в рассуждениях о том, что нужно от gui.

А ещё нужна ЭЦП. Для верификации.
Наверх
« Последняя редакция: 10.05.2023 :: 20:15:32 от AAW »  

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
Lykas
Патриарх
*****
Вне Форума


Всем привет!

Сообщений: 1074
Re: djvused (метаданные)
Ответ #33 - 10.05.2023 :: 18:45:55
 
AAW писал(а) 10.05.2023 :: 12:22:22:
Но я твёрдо выучил, что любое совместное дело требует согласия, а оно - как говорил электрик в 12 стульях - "есть продукт при полном непротивлении сторон". Вы о сообществе говорите - а перечислите мне членов вами упомянутого сообщества, согласных хоть в чём-либо. Конкретных субъектов. Я тридцать три раза орал на руборде - нужна библиографическая база, связывающая md5 и РГБ, с полями по качеству, готов заполнять если наберутся заинтересованные на долгий труд люди. Будут люди - можно обсуждать форматы.  И что? По нулям. С субъектов всё начинается, а не с предложений. А у субъектов - с их задач.
И раз людей не набирается, я сам шуршу. Поднял в апреле wiki дома, потренироваться. Понять, а в чём конкретно будут проблемы при заполнении такой "базы про качество".

[url]https://i121.fastpic.org/thumb/2023/0509/e8/8be674884272c208db66a13599f80de...[/URL]

ИМХО стоит есть слона по кусочкам.
По поводу привязки библио-информации книги именно к РГБ для однозначной идентификации согласен.
Метаданные в Djvu - в принципе не помешает, но нет верификации этой информации. И это с учетом того, что md5 файла определить можно, но внутрь этого файла не запишешь, т.к. это приведет к изменению этого идентификатора.
Как вариант, вшивать метаданные в Djvu. И одновременно дублировать в подобие fbd (где можно указывать и md5 файла). И на основе связки Djvu+Fbd формировать свою библиотеку. Архивы с такой связкой являются стандартными для Либрусека для не Fb2-файлов.
Цитата:
А вообще, идея моментальной интеграции, полученных со стороны электронных книг в частную или общественную библиотеку великолепна.

Когда-то на одном из сайтов посвященных спутниковой рыбалке была программка по переименованию нарыбаченных файлов по md5. На текущий момент, можно написать программку. которая может сделать запрос на Либген по md5, и по полученным данным переименовать файл. Но опять же - полнота библио-данных.
https://search.rsl.ru/ru/record/01002765308
Три автора. Напрямую ФИО можно взять одного, два других - только инициалы.
При желании на последней странице можно взять ФИО полные.

Наверх
« Последняя редакция: 10.05.2023 :: 19:06:59 от Lykas »  
 
IP записан
 
joker2156
Активист
***
Вне Форума



Сообщений: 280
Re: djvused (метаданные)
Ответ #34 - 11.05.2023 :: 07:50:08
 
Вставлю две копейки, в основном поддержав xyz ("..сделать книжный менеджер.."). Если я не вкурил о чем вообще речь - извините, что я в калашный ряд запёрся в графоманском настроении Улыбка. Возможно пропустил, но не увидел какая преследуется цель и сценарии использования? Для подавляющего большинства "пользователей", я уверен, всякая дополнительная библиографическая информация ценности не представляет (например организация ее в отдельных сущностях - идея мертворожденная. Я сам удаляю всякие file.info, checksum.txt, md5.dat и т.п. - они мне на хер не сдались, хранить этот хлам ради эфемерной возможности что кому-то когда-то может пригодится. Это моя личная библиотека, и, по правде говоря, я вообще сомневаюсь что она не отправится в мусорку сразу после моей смерти.) Мне, как представителю легиона, обычно достаточно раздела, автора, названия, года издания и номера издания - последние два атрибута, чаще всего для технических книг. Еще, если качество сильно говенное, но лучше нет в доступе - помечаю тоже. Итого, все это помещается в название + раздел.
Потому что для меня основной сценарий - поиск по каким-то критериям, где это лежит, сравнение того что уже есть с новыми вариантами (именно на этом сценарим и основываются мои рассуждения здесь). И используется для этого либо файл-менеджер, если поиск по локальным дискам, либо каталогизатор. Все. Думаю многим и этого не надо, свалено в несколько кучек по папкам "фантастика", "детективы", "учёба".
На хоть какое-то распространение метаинформации можно надеяться только если она будет легко доступна, полезна многим, удобна к редактированию и обмену. Т.е. нужно чтобы либо "проводник" научился обрабатывать дополнительные поля, либо искать\создавать удобный каталогизатор, желательно бесплатный, open source, легко устанавливающийся и легкий в использовании. Звучит как утопия. Хотя для звуковых файлов уже научились показывать информацию в проводнике.
Мне лично вообще не удалось найти библио каталогизатора которым хотелось бы пользоваться.
Для музыки использую древнию MPEG Audio collection, для всего остального - whereisit, который тоже не поддерживается, впрочем появился некий потомок Wincatalog (платный), который даже умеет импортировать базу whereisit. В принципе, whereisit, при добавлении новых объектов, умеет подтаскивать доступные метаданные и на уровне файла, и на уровне каталогов (типа file_id.diz), включает описание в поиск, умеет импортировать описания дополнительно из сторонних файлов (не пользовался) и имеет частично настраиваемый генератор отчетов. Но на роль общепринятого каталогизатора едва ли подойдет.

Еще существует малореальный вариант  протолкнуть идею поддержки чего то похожего на ID3, но для PDF и Djvu - тогда еще на что-то можно надеятся.

Вобщем, надо начать с постановки задачи: что нужно, кому и зачем. Придумать как заинтересовать пользователей в добавлении этой информации. Потом определяться с тем, чего конкретно не хватает ну и уже потом пытаться понять как воплотить. Потому что основных вариантов, вобщем, всего три - либо создавать и насаждать некую "стандартную" программу работы с книгами, либо создавать некую централизованую базу и искать методы сопоставления файла с записью базы, либо довольствоваться тем что есть, типа упомянутого djvused или проводника - в win10 для djvu в пропертях доступны довольно много потенциально полезных полей - subject, rating, tags, comments, etc., но пару ленивых попыток поменять их ни к чему не привели, хучь и администратор, а все равно редактировать не дает. Вроде есть некий редактор www.petges.lu, но тоже не пользовался.

Как вариант - либген вот, например, используется многими, имеет кучу дополнительных полей - можно начать с добавления своих книг, которых там нет, с добавлением данных, либо сопоставления тех что есть. Думаю, если приспичит и будет разумная аргументация - можно и с владельцами сайта пообщаться на предмет расширения метаполей. Сопоставлять - да хоть по той же md5, насколько помню это поле есть.
Наверх
 
 
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #35 - 11.05.2023 :: 08:52:26
 
joker2156 писал(а) 11.05.2023 :: 07:50:08:
Еще существует малореальный вариант  протолкнуть идею поддержки чего то похожего на ID3, но для PDF и Djvu.

Так это уже есть и это называется мета. Только вот ежели для DjVu - это любые ключи и значения (что в голову взбредёт), то с Adobe и PDF только то, что "они" соизволили:
Title, Author, Subject, Keywords, Creator, Producer, CreationDate, ModDate.


PS: Я думал, что тема об "этом", а не о чём то ином. ;(
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #36 - 11.05.2023 :: 09:07:43
 
zvezdochiot писал(а) 11.05.2023 :: 08:52:26:
Так это уже есть и это называется мета. Только вот ежели для DjVu - это любые ключи и значения (что в голову взбредёт), то с Adobe и PDF только то, что "они" соизволили:
Title, Author, Subject, Keywords, Creator, Producer, CreationDate, ModDate.



болега же указал, что в pdf  можно свои собственные поля назначать.



zvezdochiot писал(а) 11.05.2023 :: 08:52:26:
PS: Я думал, что тема об "этом", а не о чём то ином. ;(


Был задан вопрос "что мешает людям это делать" ?  (заполнять мету)

На это коллективными усилиями был сформулирован ответ, что такая постановка вопроса неправильна, надо спрашивать: "зачем не-библиотекарям заполнять мета" ?    Судя по всему, это заполнение может быть побочным результатом решения каких-то их личных пользовательских задач. (UPD: Ну, и если им это решение задач обустроить, то на выходе можно и мету собирать.)
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #37 - 11.05.2023 :: 09:32:08
 
как-то не в фокусе внимания, что изменение файла книги меняет его хэш, а это ведёт к сложностям при последующем сопоставлении с крупными старыми базами, ЛГ и твирпкс. Теряется однозначность связывания. Там и так частенько по 7-8 версий книги (в ЛГ).

UPD
!! и вот чего сильно хочется, так это md5 в данной библиотеке.
Наверх
« Последняя редакция: 11.05.2023 :: 09:44:37 от AAW »  

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
bolega
Патриарх
*****
Вне Форума



Сообщений: 1104
Re: djvused (метаданные)
Ответ #38 - 11.05.2023 :: 10:25:22
 
AAW писал(а) 11.05.2023 :: 09:32:08:
как-то не в фокусе внимания, что изменение файла книги меняет его хэш, а это ведёт к сложностям при последующем сопоставлении с крупными старыми базами, ЛГ и твирпкс. Теряется однозначность связывания. Там и так частенько по 7-8 версий книги (в ЛГ).

Добавлять мету в существующие djvu - гиблое дело. Это никто делать не будет. Как я понял, речь идет о том, чтобы учитывать мету хотя бы для вновь создаваемых книг, чтобы потом можно было импортировать эту инфу в некую внешнюю базу. А вносить в базу существующие книги - это работа для библиотекарей, откуда они будут брать данные - ХЗ, например, с колхозными книгами вообще проблем нет - у них практически вся мета уже содержится в названии.
Наверх
 
 
IP записан
 
Dmitry7
Модератор
*****
Вне Форума


Соберем Серии "НВЖНиТ"!

Сообщений: 5871
Санкт-Петербург
Пол: male
Re: djvused (метаданные)
Ответ #39 - 11.05.2023 :: 12:05:17
 
joker2156 писал(а) 11.05.2023 :: 07:50:08:

Мне лично вообще не удалось найти библио каталогизатора которым хотелось бы пользоваться.

А пробовали эту прогу: All My Books
http://www.thg.ru/software/all_my_books/index.html
https://www.bolidesoft.com/rus/allmybooks.html

Я ее юзаю для личной библиотеки (прога годится не только для бумажных книжек, но и для электронных) , и еще я её приспособил для каталогизации статей из научных журналов, по работе.
Есть возможность добавлять свои поля
Наверх
 

"Если хочешь сделать что-то хорошо, сделай это сам!"
332371574  
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #40 - 11.05.2023 :: 16:38:26
 
AAW писал(а) 11.05.2023 :: 09:32:08:
как-то не в фокусе внимания, что изменение файла книги меняет его хэш, а это ведёт к сложностям при последующем сопоставлении с крупными старыми базами, ЛГ и твирпкс. Теряется однозначность связывания. Там и так частенько по 7-8 версий книги (в ЛГ).

UPD
!! и вот чего сильно хочется, так это md5 в данной библиотеке.



Пришла в голову такая идейка. Сделали книгу, получили хэш. (без меты). Записали его в мету. Потом меняем мету. В ней все равно останется запись, какой был хеш. Если книга была радикально усовершенствована, то можно записать второй хеш после первого. Так и цепочку переделок отследить можно будет.
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #41 - 11.05.2023 :: 16:42:36
 
удобного графического инструмента нет, метаданные видеть и править. Так, полуподелки некие встречаются.

UPD
Помнится, нигде ничего нет. windjview ext и тот подкачал. Хотя он вьювер, не редактор. Так что программистам на заметку.
Наверх
« Последняя редакция: 11.05.2023 :: 18:25:59 от AAW »  

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #42 - 12.05.2023 :: 03:47:21
 
Еще одна идейка про хеш.
У нас в каждой книге есть число страниц, их пиксельные размеры, инфа о разрешении, сжатии и числе картинок.
Может, можно изобрести некую сигнатуру, рассчитываемую на основе этой инфы. Тогда будет видно, переделывалась/оптимизировалась книга или нет. Эту сигнатуру и записывать в мета.
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #43 - 12.05.2023 :: 04:05:14
 
так какая задача решается - ?
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #44 - 12.05.2023 :: 04:15:29
 
Кто-то тут писал " изменение файла книги меняет его хэш" и это типа проблема. 

Кто бреет брадобрея ? Мета получается должна содержать инфу о самой мета. Изменили мету - изменился хеш, хотя графическая часть не изменилась. ИМХО - возможное решение - это помимо хеша самого файла (битового) иметь другой, независящий от мета, а исключительно от графики.
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #45 - 12.05.2023 :: 04:21:04
 
Эту тему неплохо обсуждали несколько лет назад на руборде, по поводу нахождения отличий в обработке djvu одной книги. Что можно вскрывать чанки страниц и сравнивать именно их.
Но я-то спрашиваю о самой задаче: зачем вообще нужны метаданные. Тридцать лет прекрасно обходятся без оных. nuget ведь проговорился, что вставка и импорт-экспорт мета в новых джву ему нужна для изучения некоторых программистских концепций.  Не иначе, лавры Кнута покоя не дают.

UPD
AlVaKo прекрасно системно рассмотрел исходные условия - библиотекари/обработчики/читатели. Далее был сделан вывод, что метаданные реально нужны только библиотекарям. Как роли человека, крутящего "в руках" (то есть на ПК/смартфоне/сервере) файл(ы) е-книги.

Обработчику метаданные нужны как справка - кто когда и с какими условиями сделал книгу. Типа, порог Otsu применил Улыбка

Читателю метаданные вроде бы вообще не пригождаются. Ну разве что если список литературы по ГОСТ составляет.
UPD2
Вообще-то точные метаданные полезны при переходе в библиографические и прочие базы. Типа полноценная идентификация автора или УДК/ББК. Но это почти что притянуто за уши. Можно из текста книги всё выудить.

А вот библиотекарю метаданные много зачем нужны. Включая повысить привлекательность (читай - удобство) своей библиотеки.

UPD3
лично для меня изучение этого вопроса было вызвано простой задачей: я не удерживаю в голове полные характеристики всех скачанных/просмотренных книг. Допустим, есть книга "Руслан и Людмила" 1986 года с иллюстрациями Куркина (Палех). Я напрочь не помню, была ли она сделана высококачественно, кем и где её взять в Интернете, именно высококачественную. Приходится скачивать все имеющиеся варианты, предоставляемые библиотеками, и выбирать, просматривая. Это чёртова уйма времени на каждый поиск. Да, лично у меня нет проблем с локальными дисками, поиском по имени-названию, прикидкой объёма файла и ассоциативной памятью кто обработчик и примерно когда делал книгу хорошо. Так я на эту тему 5-10 часов ежедневно кладу, 17 лет. А другому человеку как быть? Меня спрашивают о какой-то теме, я говорю "поищи такого-то автора, он хорош", мне отвечают "да я качал, фуфло везде, неполная и неразборчивая", и опять приходится использовать личные наработки. Это просто неэффективная жизнь. Каждого интересующегося. Поэтому есть настойчивое желание ввести в сетевые библиотеки какой-то признак какую именно версию брать из множества доступных. Метаданные лишь вспомогательный инструмент для поиска в указанном аспекте, лично для меня. Стандартные поисковые характеристики типа автора года и названия и так, без меты, в имя можно внести. А вот как облегчить обществу доступ к наилучшему варианту - это вопрос. Поэтому я приветствую гиперссылку "сделано Benoni" на титульнике Улыбка
Наверх
« Последняя редакция: 12.05.2023 :: 07:45:10 от AAW »  

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
joker2156
Активист
***
Вне Форума



Сообщений: 280
Re: djvused (метаданные)
Ответ #46 - 12.05.2023 :: 08:53:19
 
Dmitry7 писал(а) 11.05.2023 :: 12:05:17:
А пробовали эту прогу: All My Books

Мне кажется видел, но не уверен, посмотрю на досуге, спасибо.
Наверх
 
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #47 - 12.05.2023 :: 10:25:02
 
xyz писал(а) 12.05.2023 :: 03:47:21:
Может, можно изобрести некую сигнатуру, рассчитываемую на основе этой инфы. Тогда будет видно, переделывалась/оптимизировалась книга или нет.

Всё намного проще. Достаточно определить пользовательские поля, например,

Поля специфические для сканированных книг (общие)
-- djvucreator: программа, в которой был создан DJVU-файл (например, SK).
-- scancreator: программа, которая использовалась для создания сканов.
-- scaneditor: по аналогии с полем editor, но имеет отношение к редактору исходных сканов.
-- scanowner: тот кто сканировал книги и предоставил исходный материал для создания DJVU.
-- djvudate: дата создания DJVU-файла.

Поля для определения текущей редакции
-- djvuedition: номер или дата текущей версии (в некоторых дистрибутивах Linux практикуется запись новой версии в формате даты, например 20230512-1. суффикс может отражать специфику редакции).
-- djvulastmodified: дата последнего изменения DJVU (не обязательно, если записывать поле djvuedition в формате даты).

По этим полям можно проследить историю изменений... Улыбка
Наверх
« Последняя редакция: 12.05.2023 :: 10:56:16 от nuget »  
 
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #48 - 12.05.2023 :: 11:00:02
 
nuget писал(а) 12.05.2023 :: 10:25:02:
djvucreator, scancreator, scaneditor, scanowner, djvudate, djvuedition, djvulastmodified
... По этим полям можно проследить историю изменений... Улыбка

Таким точно будут заниматься только "избранные персонажи". Абсолютно бесполезная инфа. А уж "история изменений" - это вообще перебор. Может стоит делать сразу и делать так, чтобы не переделывать?

Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #49 - 12.05.2023 :: 11:22:01
 
zvezdochiot писал(а) 12.05.2023 :: 11:00:02:
А уж "история изменений" - это вообще перебор. Может стоит делать сразу и делать так, чтобы не переделывать?

"я бы взял частями, но мне нужно сразу" -- Остап Бендер ... Улыбка

Суть вопроса: как проследить историю изменений по MD5 в публичных библиотеках (например, Libgen)?
Варианты:
-- по косвенным признакам цифровой подписи (метаданные встроенные в DJVU);
-- дополнительная информация в описании загружаемого файла в Libgen (где нужно указать ссылку на предыдущую версию, загруженную в хранилище).

Что проще?
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #50 - 12.05.2023 :: 11:36:38
 
Ничего вы не отследите, поскольку версионность НИКТО не хранит. Даже ЛГ начал удалять файлы.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
Lykas
Патриарх
*****
Вне Форума


Всем привет!

Сообщений: 1074
Re: djvused (метаданные)
Ответ #51 - 12.05.2023 :: 11:46:55
 
xyz писал(а) 12.05.2023 :: 03:47:21:
Еще одна идейка про хеш.
У нас в каждой книге есть число страниц, их пиксельные размеры, инфа о разрешении, сжатии и числе картинок.
Может, можно изобрести некую сигнатуру, рассчитываемую на основе этой инфы. Тогда будет видно, переделывалась/оптимизировалась книга или нет. Эту сигнатуру и записывать в мета.

Можно сделать проще - записывать в мету время создания файла. И потом сравнивать время создания из меты и файла.
Наверх
 
 
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #52 - 12.05.2023 :: 12:37:59
 
nuget писал(а) 12.05.2023 :: 11:22:01:
Суть вопроса: как проследить историю изменений

Никакой "сути" не вижу.
Как "это" поднимет качество библиотек и отдельных книг?
Никак!
А по отдельным книгам есть вероятность падения. (можно же потом доделать. когда это "потом"? хз).

В ваших устремлениях нет вероятности достижения реальных целей. Лишь бурная имитация деятельности. Не более чем "пустые" коммиты. И будут определять "качество" книги длиной истории, а по факту всё будет совсем "не так".

Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
Dmitry7
Модератор
*****
Вне Форума


Соберем Серии "НВЖНиТ"!

Сообщений: 5871
Санкт-Петербург
Пол: male
Re: djvused (метаданные)
Ответ #53 - 12.05.2023 :: 14:07:36
 
nuget писал(а) 12.05.2023 :: 10:25:02:
-- scanowner: тот кто сканировал книги и предоставил исходный материал для создания DJVU.


вот только этого не надо.
мало кто захочет светиться в качестве сканировщика-обработчика
Наверх
 

"Если хочешь сделать что-то хорошо, сделай это сам!"
332371574  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #54 - 12.05.2023 :: 15:38:18
 
Dmitry7 писал(а) 12.05.2023 :: 14:07:36:
вот только этого не надо.
мало кто захочет...

иначе Россия не выживет в условиях вечного противостояния с Западом. Я серьёзно. Нам всем придётся "выйти из тени". Так же и авторское право придётся отменять/изменять в части сроков и материальных ограничений. Это, по моему мнению, вопрос максимум полутора лет.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
Lykas
Патриарх
*****
Вне Форума


Всем привет!

Сообщений: 1074
Re: djvused (метаданные)
Ответ #55 - 12.05.2023 :: 19:33:57
 
zvezdochiot писал(а) 12.05.2023 :: 12:37:59:
Никакой "сути" не вижу.
Как "это" поднимет качество библиотек и отдельных книг?
Никак!
А по отдельным книгам есть вероятность падения. (можно же потом доделать. когда это "потом"? хз).

В ваших устремлениях нет вероятности достижения реальных целей. Лишь бурная имитация деятельности. Не более чем "пустые" коммиты. И будут определять "качество" книги длиной истории, а по факту всё будет совсем "не так".

Реальных целей для кого? Каждый идет в свою сторону. И достаточные для одного не будут достаточные для другого. Опять же все сходится к одному - соотношению время\качество. Вы можете потратить пару-тройку лет на фактический перенабор изданной бумажной книги. Можете прямо в программе сканирования создать гигабайтный  PDF. Понятно что это крайности. Но такова жизнь.
ЗЫ надо засечь, сколько уходит времени на то что-бы прошел весь цикл, от сканирования до получения Djvu.
ЗЫ2 проблема не отсканировать, проблема обработать.
Наверх
« Последняя редакция: 12.05.2023 :: 19:47:36 от Lykas »  
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #56 - 12.05.2023 :: 19:40:20
 
Lykas писал(а) 12.05.2023 :: 19:33:57:
ЗЫ надо засечь, сколько уходит времени на то что-бы прошел весь цикл, от сканирования до получения Djvu.
ЗЫ2 проблема не отсканировать, проблема обработать.

ЗЫ - От пяти часов. До месяца, если часа по два в день выделять.

ЗЫ2 - Разве это "проблема"? По-моему, когда человек не хочет обработать на отлично, ему вообще не стоит этим заниматься. Потому что если копнуть такую психику поглубже, можно будет увидеть очень неприятные причины такого поведения. И незачем их обострять повторением.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
Lykas
Патриарх
*****
Вне Форума


Всем привет!

Сообщений: 1074
Re: djvused (метаданные)
Ответ #57 - 12.05.2023 :: 20:04:05
 
AAW писал(а) 12.05.2023 :: 19:40:20:
ЗЫ2 - Разве это "проблема"? По-моему, когда человек не хочет обработать на отлично, ему вообще не стоит этим заниматься. Потому что если копнуть такую психику поглубже, можно будет увидеть очень неприятные причины такого поведения. И незачем их обострять повторением.

Повторюсь. "Отлично" и "Достаточно" - у каждого свое...
Для меня так достаточно для книг - порезать страницы в Тейлоре,  отсепарировать, текст - черный, картинки - к картинкам. На картинках можно фон убрать. Djvu imager сжать. И все. Хоть я "тыжинженер", но в Кромсаторе не пошло. Ну еще могу в Пайнте печати убрать вместе с пятнами от варенья, или если уж при сканировании рука дернулась. Текст\картинки в 600dpi.
Для газет\журналов (там где много работы) еще проще - порезал, высветлил от фона, перегнал в JPG 60% 300 DPI, сжал в PDF.
Наверх
 
 
IP записан
 
AlVaKo
Гуру
****
Вне Форума



Сообщений: 514
Алма-Ата
Пол: male
Re: djvused (метаданные)
Ответ #58 - 12.05.2023 :: 20:17:27
 
Lykas писал(а) 12.05.2023 :: 19:33:57:
ЗЫ надо засечь, сколько уходит времени на то что-бы прошел весь цикл, от сканирования до получения Djvu.
ЗЫ2 проблема не отсканировать, проблема обработать.


Нижняя временая планка.
Сканирование  - страницы А5, серые (не цветные) , 600 dpi - 100 страниц в час.
Пакетная обработка - Старый комп. Страницы  без фото-иллюстраций. С просмотром результата для всех страниц. Без ручной очистки мусора. 100 страниц  - 1,5 часа.
Получаем "голый" djvu.

Время, на ручную очистку и правку букв, сильно зависит от качества печати.
Наверх
 

Сложно отбинаризировать черную перемычку на белой бумаге, особенно если её там нет.
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #59 - 13.05.2023 :: 00:19:14
 
Dmitry7 писал(а) 12.05.2023 :: 14:07:36:
вот только этого не надо.
мало кто захочет светиться в качестве сканировщика-обработчика

я имел ввиду использовать ник с форума, то что и так уже известно... Улыбка
Наверх
 
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #60 - 13.05.2023 :: 00:43:13
 
zvezdochiot писал(а) 12.05.2023 :: 12:37:59:
Как "это" поднимет качество библиотек и отдельных книг?

проследить историю изменений и качество книг, немного разные задачи... однако, не имея цифровой подписи, не будет даже предмета исследования... например, невозможно определить в какой программе выполнялась обработка, версия программы и т.д... но сложив все косвенные признаки во едино, можно, хотя бы, получить некоторую статистику... например, какая программа для обработки используется чаще, SK или ST?!...
Наверх
« Последняя редакция: 13.05.2023 :: 00:49:41 от nuget »  
 
IP записан
 
joker2156
Активист
***
Вне Форума



Сообщений: 280
Re: djvused (метаданные)
Ответ #61 - 13.05.2023 :: 04:45:58
 
AAW писал(а) 12.05.2023 :: 15:38:18:
Нам всем придётся "выйти из тени".

А смысл? Верите, что в какой-то момент прозвучит "Алексей, мы знаем что вы много сканировали книг, Родина вами гордится, вот вам яхта"? Меня терзают смутные сомнения(с)..
Наверх
 
 
IP записан
 
joker2156
Активист
***
Вне Форума



Сообщений: 280
Re: djvused (метаданные)
Ответ #62 - 13.05.2023 :: 04:54:44
 
nuget писал(а) 13.05.2023 :: 00:43:13:
можно, хотя бы, получить некоторую статистику... например, какая программа для обработки используется чаще, SK или ST?!...

Возможно имеет смысл решать задачу с другого конца - дайте людям утилиту - обработчик, который готов участвовать в "программе учета", будет с ее помощью генерировать метаинформацию и отсылать на некий централизованый сервер,  на котором будет хранится что книгу с хэшем\Md5 3423ac3448d.. обработал тот-то, там-то и тогда-то.. то бишь разнести физический носитель и базу, примерно как у меня с собой мои отпечатки пальцев, но где-то есть досье, одно с другим соотносится, но прекрасно живет независимо.
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #63 - 13.05.2023 :: 04:55:41
 
Lykas писал(а) 12.05.2023 :: 20:04:05:
Повторюсь. "Отлично" и "Достаточно" - у каждого свое...

Вы вопрос не уловили: в чём и почему "проблема" - ?

Принято считать что "проблема" - это нерешаемая на данном этапе задача. То есть нет известного пути её решения.

Для книгообработки "проблем" сейчас ну очень мало осталось. Даже замену глифами с помощью автозаполнения и то bolega сделал в СК. Остальное - не проблемы, а задачи, и это вне самого предметного поля книгообработки. Надо потратить на обработку неделю, а человек не хочет - корень таится в почему "не хочет", а не в "целая неделя же!!". Я тоже раньше маялся трудозатратами, а на той малоцветной НПБ-Ш, по которой видео писал, успокоился. Сколько надо затратить - столько и тратишь, иначе дело не сделаешь.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #64 - 13.05.2023 :: 05:09:14
 
оффтоп

joker2156 писал(а) 13.05.2023 :: 04:45:58:
А смысл? Верите, что в какой-то момент прозвучит "Алексей, мы знаем что вы много сканировали книг, Родина вами гордится, вот вам яхта"? Меня терзают смутные сомнения(с)..


при чём здесь яхта??

Я смотрю на новости с Украины, и у меня нет особенных сомнений, что реально существуют люди, которые хотят положить лично меня в гроб и сплясать около моей могилки. Их немного, Кургинян говорит что около миллиона, но пусть даже 10000, но они реально есть.
И эти люди реально поддерживаются западным ВПК. Я же вижу видосики с той стороны фронта, и какая экипировка. Какие буквы на снарядных ящиках и на стволах.
Таким образом, существует реальная угроза что на порог моей квартиры придёт человек, который захочет меня застрелить. И тут невозможно остаться в тени.
Ну а поскольку современные вооружения запускаются очень издалека, мне придётся для защиты жизни кооперироваться с такими же как я и отвечать аналогичным вооружением и самоорганизацией. Вплоть до сбивания спутниковых группировок. Что ведёт к само- и взаиморазвитию граждан, потому что боевой лазер это не винтовка, его на токарном станочке не сделаешь. Ну а как я буду помогать развиваться своим соседям, в маске что ли? Агентом под прикрытием? Придётся говорить от своего имени и никак иначе. Жить придётся. А не тихариться под VPNами и в даркнете. Нельзя защитить свою жизнь, говоря и действуя по типу "я это не я вовсе".
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #65 - 13.05.2023 :: 05:40:25
 
nuget писал(а) 12.05.2023 :: 10:25:02:
Всё намного проще. Достаточно определить пользовательские поля, например,

Поля специфические для сканированных книг (общие)
-- djvucreator: программа, в которой был создан DJVU-файл (например, SK).
-- scancreator: программа, которая использовалась для создания сканов.
-- scaneditor: по аналогии с полем editor, но имеет отношение к редактору исходных сканов.
-- scanowner: тот кто сканировал книги и предоставил исходный материал для создания DJVU.
-- djvudate: дата создания DJVU-файла.

Поля для определения текущей редакции
-- djvuedition: номер или дата текущей версии (в некоторых дистрибутивах Linux практикуется запись новой версии в формате даты, например 20230512-1. суффикс может отражать специфику редакции).
-- djvulastmodified: дата последнего изменения DJVU (не обязательно, если записывать поле djvuedition в формате даты).

По этим полям можно проследить историю изменений... Улыбка

Что-то я, кажется, стал понимать AAW, что тут не про облегчение жизни книгоделам, а про проверку завиральных теорий идёт речь ....  Печаль

Во-первых, часто для сканирования и обработки используется много программ (и что тогда в полях писать ?), а сканы книги собираются по частям не одним человеком. Во-вторых, бедный несчастный обработчик должен, получается, ещё и отчет о своей обработке создать. Да ну наф.
Я как обработчик готов вписать автора, название книги и год. Точка.
Вот еще готов критику на чужой файл навести, пусть где-то внутри будет инфа, чего там не хвататет и что хорошо бы переделать.
Если же вы хотите заполнение других полей, пускай программа сама шуршит и их из каких-то баз подтягивает и/или рассчитывает.


Условный же книжный менеджер нужен в первую очередь для групповых операций над файлами.

Нажал кнопку - всей группе выбранных книг сгенерировались и вписались в ячейки сигнатуры. (Однозначные, зависящие только от графики внутри файлов).

Еще чтобы было можно:
- сравнить по сигнатуре
- выбрать полное представление как в FAR - и список файлов отражается с их качественными характеристиками.
- отобразить облако тегов для всех файлов, которые есть в папке.
- подсветить в списке файлов книги, у которых в мете в поле тегов есть тег "полный бред" (ну или другой по выбору).
- сгенерировать список для экселя:      Автор - Название - год  .    (Возможно еще и теги включить).
- произвести ренейминг файлов. Автор - Название. PDF   из полей.  или сделать так чтобы стали латиницей писаться эти названия в именах.
- провести для отобранных файлов сверку с базами РГБ/РНБ/либген/ozon/labyrint     что там еще есть   на    предмет заполнения каких-то дополнительных полей.  (на основе уже имеющихся).
- продемонстрировать, какие обложки для этих книг в инете имеются.
- сгенерировать тумбнейлы обложек.   (Вот интересно, а микро-картинку можно в мету встраивать ?)
- отобразить (подсветить) файлы с указанными пользователем дефектами  (без OCR слоя, из фотосканов, с мелким разрешением, без обложки или где надо страницы досканировать.)     Я когда-то составлял на руборде таблицу типичных дефектов
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #66 - 13.05.2023 :: 06:13:28
 
xyz писал(а) 13.05.2023 :: 05:40:25:
Вот интересно, а микро-картинку можно в мету встраивать ?

метаданные в дежавю это пары текста ключ--значение. Внутри текстового же чанка ANTz.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #67 - 13.05.2023 :: 06:20:36
 
В джву существуют штатные тумбнейлы.
Мне кажется, теоретически, можно в мету загнать ссылку на тумбнейл обложки внутри файла.

Также можно сделать такую длинную строку (текстовое значение), которая будет побитовым представлением граффайла.
Наверх
 
 
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #68 - 13.05.2023 :: 06:25:52
 
xyz писал(а) 13.05.2023 :: 06:20:36:
Также можно сделать такую длинную строку (текстовое значение), которая будет побитовым представлением граффайла.


"Это" называется проще и короче: base64. Подмигивание
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #69 - 13.05.2023 :: 06:27:27
 
xyz писал(а) 13.05.2023 :: 06:20:36:
Также можно сделать такую длинную строку (текстовое значение), которая будет побитовым представлением граффайла.

да без проблем. А где взять прогу, которая это прочитает верно и отобразит.

joker2156 дело говорит насчёт отпечатков пальцев.
Вполне вероятно что я соглашусь открыть свой комп, раз уж он у меня с белым адресом ради фтп, на такой "централизованный сервер". И буду архив регулярно в торрент сбрасывать. Но пока не созрел.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #70 - 13.05.2023 :: 06:38:41
 
xyz писал(а) 13.05.2023 :: 05:40:25:
Что-то я, кажется, стал понимать AAW, что тут не про облегчение жизни книгоделам, а про проверку завиральных теорий идёт речь ....

Это пользовательские поля, их вообще можно не заполнять, или заполнять по желанию... Я просто предложил варианты, но если важна конфиденциальность, тогда остаётся только один вариант, использовать два поля:
-- djvuuuid: универсальный идентификатор UUID (или GUID в windows);
-- djvudate: дата создания DJVU-файла.

В данном случае, конфиденциальность возможна только при условии, если никто не будет знать, где публикуется издание, чтобы никто не смог связать ник пользователя на форуме с UUID.

Для пользователей windows, GUID можно получить средствами PowerShell следующей командой:
Code:
New-Guid
 



Важно, чтобы в каждой новой версии был один и тот же UUID.

Таким образом, тот кто обрабатывал сканы может индивидуально отслеживать свои экземпляры. А другим будет доступна только история изменений.
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #71 - 13.05.2023 :: 10:38:07
 
nuget писал(а) 13.05.2023 :: 06:38:41:
тот кто обрабатывал сканы может индивидуально отслеживать свои экземпляры. А другим будет доступна только история изменений

видимо, моих мозгов не хватает... зачем кому-то переделывать дежавюшку, с сохранением исходных метаданных?! Такое бывает в единичных случаях - вставка/замена пары страниц.

Если надо что-то "протаскивать насквозь" - то уж никак не эфемерный id. Каталожную карточку. id в госбазе. isbn или номер стандарта. Кому может понадобиться тащить свой идентификатор сквозь улучшателей е-книги, я даже вообразить не могу. В смысле не кому, а с какой целью.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
joker2156
Активист
***
Вне Форума



Сообщений: 280
Re: djvused (метаданные)
Ответ #72 - 15.05.2023 :: 06:15:39
 
AAW писал(а) 13.05.2023 :: 05:09:14:
при чём здесь яхта??
Я смотрю на новости

А, понял, я подумал что речь идет про книгоделание и в разрезе деанона ролей.
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #73 - 15.05.2023 :: 06:41:08
 
joker2156 писал(а) 15.05.2023 :: 06:15:39:
я подумал что речь идет про книгоделание и в разрезе деанона ролей

именно в этом разрезе, вы правильно подумали.
Я на 90% занимаюсь публичными делами потому что на это есть запрос других людей. Мои личные хотелки, не пересекающиеся с другими людьми, не требуют выхода в Сеть. Совсем. Так вот кооперация "в маске" в книгоделании не продержится долго.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #74 - 15.05.2023 :: 13:41:08
 
AAW писал(а) 13.05.2023 :: 10:38:07:
зачем кому-то переделывать дежавюшку, с сохранением исходных метаданных?

Вы же сами писали что-то про несколько экземпляров на Libgen… или нет?

Судя по всему, если @bolega не добавит GUI для встраивания метаданных, так и будет продолжаться. В принципе, можно было хотя бы встроить поля djvucreator и djvudate на этапе пост-обработки DJVU (для этого не нужен GUI).
Наверх
 
 
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #75 - 15.05.2023 :: 18:58:37
 
nuget писал(а) 10.05.2023 :: 08:19:35:
Когда я предоставил скрипты, то интереса особого не увидел. Возможно это связано с MSYS2, поскольку скрипты написаны под Linux. На самом деле, меня интересует обратная связь, для более точного понимания технологического процесса. Возможно, я мог бы помочь в разработке инструментов.


nuget писал(а) 15.05.2023 :: 13:41:08:
Судя по всему, если @bolega не добавит GUI для встраивания метаданных, так и будет продолжаться.



Редактирования меты в СК, конечно, не хватало.

Я-то думал, тут какая-то разработка полезного софта планируется.

UPD:
Вычитал тут в википедии, что FAR на гитхаб выложили, и активно плагины к нему пилят:
https://ru.wikipedia.org/wiki/FAR_Manager
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #76 - 15.05.2023 :: 21:17:18
 
nuget писал(а) 15.05.2023 :: 13:41:08:
Вы же сами писали что-то про несколько экземпляров на Libgen

писал.
Вы не уловили вопрос: зачем?? зачем сохранять старые метаданные, добавляя/удаляя страницы или ocr. Я ещё могу понять, когда добавив ocr про это гордо упоминают логотипчиком или текстом в уголке титульника или в названии файла. А старое-то зачем тащить - ? Что вот этот файл сделал "xyz", инфу сохранить, а что я обложку в нем переместил - даже не упомянуть, а просто после "xyz" "aaw" дописать в поле "обработчики". Ну нахрена?

Польза от метаданных, ИМХО, лежит в трех направлениях:
- вытаскивание автора-названия-года-серии и всей библиографической требухи, включая субзадачи поиска и переименования и создания бибсписков
- хранение сведений об обработчике и/или качестве обработке/примененных программах
- понимание, что несколько файлов имеют один первоисточник, причем не железно, а вероятно

У третьего направления практической пользы ровно ноль (поправьте если неправ)
У первого польза сомнительная, но всё же просматривается: допустим, кто-то с ФИО название файла начинает, а кто-то с названия книги. Или, допустим, кому-то надо семьсот книг в свою научную работу внести, и метаданные помогут его сгенерировать.
И лишь у второго направления есть практическая польза. Отбор по оси "качества". То, чего нигде и никак не существует на планете. Только в наших головах.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #77 - 15.05.2023 :: 21:25:11
 
xyz писал(а) 15.05.2023 :: 18:58:37:
Редактирования меты в СК, конечно, не хватало.

nuget писал(а) 15.05.2023 :: 13:41:08:
если @bolega не добавит GUI для встраивания метаданных, так и будет продолжаться

ерунда полная. Есть много обработчиков, кто не работает с СК от слова совсем.
Дайте инструмент того же типа что колхозный  namecreator, и будет вам счастье. С просмотром и правкой pdf и djvu в одном флаконе. Тогда машинка - вероятно - завертится.

UPD
кстати, проконсультируйте кто-нибудь сведущий меня как не-программиста: это что, так сильно геморройно, вытащить из djvulibre исходный код для правки и просмотра метаданных в простейшем gui ?
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
xyz
Гуру
****
Вне Форума


Всем привет!

Сообщений: 855
Re: djvused (метаданные)
Ответ #78 - 15.05.2023 :: 23:37:30
 
Я пропустил слово "только" в посте выше.
= только не хватало
Наверх
 
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #79 - 16.05.2023 :: 00:59:48
 
AAW писал(а) 15.05.2023 :: 21:25:11:
это что, так сильно геморройно, вытащить из djvulibre исходный код для правки и просмотра метаданных в простейшем gui ?

По сути, нужно реализовать интерфейс в SK, который мог бы читать и записывать файл book.djvuinfo. А запись в DJVU осуществляется через команду, на этапе пост-обработки:
Code:
djvused "book.djvu" -f "book.djvuinfo"
 


Эта команда просто перезапишет существующие данные в DJVU. Из DJVU не нужно ничего выгружать, если ранее был создан файл book.djvuinfo.
Наверх
 
 
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #80 - 16.05.2023 :: 04:18:25
 
AAW писал(а) 15.05.2023 :: 21:25:11:
это что, так сильно геморройно, вытащить из djvulibre исходный код для правки и просмотра метаданных в простейшем gui ?

DjVuLibre - хороший "инструмент" для пользования, но отвратительнейшая библиотека для разработки. Я не знаю ни одного проекта, использующего данную библиотеку, который можно было бы скомпилировать, имея только саму библиотеку и её хедэры (совершенно стандартная ситуация для любой другой библиотеки, например libjpeg, libpng, или libtiff). Для этой же библиотеки надо иметь её исходный код полность, чтобы под неё что то скомпилить (абсолютно вымораживающая ситуация). То есть по сути приходится её компилировать каждый раз, когда нужно скомпилировать что то, что её пользует. Такие вот дела.

Так что ежели возник вопрос "портирования", то портировать надо из этой библиотеки, а не в неё или к ней.
Наверх
« Последняя редакция: 16.05.2023 :: 04:35:31 от zvezdochiot »  

Keep it simple, stupid
WWW  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #81 - 16.05.2023 :: 05:01:17
 
спасибо. теперь вроде попонятнее, но не намного. я спросил - так ли сложно использовать её код. И почему, собственно.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #82 - 16.05.2023 :: 05:17:13
 
AAW писал(а) 16.05.2023 :: 05:01:17:
И почему, собственно.


Давай попробую на примере.

Есть MFBpdf - простенькая тулза производящая трёхслойное (Mask+FG+BG) разложение и кодирование в PDF изображения. Пользует библиотеки libtiff и libjpeg. Никаких проблем. Прекрасно всё компилится в MinGW.

Есть MFBdjvu - такая же простенькая тулза, но результат кодируется в DjVu. Пользует библиотеку DjVuLibre. Нифига не компилится в  MinGW. Потому что требует компиляции самой DjVuLibre, а это осуществляется через какие то жуткие танцы с бубном, требующие так же конкретного засирания системы откровенным калом. Поэтому мне приходится обращаться к @plzombie (который сидит на винде), чтобы он скомпилил виндовский релиз для меня. Ситуация просто "СУПЕР"! Откровенейший отстой!

PS: Всё вышесказанное является только моим ИМХО, ИМХО любителя-самоучки.
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #83 - 16.05.2023 :: 05:34:08
 
да я понял.

вопрос в другом:
всё равно каждая библиотека это набор именованных функций, как ни крути. В чём сложность использовать функции либы в gui. Ну, там, "открыть поток метаданных", "найти пятнадцатую страницу в потоке страниц", "записать в открытый объект страницы метаданные из переменной NN".

Есть джавовская программка djvued. Она работает, но - блин - на основе готового djvused. И ощутимо медленно. И gui некрасивый. Вот такую же создать бы, но пошустрее. Писали ведь раньше подобные прожки, и довольно многие. Тот же djvu imager.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #84 - 16.05.2023 :: 05:41:05
 
AAW писал(а) 16.05.2023 :: 05:34:08:
вопрос в другом:
всё равно каждая библиотека это набор именованных функций.

Не в данном случае. В данном случае имеется набор мудрённых классов, которые даже отдебажить толком не получится если что. И эти классы все повязаны между собой, так что взять для пользования отдельный кусочек не выйдет. А еще вся либа на кой то чорт повязана с целым набором графических библиотек, которые пользуются довольно "хитрым" образом. Так что даже пересесть на другую либу (Qt например) не получится.

Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #85 - 16.05.2023 :: 05:44:51
 
ясненько Печаль

Странно, зачем так. Ведь внешне спецификация на джву формат совсем несложная. Нафиг разрабы делали библиотеку сверхзапутанной.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #86 - 16.05.2023 :: 06:46:32
 
Улыбка  а если djvuSDK взять?

( ежели вдруг нигде нет, то вот годичной давности скачанное с cuminas https://disk.yandex.ru/d/2dJ3NghQI-MRVA)
Наверх
« Последняя редакция: 16.05.2023 :: 07:52:32 от AAW »  

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
bolega
Патриарх
*****
Вне Форума



Сообщений: 1104
Re: djvused (метаданные)
Ответ #87 - 16.05.2023 :: 07:59:08
 
nuget писал(а) 16.05.2023 :: 00:59:48:
По сути, нужно реализовать интерфейс в SK, который мог бы читать и записывать файл book.djvuinfo.

Меня заинтересовала эта тема только потому, что если в задании есть OCR, то это хоть как-то поможет упростить заполнение полей. Лень - это первый враг ручного заполнения, если этот процесс максимально автоматизировать, то глядишь, пользователь и заполнит поля меты.
AAW, даже если вы создадите (на пару с xyz  Улыбка ) отдельный gui, то боюсь, эффект будет небольшой, если в итоге ввод данных будет весь ручной. А уж ваше стремление к применению именно sdk мне вообще непонятно, вызов командной строки djvulibre займет несколько секунд, куда уж проще и быстрее. По сравнению с длительностью других операций djvulibre/DEE, который приходится применять - сущие пустяки.
Наверх
 
 
IP записан
 
bolega
Патриарх
*****
Вне Форума



Сообщений: 1104
Re: djvused (метаданные)
Ответ #88 - 16.05.2023 :: 08:00:27
 
AAW писал(а) 16.05.2023 :: 05:44:51:
ясненько Печаль

Странно, зачем так. Ведь внешне спецификация на джву формат совсем несложная. Нафиг разрабы делали библиотеку сверхзапутанной.

Наверно, они наоборот, ничего не делали, чтобы сделать ее полноценной универсальной библиотекой. Она просто заточена под их же утилиты.
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #89 - 16.05.2023 :: 08:05:19
 
bolega писал(а) 16.05.2023 :: 07:59:08:
А уж ваше стремление к применению именно sdk мне вообще непонятно

наличие djvulibre или её компонент не желательно для легкой портативной программки.

bolega писал(а) 16.05.2023 :: 07:59:08:
то боюсь, эффект будет небольшой, если в итоге ввод данных будет весь ручной

я gui и хочу чтобы копипастить из ocr слоя.
в идеале бы вообще парсер стандартного описания применить. копируем вот это:

ББК 88.2
Ф91
УДК 591.5
Фройде М.
Ф91 Животные строят: Пер. с нем./Пре-
дисл. А. А. Захарова. — М.: Мир, 1986. —
216 с, ил.
Научно-популярная книга бнолога из ГДР Матнаса
Фройде, посвященная разнообразной строительной 
деятельности животных: созданию ловушек, кладовых,
убежищ, жнлых сооружений. Текст сопровождается 
красочными иллюстрациями.
Для любителей литературы о животных.

Подправляем руками явные ошибки и переносы,выбираем версию парсера и получаем авторазбивку этого мусора по полям метаданных.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #90 - 16.05.2023 :: 08:18:47
 
AAW писал(а) 16.05.2023 :: 08:05:19:
Подправляем руками явные ошибки и переносы,выбираем версию парсера и получаем авторазбивку этого мусора по полям метаданных.

Опять какая то дичь получится.

Альтернативный вариант: Стравливаем неважно каким образом проге текст. Прога парсит текст построчно. Для каждой строки выбираем из списка ключ меты либо игнор. Опционально предусматривается редактирование текста с возможностью перезапуска парсера.

PS: Только нет никакой необходимости связываться с DjVuLibre. Достаточно просто генерить файл для djvused.
Наверх
« Последняя редакция: 16.05.2023 :: 08:25:38 от zvezdochiot »  

Keep it simple, stupid
WWW  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #91 - 16.05.2023 :: 08:23:36
 
zvezdochiot писал(а) 16.05.2023 :: 08:18:47:
Для каждой строки выбираем из списка ключ поля либо игнор.

это неэффективно, так как бибописания в книге строятся несколькими стандартными способами. Эффективнее частные парсеры написать.
Как модули в скачивалке usd.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #92 - 16.05.2023 :: 08:28:55
 
AAW писал(а) 16.05.2023 :: 08:23:36:
это неэффективно, так как бибописания в книге строятся

А кто сказал, что текст должен быть именно бибописанием? Связываться чисто с бибописанием - очень "скучный" и не очень эффективный вариант в самой основе. Бибописания повреждено либо утрачено? Пиши пропало.

Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #93 - 16.05.2023 :: 08:33:22
 
не "пиши пропало", а достань его с каталожной карточки/с rusmarc РГБ/сайта амазона/etc. Бибзапись нужно искать, она же всегда где-то есть.

к слову, приколисты РГБ запретили брать бибописание книги файлом, если я не зареган на госуслугах, да еще и через ЕСИА. Ну просто пять баллов.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
bolega
Патриарх
*****
Вне Форума



Сообщений: 1104
Re: djvused (метаданные)
Ответ #94 - 16.05.2023 :: 09:24:53
 
AAW писал(а) 16.05.2023 :: 08:33:22:
не "пиши пропало", а достань его с каталожной карточки/с rusmarc РГБ/сайта амазона/etc. Бибзапись нужно искать, она же всегда где-то есть.

Таких людей как вы, знающих где искать, и главное, готовых это делать, единицы. Рассчитывать можно только на ocr, ну и на какие-нибудь онлайн-сервисы. К примеру, в amazon по isbn наверно можно всю инфу получить. Наш ozon интересно так может? Учитывая, что они давно сменили приоритеты.

Кстати, много в последнее время гундежа про ИИ. Получить из OCR книги мету наверно несложная задача для ИИ, да и материала для обучения полно. Сейчас на питоне чего только не делают. Но вот бесит именно всеобщий уклон в питон, все ИИ библиотеки только для него, прям помешались на нем.

Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #95 - 16.05.2023 :: 09:39:06
 
а что вы хотели насчёт питона? непонятно. Ведь удобный для написания решений высокоуровневых задач язык. ИИ как раз такая задача. Мне коллега питон сильно нахваливал.

Си с Паскалем заточены совсем для другой области применения.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #96 - 16.05.2023 :: 09:39:50
 
bolega писал(а) 16.05.2023 :: 09:24:53:
Но вот бесит именно всеобщий уклон в питон, все ИИ библиотеки только для него, прям помешались на нем.

Не совсем так. PyTorch всего лишь "враппер" для целого набора сишных либ, одна из которых libtorch. А пользуется именно PyTorch, а не сишные либы напрямую, потому что он позволяет пользовать также numpy и scipy. А это уже уровень синтаксиса близкий к MatLab.

PS: Только в контексте данного вопроса - это совсем уж перебор!
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #97 - 16.05.2023 :: 11:21:05
 
AAW писал(а) 16.05.2023 :: 08:33:22:
Бибзапись нужно искать, она же всегда где-то есть.

По идее, нужно создавать независимый репозиторий (например, cgit.lib.ru) для хранения библиографических данных, чтобы ни от кого не зависеть. Библиографические данные можно хранить без ограничений, не нарушая авторских прав. Но, при этом, можно увязать MD5, для синхронизации пользовательских данных (из локальной библиотеки) с репозиторием (см. libgen-cfg-network). Именно такой механизм обмена BIB-данными я изначально рассматривал... Улыбка
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #98 - 16.05.2023 :: 11:44:35
 
nuget писал(а) 16.05.2023 :: 11:21:05:
можно увязать MD5, для синхронизации пользовательских данных

кто ж меня с моими пользовательскими данными пустит в ЛГ

Улыбка я выше упоминал что нужна ЭЦП.

А также доверие.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
bolega
Патриарх
*****
Вне Форума



Сообщений: 1104
Re: djvused (метаданные)
Ответ #99 - 16.05.2023 :: 12:03:37
 
AAW писал(а) 16.05.2023 :: 09:39:06:
а что вы хотели насчёт питона? непонятно.

Насчет питона - ничего не хотел. Я хотел, чтобы либы и примеры их использования были для всех языков. На руборде все новинки книг по ИИ - исключительно в связке с питоном, почему для других языков книги такие не пишут (или почти не пишут)?
Наверх
 
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #100 - 16.05.2023 :: 12:04:20
 
AAW писал(а) 16.05.2023 :: 11:44:35:
кто ж меня с моими пользовательскими данными пустит в ЛГ

ЛГ нужен не для того, чтобы в него писать данные (пусть они сами разбираются). ЛГ нужен для верификации существующего цифрового издания. В этой схеме библиографические данные существуют независимо от хранилища (ссылка на хранилище должна устанавливаться в файле конфигурации программы, для обслуживания локальной базы данных пользователя), так, как это и должно быть. Репозиторий (например, cgit.lib.ru) занимает центральное место для связывания библиографии с DJVU-файлами посредством ключа MD5. Как вы понимаете, если существует библиография, значит (гипотетически) на просторах интернета должен быть DJVU-файл... Улыбка
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #101 - 16.05.2023 :: 12:14:54
 
не пойму я этого...
вот ваша цитата:
nuget писал(а) 16.05.2023 :: 12:04:20:
В этой схеме библиографические данные существуют независимо от хранилища (ссылка на хранилище должна устанавливаться в файле конфигурации программы, для обслуживания локальной базы данных пользователя), так, как это и должно быть. Репозиторий (например, cgit.lib.ru) занимает центральное место для связывания библиографии с DJVU-файлами посредством ключа MD5.

чего-то я тут туплю в понимании фразы. Точнее, для меня есть противоречие в утверждениях "ссылка на хранилище...локальной базы" и "репозиторий xxx.ru для связывания ключом md5". То есть читаю "бибданные независимы от файлов, но связь с файлами есть, причём внутренняя и внешняя". И крыша едет...

И вот этот первый пассаж про верификацию меня нахлобучивает в нокаут Улыбка

UPD кстати на пдф-схемке стрелка направлена именно "в ЛГ" Улыбка  Читаю ее как "данные от юзера идут в ЛГ на запись". Потому что если бы было наоборот, то и стрелка шла от ЛГ в локальную базу.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #102 - 16.05.2023 :: 12:19:36
 
короче, не умеете вы постановку задачи писать!
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #103 - 16.05.2023 :: 13:00:28
 
AAW писал(а) 16.05.2023 :: 12:14:54:
для меня есть противоречие в утверждениях "ссылка на хранилище...локальной базы" и "репозиторий xxx.ru для связывания ключом md5".

Я пока не буду разъяснять технические подробности, поскольку нужно всё предварительно проверить и убедиться что данная схема рабочая. То что на схеме libgen-cfg-network обозначена ссылка на ЛГ, это как раз и говорит о том, что хранилище нужно для целей верификации (т.е. для проверки существующего DJVU-файла). Репозиторий библиографических данных (обозначенный на схеме), рассматривается в качестве открытого источника для синхронизации локальной базы данных (/usr/local/libgen/library.db). Репозиторий библиографии --- это территория сообщества. Запись в него, должна осуществляться только доверенными пользователями. Предполагается, что библиографические данные в репозитории будут хранить также ключи MD5, которые можно использовать для верификации с ЛГ.
Наверх
 
 
IP записан
 
Lykas
Патриарх
*****
Вне Форума


Всем привет!

Сообщений: 1074
Re: djvused (метаданные)
Ответ #104 - 16.05.2023 :: 18:06:06
 
nuget писал(а) 16.05.2023 :: 13:00:28:
Я пока не буду разъяснять технические подробности, поскольку нужно всё предварительно проверить и убедиться что данная схема рабочая. То что на схеме libgen-cfg-network обозначена ссылка на ЛГ, это как раз и говорит о том, что хранилище нужно для целей верификации (т.е. для проверки существующего DJVU-файла). Репозиторий библиографических данных (обозначенный на схеме), рассматривается в качестве открытого источника для синхронизации локальной базы данных (/usr/local/libgen/library.db). Репозиторий библиографии --- это территория сообщества. Запись в него, должна осуществляться только доверенными пользователями. Предполагается, что библиографические данные в репозитории будут хранить также ключи MD5, которые можно использовать для верификации с ЛГ.

Не получится, потому что ID Либгена привязан к конкретному файлу книги, а не к конкретной изданной книге. Вылавливать дубли?... С учетом того, что Гик Е. Я. не всегда равен Гик Евгений... А есть еще в базе и Гик Евгений Яковлевич...
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5432
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #105 - 29.05.2023 :: 10:01:53
 
сегодня обнаружил, что РГБ выдаёт BibTex экспорт:

@book{БерезинБ.И.канд.техн.наук1967Прс,
publisher = {Книга},
year = {1967},
title = {Полиграфический рецептурный справочник},
edition = {2-е изд., перераб.},
language = {rus},
address = {Москва},
author = {Березин Б. И. канд. техн. наук},
keywords = {Полиграфическое материаловедение -- Справочники},
}

причём предлагает выбрать кодировку.

Любопытная идентификация книги. @book.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
Lykas
Патриарх
*****
Вне Форума


Всем привет!

Сообщений: 1074
Re: djvused (метаданные)
Ответ #106 - 29.05.2023 :: 19:45:14
 
AAW писал(а) 29.05.2023 :: 10:01:53:
сегодня обнаружил, что РГБ выдаёт BibTex экспорт:

@book{БерезинБ.И.канд.техн.наук1967Прс,
publisher = {Книга},
year = {1967},
title = {Полиграфический рецептурный справочник},
edition = {2-е изд., перераб.},
language = {rus},
address = {Москва},
author = {Березин Б. И. канд. техн. наук},
keywords = {Полиграфическое материаловедение -- Справочники},
}
причём предлагает выбрать кодировку.
Любопытная идентификация книги. @book.

Нормальная. Подмножество "БерезинБ.И.канд.техн.наук" входит в множества "БерезинБ.И." и "БерезинБ."и не пересекается в нормальных условиях с подмножествами "БерезинБ.И.канд.мед.наук" и "БерезинБ.И.астролог".
На Либрусеке Антонина разгребала Ивановых. Дохрена тезок с совпадающими инициалами, имя\фамилия, ФИО. Типичная ситуаций когда классик объединяется с автором СИ или автортудей...
Наверх
 
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 21
Re: djvused (метаданные)
Ответ #107 - 13.08.2023 :: 17:52:41
 
Lykas писал(а) 16.05.2023 :: 18:06:06:
Не получится, потому что ID Либгена привязан к конкретному файлу книги, а не к конкретной изданной книге. Вылавливать дубли?

Верификация выполняется по md5. Предполагается что URL ( example.com/entry?md5={entry_k} ) будет использоваться для проверки существования файла в хранилище. Если файл не существует, то можно добавить его (при желании). Или скачать его на ПК (при наличии VPN).

По логике вещей, если библиография добавлена в репозиторий (открытые данные сообщества), то, по умолчанию, предполагается что файл уже где-то залит (например, кто-то заливает файлы на яндекс.диск, другие скачивают этот файл и повторно загружают на ЛГ). Тут как бы важно что находится в репозитории сообщества, а не в хранилище ЛГ. В данном случае, дубликаты --- это проблема тех, кто обслуживает хранилище ЛГ. То есть, для сообщества важно знать, что в репозитории хранится библиография лучшего варианта обработки. Также предполагается, обновлять файлы библиографии (если появится лучший вариант обработки). Все остальное (выбор хранилища и т.п.) не имеет значения для сообщества.

Ключевой момент (связующее звено), --- это ключ записи entry_k, который используется для привязки к данным из хранилища. В данной схеме ключ равен md5, то есть,
Code:
@book{entry_k, ... }
 


получается, что любой другой ключ (кроме как MD5) для хранения в репозитории не имеет смысла, поскольку найти файл будет практически невозможно.
Наверх
 
 
IP записан
 
Страниц: 1 
Послать Тему Печать