OCR форумы Добро пожаловать, Гость. Пожалуйста, выберите Вход или Регистрация
Всем привет!
Hi all!
 
  ГлавнаяСправкаПоискВходРегистрация Администратор Библиотека  
 
Страниц: 1 2 3 4 
Послать Тему Печать
Re: djvused (метаданные) (Прочитано 9289 раз)
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5569
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #90 - 16.05.2023 :: 09:39:31
 
а что вы хотели насчёт питона? непонятно. Ведь удобный для написания решений высокоуровневых задач язык. ИИ как раз такая задача. Мне коллега питон сильно нахваливал.

Си с Паскалем заточены совсем для другой области применения.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
zvezdochiot
Постоялец
**
Вне Форума



Сообщений: 159
Москва
Пол: male
Re: djvused (метаданные)
Ответ #91 - 16.05.2023 :: 09:40:15
 
bolega писал(а) 16.05.2023 :: 09:25:18:
Но вот бесит именно всеобщий уклон в питон, все ИИ библиотеки только для него, прям помешались на нем.

Не совсем так. PyTorch всего лишь "враппер" для целого набора сишных либ, одна из которых libtorch. А пользуется именно PyTorch, а не сишные либы напрямую, потому что он позволяет пользовать также numpy и scipy. А это уже уровень синтаксиса близкий к MatLab.

PS: Только в контексте данного вопроса - это совсем уж перебор!
Наверх
 

Keep it simple, stupid
WWW  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 28
Re: djvused (метаданные)
Ответ #92 - 16.05.2023 :: 11:21:30
 
AAW писал(а) 16.05.2023 :: 08:33:47:
Бибзапись нужно искать, она же всегда где-то есть.

По идее, нужно создавать независимый репозиторий (например, cgit.lib.ru) для хранения библиографических данных, чтобы ни от кого не зависеть. Библиографические данные можно хранить без ограничений, не нарушая авторских прав. Но, при этом, можно увязать MD5, для синхронизации пользовательских данных (из локальной библиотеки) с репозиторием (см. libgen-cfg-network). Именно такой механизм обмена BIB-данными я изначально рассматривал... Улыбка
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5569
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #93 - 16.05.2023 :: 11:45:00
 
nuget писал(а) 16.05.2023 :: 11:21:30:
можно увязать MD5, для синхронизации пользовательских данных

кто ж меня с моими пользовательскими данными пустит в ЛГ

Улыбка я выше упоминал что нужна ЭЦП.

А также доверие.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 28
Re: djvused (метаданные)
Ответ #94 - 16.05.2023 :: 12:04:45
 
AAW писал(а) 16.05.2023 :: 11:45:00:
кто ж меня с моими пользовательскими данными пустит в ЛГ

ЛГ нужен не для того, чтобы в него писать данные (пусть они сами разбираются). ЛГ нужен для верификации существующего цифрового издания. В этой схеме библиографические данные существуют независимо от хранилища (ссылка на хранилище должна устанавливаться в файле конфигурации программы, для обслуживания локальной базы данных пользователя), так, как это и должно быть. Репозиторий (например, cgit.lib.ru) занимает центральное место для связывания библиографии с DJVU-файлами посредством ключа MD5. Как вы понимаете, если существует библиография, значит (гипотетически) на просторах интернета должен быть DJVU-файл... Улыбка
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5569
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #95 - 16.05.2023 :: 12:15:19
 
не пойму я этого...
вот ваша цитата:
nuget писал(а) 16.05.2023 :: 12:04:45:
В этой схеме библиографические данные существуют независимо от хранилища (ссылка на хранилище должна устанавливаться в файле конфигурации программы, для обслуживания локальной базы данных пользователя), так, как это и должно быть. Репозиторий (например, cgit.lib.ru) занимает центральное место для связывания библиографии с DJVU-файлами посредством ключа MD5.

чего-то я тут туплю в понимании фразы. Точнее, для меня есть противоречие в утверждениях "ссылка на хранилище...локальной базы" и "репозиторий xxx.ru для связывания ключом md5". То есть читаю "бибданные независимы от файлов, но связь с файлами есть, причём внутренняя и внешняя". И крыша едет...

И вот этот первый пассаж про верификацию меня нахлобучивает в нокаут Улыбка

UPD кстати на пдф-схемке стрелка направлена именно "в ЛГ" Улыбка  Читаю ее как "данные от юзера идут в ЛГ на запись". Потому что если бы было наоборот, то и стрелка шла от ЛГ в локальную базу.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5569
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #96 - 16.05.2023 :: 12:20:01
 
короче, не умеете вы постановку задачи писать!
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 28
Re: djvused (метаданные)
Ответ #97 - 16.05.2023 :: 13:00:53
 
AAW писал(а) 16.05.2023 :: 12:15:19:
для меня есть противоречие в утверждениях "ссылка на хранилище...локальной базы" и "репозиторий xxx.ru для связывания ключом md5".

Я пока не буду разъяснять технические подробности, поскольку нужно всё предварительно проверить и убедиться что данная схема рабочая. То что на схеме libgen-cfg-network обозначена ссылка на ЛГ, это как раз и говорит о том, что хранилище нужно для целей верификации (т.е. для проверки существующего DJVU-файла). Репозиторий библиографических данных (обозначенный на схеме), рассматривается в качестве открытого источника для синхронизации локальной базы данных (/usr/local/libgen/library.db). Репозиторий библиографии --- это территория сообщества. Запись в него, должна осуществляться только доверенными пользователями. Предполагается, что библиографические данные в репозитории будут хранить также ключи MD5, которые можно использовать для верификации с ЛГ.
Наверх
 
 
IP записан
 
Lykas
Патриарх
*****
Вне Форума


Всем привет!

Сообщений: 1129
Re: djvused (метаданные)
Ответ #98 - 16.05.2023 :: 18:06:31
 
nuget писал(а) 16.05.2023 :: 13:00:53:
Я пока не буду разъяснять технические подробности, поскольку нужно всё предварительно проверить и убедиться что данная схема рабочая. То что на схеме libgen-cfg-network обозначена ссылка на ЛГ, это как раз и говорит о том, что хранилище нужно для целей верификации (т.е. для проверки существующего DJVU-файла). Репозиторий библиографических данных (обозначенный на схеме), рассматривается в качестве открытого источника для синхронизации локальной базы данных (/usr/local/libgen/library.db). Репозиторий библиографии --- это территория сообщества. Запись в него, должна осуществляться только доверенными пользователями. Предполагается, что библиографические данные в репозитории будут хранить также ключи MD5, которые можно использовать для верификации с ЛГ.

Не получится, потому что ID Либгена привязан к конкретному файлу книги, а не к конкретной изданной книге. Вылавливать дубли?... С учетом того, что Гик Е. Я. не всегда равен Гик Евгений... А есть еще в базе и Гик Евгений Яковлевич...
Наверх
 
 
IP записан
 
AAW
Патриарх
*****
На Форуме


Старую детскую и НП литературу
ничем не заменить

Сообщений: 5569
Екатеринбург
Пол: male
Re: djvused (метаданные)
Ответ #99 - 29.05.2023 :: 10:02:18
 
сегодня обнаружил, что РГБ выдаёт BibTex экспорт:

@book{БерезинБ.И.канд.техн.наук1967Прс,
publisher = {Книга},
year = {1967},
title = {Полиграфический рецептурный справочник},
edition = {2-е изд., перераб.},
language = {rus},
address = {Москва},
author = {Березин Б. И. канд. техн. наук},
keywords = {Полиграфическое материаловедение -- Справочники},
}

причём предлагает выбрать кодировку.

Любопытная идентификация книги. @book.
Наверх
 

Если не я за себя - то кто за меня? Но если я только за себя - то зачем я нужен? И если не сейчас - то когда? (с) Гиллель, предположительно
155803224  
IP записан
 
Lykas
Патриарх
*****
Вне Форума


Всем привет!

Сообщений: 1129
Re: djvused (метаданные)
Ответ #100 - 29.05.2023 :: 19:45:39
 
AAW писал(а) 29.05.2023 :: 10:02:18:
сегодня обнаружил, что РГБ выдаёт BibTex экспорт:

@book{БерезинБ.И.канд.техн.наук1967Прс,
publisher = {Книга},
year = {1967},
title = {Полиграфический рецептурный справочник},
edition = {2-е изд., перераб.},
language = {rus},
address = {Москва},
author = {Березин Б. И. канд. техн. наук},
keywords = {Полиграфическое материаловедение -- Справочники},
}
причём предлагает выбрать кодировку.
Любопытная идентификация книги. @book.

Нормальная. Подмножество "БерезинБ.И.канд.техн.наук" входит в множества "БерезинБ.И." и "БерезинБ."и не пересекается в нормальных условиях с подмножествами "БерезинБ.И.канд.мед.наук" и "БерезинБ.И.астролог".
На Либрусеке Антонина разгребала Ивановых. Дохрена тезок с совпадающими инициалами, имя\фамилия, ФИО. Типичная ситуаций когда классик объединяется с автором СИ или автортудей...
Наверх
 
 
IP записан
 
nuget
Новичок
*
Вне Форума


Всем привет!

Сообщений: 28
Re: djvused (метаданные)
Ответ #101 - 13.08.2023 :: 17:53:06
 
Lykas писал(а) 16.05.2023 :: 18:06:31:
Не получится, потому что ID Либгена привязан к конкретному файлу книги, а не к конкретной изданной книге. Вылавливать дубли?

Верификация выполняется по md5. Предполагается что URL ( example.com/entry?md5={entry_k} ) будет использоваться для проверки существования файла в хранилище. Если файл не существует, то можно добавить его (при желании). Или скачать его на ПК (при наличии VPN).

По логике вещей, если библиография добавлена в репозиторий (открытые данные сообщества), то, по умолчанию, предполагается что файл уже где-то залит (например, кто-то заливает файлы на яндекс.диск, другие скачивают этот файл и повторно загружают на ЛГ). Тут как бы важно что находится в репозитории сообщества, а не в хранилище ЛГ. В данном случае, дубликаты --- это проблема тех, кто обслуживает хранилище ЛГ. То есть, для сообщества важно знать, что в репозитории хранится библиография лучшего варианта обработки. Также предполагается, обновлять файлы библиографии (если появится лучший вариант обработки). Все остальное (выбор хранилища и т.п.) не имеет значения для сообщества.

Ключевой момент (связующее звено), --- это ключ записи entry_k, который используется для привязки к данным из хранилища. В данной схеме ключ равен md5, то есть,
Code:
@book{entry_k, ... }
 


получается, что любой другой ключ (кроме как MD5) для хранения в репозитории не имеет смысла, поскольку найти файл будет практически невозможно.
Наверх
 
 
IP записан
 
Страниц: 1 2 3 4 
Послать Тему Печать