Уважаю создателя библиотеки - Ершова Вадима, народ, тут присутвующий, отцов (которые борятся за каждую букву распознанную)  и пасынков (которые стараются на них быть похожими) ))) Я как собиратель книг, которых, наверняка мало, скажу так: большое спасибо энтузиастам, которые делают своё дело, несмотря ни на что (делают и делают   , низкий поклон), а с другой стороны нет 100-процентной гарантии, что книга окажется именно тут (я наблюдаю это по сканам, которые якобы обработаны, так написано). Достаточное количество книг уходит в небытие.  Билл Г (наверное, Билл Гейтс, который тут является участником, вроде, он организовал Либген)  писал, что ему непонятно, как книги, предоставленные и изготовленные народом (лучше сказать мастерами, которые давно тут находятся) попадают на этот сайт. Нет никакой гарантии, что  труды не пропадут даром, нет отчетности, что книги осели на этом сайте.  Хотя вполне понятно, что тут используется сервер, даже исчезают ссылки на ранние месячные обновления, потому что нет места (не резиновый же он), нет средств (надо помочь, но никто не кидал клич). Я, наверное, единственный человек, который скачал вашу библиотеку полностью (плюс месячные))) обновления) .  По такому случаю есть предложение: надо создать сайт, который будет для всех желающих, для всех трудях вашего общества, чтобы ни одна книга не пропала. Чтобы были страницы с выкладкой книг, чтобы каждый мог разместить там свою книгу, без сервера.  Например выкладывать книги с сылкой на Яндекс. У вас так много веток, все стараются, работают, всё разрозненно, а кто даст гарантию, что их труды не пропали даром??? ... Нету!!! Есть у вас человек, который собирает все эти труды, чтобы ни одного не потерять???? Я думаю, что нету, потому что вы все высшие чины занимаются разбором конкретного, заинтересовавшего их текста, как выглядит дпи и мельчайшие подробности в тексте и рисунке после их обработки десятью программами и т.п.   И до книг, выкладываемых здешними мастерами (вон сколько сканов невостребованных) дела нет, у них тут высший пилотаж, не мешай, народ))). А они все (мастера и подмастерья)  надеются и заслужили (что их труды появятся на этом сайте!!! Опять скажете: боимся троля каменкупензу, когда он уйдет отседова, ёклмн, этот ужас, откель он только и пожаловал))  Уйду! Только во всем должен быть порядок!!! Ни одна книга не должна пропасть (в этом месте хотелось бы добавить и ругнуться, но промолчу    )
P.S.  В следующий раз, когда будете обсуждать  быдло kamenkapenza в теме "Почему вас так мало" , когда этот тролль уйдет отседова, имейте благоразумие закрывать тему для посторонних, а то читать ваши переговоры смешно, цирк сплошной (кто как сдулся, надулся, кто какие ратные подвиги соверщил против меня, кто в личных сообщениях был героем, а кто при народе 

Lykas писал(а) 13.01.2019 :: 20:07:40:

ссылку киньте глянуть

Lykas писал(а) 13.01.2019 :: 20:07:40:

Я ОБЪЯЛ НЕОБЪЯТНОЕ. Не знаю, с кем вы знакомились, но я дядя Слава.  Были или нет попытки, это вам ведомо, но у меня и мир книг ком и мир книг су на дисках.( вам объем проделаной мною работ даже не снилось) Скачано всё, кроме определенных тем. Я для этого годами куплял сначала Депозитфайлс, потом Турбобит. Обрашайтесь - за умеренную цену продам раритет!

AAW писал(а) 18.02.2020 :: 17:51:14:


а что там пошло не так? и можно ли починить в принципе?

Мне нравится библиотека. Есть некоторые неудобства но у кого их нет?
В целом все устраивает

Вот пример моего интерфейса[url][/url]
Это с титлами, а это список одним кликом
[/url]
Поиск быстрый, под апач писал на Си  Bash+awk. Старопёрно, но надежно. Сейчас более 130 тысяч книг, отсканил сам более 1000... Это личная домашняя библиотека, на промышленный уровень нет времени развернуться. Я просто читал про помойки в домашних ПК. У меня помойки нет. "Создать библиотеку с поиском и web-интерфейсом из любого места, это просто!" Большое спасибо увлеченным! Вы супер! Сам проходил все сам, ничего не читая, люблю свои шишки!

Персонально для Уважаемого Дмитрия! (привет!)
http://www.kiam1.rssi.ru/~den/tmp/p3.png
http://www.kiam1.rssi.ru/~den/tmp/p4.png

К сожалению, для авторского... Очень много всего нелегального

Интересно, существуют в более менее доступном виде структурированные списки изданий? С библиографическими записями. Например, можно ли из либгена вытянуть не сами книги, а лишь список книг?

Чтобы иметь под рукой полу-готовую карточку по книге. На либгене не нашёл.

Здравствуйте! Очень приятно пообщаться с человеком, который отсканил много книг! Множество
Идея создания облака заключается в следующем
1. Записи книг хранятся в отдельном файле
Каждая строка файла вида
1105500 | pdf  |   2037799 | 05330300 | RU | 2014 | Хельвинкель Д.                                                                   | Систематическая номенклатура органических соединений

Это записи, разделенные разделителем | Для дальнейшего быстрого разбора
1  - Элемент это номер, номер соответствует каталогу мехмата, который парсингом закачивается в течении часа
2. Расширение файла (pdf или djvu)
3. Размер (байты)
4. Рубрикатор, ну типа журнал, серия, и т.д.и т.п - уникальный номер на рубрикатор, который в отдельном текстовом файле
5. Язык
6. Авторы
7. Название

Файлы книг хранятся в виде 1105500.pdf
1. решается вопрос хранения книг на дисковом пространстве, кодировка, длина и прочие проблемы
2. Таким образом, пользователь библиотеки обращается к запросу через веб: поиск, скачать, рубрикатор
2.1 Поиск осуществляется по единственному текстовому файлу каталога. Если вы не онанируете на питон (Pyton), то поиск с использованием программы на Си это ОЧЕНЬ быстро, выдаем результаты поиска в виде таких же строк.
Зная номер (номер книги) запроса делаем красивую обертку этих строк и линк на файл.
2.2  Выгрузку по номеру, пользователю в формате <авторы> <титл> <год>.<расширение> в зависимости от операционной системы запроса (я имею в виду кодировку): UTF8 для яблочников, линуксоидов, FreeBSD и других UNIX делается через "cat" с указанием специфики файла
3. Книги закачиваются разным образом: парсинг, руками
Закаченные книги сохраняются в файлы
<рубрика> <автор> <название> <год>.<расширение>
или, например,
05330300 Хельвинкель Д. Систематическая номенклатура органических соединений 2014.pdf
4. Написана программа, которая способна разобрать закачанные файлы по автору, названию и году и определить:
- есть ли такой файл и отличается он по размеру и расширению
- создать лог по файлам, подозрительным на текущий, ну типа название немного не то, инициалы авторов не те, список авторов не тот, год не тот...
- создается скрипт копирования файлов в файл базы<номер>.<расширение>
- если файла нет в базе, то заносится новый номер
5. Вопрос с титлами решается просто, титлы храняться в файле <номер>.jpg. Титл по первой странице можно получить автоматом множеством программ, отсюда моя НЕЛЮБОВЬ к любителям титлов передника и задника на последних страницах. Титлы вручную, интернет, парсинг...
Типа так, главное - генетика. Эту базу выгрузить в другую очень просто


P.S. Почитал... свое... Жуть. Опишу нормальным языком. Очень сложно писать в окне 5x5 не видя весь текст. Пардон

AAW писал(а) 27.09.2022 :: 08:09:30:

Кстати, идея не моя
взял с сайта
http://www.magzdb.org/j/711
По поводу быстрого (один клик) переключения в титлы - моя. Визуальная память более развита (книгу помнят по обложке)


Dmitry7 писал(а) 27.09.2022 :: 20:58:52:

phobos24 писал(а) 27.09.2022 :: 20:58:43:

большое спасибо. Примерно такие идеи и у меня крутятся. Но из-за большого потока сканирования всё остаётся много лет на стадии мыслей

А вот если книги нет в б-ке мехмата, то откуда её номер брать будете? Я бы md5 заюзал, но тогда нужна табличка их "синонимов". Те хеши, что указывают на одну бумажную книгу.

Что делаете с rar, doc, chm - ? Папками? Многотомниками? Иногда технически очень неудобно паковать комплект материалов в один архив. Допустим, книга по программированию плюс CDROM с программами и текстами. Или вот Атлас муз.инструментов СССР, а к нему 4 пластинки.

Я правильно понял, что заполнение БД в сущности сделано вручную? Парсинг - дело такое...

+
и ещё вопрос: а как вы делаете, если делаете, выборку/отбор литературы? Заранее? Ко мне иногда обращались раньше с просьбой посоветовать нечто по определённым условиям, и это мука, вспомнить и подобрать. Видел-то я много, но освежить память нетривиальная задачка.

AAW писал(а) 27.09.2022 :: 21:36:40:

Библиотека мехмата имеет индексы до 999999. Для отсутствующих номера начинаются с 1000000.

AAW писал(а) 27.09.2022 :: 21:36:40:

Для этого существует запись типа
0012588 |      |         0 | 02000000 | RU | 2006 | Меньшиков Ф.                                                                     | [CD] Олимпиадные задачи по программированию

[CD] означает, что есть файл xxxxxxx.zip
Это дополнения к книге

doc, chm - пока в архив
Многотомники - каждый том это отдельный файл

AAW писал(а) 27.09.2022 :: 21:36:40:


Да, с кучей сервисных скпиптов и программ для контроля

AAW писал(а) 27.09.2022 :: 21:36:40:

Формирую отдельный файл с записями. Пример, хочется же иметь то, что сделал сам

AAW писал(а) 28.09.2022 :: 06:55:55:

Не помню точно цитату из "Москва слезам не верит", но смысл такой, что  с тремя записями научится работать, а далее количество не имеет значение.
На самом деле не так, есть сложности при выделении динамической памяти в методе  Пола-Хеннинга Кампа. Нужен кэш в многих потоках (одновременный запрос, а malloc не выделяет). Я подготовился к этому, пока проблем нет, реализовал кэш с сохранением на SSD. Тут не так просто, но интересно.
По рабоче-крестьянски. Файл с записями превосходит размер возможного выделения памяти, что делать?