Дверь номер два: как мы искали книгу, с которой переписана рукопись, и нашли совпадение с запасом в 0.14 процента

Дверь номер один - поиск ключа как документа. Дверь номер два открылась из простого наблюдения над тем, что шифр делает с текстом, а чего не делает.

Что переживает шифр

Вербозный шифр заменяет слог группой знаков. Буквы исчезают, частоты искажаются, слова удлиняются. Но удлиняются они равномерно: в 1.24-1.53 раза, по нашим измерениям на модели. Статья из тридцати слов станет статьёй из сорока, статья из десяти - из тринадцати. Порядок длин сохранится.

Отсюда идея. Раздел звёзд рукописи - тетрадь Q20 - это 292 абзаца, каждый помечен звездой на полях, в среднем по 7-8 слов открытого текста. Похоже на сборник коротких статей: рецептарий, травник, сонник, сборник сентенций. Если за ним стоит готовая книга, последовательность длин её статей должна коррелировать с последовательностью длин абзацев Q20. То же для гербария (179 статей языка A, 66 языка B), для «купальной» тетради Q13 (78 абзацев), для аптечного раздела (26).

Корпус

Кандидатов собирали три недели. Испанские медицинские тексты XV века из корпуса HSMS - 63 текста, 12 660 статей, исчерпаны целиком. Вся латинская патрология и Corpus Medicorum Latinorum. Плиний по книгам, Марцелл, Medicina Plinii, Гаргилий, Серен, Кассий Феликс, Теодор Присциан. Женская медицина: Целий Аврелиан, Мусцион, Хильдегарда, Тротула. Три германских языка: среднеанглийские травники из EEBO, средненидерландские Иперман и Скеллинк, немецкие кулинарные рукописи. Два французских лапидария, Альдебрандин, Рузио. Итого 182 текста с правилом разбиения на статьи, записанным в заголовке каждого файла.

Четыре сита и два нуля

Сито a/c/d - ранговая корреляция длин при лучшем смещении, границы статей один к одному. Сито e2 - счёт статей на странице при контроле длины страницы. Сито f - выравнивание с дроблением: статья источника может лечь на две-три абзаца рукописи и наоборот, со штрафом. Сито g - кандидат короче цели, вшитый куском. Мощность каждого проверена на синтетике: сито a/c/d ловит настоящее соответствие с вероятностью 0.998, сито f держит расхождение границ до 10 %.

Нулей два, и это важно. Перестановка статей - необходимое условие, но она анти-консервативна: рушит локальную автокорреляцию длин, и доля ложных срабатываний у неё была 6 % при заявленных 0.1 %. Поэтому решает второй нуль - перестановка блоков по двадцать статей. Плюс требование специфичности: кандидат, прошедший больше чем на двух целях из шести, - артефакт.

Пар «кандидат × цель» набралось 1 104. Прошедших оба нуля - одна.

Кетам, Сарагоса, 1494

Compendio de la humana salud - испанское издание медицинского сборника, который по-латыни известен как Fasciculus medicinae Иоганна де Кетама. Сарагоса, 1494 год. Против Q20 оно дало расстояние 0.2119 при минимуме блочного нуля 0.2147. Запас - 0.14 %.

Это момент, когда исследователю хочется написать статью. Вместо этого мы написали конфирматорную процедуру - до того, как смотреть дальше. Логика такая: если источник настоящий, то не только длины, но и порядок блоков Q20 должен отличаться от перестановки сильнее случайного. На синтетике с настоящим соответствием разница 0.080 при нуле 0.025. У Q20 против Кетама - 0.015 при нуле 0.033. Не различается.

Второй свидетель - латинское издание 1495 года, Fasciculus medicine, с тем же порядком разделов. Если совпадение держится на порядке содержания, латинский текст должен пройти хотя бы на одной цели. Не прошёл ни на одной. Единственное срабатывание закрыто числом в тот же вечер.

Сонник с ровно 292 записями

Второй близкий промах того же дня выглядел ещё соблазнительнее. Сонник Даниила - средневековый толкователь снов, разошедшийся по всей Европе короткими статьями. В английской редакции 1866 года - 292 записи. В Q20 - 292 абзаца. По девять слов в записи.

Сито f его не взяло: +0.011 при мощности +0.62 на синтетике из его же длин. Совпадение количества, не порядка. Мы проверили и латинскую алфавитную редакцию из венской рукописи 271 - 157 статей, переписанных со сканов: три сита, везде ноль при проверенной мощности в обоих сценариях. Урок, который мы записали в правила: совпадение по количеству не значит совпадения по порядку.

Ещё двое у порога

Keukenboek из Гента подошёл к гербарию B, Плиний, книга 21, - к Q13: оба ровно на пороге блочного нуля при выигрыше 0.087 и 0.101. Не проходят. Гиппократовы афоризмы к Q13 и Хильдегарда к гербарию A - сняты блочным нулём. Это и есть нормальная картина честного сита: несколько кандидатов у границы, ни одного за ней.

Чего сито не видит

Важно сказать, что метод не может найти по устройству. Источник, из которого рукопись выбирала статьи или переставляла их. Текст, писанный по двум-трём источникам сразу. Расхождение границ больше 10 %. Книгу, которая не сохранилась или не оцифрована - а это, для травников XV века, большинство. Недобытое мы записали отдельно: флорентийский Ricettario, Herbolario volgare, немецкие Gart der Gesundheit и Ortus sanitatis, у которых заголовки глав стоят над гравюрами и не читаются OCR.

Мы также проверили довод, что абзацы Q20 перемешаны переплётом и порядок искать бессмысленно: сопряжённые листы ближе прочих лишь слабо и одинаково во всех разделах (Q20 +0.0185 при p 0.015, порог 0.01). Цель остаётся в порядке переплёта.

Что осталось

Инструмент готов: новый текст проверяется за минуты, одной командой, на всех шести целях и четырёх ситах с обоими нулями. Не хватает корпуса - именно тех книг, которые не оцифрованы. Если за Q20 стоит текст, который сохранился в одном экземпляре в монастырской библиотеке, дверь номер два ждёт его сканов.

Для понимания: сито ищет порядок длин, а не содержание; удачей была бы пара «кандидат × цель», прошедшая оба нуля, конфирматорную процедуру по блокам и свидетеля того же порядка в другом языке. Кетам прошёл первое из трёх.

← Все находки