Мистификация и пустышка
Энтропия текста Войнича: главный аргумент, которым чаще всего злоупотребляют
«Энтропия слишком низкая, значит, это не бессмыслица» - самый частый довод в популярных пересказах, и он неверен. Разбираем, что именно измерено, какие числа настоящие и какой вывод из них следует.
Про энтропию манускрипта Войнича пишут все, кто пишет о рукописи вообще, - и почти всегда с одной и той же логической ошибкой. Разберём, что за числа стоят за словом «энтропия», какие из них настоящие и какой вывод из них можно делать.
Две разные величины, которые постоянно путают
Энтропия знака (её обозначают h1) отвечает на вопрос: насколько разнообразны сами буквы? Если в алфавите тридцать знаков и все встречаются примерно одинаково часто, величина высокая; если один знак занимает половину текста - низкая.
Условная энтропия (h2) отвечает на другой вопрос: насколько легко угадать следующий знак, если известен предыдущий? В английском после буквы q почти всегда идёт u - это снижает величину. Чем жёстче сочетаемость, тем ниже число.
Это разные вещи, и путаница между ними - источник большинства неверных утверждений в популярных пересказах.
Настоящие числа
Вот что измерено на полной транслитерации рукописи:
| Величина | Войнич | Естественные языки |
|---|---|---|
| Энтропия одного глифа (h1) | 3.86 бита | сопоставимо |
| Условная энтропия (h2) | около 2.1-2.2 бита | 2.96-3.23 |
Смотреть надо на вторую строку. Аномален не алфавит, а сочетаемость. Знаки Войнича идут друг за другом гораздо предсказуемее, чем буквы любого проверенного естественного языка.
Заодно отметим, что числа «4.0-4.3 против 4.5-4.8», гуляющие по обзорам, не соответствуют ни нашим измерениям, ни известным публикациям: это как раз результат смешения h1 и h2.
Что низкая условная энтропия означает
Она означает жёсткую внутреннюю структуру - и не более того.
В нашей модели такую структуру создаёт слоговый шифр: одна единица открытого текста записывается двумя-тремя знаками из ограниченного набора, поэтому сочетания повторяются, а предсказуемость растёт. Мы проверяли это прямым построением: латинский текст с условной энтропией 3.22 после прогона через модель падает примерно до 2.1 - то есть ровно в наблюдаемую область.
Это же объясняет и вторую особенность - короткие однообразные слова: их задаёт шифр, а не язык оригинала.
Чего низкая энтропия НЕ означает
Здесь и находится главная ошибка популярных изложений: «энтропия слишком низкая, значит, текст осмысленный, а не бессмысленный набор знаков».
Это неверно. Механические генераторы дают такую же низкую энтропию.
- Решётка с таблицей слогов - приём, которым Гордон Рагг воспроизводил похожий на Войнич текст, -
даёт предсказуемость автоматически: блоки повторяются.
- Копирование уже написанного слова с небольшим изменением - механизм, предложенный Торстеном
Тиммом, - тоже даёт низкую энтропию, а вдобавок закон Ципфа, семейства похожих слов и кучность повторов.
То есть по одному этому числу нельзя отличить осмысленный источник от механического. Отвергать версию бессмыслицы нужно различающими признаками - теми, которые генератор перелетает или недобирает. Мы это делали отдельно: решётка Кардано отвергнута двумя способами, автокопирование - по пяти показателям из шести на отложенных данных.
Урок для чтения любых обзоров
Число само по себе ничего не решает. Решает то, различает ли оно конкурирующие объяснения.
Мы сами наступили на смежные грабли и публично это признали: наша мерка «слов-двойников» оказалась зависящей от объёма корпуса, и мы сняли построенный на ней вывод о восточноазиатских языках. История разобрана здесь.
Правило, которое из этого следует, простое: прежде чем принимать число как аргумент, спросите, какое альтернативное объяснение оно исключает. Если никакое - это не аргумент, а украшение.
Расшифровки манускрипта Войнича не существует. Совпадение - не чтение, и низкая энтропия - тоже.
Частые вопросы
Какая энтропия у текста манускрипта Войнича?
На один глиф около 3.86 бита - это обычная величина. Аномальна условная энтропия, то есть предсказуемость следующего знака при известном предыдущем: около 2.1-2.2 бита против 2.96-3.23 у естественных языков.
Что означает низкая условная энтропия?
Что текст сильно предсказуем: зная один знак, следующий угадать легче, чем в обычном языке. Это говорит о жёсткой внутренней структуре - в нашей модели её создаёт слоговый шифр с ограниченным набором сочетаний.
Правда ли, что низкая энтропия доказывает осмысленность текста?
Нет. Механические генераторы дают такую же низкую энтропию: и решётка с таблицей слогов, и копирование уже написанного. Отвергать версию о бессмыслице нужно другими признаками, а не этим числом.
Почему в обзорах встречаются числа 4.0-4.3 и 4.5-4.8?
Это следствие путаницы между двумя разными величинами - энтропией отдельного знака и условной энтропией. Ни одно из этих чисел не соответствует нашим измерениям и не встречается в известных публикациях.