Почему очень большой словарь является не очень хорошей идеей

Это перевод Why a really large dictionary is not a good thing. Автор: Реймонд Чен. Входит в книгу The Old New Thing.

Иногда вы можете увидеть, как кто-то хвастается тем, как много слов в их словаре проверки орфографии. На самом деле, слишком много слов в словаре - это ещё хуже, чем когда их слишком мало.

Предположим, что у вас есть орфографический словарь, в котором есть каждое слово из Оксфордского словаря Английского языка. Тогда вы захотите проверить такое предложение:

Therf werre eyght bokes.

Это предложение пройдёт проверки на ура, потому что все слова в предложении выше, являются действительными английскими словами - хотя большинству людей будет довольно трудно сказать, что же они значат.

Английский язык имеет так много слов, что если вы включите их все в свой словарь, то тогда опечатки будут слишком часто (случайно) совпадать с корректными английскими словами и, следовательно, не будут обнаружены орфографической проверкой. А это идёт вразрез со смыслом существования такой проверки: поиском орфографических ошибок.

Поэтому радуйтесь, что ваш проверяльщик орфографии не имеет крупнейший словарь в мире. Если бы он у него был, его работа значительно бы ухудшилась.

После того, как я написал эту статью, я нашел хорошее обсуждение вопроса об оптимальном размере словаря на сайте программного обеспечения Wintertree.