В робототехнике есть старая поговорка: всему, чему человек научился после 5 лет, легко обучить машину. Все, что мы узнаем до 5, не так просто. Этот неписаный закон машинного обучения может объяснить, почему существуют компьютеры, способные победить лучших в мире мастеров шахмат и го, но нам еще предстоит создать робота, который мог бы ходить как человек. (Не пытайтесь сказать мне, что ASIMO ходит как человек.)
Это также может объяснить, почему проверка орфографии на вашем компьютере работает так блестяще, а проверка грамматики - нет. Мы учимся правильно писать только тогда, когда мы достаточно взрослые, чтобы ходить в школу, но основы развития речи могут начаться еще в утробе матери.
Вывод и контекст
Правописание - это конечная задача с дискретными правильными или неправильными ответами. Английская грамматика, с другой стороны, содержит почти бесконечное количество возможностей, и то, является ли что-то грамматически правильным или неправильным, может во многом зависеть от тонких подсказок, таких как контекст и вывод.
Вот почему некоторые английские предложения являются такой головной болью для автоматических средств проверки грамматики. Лес Перельман, профессор Массачусетского технологического института на пенсии и бывший заместитель декана бакалавриата, руководивший университетской писательской программой, рассказал мне следующее: «Машину припарковал Джон».
Моя, по общему признанию, устаревшая версия Microsoft Word (Word для Mac 2011) запрограммирована на распознавание и исправление пассивного залога, что запрещено большинством специалистов по грамматике. Когда я набираю это предложение в Word, программа послушно подчеркивает его зеленым цветом и предлагает: «Джон припарковал машину». Было бы хорошо, если бы Джон припарковал машину, но что, если я имел в виду, что машина была физически припаркована рядом с Джоном?
Простая ошибка, скажете вы, но посмотрите, что произойдет, если я изменю предложение на «Машина была припаркована у бордюра». Ворд подчеркивает это и подсказывает: «У бордюра припаркована машина». Это совершенно глупо даже для компьютера.
«Так много в английской грамматике связано с выводами и чем-то, что называется взаимными контекстуальными убеждениями», - говорит Перельман. «Когда я делаю заявление, я полагаю, что вы знаете то, что я знаю об этом. Машины не такие умные. Вы можете обучить машину для конкретной ситуации, но когда вы говорите о транзакциях на человеческом языке, на самом деле их огромное количество. таких умозаключений происходит постоянно."
Перельман не согласен с программами проверки грамматики, которые, как он утверждает, просто не работают. Ссылаясь на предыдущее исследование, он обнаружил, что программы проверки грамматики правильно выявляют ошибки в студенческих работах только в 50% случаев. И что еще хуже, они часто помечали совершенно хорошую прозу как ошибку, известную как ложное срабатывание.
В одном упражнении Перельман вставил 5 000 слов известного эссе Ноама Хомского в систему подсчета очков ETS, компании, которая производит (и оценивает) экзамены GRE и TOEFL. Средство проверки грамматики обнаружило 62 ошибки, в том числе 14 предложений, начинающихся с сочинительного союза («и», «», «но», «или») и девяти пропущенных запятых - все, кроме одной, которые Перельман классифицировал как «совершенно грамматически правильную прозу».
Маленькая история
Первая автоматическая проверка орфографии была поставлена с ранней версией WordPerfect в 1983 году, а вскоре последовали первые компьютеризированные проверки грамматики в WordPerfect и Microsoft Word.
Мар Хинес Марин - главный менеджер программ в Microsoft, который работал с редактором грамматики Office последние 17 лет. Она говорит, что в первые дни лучшее, что мог сделать Word, - это разобрать предложение на составные части речи и выявить простые грамматические ошибки, такие как согласование существительного и глагола. Затем инженеры придумали, как разбивать предложение на более мелкие «фрагменты» из двух или трех слов, чтобы ориентироваться на такие вещи, как соглашение «а/а». Это называется обработкой естественного языка или НЛП.
Следующим шагом было внедрение машинного обучения. Сьюзан Хендрич (Susan Hendrich) - менеджер группы программ в Microsoft, отвечающая за группы обработки естественного языка, работающие над Office. Благодаря машинному обучению инженеры Microsoft могли выйти за рамки программирования каждого правила грамматики в программном обеспечении. Вместо этого они обучают машину на огромном наборе данных правильного использования английского языка и позволяют машине учиться на найденных шаблонах.
Хендрич говорит, что алгоритмы, разработанные Microsoft с помощью машинного обучения, определяют решения Word о том, нужен ли в предложении вопросительный знак или какие типы предложений требуют запятой (довольно хитрые вещи, даже для нас, людей-писателей)..
Но получилось ли? Дэниел Кис, профессор английского языка в Колледже Дю Пейдж в Глен-Эллин, штат Иллинойс, однажды провел непосредственное тестирование различных средств проверки грамматики, начиная с WordPerfect 8, выпущенного в конце 1990-х годов, и заканчивая Word 2007. При сравнении с 20 предложениями, содержащими наиболее распространенные ошибки письма, все программы проверки грамматики показали весьма посредственные результаты. Ни одна версия Word после 2000 года не обнаруживала ошибок (как ни странно, Word 97 показал лучшие результаты), а WordPerfect выявил только 40 процентов ошибок.
Хотя эти цифры не соответствуют последним версиям средств проверки грамматики, они указывают на одну из самых больших проблем при создании мощного и точного механизма проверки грамматики, встроенного в программное обеспечение, - пробел.
«Мы можем сделать эти большие красивые модели с высокой точностью, но они слишком велики, чтобы поставлять их вместе с продуктом», - говорит Хендрич из Microsoft. «Поэтому мы должны уменьшить нашу модель, а когда мы уменьшаем нашу модель, мы теряем точность точности. Таким образом, у нас есть точка баланса, с которой мы готовы поставлять».
Хинес Марин защищает точность Word, но признает, что нехватка места повлияла на уровень «покрытия», обеспечиваемый средством проверки грамматики Microsoft. Когда модель была уменьшена, чтобы соответствовать программному обеспечению, ее также нужно было набрать в ширину, чтобы она не помечала много хорошего текста как ошибки.
Золотая закорючка
Что изменилось со времен Word 2007, так это появление веб-приложений. Теперь инженерам не нужно втискивать большой грамматический движок в пакет, достаточно маленький, чтобы поместиться на жестком диске пользователя. Алгоритмы грамматики могут храниться в облаке и доступны через Интернет в режиме реального времени.
Хендрич говорит, что веб-версии Office уже полагаются на надежные механизмы грамматики, размещенные в облаке, и ее команда в настоящее время переносит все старые встроенные критические анализы и модели грамматики в облако тоже. Задача на будущее, говорит Хендрич, состоит в том, чтобы решить, сколько функций оставить «в коробке», а сколько предоставить «через службу», как Хендрич называет облачную модель Microsoft «программное обеспечение как услуга».
Вопрос в стоимости. Каждый раз, когда Word обращается к облаку за советом по грамматике, это стоит несколько копеек.
" Если вы пишете 10-страничный документ, вы звоните в службу поддержки при каждом нажатии клавиши?" - спрашивает Хендрих. «Когда вы начинаете смотреть на модели затрат, они могут быть довольно большими».
Последняя версия редактора грамматики Microsoft намного надежнее своих предшественников. Ошибки сопровождаются несколькими предложениями по исправлению, а также пояснениями правил грамматики, стоящих за ними. Есть встроенная функция чтения вслух, которая особенно полезна для людей с дислексией и для тех, для кого язык не является родным. И есть новый тип предложений, который Хендрич называет «золотой загогулиной», который касается стиля письма больше, чем базовой грамматики.
Если вы пишете, что комитет ищет нового «председателя», например, золотая закорючка предложит вам использовать гендерно-нейтральный термин, например «председатель»." Если вы пишете служебную записку своему боссу, которая требует определенной степени формальности, золотая закорючка будет помечать слова, которые кажутся слишком случайными, например "комфортно".
Один вопрос, который важно задать, заключается в том, действительно ли средства проверки грамматики должны быть совершенными. Если Word предлагает, чтобы предложение читалось как «У бордюра припаркована машина», вы можете просто проигнорировать его. Ничего страшного, верно?
Для носителей английского языка не очень совершенная проверка грамматики вызывает легкое раздражение. Даже если вы не гений грамматики, вы можете услышать, когда что-то звучит неправильно. Настоящая проблема, говорит бывший профессор писательского мастерства Массачусетского технологического института Перельман, возникает, когда изучающие английский язык полагаются на эти инструменты для исправления своего письма.
«Это действительно зависит от того, кто пользователь, - говорит Перельман. «Если пользователь является носителем языка, ложные срабатывания не так опасны, как для не носителя языка».
Если Word сообщает изучающему английский язык, что «машина была припаркована на обочине», его письмо не только не будет иметь смысла, но и будет плохо учить грамматику. По словам Перельмана, теперь, когда английский язык стал языком общения науки и техники, предприятия по всему миру отчаянно нуждаются в действительно надежном и точном средстве проверки английской грамматики. Вот почему вы видите рост сторонних веб-инструментов для грамматики, таких как Grammarly и Ginger, которые пытаются удовлетворить этот международный спрос.
Хорошая новость заключается в том, что последняя версия Word (2016 г.) проходит проверку на "бордюрность". Однако грамматически он помечен как пассивный залог.
Вот это круто
Перельман, который уже успешно лоббировал избавление от 25-минутного эссе по SAT - он доказал, что многословные, но бессмысленные ответы набирают больше всего баллов - теперь нацелился на отмену роботизированной оценки эссе по все стандартизированные тесты.