Оглавление:
Определение - Что означает лексический анализ?
Лексический анализ - это понятие, которое применяется к информатике очень сходным образом с лингвистикой. По сути, лексический анализ означает группирование потока букв или звуков в наборы единиц, которые представляют значимый синтаксис. В лингвистике это называется разбором, а в информатике - разбором или токенизацией.
Техопедия объясняет лексический анализ
Идея лексического анализа в информатике заключается в том, что лексический анализ разбивает потоки на «лексемы», где токен представляет собой базовую единицу значения. Токены связаны друг с другом таким образом, что компилятор языка должен вернуться и изолировать их для реализации правильных вычислительных инструкций. По сути, и люди, и компьютеры проводят лексический анализ, но компьютеры делают это по-другому и гораздо более технически. То, как компьютеры выполняют лексический анализ, не обязательно должно быть прозрачным для человека - его просто нужно запрограммировать в вычислительной системе. Программы, которые проводят лексический анализ в информатике, часто называют лексерами, токенизаторами или сканерами.
