diff --git a/lark/load_grammar.py b/lark/load_grammar.py index 417c164..d090cc7 100644 --- a/lark/load_grammar.py +++ b/lark/load_grammar.py @@ -12,36 +12,42 @@ from .tree import Tree as T, Transformer, InlineTransformer, Visitor unicode_escape = codecs.getdecoder('unicode_escape') _TOKEN_NAMES = { - ':' : '_COLON', + '.' : 'DOT', ',' : 'COMMA', + ':' : 'COLON', ';' : 'SEMICOLON', '+' : 'PLUS', '-' : 'MINUS', '*' : 'STAR', '/' : 'SLASH', + '\\' : 'BACKSLASH', '|' : 'VBAR', - '!' : 'BANG', '?' : 'QMARK', + '!' : 'BANG', + '@' : 'AT', '#' : 'HASH', '$' : 'DOLLAR', + '%' : 'PERCENT', + '^' : 'CIRCUMFLEX', '&' : 'AMPERSAND', + '_' : 'UNDERSCORE', '<' : 'LESSTHAN', '>' : 'MORETHAN', '=' : 'EQUAL', - '.' : '_DOT', - '%' : 'PERCENT', - '`' : 'BACKQUOTE', - '^' : 'CIRCUMFLEX', '"' : 'DBLQUOTE', '\'' : 'QUOTE', + '`' : 'BACKQUOTE', '~' : 'TILDE', - '@' : 'AT', - '(' : '_LPAR', - ')' : '_RPAR', + '(' : 'LPAR', + ')' : 'RPAR', '{' : 'LBRACE', '}' : 'RBRACE', '[' : 'LSQB', ']' : 'RSQB', + '\n' : 'NEWLINE', + '\r\n' : 'CRLF', + '\t' : 'TAB', + ' ' : 'SPACE', } # Grammar Parser