Browse Source

Added a few anon-token names

tags/gm/2021-09-23T00Z/github.com--lark-parser-lark/0.5.1
Erez Shinan 9 years ago
parent
commit
2ee72baf09
1 changed files with 15 additions and 9 deletions
  1. +15
    -9
      lark/load_grammar.py

+ 15
- 9
lark/load_grammar.py View File

@@ -12,36 +12,42 @@ from .tree import Tree as T, Transformer, InlineTransformer, Visitor
unicode_escape = codecs.getdecoder('unicode_escape') unicode_escape = codecs.getdecoder('unicode_escape')


_TOKEN_NAMES = { _TOKEN_NAMES = {
':' : '_COLON',
'.' : 'DOT',
',' : 'COMMA', ',' : 'COMMA',
':' : 'COLON',
';' : 'SEMICOLON', ';' : 'SEMICOLON',
'+' : 'PLUS', '+' : 'PLUS',
'-' : 'MINUS', '-' : 'MINUS',
'*' : 'STAR', '*' : 'STAR',
'/' : 'SLASH', '/' : 'SLASH',
'\\' : 'BACKSLASH',
'|' : 'VBAR', '|' : 'VBAR',
'!' : 'BANG',
'?' : 'QMARK', '?' : 'QMARK',
'!' : 'BANG',
'@' : 'AT',
'#' : 'HASH', '#' : 'HASH',
'$' : 'DOLLAR', '$' : 'DOLLAR',
'%' : 'PERCENT',
'^' : 'CIRCUMFLEX',
'&' : 'AMPERSAND', '&' : 'AMPERSAND',
'_' : 'UNDERSCORE',
'<' : 'LESSTHAN', '<' : 'LESSTHAN',
'>' : 'MORETHAN', '>' : 'MORETHAN',
'=' : 'EQUAL', '=' : 'EQUAL',
'.' : '_DOT',
'%' : 'PERCENT',
'`' : 'BACKQUOTE',
'^' : 'CIRCUMFLEX',
'"' : 'DBLQUOTE', '"' : 'DBLQUOTE',
'\'' : 'QUOTE', '\'' : 'QUOTE',
'`' : 'BACKQUOTE',
'~' : 'TILDE', '~' : 'TILDE',
'@' : 'AT',
'(' : '_LPAR',
')' : '_RPAR',
'(' : 'LPAR',
')' : 'RPAR',
'{' : 'LBRACE', '{' : 'LBRACE',
'}' : 'RBRACE', '}' : 'RBRACE',
'[' : 'LSQB', '[' : 'LSQB',
']' : 'RSQB', ']' : 'RSQB',
'\n' : 'NEWLINE',
'\r\n' : 'CRLF',
'\t' : 'TAB',
' ' : 'SPACE',
} }


# Grammar Parser # Grammar Parser


Loading…
Cancel
Save