Results of 1 - 10 of about 47 for tokens (0.005 sec.)
- token --- Python 解析木で使われる定数 — Python 3.14.8 ドキュメント 13346
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » The Python standard library » Python言語サービス » token --- Python 解析木で使われる定数 テーマ 自動 ライト ダーク | token --- Python 解析木で使われる定数 ¶ ソー
...数を提供します。言語の文法のコンテキストにおける名前の定義については、 Python ディストリビューションのファイル file: Grammar/Tokens を参照してください。名前がマップする特定の数値は Python のバージョン間で変わります。 このモジュールは、数値コードから名前へ...ic literal token. STRING ¶ Token value that indicates a string or byte literal , excluding formatted string literals . The token string is not interpreted: it includes the surrounding quotation marks and the prefix (if given); backslashes are included...enizer uses exact token types instead. token. COMMENT ¶ Token value used to indicate a comment. The parser ignores COMMENT tokens. token. NEWLINE ¶ Token value that indicates the end of a logical line . token. NL ¶ Token value used to indicate a non-te... - https://man.mtool.work/python/3.14/library/token.html
- token --- Python 解析木で使われる定数 — Python 3.14.8 ドキュメント 13346
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » The Python standard library » Python言語サービス » token --- Python 解析木で使われる定数 テーマ 自動 ライト ダーク | token --- Python 解析木で使われる定数 ¶ ソー
...数を提供します。言語の文法のコンテキストにおける名前の定義については、 Python ディストリビューションのファイル file: Grammar/Tokens を参照してください。名前がマップする特定の数値は Python のバージョン間で変わります。 このモジュールは、数値コードから名前へ...ic literal token. STRING ¶ Token value that indicates a string or byte literal , excluding formatted string literals . The token string is not interpreted: it includes the surrounding quotation marks and the prefix (if given); backslashes are included...enizer uses exact token types instead. token. COMMENT ¶ Token value used to indicate a comment. The parser ignores COMMENT tokens. token. NEWLINE ¶ Token value that indicates the end of a logical line . token. NL ¶ Token value used to indicate a non-te... - https://man.mtool.work/python/3.14/library/token.html
- tokenize --- Python ソース用のトークナイザー — Python 3.14.8 ドキュメント 9698
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » The Python standard library » Python言語サービス » tokenize --- Python ソース用のトークナイザー テーマ 自動 ライト ダーク | tokenize --- Python ソース用のトークナ
...e provides a lexical scanner for Python source code, implemented in Python. The scanner in this module returns comments as tokens as well, making it useful for implementing "pretty-printers", including colorizers for on-screen displays. トークン・ストリ...は PEP 263 にしたがって、ソースのエンコーディングを UTF-8 BOM か encoding cookie を見つけて決定します。 tokenize. generate_tokens ( readline ) ¶ Tokenize a source reading unicode strings instead of bytes. Like tokenize() , the readline argument is a ca...llable returning a single line of input. However, generate_tokens() expects readline to return a str object rather than bytes. The result is an iterator yielding named tuples, exactly like... - https://man.mtool.work/python/3.14/library/tokenize.html
- 2. 字句解析 — Python 3.14.8 ドキュメント 9698
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » Python 言語リファレンス » 2. 字句解析 テーマ 自動 ライト ダーク | 2. 字句解析 ¶ A Python program is read by a parser . Input to the parser is a stream of tokens
...ted by the lexical analyzer (also known as the tokenizer ). This chapter describes how the lexical analyzer produces these tokens. The lexical analyzer determines the program text's encoding (UTF-8 by default), and decodes the text into source characte...cannot be decoded, a SyntaxError is raised. Next, the lexical analyzer uses the source characters to generate a stream of tokens. The type of a generated token generally depends on the next source character to be processed. Similarly, other special be...の数を 0 にリセットするかもしれません)。 The indentation levels of consecutive lines are used to generate INDENT and DEDENT tokens, using a stack, as follows. Before the first line of the file is read, a single zero is pushed on the stack; this will nev... - https://man.mtool.work/python/3.14/reference/lexical_analysis.html
- tokenize --- Python ソース用のトークナイザー — Python 3.14.8 ドキュメント 9698
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » The Python standard library » Python言語サービス » tokenize --- Python ソース用のトークナイザー テーマ 自動 ライト ダーク | tokenize --- Python ソース用のトークナ
...e provides a lexical scanner for Python source code, implemented in Python. The scanner in this module returns comments as tokens as well, making it useful for implementing "pretty-printers", including colorizers for on-screen displays. トークン・ストリ...は PEP 263 にしたがって、ソースのエンコーディングを UTF-8 BOM か encoding cookie を見つけて決定します。 tokenize. generate_tokens ( readline ) ¶ Tokenize a source reading unicode strings instead of bytes. Like tokenize() , the readline argument is a ca...llable returning a single line of input. However, generate_tokens() expects readline to return a str object rather than bytes. The result is an iterator yielding named tuples, exactly like... - https://man.mtool.work/python/3.14/library/tokenize.html
- 2. 字句解析 — Python 3.14.8 ドキュメント 9698
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » Python 言語リファレンス » 2. 字句解析 テーマ 自動 ライト ダーク | 2. 字句解析 ¶ A Python program is read by a parser . Input to the parser is a stream of tokens
...ted by the lexical analyzer (also known as the tokenizer ). This chapter describes how the lexical analyzer produces these tokens. The lexical analyzer determines the program text's encoding (UTF-8 by default), and decodes the text into source characte...cannot be decoded, a SyntaxError is raised. Next, the lexical analyzer uses the source characters to generate a stream of tokens. The type of a generated token generally depends on the next source character to be processed. Similarly, other special be...の数を 0 にリセットするかもしれません)。 The indentation levels of consecutive lines are used to generate INDENT and DEDENT tokens, using a stack, as follows. Before the first line of the file is read, a single zero is pushed on the stack; this will nev... - https://man.mtool.work/python/3.14/reference/lexical_analysis.html
- tabnanny --- あいまいなインデントの検出 — Python 3.14.8 ドキュメント 8299
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » The Python standard library » Python言語サービス » tabnanny --- あいまいなインデントの検出 テーマ 自動 ライト ダーク | tabnanny --- あいまいなインデントの検出 ¶
...場合は、 -q オプションによって真に設定されます。 exception tabnanny. NannyNag ¶ あいまいなインデントを検出した場合に process_tokens() が送出します。 この例外は check() で捕捉され処理されます。 tabnanny. process_tokens ( tokens ) ¶ この関数は、 tokenize モ...参考 tokenize モジュール Pythonソースコードの字句解析器。 関連キーワード tabnanny モジュール check file dir 場合 スクリプト tokens インデント 検出 ソースコード py ディレクトリ チェック Python 問題 空白 メッセージ プリント フラグ 前のトピックへ tokenize... - https://man.mtool.work/python/3.14/library/tabnanny.html
- tabnanny --- あいまいなインデントの検出 — Python 3.14.8 ドキュメント 8299
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » The Python standard library » Python言語サービス » tabnanny --- あいまいなインデントの検出 テーマ 自動 ライト ダーク | tabnanny --- あいまいなインデントの検出 ¶
...場合は、 -q オプションによって真に設定されます。 exception tabnanny. NannyNag ¶ あいまいなインデントを検出した場合に process_tokens() が送出します。 この例外は check() で捕捉され処理されます。 tabnanny. process_tokens ( tokens ) ¶ この関数は、 tokenize モ...理するために使われます。 参考 tokenize モジュール Pythonソースコードの字句解析器。 関連キーワード tabnanny check スクリプト tokens インデント 検出 ソースコード チェック 問題 空白 メッセージ プリント フラグ process tokenize 意図 インポート 注釈 提供 将来... - https://man.mtool.work/python/3.14/library/tabnanny.html
- 1. はじめに — Python 3.14.8 ドキュメント 8178
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » Python 言語リファレンス » 1. はじめに テーマ 自動 ライト ダーク | 1. はじめに ¶ このリファレンスマニュアルは、Python プログラミング言語自体に関する記述です。チュ
...is a link to the rule's definition. TOKEN : An uppercase name refers to a token . For the purposes of grammar definitions, tokens are the same as rules. "text" , 'text' : Text in single or double quotes must match literally (without the quotes). The ty...+ , ? ) bind as tightly as possible; the vertical bar ( | ) binds most loosely. White space is only meaningful to separate tokens. Rules are normally contained on a single line, but rules that are too long may be wrapped: literal : stringliteral | byte...operates on the individual characters of the input source, while the parser (syntactic analyzer) operates on the stream of tokens generated by the lexical analysis. However, in some cases the exact boundary between the two phases is a CPython implement... - https://man.mtool.work/python/3.14/reference/introduction.html
- shlex --- 単純な字句解析 — Python 3.14.8 ドキュメント 8178
- ナビゲーション 索引 モジュール | 次へ | 前へ | Python » 3.14.8 Documentation » The Python standard library » Unix-specific services » shlex --- 単純な字句解析 テーマ 自動 ライト ダーク | shlex --- 単純な字句解析 ¶ ソースコード: Lib/shlex.py
...ne for s argument now raises an exception, rather than reading sys.stdin . shlex. join ( split_command ) ¶ Concatenate the tokens of the list split_command and return a string. This function is the inverse of split() . >>> from shlex import join >>> pr...す。標準では単に '#' が入っています。 shlex. wordchars ¶ The string of characters that will accumulate into multi-character tokens. By default, includes all ASCII alphanumerics and underscore. In POSIX mode, the accented characters in the Latin-1 set ar...する文字群です。これは POSIX モードでのみ使われ、デフォルトでは '"' だけが入っています。 shlex. whitespace_split ¶ If True , tokens will only be split in whitespaces. This is useful, for example, for parsing command lines with shlex , getting tokens in a... - https://man.mtool.work/python/3.14/library/shlex.html