토큰 문자열 스캔 함수

빈 토큰 허용?은 여러 인접하는 구분 문자를 만났을 때 함수가 토큰으로 인식할 것인지 여부를 결정합니다.

입력 문자열은 토큰에 대해서 스캔할 문자열입니다.

오프셋은 스캔을 시작할 입력 문자열의 포인트입니다.

연산자는 비록 구분 문자에 의해 둘러싸이지 않더라도 입력 문자열에 나타날 때, 함수가 토큰으로 인식하는 문자열의 배열입니다.

입력 문자열의 부분이 하나 이상의 정의된 연산자와 일치할 경우, 함수는 가장 긴 일치를 토큰으로 선택합니다. 예를 들어, >, =, >=이 정의된 연산자인 경우, 입력 문자열 4>=0은 >=를 1의 오프셋을 갖는 다음 토큰 문자열로 만듭니다.

연산자에서 문자열은 다음 특수 포맷 코드를 포함할 수 있으며, 이것을 사용하여 전체 숫자를 단일 토큰으로 스캔할 수 있습니다.

구분 문자는 토큰 사이에서 분리자와 같이 동작하는 문자열의 배열입니다.

구분 문자의 문자열은 토큰으로 반환하지는 않지만 인접한 토큰을 서로 분리하는데 사용됩니다. 기본 구분 문자는 화이트 스페이스 문자: 스페이스, 탭, 라인 피드, 캐리지 리턴입니다.

캐시된 구분 문자/연산자 데이터 사용?은 선택적인 고급 입력입니다. 연결하지 않은 경우, 토큰 문자열은 여전히 올바르게 동작합니다.

하지만, 캐시된 구분 문자/연산자 데이터 사용?을 사용하여 문자열 분석 성능을 매우 향상시킬 수 있습니다. 처음 토큰 문자열을 실행했을 때는 캐시된 구분 문자/연산자 데이터 사용?을 거짓으로 설정하고, 연산자와 구분 문자가 바뀌지 않으면 이후 시간마다 참으로 설정하십시오. 연산자와 구분 문자가 루프가 실행하는 동안 변경되지 않을 경우 올바른 동작을 위해서 들어갈 때 거짓 상수를 나올 때 참 상수를 갖는 시프트 레지스터를 사용합니다. 캐시된 구분 문자/연산자 데이터 사용?가 참이고 연산자 또는 구분 문자가 최근 실행이후에 변경한 경우, 정확하지 않은 출력을 결과로 얻을 수 있습니다. 연산자와 구분 문자 모두 연결하지 않았거나 또는 블록다이어그램 상수에 연결한 경우, 캐시된 구분 문자/연산자 데이터 사용?을 연결하지 않아도 여전히 최적의 성능을 얻을 수 있습니다.

문자열 출력은 변경없는 입력 문자열을 반환합니다.

토큰 후의 오프셋은 가장 최근에 발견한 토큰과 뒤따르는 모든 구분 문자 이후에 따라오는 입력 문자열의 포인트를 나타냅니다.

같은 입력 문자열에 대한 다음 스캔은 모두 이 오프셋에서 시작해야 합니다. 오프셋이 0보다 작을 경우 또는 입력 문자열의 문자 개수보다 큰 경우나 문자열의 끝에 도달했을 경우에 토큰 후의 오프셋은 -1입니다.

토큰 문자열은 일치한 토큰입니다. 이것은 연산자 문자열중 하나이거나 구분 문자 사이에 있는 입력 문자열에서 임의의 텍스트 문자열일 수 있습니다.

토큰 인덱스는 토근 문자열이 연산자의 원소중 하나와 일치할 경우, 연산자에서 토근 문자열의 인덱스입니다.