Show
Ignore:
Timestamp:
09/19/08 07:16:36 (4 months ago)
Author:
karpet
Message:

yank words.c in favor of tokenizer.c -- benchmarking shows tokenizer.c is 20% faster for ascii and about the same for utf-8

Files:

Legend:

Unmodified
Added
Removed
Modified
Copied
Moved

  • libswish3/trunk/src/swish_lint.c

    r2149 r2158  
    5656    {"debug", required_argument, 0, 'd'}, 
    5757    {"help", no_argument, 0, 'h'}, 
    58     {"tokenize3", no_argument, 0, 't'}, 
    5958    {"verbose", no_argument, 0, 'v'}, 
    6059    {0, 0, 0, 0} 
    …… 
    8988    printf("\tSWISH_DEBUG_DOCINFO      1\n"); 
    9089    printf("\tSWISH_DEBUG_TOKENIZER    2\n"); 
    91     printf("\tSWISH_DEBUG_WORDLIST     4\n"); 
     90    printf("\tSWISH_DEBUG_TOKENLIST     4\n"); 
    9291    printf("\tSWISH_DEBUG_PARSER       8\n"); 
    9392    printf("\tSWISH_DEBUG_CONFIG      16\n"); 
    …… 
    129128        swish_debug_docinfo(parser_data->docinfo); 
    130129 
    131     if (SWISH_DEBUG & SWISH_DEBUG_WORDLIST 
     130    if (SWISH_DEBUG & SWISH_DEBUG_TOKENLIST 
    132131        || verbose 
    133132    ) { 
    134       if (parser_data->s3->analyzer->tokenlist) { 
    135         swish_debug_token_list(parser_data->token_iterator); 
    136       } 
    137       else { 
    138         swish_debug_wordlist(parser_data->wordlist); 
    139       } 
     133      swish_debug_token_list(parser_data->token_iterator); 
    140134    } 
    141135 
    …… 
    195189            break; 
    196190             
    197         case 't': 
    198             s3->analyzer->tokenlist = 1; 
    199             break; 
    200              
    201191        case 'v': 
    202192            verbose = 1;