Changeset 2142

Show
Ignore:
Timestamp:
05/05/08 23:30:12 (1 week ago)
Author:
karpet
Message:

add some tokenizer tests and (doh!) include tokenizer.c

Files:

Legend:

Unmodified
Added
Removed
Modified
Copied
Moved

  • libswish3/trunk/src/libswish3/analyzer.c

    r2140 r2142  
    4141    a->ref_cnt = 0; 
    4242    a->tokenize = config->flags->tokenize; 
    43     a->tokenlist = 0; 
     43    a->tokenlist = 1; 
    4444 
    4545    if (!a->tokenize && SWISH_DEBUG) 

  • libswish3/trunk/src/libswish3/libswish3.h

    r2141 r2142  
    606606                                        swish_MetaName *meta, 
    607607                                        xmlChar *context ); 
     608int                 swish_set_token_value( 
     609                                        swish_TokenList *tl, 
     610                                        xmlChar *token ); 
     611xmlChar *           swish_get_token_value( 
     612                                        swish_TokenList *tl, 
     613                                        swish_Token *t 
     614                                        ); 
    608615swish_Token *       swish_init_token(); 
    609616void                swish_free_token( swish_Token *t ); 

  • libswish3/trunk/src/t/003-properties.t

    r2116 r2142  
    77$ENV{SWISH_DEBUG_NAMEDBUFFER} = 1; 
    88 
    9 my $buf = SwishTestUtils::run_get_stderr('properties.html'); 
     9my $buf = SwishTestUtils::run_lint_stderr('properties.html'); 
    1010 
    1111like( $buf, qr!<swishtitle>properties test page title</swishtitle>!, 

  • libswish3/trunk/src/t/004-metanames.t

    r2130 r2142  
    77$ENV{SWISH_DEBUG_NAMEDBUFFER} = 1; 
    88 
    9 ok( my $buf 
    10         = SwishTestUtils::run_get_stderr( 'properties.html', 
    11         'properties.xml' ), 
     9ok( my $buf = SwishTestUtils::run_lint_stderr( 
     10        'properties.html', 'properties.xml' 
     11    ), 
    1212    "properties.html" 
    1313); 
    …… 
    2222 
    2323ok( $buf 
    24         = SwishTestUtils::run_get_stderr( 'UPPERlower.XML', 
     24        = SwishTestUtils::run_lint_stderr( 'UPPERlower.XML', 
    2525        'UPPERlower.XML' ), 
    2626    "UPPERlower.XML" 

  • libswish3/trunk/src/t/SwishTestUtils.pm

    r2127 r2142  
    1010} 
    1111 
    12 sub run_get_stderr { 
     12sub run_lint_stderr { 
    1313    my $file   = shift; 
    1414    my $config = shift; 
    1515    my $cmd 
    1616        = $config 
    17         ? "./swish_lint -c test_configs/$config test_docs/$file 2>&1" 
    18         : "./swish_lint test_docs/$file 2>&1"; 
    19     return join( ' ', `$cmd` ); 
     17        ? "./swish_lint -c test_configs/$config test_docs/$file" 
     18        : "./swish_lint test_docs/$file"; 
     19    return run_get_stderr($cmd); 
    2020 
    2121} 
    2222 
     23sub run_get_stderr { 
     24    my $cmd = shift; 
     25    return join( ' ', `$cmd 2>&1` ); 
     26} 
     27 
    23281;