1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
  
20
  
21
  
22
  
23
  
24
  
25
  
26
  
27
  
28
  
29
  
30
  
31
  
32
  
33
  
34
  
35
  
36
  
37
  
38
  
39
  
40
  
41
  
42
  
43
  
44
  
45
  
46
  
47
  
48
  
49
  
50
  
51
  
52
  
53
  
54
  
55
  
56
  
57
  
58
  
59
  
// Roxen Whitefish main pike module 
// 
// Copyright © 2000,2001 Roxen IS. 
import ".."; 
 
 
 
private mapping filters; 
 
// void create() 
// { 
//   foreach(values(Search.Filter), program filter) 
//   { 
//     Search.Filter.Base tmp=filter(); 
//     foreach(tmp->contenttypes || ({ }), string mime) 
//       filters[mime]=tmp; 
//   } 
// } 
 
private void get_filters() 
{ 
  filters=([]); 
  foreach(values(Search.Filter), object filter) 
    foreach(filter->contenttypes || ({ }), string mime) 
      filters[mime]=filter; 
} 
 
Search.Filter.Base get_filter(string mime_type) 
{ 
  if(!filters) 
    get_filters(); 
  if(!filters[mime_type]) return 0; 
  return filters[mime_type]; 
} 
 
mapping(string:Search.Filter.Base) get_filter_mime_types() 
{ 
  if(!filters) 
    get_filters(); 
  return filters; 
} 
 
 
 
// --- Page Ranking Algorithms ------------ 
 
float entropy(array(string) page_words) { 
  mapping(string:int) words=([]); 
  foreach(page_words, string word) 
    words[word]=1; 
  return (float)sizeof(words)/(float)sizeof(page_words); 
} 
 
 
// A normal page has an entropy value around 0.5, so the result x should probably be 
// remapped to abs(x-0.5) or even 1-abs(x-0.5)