[bogofilter] using block_on_subnets

[Bill McClain]

I rebuilt my wordlist recently and turned on "block_on_subnets=yes". I
don't know why I hadn't done it before -- the technique is pretty
valuable. Looking just at the top-level domains (url:nnn), about 60%
occur only in spam. But: some of the tokens have a low message count,
lessening their presumed value.

(Actually, this is hard to judge because I've also started using
thresh_update and very high- and low-scoring messages are no longer
registered. Could be the low-count tokens are referenced all the time
without being incremented).

The only downside I see is that the wordlist is expanded quite a bit.
About 12% of my wordlist now consists of "url:" tokens. Most of them are
probably low message counts.

Here is a table of the top-level url tokens in my wordlist, where 

    column 1 = the domain in the url:nnn token
           2 = message count
           3 = spam / (spam + ham)
           4 = histogram of #3

 10  1855 0.054 **
209  1572 0.078 ***
206   708 0.079 ***
131   395 0.086 ****
167   194 0.088 ****
198   552 0.103 *****
170   149 0.128 ******
216  1407 0.165 ********
  5   135 0.178 ********
130   186 0.183 *********
204   337 0.187 *********
157    60 0.267 *************
129   138 0.283 **************
 12   360 0.283 **************
208   454 0.293 **************
152   119 0.311 ***************
205   295 0.315 ***************
 66  1242 0.362 ******************
  3    47 0.383 *******************
194   214 0.411 ********************
  1    41 0.415 ********************
199   113 0.425 *********************
165    86 0.465 ***********************
 64  1253 0.484 ************************
192   410 0.498 ************************
149    43 0.535 **************************
 63   181 0.558 ***************************
172   250 0.576 ****************************
132    52 0.596 *****************************
 67   500 0.602 ******************************
212   369 0.631 *******************************
  7    25 0.640 ********************************
134    59 0.644 ********************************
151    90 0.644 ********************************
148    64 0.656 ********************************
  6    66 0.712 ***********************************
147    28 0.714 ***********************************
127 18801 0.740 ************************************
140    54 0.741 *************************************
  8    43 0.744 *************************************
 51    20 0.750 *************************************
255     4 0.750 *************************************
207 16488 0.753 *************************************
128   107 0.757 *************************************
195   159 0.761 **************************************
 99    21 0.762 **************************************
166    34 0.765 **************************************
137    28 0.786 ***************************************
141    48 0.792 ***************************************
 62   294 0.803 ****************************************
 65  1732 0.809 ****************************************
146    56 0.821 *****************************************
153    23 0.826 *****************************************
 17    19 0.842 ******************************************
161    32 0.844 ******************************************
 68   748 0.853 ******************************************
213   348 0.853 ******************************************
156    29 0.862 *******************************************
225    22 0.864 *******************************************
 24  1339 0.864 *******************************************
136    31 0.871 *******************************************
  4   140 0.871 *******************************************
193   125 0.872 *******************************************
168    82 0.878 *******************************************
 38    77 0.883 ********************************************
158    26 0.885 ********************************************
 42    18 0.889 ********************************************
217   228 0.890 ********************************************
200   524 0.895 ********************************************
145    29 0.897 ********************************************
154    20 0.900 *********************************************
 69   301 0.904 *********************************************
203   243 0.909 *********************************************
171    23 0.913 *********************************************
  2    27 0.926 **********************************************
242    27 0.926 **********************************************
 37    14 0.929 **********************************************
160    57 0.930 **********************************************
 80   358 0.933 **********************************************
  0    60 0.933 **********************************************
155    15 0.933 **********************************************
138    32 0.938 **********************************************
150    18 0.944 ***********************************************
 15    19 0.947 ***********************************************
 89    19 0.947 ***********************************************
169    21 0.952 ***********************************************
 32    46 0.957 ***********************************************
139    24 0.958 ***********************************************
163    24 0.958 ***********************************************
202   260 0.965 ************************************************
 30    30 0.967 ************************************************
104    31 0.968 ************************************************
162    33 0.970 ************************************************
100    41 0.976 ************************************************
164    43 0.977 ************************************************
144    91 0.978 ************************************************
 81   366 0.978 ************************************************
 82   197 0.980 ************************************************
142    55 0.982 *************************************************
210   467 0.994 *************************************************
 61  1526 0.999 *************************************************
211  1625 0.999 *************************************************
  9     8 1.000 **************************************************
 11    22 1.000 **************************************************
 13    11 1.000 **************************************************
 14    32 1.000 **************************************************
 16    33 1.000 **************************************************
 18    12 1.000 **************************************************
 19    17 1.000 **************************************************
 20    38 1.000 **************************************************
 21    19 1.000 **************************************************
 22    17 1.000 **************************************************
 23    20 1.000 **************************************************
 25    15 1.000 **************************************************
 26    23 1.000 **************************************************
 27    16 1.000 **************************************************
 28    21 1.000 **************************************************
 29    23 1.000 **************************************************
 31    15 1.000 **************************************************
 33    16 1.000 **************************************************
 34    15 1.000 **************************************************
 35    35 1.000 **************************************************
 36    23 1.000 **************************************************
 39    19 1.000 **************************************************
 40    32 1.000 **************************************************
 41    24 1.000 **************************************************
 43    24 1.000 **************************************************
 44    20 1.000 **************************************************
 45    28 1.000 **************************************************
 46    19 1.000 **************************************************
 47    19 1.000 **************************************************
 48    32 1.000 **************************************************
 49    17 1.000 **************************************************
 50    21 1.000 **************************************************
 52    25 1.000 **************************************************
 53    13 1.000 **************************************************
 54    22 1.000 **************************************************
 55     9 1.000 **************************************************
 56    43 1.000 **************************************************
 57    18 1.000 **************************************************
 58    26 1.000 **************************************************
 59    22 1.000 **************************************************
 60    30 1.000 **************************************************
 70    20 1.000 **************************************************
 71    17 1.000 **************************************************
 72    31 1.000 **************************************************
 73    17 1.000 **************************************************
 74    18 1.000 **************************************************
 75    19 1.000 **************************************************
 76    30 1.000 **************************************************
 77    15 1.000 **************************************************
 78    27 1.000 **************************************************
 79    22 1.000 **************************************************
 83    60 1.000 **************************************************
 84    28 1.000 **************************************************
 85    22 1.000 **************************************************
 86    24 1.000 **************************************************
 87    21 1.000 **************************************************
 88    34 1.000 **************************************************
 90    20 1.000 **************************************************
 91    18 1.000 **************************************************
 92    16 1.000 **************************************************
 93    19 1.000 **************************************************
 94    23 1.000 **************************************************
 95    22 1.000 **************************************************
 96    31 1.000 **************************************************
 97    22 1.000 **************************************************
 98    24 1.000 **************************************************
101    28 1.000 **************************************************
102    14 1.000 **************************************************
103    16 1.000 **************************************************
105    25 1.000 **************************************************
106    23 1.000 **************************************************
107    15 1.000 **************************************************
108    33 1.000 **************************************************
109    11 1.000 **************************************************
110    11 1.000 **************************************************
111    20 1.000 **************************************************
112    41 1.000 **************************************************
113    16 1.000 **************************************************
114    18 1.000 **************************************************
115    19 1.000 **************************************************
116    29 1.000 **************************************************
117    14 1.000 **************************************************
118    20 1.000 **************************************************
119    15 1.000 **************************************************
120    32 1.000 **************************************************
121    22 1.000 **************************************************
122    26 1.000 **************************************************
123    23 1.000 **************************************************
124    25 1.000 **************************************************
125    14 1.000 **************************************************
126    25 1.000 **************************************************
133    23 1.000 **************************************************
135    18 1.000 **************************************************
143    25 1.000 **************************************************
159    18 1.000 **************************************************
173    13 1.000 **************************************************
174    21 1.000 **************************************************
175    13 1.000 **************************************************
176    38 1.000 **************************************************
177    33 1.000 **************************************************
178    18 1.000 **************************************************
179    22 1.000 **************************************************
180    18 1.000 **************************************************
181    27 1.000 **************************************************
182    23 1.000 **************************************************
183    12 1.000 **************************************************
184    36 1.000 **************************************************
185    21 1.000 **************************************************
186    17 1.000 **************************************************
187    17 1.000 **************************************************
188    40 1.000 **************************************************
189    19 1.000 **************************************************
190    20 1.000 **************************************************
191    20 1.000 **************************************************
196    30 1.000 **************************************************
197    17 1.000 **************************************************
201    43 1.000 **************************************************
214    29 1.000 **************************************************
215     8 1.000 **************************************************
218  2351 1.000 **************************************************
219   513 1.000 **************************************************
220   825 1.000 **************************************************
221   796 1.000 **************************************************
222   335 1.000 **************************************************
223    20 1.000 **************************************************
224    23 1.000 **************************************************
226    23 1.000 **************************************************
227    13 1.000 **************************************************
228    26 1.000 **************************************************
229    23 1.000 **************************************************
230    12 1.000 **************************************************
231    17 1.000 **************************************************
232    35 1.000 **************************************************
233    22 1.000 **************************************************
234    21 1.000 **************************************************
235    18 1.000 **************************************************
236    26 1.000 **************************************************
237    17 1.000 **************************************************
238    19 1.000 **************************************************
239    16 1.000 **************************************************
240    22 1.000 **************************************************
241    20 1.000 **************************************************
243    16 1.000 **************************************************
244    37 1.000 **************************************************
245    10 1.000 **************************************************
246    25 1.000 **************************************************
247    25 1.000 **************************************************
248    29 1.000 **************************************************
249    14 1.000 **************************************************
250    20 1.000 **************************************************
251    16 1.000 **************************************************
252    18 1.000 **************************************************
253    18 1.000 **************************************************
254    20 1.000 **************************************************

-Bill
-- 
Sattre Press                            Curiosities of the Sky
http://sattre-press.com/                    by Garrett Serviss
info at sattre-press.com        http://sattre-press.com/csky.html