爬蟲/蜘蛛程序的制作
問題是對某一網(wǎng)站或所有網(wǎng)站進行抓取，即下載所有網(wǎng)頁。怎么實現(xiàn)呢？
先將問題最小化（轉化的思想，轉化為小規(guī)模，可以解決的問題）：如果只有一個網(wǎng)頁，怎么下載？問題變地很簡單，只要用WebClient/WebRequest（甚至OpenFileDialog都可以）打開Url地址，將數(shù)據(jù)流存入本地存儲器的文件（以相應的擴展名作為擴展名）即可。示例代碼如下：
string BoardStream;//下載內容存入此變量
Uri url = new Uri( “http://www.163.com” );//將下載地址轉換為Uri類型
HttpWebRequest requestPage = ( HttpWebRequest )WebRequest.Create( url );
WebResponse response = requestMainPage.GetResponse();
Stream stream = response.GetResponseStream();//獲取頁面流
if( response.ContentType.ToLower().StartsWith( "text/" ) )//如果獲得成功（即為文本格式）
{
StreamReader reader = new StreamReader( stream , System.Text.Encoding.UTF8 );//讀取獲得內容流
BoardStream = reader.ReadToEnd();//將內容流轉換為文本并存入變量BoardStream，即為所需要的數(shù)據(jù)流
}
StreamWriter saveAPage = new StreamWriter( “C:\a.html” , false , System.Text.Encoding.GetEncoding( "gb2312" ) );//實例化寫入類，保存路徑假設為C:\a.html
saveAPage.Write(Rich.Text);//創(chuàng)建寫入任務
saveAPage.Flush();//寫入文件（即清理緩存流）
saveAPage.Close();//關閉寫入類的對象
好了，這樣便完成了一個網(wǎng)頁的下載。最簡化問題解決！
好了，下面的問題是，如何獲得更多的網(wǎng)頁？可以分兩步：
1. 得到更多的地址
2. 下載地址指向的鏈接內容（和上面下載一頁的方法一樣）
循環(huán)進行上面兩步即可以完成蜘蛛的全部功能了 '
要得到更多的地址，最好的辦法是模擬人使用網(wǎng)頁的辦法。我們平時怎么瀏覽整個網(wǎng)站？無非是從主頁依次點開各層鏈接而已。好了，思路出來了：
分析已經(jīng)下載的主頁文本，提取其中所有的Url地址信息，再依次下載得到的Url地址指向的鏈接即可。
現(xiàn)在網(wǎng)絡上有不少Web2.0的網(wǎng)站了，這對解析Url地址有不小的負面作用。在Web2.0出現(xiàn)前，所有的鏈接都是在HREF后面出現(xiàn)的，而現(xiàn)在卻沒有了這樣的關鍵字，地址可能出現(xiàn)于任何的關鍵字之后。怎么辦呢？
經(jīng)過大量分析，筆者發(fā)現(xiàn)：其實現(xiàn)在所有的鏈接還有一個共性，即都包裹在雙引號（””）當中，這便對解析提供了極大的方便。筆者將鏈接分為兩類：
1. 完整鏈接，即：”http://www.163.com”類，其前面有明顯的標志http://，這樣的內容很好提取，只要用String的靜態(tài)方法IndexOf()找出http://的位置以及從此位置算起第一個“””出現(xiàn)的位置（即鏈接結束的位置），再用SubString()方法將地址提取出來即可。
2. 非完整鏈接，其形式一般為”\index.htm”，提取方法和完整鏈接的方法相同，只是判斷它是不是鏈接上有一定難度（因為屬性等其它信息也可能以“”\”開頭，這時就很難判斷了。筆者采取的方法是試下載，即下載一下試試，如果超時剛不是，不超時剛是。注意：要在它的前面加上根地址，如“http://www.163.com/index.htm”。
在《爬蟲/蜘蛛程序的制作（C#語言）》一文中，已經(jīng)介紹了爬蟲程序實現(xiàn)的基本方法，可以說，已經(jīng)實現(xiàn)了爬蟲的功能。只是它存在一個效率問題，下載速度可能很慢。這是兩方面的原因造成的：
1.分析和下載不能同步進行。在《爬蟲/蜘蛛程序的制作（C#語言）》中已經(jīng)介紹了爬蟲程序的兩個步驟：分析和下載。在單線程的程序中，兩者是無法同時進行的。也就是說，分析時會造成網(wǎng)絡空閑，分析的時間越長，下載的效率越低。反之也是一樣，下載時無法同時進行分析，只有停下下載后才能進行下一步的分析。問題浮出水面，我想大家都會想到：把分析和下載用不同的線程進行，問題不就解決了嗎？
2.只是單線程下載。相信大家都有用過網(wǎng)際快車等下載資源的經(jīng)歷，它里面是可以設置線程數(shù)的（近年版本默認是10，曾經(jīng)默認是5）。它會將文件分成與線程數(shù)相同的部分，然后每個線程下載自己的那一部分，這樣下載效率就有可能提高。相信大家都有加多線程數(shù)，提升下載效率的經(jīng)歷。但細心的用戶會發(fā)現(xiàn)，在帶寬一定的情況下，并不是線程越多，速度越快，而是在某一點達到峰值。爬蟲作為特殊的下載工具，不具備多線程的能力何以有效率可談？爬蟲在信息時代的目的，難道不是快速獲取信息嗎？所以，爬蟲需要有多線程（可控數(shù)量）同時下載網(wǎng)頁。
好了，認識、分析完問題，就是解決問題了：
多線程在C#中并不難實現(xiàn)。它有一個命名空間：System.Threading，提供了多線程的支持。
要開啟一個新線程，需要以下的初始化：
ThreadStart startDownload = new ThreadStart( DownLoad ); //線程起始設置：即每個線程都執(zhí)行DownLoad()，注意：DownLoad()必須為不帶有參數(shù)的方法Thread downloadThread = new Thread( startDownload ); //實例化要開啟的新類downloadThread.Start();//開啟線程
由于線程起始時啟動的方法不能帶有參數(shù)，這就為多線程共享資源添加了麻煩。不過我們可以用類級變量（當然也可以使用其它方法，筆者認為此方法最簡單易用）來解決這個問題。知道開啟多線程下載的方法后，大家可能會產生幾個疑問：
1.如何控制線程的數(shù)量？
2.如何防止多線程下載同一網(wǎng)頁？
3.如何判斷線程結束？
4.如何控制線程結束？
下面就這幾個問題提出解決方法：
1.線程數(shù)量我們可以通過for循環(huán)來實現(xiàn)，就如同當年初學編程的打點程序一樣。
比如已知用戶指定了n（它是一個int型變量）個線程吧，可以用如下方法開啟五個線程。
Thread[] downloadThread;//聲名下載線程，這是C#的優(yōu)勢，即數(shù)組初始化時，不需要指定其長度，可以在使用時才指定。這個聲名應為類級，這樣也就為其它方法控件它們提供了可能ThreadStart startDownload = new ThreadStart( DownLoad );//線程起始設置：即每個線程都執(zhí)行DownLoad()downloadThread = new Thread[ n ];//為線程申請資源，確定線程總數(shù)for( int i = 0; i < n; i++ )//開啟指定數(shù)量的線程數(shù){downloadThread[i] = new Thread( startDownload );//指定線程起始設置downloadThread[i].Start();//逐個開啟線程}
好了，實現(xiàn)控制開啟線程數(shù)是不是很簡單�。�
2.下面出現(xiàn)的一個問題：所有的線程都調用DonwLoad()方法，這樣如何避免它們同時下載同一個網(wǎng)頁呢？
這個問題也好解決，只要建立一下Url地址表，表中的每個地址只允許被一個線程申請即可。具體實現(xiàn)：
可以利用數(shù)據(jù)庫，建立一個表，表中有四列，其中一列專門用于存儲Url地址，另外兩列分別存放地址對應的線程以及該地址被申請的次數(shù)，最后一列存放下載的內容。（當然，對應線程一列不是必要的）。當有線程申請后，將對應線程一列設定為當前線程編號，并將是否申請過一列設置為申請一次，這樣，別的線程就無法申請該頁。如果下載成功，則將內容存入內容列。如果不成功，內容列仍為空，作為是否再次下載的依據(jù)之一，如果反復不成功，則進程將于達到重試次數(shù)（對應該地址被申請的次數(shù)，用戶可設）后，申請下一個Url地址。主要的代碼如下（以VFP為例）：
<建立表>Create TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &&建立一個表ctablename.dbf，含有地址、文本內容、已經(jīng)嘗試下載次數(shù)、線程標志（初值為-1，線程標志是從0開始的整數(shù)）四個字段<提取Url地址>cfullname = (ctablename) + '.dbf'&&為表添加擴展名USE (cfullname) GO TOPLOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND ( threadNum = thisNum or threadNum = - 1) ) &&查找尚未下載成功且應下載的屬于本線程權限的Url地址，thisNum是當前線程的編號，可以通過參數(shù)傳遞得到gotUrl = curl recNum = RECNO()IF recNum <= RECCOUNT() THEN &&如果在列表中找到這樣的Url地址Update (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum Where RECNO() = recNum &&更新表，將此記錄更新為已申請，即下載次數(shù)加1，線程標志列設為本線程的編號。<下載內容>cfulltablename = (ctablename) + '.dbf'USE (cfulltablename)SET EXACT ON LOCATE FOR curl = (csiteurl) && csiteurl是參數(shù)，為下載到的內容所對應的Url地址recNumNow = RECNO()&&得到含有此地址的記錄號Update (cfulltablename) SET ctext = (ccontent) Where RECNO() = recNumNow &&插入對應地址的對應內容<插入新地址>ctablename = (ctablename) + '.dbf'USE (ctablename)GO TOP SET EXACT ONLOCATE FOR curl = (cnewurl) &&查找有無此地址IF RECNO() > RECCOUNT() THEN &&如果尚無此地址SET CARRY OFFInsert INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , "" , 0 , -1 ) &&將主頁地址添加到列表
好了，這樣就解決了多線程中，線程沖突。當然，去重問題也可以在C#語言內解決，只根建立一個臨時文件（文本就可以），保存所有的Url地址，差對它們設置相應的屬性即可，但查找效率可能不及數(shù)據(jù)庫快。
3.線程結束是很難判斷的，因為它總是在查找新的鏈接。用者認為可以假設：線程重復N次以后還是沒有能申請到新的Url地址，那么可以認為它已經(jīng)下載完了所有鏈接。主要代碼如下：
string url = "";int times = 0;while ( url == "" )//如果沒有找到符合條件的記錄，則不斷地尋找符合條件的記錄{url = getUrl.GetAUrl( …… );//調用GetAUrl方法，試圖得到一個url值if ( url == "" )//如果沒有找到{times ++;//嘗試次數(shù)自增continue; //進行下一次嘗試}if ( times > N ) //如果已經(jīng)嘗試夠了次數(shù)，則退出進程{downloadThread[i].Abort; //退出進程}else//如果沒有嘗試夠次數(shù){Times = 0; //嘗試次數(shù)歸零處理}//進行下一步針對得到的Url的處理}
4.這個問題相對簡單，因為在問題一中已經(jīng)建議，將線程聲名為類級數(shù)組，這樣就很易于控制。只要用一個for循環(huán)即可結束。代碼如下：
for( int i = 0; i < n; i++ )//關閉指定數(shù)量n的線程數(shù){downloadThread[i].Abort();//逐個關閉線程}
好了，一個蜘蛛程序就這樣完成了，在C#面前，它的實現(xiàn)原來如此簡單。
這里筆者還想提醒讀者：筆者只是提供了一個思路及一個可以實現(xiàn)的解決方案，但它并不是最佳的，即使這個方案本身，也有好多可以改進的地方，留給讀者思考。
最后說明一下我所使用的環(huán)境：
winXP sp2 Pro
VFP 9.0
Visual Studio 2003 .net中文企業(yè)版
下一篇：蜘蛛/爬蟲程序的多線程控制
在《爬蟲/蜘蛛程序的制作（C#語言）》一文中，已經(jīng)介紹了爬蟲程序實現(xiàn)的基本方法，可以說，已經(jīng)實現(xiàn)了爬蟲的功能。只是它存在一個效率問題，下載速度可能很慢。這是兩方面的原因造成的：
1.分析和下載不能同步進行。在《爬蟲/蜘蛛程序的制作（C#語言）》中已經(jīng)介紹了爬蟲程序的兩個步驟：分析和下載。在單線程的程序中，兩者是無法同時進行的。也就是說，分析時會造成網(wǎng)絡空閑，分析的時間越長，下載的效率越低。反之也是一樣，下載時無法同時進行分析，只有停下下載后才能進行下一步的分析。問題浮出水面，我想大家都會想到：把分析和下載用不同的線程進行，問題不就解決了嗎？
2.只是單線程下載。相信大家都有用過網(wǎng)際快車等下載資源的經(jīng)歷，它里面是可以設置線程數(shù)的（近年版本默認是10，曾經(jīng)默認是5）。它會將文件分成與線程數(shù)相同的部分，然后每個線程下載自己的那一部分，這樣下載效率就有可能提高。相信大家都有加多線程數(shù)，提升下載效率的經(jīng)歷。但細心的用戶會發(fā)現(xiàn)，在帶寬一定的情況下，并不是線程越多，速度越快，而是在某一點達到峰值。爬蟲作為特殊的下載工具，不具備多線程的能力何以有效率可談？爬蟲在信息時代的目的，難道不是快速獲取信息嗎？所以，爬蟲需要有多線程（可控數(shù)量）同時下載網(wǎng)頁。
好了，認識、分析完問題，就是解決問題了：
多線程在C#中并不難實現(xiàn)。它有一個命名空間：System.Threading，提供了多線程的支持。
要開啟一個新線程，需要以下的初始化：
|
由于線程起始時啟動的方法不能帶有參數(shù)，這就為多線程共享資源添加了麻煩。不過我們可以用類級變量（當然也可以使用其它方法，筆者認為此方法最簡單易用）來解決這個問題。知道開啟多線程下載的方法后，大家可能會產生幾個疑問：
1.如何控制線程的數(shù)量？
2.如何防止多線程下載同一網(wǎng)頁？
3.如何判斷線程結束？
4.如何控制線程結束？
下面就這幾個問題提出解決方法：
1.線程數(shù)量我們可以通過for循環(huán)來實現(xiàn)，就如同當年初學編程的打點程序一樣。
比如已知用戶指定了n（它是一個int型變量）個線程吧，可以用如下方法開啟五個線程。
|
好了，實現(xiàn)控制開啟線程數(shù)是不是很簡單��？
2.下面出現(xiàn)的一個問題：所有的線程都調用DonwLoad()方法，這樣如何避免它們同時下載同一個網(wǎng)頁呢？
這個問題也好解決，只要建立一下Url地址表，表中的每個地址只允許被一個線程申請即可。具體實現(xiàn)：
可以利用數(shù)據(jù)庫，建立一個表，表中有四列，其中一列專門用于存儲Url地址，另外兩列分別存放地址對應的線程以及該地址被申請的次數(shù)，最后一列存放下載的內容。（當然，對應線程一列不是必要的）。當有線程申請后，將對應線程一列設定為當前線程編號，并將是否申請過一列設置為申請一次，這樣，別的線程就無法申請該頁。如果下載成功，則將內容存入內容列。如果不成功，內容列仍為空，作為是否再次下載的依據(jù)之一，如果反復不成功，則進程將于達到重試次數(shù)（對應該地址被申請的次數(shù)，用戶可設）后，申請下一個Url地址。主要的代碼如下（以VFP為例）：
|
好了，這樣就解決了多線程中，線程沖突。當然，去重問題也可以在C#語言內解決，只根建立一個臨時文件（文本就可以），保存所有的Url地址，差對它們設置相應的屬性即可，但查找效率可能不及數(shù)據(jù)庫快。