利用C#編寫一個(gè)簡單的抓網(wǎng)頁應(yīng)用程序

2010-08-28 10:44:42來源:西部e網(wǎng)作者:

  本文利用C#和.NET提供的類來輕松創(chuàng)建一個(gè)抓取網(wǎng)頁內(nèi)容源代碼的程序 。HTTP是WWW進(jìn)行數(shù)據(jù)訪問最基本的協(xié)議之一,在.NET的基本類型庫類中提供了兩個(gè)對象類:HTTPWebRequest和HTTPWebResponse,分別用來向某資源發(fā)送請求和獲得響應(yīng)。為了得到一個(gè)資源的內(nèi)容,我們先指定一個(gè)想要抓取的URL地址,用HTTPWebRequest對象進(jìn)行請求,用HTTPWebResponse對象接收響應(yīng)的結(jié)果,最后用TextStream對象來提取我們想要的信息,并在控制臺打印出來。

  下面就是看看如何實(shí)現(xiàn)這樣的功能:

  第一步:打開VS.NET,點(diǎn)“文件”-“新建”-“項(xiàng)目”,項(xiàng)目類型選擇“Visual C#項(xiàng)目”,模板選“Windows應(yīng)用程序”,

  第二步:在Form1里加入Label1,Button1,TextBox1,TextBox2四個(gè)控件,TextBox2的Multiline屬性改為True,

  第三步:在Form1窗體上點(diǎn)擊右鍵,選“查看代碼”,然后在最頂端輸入:

using System.IO;
using System.Net;
using System.Text;

private void button1_Click(object sender, System.EventArgs e)
{

}

  括號之間輸入下面的代碼:

byte[] buf = new byte[38192];
HttpWebRequest request = (HttpWebRequest)
WebRequest.Create(textBox1.Text);
HttpWebResponse response = (HttpWebResponse)
request.GetResponse();
Stream resStream = response.GetResponseStream();
int count = resStream.Read(buf, 0, buf.Length);
textBox2.Text = Encoding.Default.GetString(buf, 0,
count);
resStream.Close();

  第四步:點(diǎn)“Save all”按鈕,按“F5”運(yùn)行應(yīng)用程序,在“請輸入U(xiǎn)RL地址:”后面的單行文本框里輸入http://lucky.myrice.com/down.htm,點(diǎn)擊“得到 HTML 代碼”按鈕,就可以看到該地址的代碼了!

  下面,我們就對上面的程序做一個(gè)分析:

  上面的這個(gè)程序的功能是抓取網(wǎng)頁http://lucky.myrice.com/down.htm的內(nèi)容,并在多行文本框里顯示出HTML代碼,由于返回的數(shù)據(jù)是字節(jié)類型的,因此,我們創(chuàng)建一個(gè)名為buf的字節(jié)類型的數(shù)組變量來存儲請求返回來的結(jié)果,其中數(shù)組的大小與我們要請求返回的數(shù)據(jù)大小有關(guān)系。首先,我們實(shí)例化HttpWebRequest對象,使用WebRequest類的靜態(tài)方法Create(),該方法的字符串參數(shù)就是我們要請求頁面的URL地址,由于Create()方法返回的是WebRequest類型的,我們必須對它進(jìn)行造型(即類型轉(zhuǎn)換)成HttpWebRequest類型,再賦給request變量。一旦我們建立了HttpWebRequest對象,就可以使用它的GetResponse()方法來返回一個(gè)WebResponse對象,然后再造型成HttpWebResponse對象賦給response變量。現(xiàn)在,就可以使用response對象的GetResponseStream()方法來得到響應(yīng)的文本流了,最后用Stream對象的Read()方法把返回的響應(yīng)信息放到我們最初創(chuàng)建的字節(jié)數(shù)組buf中,Read()有3個(gè)參數(shù),分別是:要放入的字節(jié)數(shù)組,字節(jié)數(shù)組的開始位置,字節(jié)數(shù)組的長度。最后把字節(jié)轉(zhuǎn)換成字符串,注意:這里采用的采用的是Default編碼,它使用默認(rèn)的編碼方式,我們就不用再進(jìn)行字符編碼之間的轉(zhuǎn)換了。也可以利用WebRequest和WebResponse實(shí)現(xiàn)以上的功能,代碼如下:

WebRequest request = WebRequest.Create(textBox1.Text);
WebResponse response =request.GetResponse();

  輸入其它的URL看看是不是很方便!

關(guān)鍵詞:C#