现在位置: 首页 / C# / C# / 正文

[转载]C#文章抓取(含源码下载)

  • mikel
  • C#
  • 2011-08-08
  • 85热度
  • 0评论

[转载]文章抓取(含源码下载) - sharpCode - 博客园.

最近都左做一些资源采集的工作，比如采集新闻，flash，图片等，下面我们通过一个小例子，来详细的说明一下我采集资源的步骤，希望各位能提点建议，不胜感激。

下面就开始吧！我们这次要采集的是这个少儿英语动画故事  http://www.ebigear.com/reslist-92-1.html，虽然只有6页，但是已经对与这个例子来说已经足够了。

1.首先当然是要下载这个网页。
[csharp]
string seed = "http://www.ebigear.com/reslist-92-1.html";
HttpWebRequest wRequest=(HttpWebRequest)HttpWebRequest.Create(seed);
WebResponse wResponse = wRequest.GetResponse();
Stream stream = wResponse.GetResponseStream();
StreamReader streamReader = new StreamReader(stream);
string html = streamReader.ReadToEnd();

[/csharp]
得到下面的字符串
[html]

少儿英语动画故事-英语听力-list-大耳朵英语 - 免费在线英语学习 口语练习 四级听力资料 在线翻译 网络课堂 英语社区

您所在的位置： 大耳朵首页 > 听力资料 > 在线视听资料 >...> 国外儿童英语 > 少儿英语动画故事列表

站内搜索：

少儿英语动画故事
贡献资料 Res feeds
  • The Seven Eve—Chinese Valentine’s DayMost people...
  • Everybody in love, go on put your hands up恋爱中的人，...
  • 国籍： 美国 出生地： 加州圣巴巴拉 出生日期： 1984年10月25日 身高：170c...
    • 转到第页
    1 2 3 4 5 6 > >| 1/6
    赚金币提示：把下面的链接地址复制分发给您的朋友或其他网站，每个点击就赚10金币！ http://www.ebigear.com/reslistclick-92-0.html 点击这里查看详细规则
    浏览记录
    • 您没有浏览历史
    • 您没有浏览历史

    少儿英语动画故事

    高瞻远瞩
    放眼全球
    推荐资源
    每天学英语 更多
    想进步，请坚持参与每天学英语活动！
    每天一词：

    免费订阅每日英语课堂

    最新社区精华帖子 更多>>
    经典学习方法 更多>>

    • 听力排行

    试题

    视听

    歌曲

    电影

    英语阅读 考试 经验 好文 谚语 寓言 名著 剧本

    在线语法精讲
    英文笑话幽默

    • 听力资料目录导航
    听力测试 英语词汇 英语口语 考试英语 品牌英语 大学教材 其他教材 商务英语 广播英语 儿童英语
    历年中考听力
    初中中考模拟
    历年高考听力
    高考听力模拟
    历年四级听力
    历年六级听力
    四级听力模拟    		 小学 初中
    高中 四级
    六级 考研
    托福 GRE
    星火记忆单词
    用Mp3背单词
    刘毅词汇记忆    		 情景英语口语
    4+1听力口语
    出国实用会话
    英语口语8000句
    新东方900句
    美语听力与发音
    ABC到流利口语    		 口译考试
    剑桥考试
    中高考考试
    大学四六级考试
    研究生考试
    公共英语考试
    英语专业考试    		 新概念 六人行
    赖世雄 许国璋
    走遍美国 越狱
    疯狂英语 沛沛
    语法讲座 动感
    大山英语 探索
    千万别学英语    		 大学英语听力
    大学英语精读
    全新版 21世纪
    新视野 实用综
    大学体验 新编
    成人自考 step
    Listen this way    		 广州版小学英语
    广州版初中英语
    剑桥少儿英语
    朗文3L看听学
    Goforit新目标
    高中英语课本
    进阶听说教程    		 商务英语300句
    VOA商务英语
    商业英语视频
    中级商务英语
    初级剑桥证书
    新编剑桥英语
    剑桥英语精华版    		 2007年VOA慢速
    VOA中级美语
    美国习惯用语
    VOA流行美语
    澳广播英语讲座
    在线大学课堂
    VOA视频节目    		 宝宝ABC
    棒棒英语
    哈哈美语
    LittleFox儿歌
    英语儿童故事
    380英语小故事
    1035个英语单词
    免责声明：本站只提供资源播放平台，如果站内部分资源侵犯您的权益，请您告知，站长会立即处理。
    Copyright © 2003-2011 大耳朵英语 京ICP备10010568号

    大耳朵在线聊天

    [/html]
    2. 我们来分析一下要抓取的文章的链接
    [html]
    国外英语动画故事-A Country Road
    国外英语动画故事-A Hot Air Balloon
    [/html]
    经过分析，可以得到 获取链接的正则表达式
    /res-92[^\"]+html

    得到了我们所需要的链接，如下图

    3.得到了所需要的链接，接下来我们就可以进行下一步了。
    [csharp]
    Regex rg1 = new Regex("/res-92[^\"]+html", RegexOptions.Compiled |RegexOptions.IgnoreCase);
    MatchCollection mc=rg1.Matches(html);
    foreach (Match a in mc)
    {
    /*在这里处理每一个链接*/
    string catchUrl = @"http://www.ebigear.com" + a.Value;
    wRequest = (HttpWebRequest)HttpWebRequest.Create(catchUrl);
    wResponse = wRequest.GetResponse();
    stream = wResponse.GetResponseStream();
    streamReader = new StreamReader(stream);
    html = streamReader.ReadToEnd(); //跟之前那样先获取该网页的源代码
    Regex rgN = new Regex("\n|\r|\t");
    Regex rgReplace = new Regex(""");
    Regex rgContent = new Regex("(?<=
    ).*?(?=

    )",RegexOptions.IgnoreCase|RegexOptions.Multiline);
    //上面是获取当前网页中文章的内容的正则。
    ShowBox.Text+= rgContent.Match(rgReplace.Replace( rgN.Replace(html,""),"\"")).Value+"\n\n\n\n\n"; //要先去掉\n\t\r,不然正则没效果
    }
    [/csharp]

    4.结果展示

    5.后期格式处理。

    这里就不处理了，把<br/> 替换一下就可以了。

    就到这里吧，谢谢，睡觉去了。

    源码下载