LOGO OA教程 ERP教程 模切知识交流 PMS教程 CRM教程 开发文档 其他文档  
 
网站管理员

Asp.net/C#网页数据采集

admin
2021年1月29日 18:17 本文热度 2921

    早在以前就听说过数据采集这个神奇的功能,当时对这个是多么的奢望啊。 ~00~,后来想要给自己开个采集的网站,就想到了整个电影的采集站。

    在好奇的动力下,开始疯狂的查阅以及学习关于网页采集,数据采集等相关信息。不过网上大部都是asp的和php的,关于.net的很少。无奈之下只要硬着头皮学习。经过几天的努力,最终还是给我研究出来了。心里还是挺高兴的袄。其实网页采集也没有用到什么高深的技术,都是些普普通通的技术,只不过效果比较神奇,就会让人感觉到整个都比较深奥,如果你想学习.net的数据采集,以及思路,那么请看完。

    数据采集大体可以分为两部曲:

一部曲:

          因为要采集别人网页上的内容,所有我们先要得到要采集网页上的html代码,获取html代码还是比较简单。利用WebClient的DownloadData(url)得带byte数组,然后在转换成string字符串。

          具体代码如下:

        /// <summary>

        /// 获取网页源代码

        /// </summary>

        /// <param name="url">URL路径</param>

        /// <param name="encoding">编码方式</param>

        public string GetHTML(string url, string encoding)

        {

            WebClient web = new WebClient();

            byte[] buffer = web.DownloadData(url);

            return Encoding.GetEncoding(encoding).GetString(buffer);

        }

二部曲:

        现在我们得到了目标网页的html代码,那么我们就开始时得扣取我们想要的数据。扣取数据无疑就要用到强大的正则表达式了。利用正则表达式的匹配来获取我们要的内容,这里可以过滤掉制定的html代码,剩下的就是内容了。

具体代码如下:

        Html html = new Html();

        //得到指定页面的html代码,第一个参数为url(貌似都知道),第二个是目标网页的编码集

        string htmlCode = html.GetHTML("http://gvod.tom59.cn/List.asp?ClassId=3", "gb2312");

        //正则表达式

        Regex regexarticles = new Regex("<td\\s+height=\"\\d+\"><a\\s+href=\".+DataId=(?<id>\\d+)\"\\s+target=\"_blank\">(?<title>.+)</a>.*</td>");

        //所有匹配表达式的内容

        MatchCollection marticles = regexarticles.Matches(htmlCode);

        ///遍历匹配内容

        foreach (Match m in marticles)

        {

             Console.Write("标题:" + m.Groups["title"].Value+"\n");

             Console.Write("id:" + m.Groups["id"].Value + "\n");

             Console.Write("\n");

}

以上就是采集数据的核心代码,关于正则表达式我在这里就不详细讲解了(其实正则表达式我也是菜鸟哈)。


该文章在 2021/1/29 18:17:01 编辑过
关键字查询
相关文章
正在查询...
点晴ERP是一款针对中小制造业的专业生产管理软件系统,系统成熟度和易用性得到了国内大量中小企业的青睐。
点晴PMS码头管理系统主要针对港口码头集装箱与散货日常运作、调度、堆场、车队、财务费用、相关报表等业务管理,结合码头的业务特点,围绕调度、堆场作业而开发的。集技术的先进性、管理的有效性于一体,是物流码头及其他港口类企业的高效ERP管理信息系统。
点晴WMS仓储管理系统提供了货物产品管理,销售管理,采购管理,仓储管理,仓库管理,保质期管理,货位管理,库位管理,生产管理,WMS管理系统,标签打印,条形码,二维码管理,批号管理软件。
点晴免费OA是一款软件和通用服务都免费,不限功能、不限时间、不限用户的免费OA协同办公管理系统。
Copyright 2010-2024 ClickSun All Rights Reserved