易栈网-膘叔

突然怀念起几年前，walkerlee、hihiyou、我还在为了NC进行打拼，也曾为了某个正则几乎通宵不睡在测试。其实在NC前已经有过多款的采集软件，但其实都是属于功能单一情况，如：开花石头的逆向小偷等。NC只是一款整合了一起功能的采集软件，也算是开创了先河吧？反正自那以后，采集程序越来越多，先是剑枫，然后是小蜜蜂，再后来是火车头，采集软件越来越多之后，随之而来的就是性能问题，采用WEB方式的采集，不可避免的就是性能。你没有办法控制一个WEB页面不会超时，而且PHP由于自身的执行方式，也就不可能是多线程执行，后来大多数人，采用了iframe的方式，让一个页面打开十个左右的iframe然后根据执程的ID来进行判断。

过去的事情，总是让人怀念，在看到这个作者写类似的采集时，感慨的同时，留一份备份，以作纪念

原文：http://www.cnblogs.com/hongyin163/archive/2009/02/11/1388615.html
内容：

最近公司需要开发一个简历导入功能，类似博客搬家或者邮箱搬家，之前抓取信息是利用火车采集器，但是简历导入功能需要用户登陆以后才能获取简历数据，无奈只好自己开发了。

首先是遇到的问题是：如何实现模拟登陆？

我们知道一般的网站都是通过Cookies来维护状态的，我抓的网站也是支持利用Cookies来验证用户的，构造一个post数据包，向服务器提 交数据，在配置火车采集器的时候，也是要先利用WSockExpert.exe工具获得Post数据包，之后修改用户名和密码，向服务器提交的。

提交了登陆数据后还没完成登陆，虽然服务器会返回登陆后的页面数据，但是如果在进入其他的链接页面，还是不允许的，因为服务器每次都需要通过你提交 过去Cookies来验证你是否登陆，在asp.net里，利用Cookies存储身份验证票证，每次都需要向服务器提交的，初学asp.net总是弄不 明它的form验证机制，它封装了太多信息，虽然用几行代码就能实现验证，后来看了些web开发基础知识才弄明白，在这个你需要保存上次登陆后返回的 Cookies，在下次有其他请求时带上这个Cookies就可以了，怎么带上呢？下面是我在.net里的实现，很简单！

利用HttpWebRequest类的CookieContainer来保存，这个CookieContainer会保存服务器回传的 Cookies，但是前提是你在初始化HttpWebRequest的时候，记得实例化这个CookieContainer，一般的请求不需要实例它的， 简单的代码如下：

 httpWebRequest = (HttpWebRequest)HttpWebRequest.Create(URL);            
  httpWebRequest.CookieContainer = new CookieContainer();
  httpWebRequest.ContentType = "application/x-www-form-urlencoded";
 httpWebRequest.Method = "POST"

 为了能全局使用这个CookieContainer ，你可以把它作为全局变量，这样在下次request的时候将其赋给CookieContainer 属性就行了。

详细了解CookieContainer 见：http://msdn.microsoft.com/zh-cn/vstudio/system.net.cookiecontainer(VS.80).aspx

维护了这个CookieContainer 后，我们就可以访问登陆后的页面了，模拟登陆问题解决。

其次遇到的问题自然是：如果从网页上获得想要的信息？

 要在网页抓取信息，实现起来最简单，同时也是最繁琐的方法，那就是模板方法获取了，从火车采集器的配置过程看出来，它也就是用这种方法而已，不过 人家能把抓取器做成成熟的产品，并且热卖，这个比不了，所以成功与否不完全取决于技术，火车采集器虽然配置起来挺繁琐，但是用起来还不错。

用这种方式你需要做个一个模板，你需要知道目标网页的结构，知道要找的信息在什么地方，之后记录在它的前面和后面的字符串，你可以利用截取字符串的 方式获得目标信息，也可以利用正则标式获得，要保证前面和后面的字符串是唯一的，很简单，计算一下，或者匹配一下就可以获得目标信息，但是实际做起来还是 会遇到一些问题：

下面是我遇到问题;

1.首先我是想利用正则表达式匹配，但是模块里设置的前缀和后缀里有回车换行\r\n,结果总是匹配不成功，我正则的功底很差，最后知道怎么回事了，把\r\n替换成(\s*)，问题解决，您可以想出为什么了吧？

2.利用字符串截取方式获取，在正则还不是很精通，用这种方式最保险了，但是在截取字符串前记得调整下目标页代码，从xml配置文件里读取的前缀和 后缀中可能有回车和换行，但是回车换行在不同系统里字符表现是不一样的，Windows里是\r\n,Linux里是\n，所以要记得统一。

3.前后缀不唯一，有时在页面里有两个不同的目标信息，但却有相同的前缀，比如：

<td width="25%" class="ResTbLfPd">数据库</td>
<td width="25%" class="ResTbLfPd">软件工程师</td>

如果用相同的前缀就比较难截到想要的信息了，我想了个办法，当然方法可能比较笨，但是问题解决了，也是火车给我的启示，利用多个字符串定位目标信息，比如我想抓去 软件工程师 ，前缀就是：

<td width="25%" class="ResTbLfPd">*</td>
<td width="25%" class="ResTbLfPd">

在信息可能不同的地方用*代替，类似通配符，这样利用*将一个字符串切割为两个，先找到第一个，之后以这个索引位置为起点，再找第二个字符串，这样就可以定位到最终的信息了，同样可以用多个字符串三个或更多，这样实现是解决了问题，希望有更好的方式，希望以后会改进。

4.在抓取信息的时候还可以利用MITHtmlPparser，这是一个开源的类库，在codeproject找搜到的，将网页内的所以标签都分析出来，如果获取信息不是很多、很碎的话，用这个也比较好用，只需知道那个最终要得到信息在那个标签里，然后直接取出就行了。

好了，希望在新的一年里能学到更多，能经得住考验！

创建型模式

1、FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory
       
        工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时，工厂类也要做相应的修改。如：如何创建及如何向客户端提供。
       
        2、BUILDER—MM最爱听的就是“我爱你”这句话了，见到不同地方的MM,要能够用她们的方言跟她说这句话哦，我有一个多种语言翻译机，上面每种语 言都有一个按键，见到MM我只要按对应的键，它就能够用相应的语言说出“我爱你”这句话了，国外的MM也可以轻松搞掂，这就是我的“我爱你” builder。（这一定比美军在伊拉克用的翻译机好卖）
       
        建造模式：将产品的内部表象和产品的生成过程分割开来，从而使一个建造过程生成具有不同的内部表象的产品对象。建造模式使得产品内部表象可以独立的变化，客户不必知道产品内部组成的细节。建造模式可以强制实行一种分步骤进行的建造过程。
       
        3、FACTORY METHOD—请MM去麦当劳吃汉堡，不同的MM有不同的口味，要每个都记住是一件烦人的事情，我一般采用Factory Method模式，带着MM到服务员那儿，说“要一个汉堡”，具体要什么样的汉堡呢，让MM直接跟服务员说就行了。
       
        工厂方法模式：核心工厂类不再负责所有产品的创建，而是将具体创建的工作交给子类去做，成为一个抽象工厂角色，仅负责给出具体工厂类必须实现的接口，而不接触哪一个产品类应当被实例化这种细节。
       
        4、PROTOTYPE—跟MM用QQ聊天，一定要说些深情的话语了，我搜集了好多肉麻的情话，需要时只要copy出来放到QQ里面就行了，这就是我的情话prototype了。（100块钱一份，你要不要）
       
        原始模型模式：通过给出一个原型对象来指明所要创建的对象的类型，然后用复制这个原型对象的方法创建出更多同类型的对象。原始模型模式允许动态的增加或减 少产品类，产品类不需要非得有任何事先确定的等级结构，原始模型模式适用于任何的等级结构。缺点是每一个类都必须配备一个克隆方法。
       
        5、SINGLETON—俺有6个漂亮的老婆，她们的老公都是我，我就是我们家里的老公Sigleton，她们只要说道“老公”，都是指的同一个人，那就是我(刚才做了个梦啦，哪有这么好的事)
       
        单例模式：单例模式确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例单例模式。单例模式只应在有真正的“单一实例”的需求时才可使用。

……………………

» 阅读全文

一般我们在设置数据库字符集的时候，都是用mysql_query('set names utf8')这样来处理，但其实这样处理的不全，象discuz等都是采用了全部的操作，它是这样的:mysql_query('character_set_connection=utf8, character_set_results=utf8 character_set_client=binary')，也只有这样，才会比较全面。
仔细看手册 ，手册上也这样写着：
　　Note: This is the preferred way to change the charset. Using mysql_query() to execute SET NAMES .. is not reccomended.

那么，我们该怎么处理呢？从PHP5.2.3开始多了一个函数，它就是：mysql_set_charset，你可以：

Note: This function requires MySQL 5.0.7 or later.

传说需要采用这样的方法，是因为set names在某些字符集的时候有安全隐患。

以前也曾经说过，IBM的Developer网站上对于open source之类的介绍比较多，在这些介绍中，也有一部份关于PHP的，这两天在仔细的查找资料时，发现了一个页面，它就是IBM的PHP资源页面，这是对一些PHP资料进行的归档，通过本页，你可以查询一些比较经典的文章。

URL为：http://www.ibm.com/developerworks/cn/opensource/top-projects/php-resources.html

复制一部分如下：

入门

概述 PHP 简介 部署 安装 XAMPP 进行方便集成开发 源代码控制 利用 PHP 和 Subversion 从零开始创建一个 blog 回页首

开发 学习 PHP 开始了解 PHP V5 中的对象 用 PHP 走向动态 学习 PHP，第一部分 学习 PHP，第二部分 学习 PHP，第三部分 用 PHP 开发健壮的代码，第 1 部分 用 PHP 开发健壮的代码，第 2 部分：有效地使用变量 用 PHP 开发健壮的代码，第 3 部分：编写可重用函数 -- 充分利用函数 PHP 例解,第 1 部分：轻松的 Webzine 编辑和发送 PHP 例解,第 2 部分：深入研究 Webzine 编辑和发送 高级 PHP 高级 PHP V5 对象 用 PHP 构建 Web 服务 用 PHP 绘制 3-D 图像 使用 PHP 创建图形的巧妙方法 如何在 PHP 中使用正则表达式 结合 PHP 使用 HTML 表单 用 PHP 读取和编写 XML DOM 通过 PHP 脚本访问企业应用 PHP 设计 MVC 模式、类封装还是黑客代码——合理设计 PHP 项目 PHP 应用 使用 PHP 构建搜索优化应用程序，第 1 部分：入门 用 OpenLaszlo 装点 PHP 应用，第 1 部分: 创建交互式界面 用 OpenLaszlo 装点 PHP 应用，第 2 部分: PHP REST 和数据绑定 用 OpenLaszlo 装点 PHP 应用，第 3 部分: 添加数据库 使用 Snort 和 PHP 构建一个小型网络防御系统 用 PHP 使 Web 数据分析进入更高境界 -- 设计您的数据分析，做比简单原始计数更多的事 用 PHP 实现的简单线性回归：第 1 部分 -- 数学库在 PHP 中的重要性 用 PHP 实现的简单线性回归，第 2 部分 -- 解决输出和概率函数缺陷的数据研究工具 调试和监测 PHP 程序员的调试技术

并不全哦，要全的话，还是点最上那个PHP资源的链接，HOHO

用file_get_contents来进行POST？很妖吧。
我也没有想到还有这种妖的东西。在向东的博客上看到这个的：http://www.xiangdong.org/blog/post/1623/

回忆未来？别惊讶，用他的话来说是山寨D。

原文：

file_get_contents.php: Post数据

看一下，里面有一个特别的函数：stream_context_create，翻开手册看了一下，也没说什么呀，只是说：Creates and returns a stream context with any options supplied in options preset.

而file_get_contents呢？它说：

Note: Context support was added with PHP 5.0.0. For a description of contexts, refer to Reference CLX, Stream Functions.

关于Stream Functions，手册上这么描述的。。。

A wrapper is additional code which tells the stream how to handle specific protocols/encodings. For example, the http wrapper knows how to translate a URL into an HTTP/1.0 request for a file on a remote server. There are many wrappers built into PHP by default (See Appendix O), and additional, custom wrappers may be added either within a PHP script using stream_wrapper_register(), or directly from an extension using the API Reference in Chapter 52. Because any variety of wrapper may be added to PHP, there is no set limit on what can be done with them. To access the list of currently registered wrappers, use stream_get_wrappers().

A stream is referenced as: scheme://target

• scheme(string) - The name of the wrapper to be used. Examples include: file, http, https, ftp, ftps, compress.zlib, compress.bz2, and php. See Appendix O for a list of PHP built-in wrappers. If no wrapper is specified, the function default is used (typically file://).

• target - Depends on the wrapper used. For filesystem related streams this is typically a path and filename of the desired file. For network related streams this is typically a hostname, often with a path appended. Again, see Appendix O for a description of targets for built-in streams.