WebjxCom提示:
PHP采集相关教程之一:CURL函数库.
目前为目最全的CURL中文说明了
,学
PHP的要好好掌握
。有很多的参数
。大部份都很有用。真正掌握了它和正则
,一定就是个采集高手了。
先写一个简单的抓取页面函数
functionGetSources($Url,$User_Agent='',$Referer_Url='')//抓取某个指定的页面
{
//$Url需要抓取的页面地址
//$User_Agent需要返回的user_agent信息如“baiduspider”或“googlebot”
$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,$Url);
curl_setopt($ch,CURLOPT_USERAGENT,$User_Agent);
curl_setopt($ch,CURLOPT_REFERER,$Referer_Url);
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$MySources=curl_exec($ch);
curl_close($ch);
return$MySources;
}
参数取值:
$Url="
http://www.baidu.com";
$User_Agent="baiduspider+(+http://www.baidu.com/search/spider.htm)";
$Referer_Url='http://www.chinaz.com/';
执行GetSources($Url,$User_Agent,$Referer_Url)后的结果为:
http://test.huangchao.org/curl/curl_test1.php PHP中的CURL函数库(ClientURLLibraryFunction)
curl_close—关闭一个curl会话;
curl_copy_handle—拷贝一个curl连接资源的所有内容和参数;
curl_errno—返回一个包含当前会话错误信息的数字编号;
curl_error—返回一个包含当前会话错误信息的字符串;
curl_exec—执行一个curl会话;
curl_getinfo—获取一个curl连接资源句柄的信息;
curl_init—初始化一个curl会话;
curl_multi_add_handle—向curl批处理会话中添加单独的curl句柄资源;
curl_multi_close—关闭一个批处理句柄资源;
curl_multi_exec—解析一个curl批处理句柄;
curl_multi_getcontent—返回获取的输出的文本流;
curl_multi_info_read—获取当前解析的curl的相关传输信息;
curl_multi_init—初始化一个curl批处理句柄资源;
curl_multi_remove_handle—移除curl批处理句柄资源中的某个句柄资源;
curl_multi_select—GetallthesocketsassociatedwiththecURLextension,whichcanthenbe"selected";
curl_setopt_array—以数组的形式为一个curl设置会话参数;
curl_setopt—为一个curl设置会话参数;
curl_version—获取curl相关的版本信息;
curl_init()函数的作用初始化一个curl会话,curl_init()函数唯一的一个参数是可选的,表示一个url地址;
curl_exec()函数的作用是执行一个curl会话,唯一的参数是curl_init()函数返回的句柄;
curl_close()函数的作用是关闭一个curl会话,唯一的参数是curl_init()函数返回的句柄;
PHP代码
<?php
$ch=curl_init("
http://blog.huangchao.org/");
curl_exec($ch);
curl_close($ch);
?>