[转贴]如何成为HTTP/FTP的下载高手

08月 8th, 2008

1.开场白
从网上下载,听起来容易,但想真正成为高手,就要做到“下别人之不能下,载别人所不会载,”其中的门道可并不简单。
提到下载,很多人都认为所谓的download不过是从网上把软件或mp3复制到硬盘中的一个过程。然而,如果真用这个标准来衡量的话,恐怕把全世界网民至少能数出几亿个下载高手来。可实际上,下载包含的内容远不止于此。从理论上讲,即使是浏览普通的网页也应该算是下载的一种,何况去下载软件、音乐、图书等更精彩的资源了。网络的开放性不断吸引着人们去寻找对自身有价值的东西,而各种商业网站又为了自身的利益,不断依靠“先进”技术使它们提供的资源逐渐封闭化。为了下载一个软件而打开三层页面的网站并不少见,而更多的图库站点更需要您不断点击大大小小的链接才肯露出庐山真面目;说是免费阅读图书,又不让您下载,给您一个连抓图都不支持的java窗口,慢慢看去吧!(估计等您把书看完,您的网费开销能买十本原版书了。)有人说,网上的免费是糖衣炮弹:想下载软件,请您看广告;想聊天,请您看广告;想要免费信箱,请您看广告(更有附加在您每封邮件末尾的广告)。还有,某些精彩的flash动画、real影片以及各种在线播放的音频和视频,更是“只可远观而不可亵玩焉”——不支持下载!
难道就没有把糖衣吃掉再抛弃炸弹的方法吗?当然有!正所谓魔高一尺,道高一丈。对付特别的站点就要使用特别的方法,才能获取某些平时无法取得或者十分难以取得的资源。您想下载嵌在网页里的flash动画吗?您想下载只提供在线播放的real格式电影吗?您想下载收费的电子图书吗?您想学习更强大的超批量下载技巧吗?那就千万不要错过下面的文字,这就是——极限下载秘技!
2.获取真实的下载地址
工欲善其事,必先利其器,我们当然不必去研究如何更加科学地使用ie的下载窗口,因此您至少需要下面两个流行的下载软件之一:网际快车flashget(推荐使用)或网络蚂蚁netants。
作为一个网民,笔者有时不得不向朋友提供某个软件的下载地址,然而这就出现了一个关于真实下载地址的问题。 首先,对同一个软件,我这儿有两个下载地址:
http://download.sina.com.cn/scgi … ts=/fm311ch0108.exe
http://www.bodafox.com/download/fm311ch0108.exe。
如果是您的话,您更愿意接受哪个呢?很显然,后者是一个典型的url,它相对于第一个地址来说更加明显,也不容易写错。而实际上这两个地址所指向的是同一个文件,它们在实质上毫无差别。那么如何才能获得真实的下载地址呢?
flashget的“重新定位到”,网络蚂蚁的“重新定向”。
当您采用软件来下载时,一般都会在下载任务栏下面出现一个进度指示区。以flashget为例,所谓的“图表/日志”就表示着指定任务的下载进程。细心的朋友可能会发现,各种下载软件在把任务进行分段下载时,其中的每一段都会有详细的进度说明。在下载任务添加完毕后,点击“图表/日志”下方的“jet 1”,您会看到下载信息中经常会出现这样一行文字:“重新定位到……”。实际上,这个重新定位的目的地就是该任务的真实下载地址。无论您原始的下载地址是像上面例子那么长的一大串字母和符号,还是一个asp地址或者别的什么,只要您认准“重新定向”的位置,保证真实的下载地址原形毕露!另外,网络蚂蚁也具备相关的功能,其重新定向的位置以“location”表示。
许您会问:“知道了真实的下载地址,又有什么用?”没关系,这只是一个预备知识,您现在只要掌握这个技巧就好,一会儿会用到的。
3.疯狂下载连锅端
必须承认,这个部分的内容是关于一种极度疯狂的下载行为的,然而它又比用webzip这样的软件去下载站点理智一些。毕竟像webzip那种通过下载页面的层数来控制下载的信息量,这种行为无论怎么看也是非常值得怀疑的——天知道您的站点有多少个层次!那么,如果您只是为了得到几个软件,就在webzip的地址栏上输入下载站点;这也未免太小题大做了,况且为了让我刚才说的“获得真实下载地址”的技巧看起来比较有用,就把这个疯子般的下载术放在脑后吧。下面让我来告诉您,如何最快速地得到更多有用的东西……
以国内著名的下载站点“中国下“(http://www.download.com.cn/)为例。我们首先通过上述的方法,使用下载软件查出了某个软件的真实下载地址(过程我就不重复了,例如联结ftp://ftp.download.com.cn/pub/new_tools/sunglass.zip)。然后只要稍作处理就可以让它变得有用:这个地址去掉了末尾的文件名之后(例如ftp://ftp.download.com.cn/pub/new_tools/),所表示的含义就是该软件的目录。下面,您可以打开ie浏览器,输入这个目录地址,就会立刻看到与我们要下载的软件处于同一个目录下的其他所有软件。 所有的软件都出现在这个窗口中。 如果您是一个新软件的试用者,那您可有福了。直接把想要的软件拖拽到windows的窗口中,下载过程自动完成,连下载工具都省了。然而,您更可以通过ftp站点的目录结构游走整个中国下载站点,把所有软件尽收眼底,尽情下载吧。
对于其他ftp站点的地址,此方法依然适用。因为大部分ftp站点都是支持匿名登陆的,但匿名用户的权限一般都是“只读”,也就是说您可以任意下载ftp站点中的任何软件,却不能上传或删除任何东西。不过对于下载狂人来说,这足够了。怎么样?这种疯狂的“连锅端”下载技巧令您感受到下载的快感了吗?
4.吝啬鬼下载术
相对于疯狂的端站点技巧,还有一种细致得锱铢必较的令宽带上网或公款上网用户不屑一顾却让饱受拨号上网龟速之苦的群众欢欣鼓舞而津津乐道的——吝啬鬼下载术。
如果经常下载软件的话,您会发现从网上下载到的软件大多是zip格式的。这样做一来为了节省宝贵的服务器空间,二来可以减少下载软件的信息传输量;然而之所以用zip格式进行压缩却很少用到rar和ace这些压缩格式,则主要是因为zip的普及程度高。可是您发现没有,当您把辛辛苦苦下载回来的zip包打开的时候,是否会发现有很多与应用程序无关的文件呢?比如站长们为自己打的小广告啦,根本看不懂的英文readme啦……如果能把没用的家伙们统统排斥在外,您是否会感到一点点轻松呢?还有这种情况:朋友把许多文件都压缩成一个体积巨大的zip并传到网上,而您现在只需要其中的一个小文件,怎么办呢?
zip预览的功能在download mage的左下角。
有download mage就没问题了。这个简明的下载程序虽不如flashget那样知名,但它的最大特点就是能事先预览要下载的zip压缩包中的文件,然后您可以选择哪个文件下载,哪个文件不下载,把不受欢迎的文件排除掉,下载不就更轻松了吗?download mage也能像flashget那样直接截获ie中的url并展开下载,但需要您先在它的setup标签中启用ie支持插件(install ie support),当然netscape也是可以被支持的。 zip压缩包中的文件清晰可见。 接下来,只要您从浏览器中点击任意的软件下载链接,download mage就会自动弹出并准备开始下载。此时点击左下角的zip预览(zip preview)按钮,您就可以清楚地看到该zip压缩包中有多少个文件,各自的大小是多少。按住ctrl键复选您想要下载的文件,再确保“download selected files(下载选定的文件)”被勾中后,按回车键即可开始这吝啬鬼般的下载术了!
那么,到这里为止,最疯狂和最保守的下载方法都有介绍了,下面就来点更高深的技巧吧!
5.超批量下载
所谓的“批量下载”实际上是下载工具的一项普通功能。下载程序通过分析页面上的各种链接,把所有可能下载的文件都罗列出来。这时您只需简单地选择需要下载的文件,或者通过文件类型进行批量选择某种文件,之后下载的任务就完全交给程序了。看,就是如此简单的一个功能,却能省去我们大量不必要的重复劳动。但是目前实际的应用情况却是:网站为了增加浏览量,竟然给每张图片都制作一个html页面,或者再来个专门的鉴赏页什么的,结果反倒大大增加了用户的负担。要知道很多人都希望能尽快收集到更多的优质图片,但是如此的收集方法是不是太麻烦了呢?
我们不妨先来看一个例子:http://www.51m.com/pic/2/best124.htm,这是一个典型的图库下载页面。按照每个缩略图所指向的链接,不难发现我们只有逐个打开每张图片所在的页面,才能看到并且保存相应的图片。如果您还是觉得不直观的话,那么我就在这里使用“批量下载”,看看会出现什么效果。
批量下载–
在页面上点鼠标右键,选择“使用网际快车下载全部链接”,于是出现所有由flashget探索到的可供下载的文件。仔细观察一下就不难看出,其中没有任何图形文件!也就是说普通的批量下载在这里完全不起作用。 批量下载不行,怎么办? 显然,您需要一种更好的批量下载的方法,来帮助您提高下载的效率。下面就要看flashget的绝技了。0.94版本以后的flashget增加了一项非常诱人的功能:站点资源探索器。它能够沿着您提交的url尽可能找到所有可以下载的文件,启动站点资源探索器的快捷键是f7。
下面,在网站资源探索器的地址栏中键入刚才那个网址并按回车……您看到什么了?是不是出现了一些jpg图片?如果您觉得这些图片排列得不够明显,就点击一下“类别”栏目,这下明显了吧?选中这些图片,点击工具栏上的“下载”,那么您就连url都不用担心了,flashget会自动为您下载这些图片!
资源一旦被探索到,就可以被flashget下载。
这就是强大的“超批量下载”,您觉得这个技巧好用吗?相信在实际的应用过程中,您一定能逐渐体会到它的优越性。
附1:在线电影的破解技巧 其实稍懂一点网页制作的朋友都知道破解在线电影的最好方法就是把页面保存下来,然后用网页编辑软件将保存的页面打开,再找出其中的url链接即可 这显然是一个很不错的办法,但也有不管用的时候,有些网站,特别是官方网站,会千方百计地让你无法下载网页或是查看源代码,如在源代码中加以限制,右键的屏蔽,使用java链接,使用控件播放,或是php,asp等动态网页技术等 方法1, 掉线法.之前最好有个理想的播放器,这里建议使用realone player,它是目前最好的网络流媒体播放器,几乎支持所有的媒体文件格式。掉线法,顾名思义其实很简单,下面说一下方法:首先用realone播放你想要的文件,然后打开网络连接属性窗口,把本地连接禁用,或者你用防火墙的禁止访问也可以,只要令其掉线就可以,马上就会弹出一个窗口,里面就是文件的真实地址(有时也不一定,但给出的连接一定有用!) 如果没有,那就选择play–>previous clip窗口就会老老实实的弹出。 方法2 ,脱拽法,可以简单的使用拖放方法将连接拖至flashget或是netants的浮动窗口就,可以再新建下载任务框中得到连接*注:虽然很多人都知道,但还是先在这里先介绍一下破屏蔽右键的方法,可以先点住右键不放,这时会弹出警告框,然后将鼠标移动到确定按钮上点击,然后回到你所选的目标上松开右键,看看是什么. 下面说一下媒体指向文件,这些文件的后缀名通常是.asx .pls .smi .ram 其中.asx文件指向.asf文件,.pls文件一般指向一个php播放列表.smi主要指向rm文件,指向文件常常用来掩盖文件的真实地址,比如你虽然有办法查看原代码,却只能得到一个http://www.***.com/****/****.smi的连接,使用flashget或是netants甚至是streambox下载时,都 无法找到其真实地址,下载后发现是一个.smi的文件,用文本编辑器打开,发现虽然有部分代码,但没有你要的连接,所以只能在线播放,其实破解后多数是一个rtsp协议的连接 . asx文件就容易些,一般用streambox下的时候都能找到对应的.asf文件的真实地址。.ram文件一般也可以,如果不行的话,改成.rm,还是不行,就老老实实把下载的.ram文件用文本编辑器打开,不要被它的文件类型所迷惑,其实是个纯文本文件。里头一般会有位置了. 如果要破更高级一些的官方网站的在线视频,如韩国星际网站上的视频,等等就必须掌握一定的动态网页编程技术了,终究还是要从原码下手。 以后再说吧. 附2:streambox vcr教程 mms和rtsp格式的文件不是在线播放的嘛,但你的网速如果够或者你想下载下来的话用flashget这样的工具是没用的而streambox就可以帮你完成这是一个专下流媒体文件的下载工具。 有很多新网友不知道mms,rtsp等在线电影用什么下载,我给大家提供一个下载在线电影的软件 streambox vcr 中文版 下载地址: http://download.qiandao.net/downsoft.asp?soft第一次运行软件的时候,会要求你输入密码和邮件地址等等信息,你只需要随便填. 下面我们先介绍一下软件快捷工具栏: [新建]就是新建立一个下载任务,软件启动就已经建立了一个任务,所以一般不需要再建立了。 [添加]有两个按钮,区别是前面那个按钮需要 windows 的剪贴板有地址连接的时候才生效,而后面那个就随时可以按下去,手动输入参数。 [暂停]、[开始]、[删除]就不用多介绍了,用来控制下载进程的几个重要按钮。 [显信息]、[隐信息]、[界面]三个按钮是切换 streambox vcr 界面显示信息量多少的控制按钮,用于控制界面显示的信息。 [设置]里面可以设置软件各种功能,你可以在这里设置下载代理服务器、定时下载的时间等等,当然,这里大部分参数都可以在新建下载 任务的时候进行选择. 看完以上介绍,你应该明白如何使用 streambox vcr 了吧,一个简单的下载流程是:先在浏览器找到想要下载的流节目,在其连接上面点鼠标右键,选“复制快捷方式”把连接地址拷贝到剪贴板,然后运行 streambox vcr ,按一下 [添加]按钮,可以看见软件已经自动把你刚才的地址复制到 [locatio](待下载连接框),你要再选择文件的保存路径和文件名字,至于下载协议如果你不太懂的话就干脆选 auto 让 streambox vcr 自动判别好了。以上步骤完成后按一下 ok 按钮,streambox vcr 经过分析地址无误后就会开始下载了。 说明一下:象rtsp和mms的文件必须用 streambox vcr 3.1 下载!如在下载时出现“connection lost”或“timeout sir”的字样都是服务器人数以满,就是您挤不上的意思!那就请您必须等等在下载了!在线看时若出现:“不能连接到服务器以播放您选取的内容”或出现英文:“server has reached its capacity and can serve no more streams. please try again later.”则都是人数以满,请稍后在看吧!!!还有得把地址复制,粘贴到地址栏里面,回车!才能在线观看!!! 另外一些注意(转) step 1: 首先, "一本电影可以在线播放,查rtsp://61.131.42.146:554/rm/theisle.rm,但怎么也下载不了" 通常rtsp為經過轉址,若服務器端有設定初級的保護,您是無法正確下載的,只能 "在线播放", 最好將 rtsp 改成其它的 protocol 下載,而不使用vcr的auto, 一般改為 pnm 是最好的,於是我將這個位址改為如下: pnm://61.131.42.146:554/rm/theisle.rm 重新執行下載,呵呵,錯誤訊息出現了,怎麼會這樣? step 2: 接著"在线看很快,几乎没有停顿",重點又來了, 有某些網站是有要求連線頻寬的,會不會這個網站就是其中之一? 來吧!改一個設定看看… 我重新進入 properties,進入 connection 選項, 將 bandwidth 改設成 t1, 以企圖騙過該服務器,好了,退出,重新執行下載, 哈哈,可以下了吧,正確的檔案大小為 148.2mb step 3: 這樣就結束了?下完等著看嗎?別急,還沒有… 完整rtsp://61.131.42.146:554/rm/theisle.rm?cloakport=8080,554,7070 各位注意到最後的 "cloakport=8080,554,7070" 這段嗎? 如果您以為用 pnm://61.131.42.146:554/rm/theisle.rm bandwidth 改為 t1 下,就可以高枕無憂,那就錯了,通常大 約檔案下到約 1/5 處便顯示 "received" ,再怎麼下也無 法重新下,而檔案於撥放時也會斷斷續續,怎麼辦?(這個檔案 我沒試過會不會斷,因為以經驗論不想浪費時間..) 請各位比較一下 61.131.42.146:554 與 cloakport=8080,554,7070 間的相同性,其實 554通常是假的 port,7070才是正確的port, 所以正確的下載位址應為: pnm://61.131.42.146:7070/rm/theisle.rm 並將 connection 中的 bandwidth 改為 t1 可能大家看糊涂了,反正就是将rtsp改为pnm,554变为7070,宽带改为t1 就好了 如果您的realplayer画面播放不连续,请参照下述方法进行设置 1、运行realplayer程序。打开“view”菜单 2、选择“preferences…”选项。 3、选择“connection”的“normal bandwidth” 设置为“10mbps lan”。 4、“maximum bandwidth” 也设置为“10mbps lan”。 另: 由于影视下载服务器繁忙也会有服务器人满而停止服务的情况请大家选择时段下载 附3roject url snooper教程(作者:吴朝相) streambox vcr的出现解决了很多以前无可奈何的难题,但对于一些隐藏得更深、保护得更完善的流文件它还是有无能为力的时候。主要问题不是streambox vcr下载不了,而是streambox vcr找不到流文件的真实地址。虽然streambox vcr号称支持ram、smil、pls、asx、mov等流格式,但有些文件经过一些措施的保护后streambox vcr还是会找不到真实文件地址的。 这个时候,我们就需要用另外的软件来分析、整理出真实的地址了。既然流文件用播放器能播放,那么真实地址一定是隐藏在发送到本机的网络数据包里面。所以只要用软件截获网上发送过来的数据包,然后加以分析就一定可以找得到真实地址。按照这个思路,大家可能会想到用hacker常用的sniffer pro或者netxray之类的软件,但这些软件事无大小把所有数据包通通截下来,光分析就够你烦一阵的了。 幸好,现在出现了一个专门是用来和streambox vcr等软件配合的地址嗅探软件project url snooper 。既然是网络数据包嗅探软件,安装嗅探驱动软件是难免的,所以在使用这个软件前要先安装winpcap这个数据嗅探驱动软件,否则软件将无法正常使用!(还有一个要注意的地方就是由于project url snooper对win2k/nt系统平台的支持度有限,故请尽量在win98环境下面使用这个软件)。 驱动装好后我们就可以开始捕捉地址了。我们以地址rtsp://140.247.24.29:554/chem17/ … smil?cloakport=8080,554,7070为例子来进行说明,这个地址如果你直接用streambox vcr来下载的话将会出现典型的找不到地址错误,如下图: 但经过用realplayer测试证明文件是存在并可以正常播放,这时我们打开project url snooper,要注意的是如果你是第一次运行这个软件的话请先到[general options]选单那里选择驱动模块(请务必确认你已经正确的安装了winpcap这个数据嗅探驱动软件)如下图: 选择完毕后(不管是拨号上网或者是adsl上网,只要你正确安装了winpcap,那么都能出现和上图基本相似的选项,adsl拨号的话驱动那里选那个由相应拨号软件建立的选项,简单电说一般就是拨号软件的名字啦。) 回到[search]选单,按下[sniff network]按钮启动嗅探,然后返回浏览器窗口在地址栏输入rtsp://140.247.24.29:554/chem17/ … smil?cloakport=8080,554,7070。很快realplayer自动运行并经过一番连接后开始播放节目。这个时候project url snooper正在后台监视着数据包的一举一动,从它的结果窗口我们可以明显的看见,我们想要的东西出现了。如下图如箭头所指,project url snooper已经从杂乱的数据包里面帮我们把真实的地址找出来了,在这个地址上按鼠标右键可以把这个地址复制到剪帖版或者直接调用streambox vcr进行 得到真实地址后再调用streambox vcr就可以正常下载流节目了。 有了以上几个软件的帮助相信没多少流节目能逃出你掌心的了,但由于毕竟流节目是经过服务端软件编码过的信息,streambox vcr在重新建立文件的时候难免会有时候出点问题,所以你可能还需要asfcut等软件来进行修复一下方能正常播放。
转自:华娱在线

标签:, ,

相关日志


This entry was posted on 星期五, 08月 8th, 2008 at 1:05 am and is filed under 在线电影. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.

Leave a Reply