导言:是不是对键盘上下指如飞,屏幕上除了黑黑的控制台什么都看不到的Geek羡慕的不要不要的,觉得前端是写的很爽,一行代码下去就是另一个世界,可是内心深处总还是觉得逼格不知不觉就降了下了?不用担心,让舒爽和逼格齐飞的好事Nodejs带给你,本章就带你一步步开发一个属于自己的命令行工具。
Now You See Me: 小伙伴们有什么不明白的地方或者觉得讲的不清楚的地方,敬请留言,区区在下也是开始研究没有多久,共同进步。。当然如果有想要知道的内容相关的小知识点,比如cheerio包balabala之类的,也可以留言告知,都会排进发布内容的日程表中。嘿嘿
1.要开发一个这样的工具干什么用呢?
笔者经常看一些网络小说,所以我们要来开发一个抓取笔者经常看的小说网站的某篇小说的最新更新的章节内容。先放一下程序运行的结果:
哒哒哒,是不是美美哒
以下是这个项目的地址,还只是个demo,后期还会增加各种功能和前段工程化的实践。
https://github.com/Alfred-Lau/n-novel#readme
2.如何搞?
分以下几个部分来讲解这个内容:
- 项目结构
- 项目细节
项目结构:
以下针对上述目录做点介绍:
目录:
bin :命令行脚本文件入口,也就是package.json中bin属性对应的值得目录
node_modules:你懂得,npm的依赖项聚集地
文件:
.npmignore:就像.gitignore文件一样,只不会被npm纳入发布目录的文件
index.js:主程序文件
package.json:npm init 生成。具体描述项目的情况
项目细节:
首先介绍一下大概设计:
很简单,就是首先根据提供的小说网站链接抓取到具体某本小说的目录导航,利用相关的npm包分析出最后一个项目的链接,也就是最新的更新链接,之后拼接链接。再次向目标网站请求数据。分析取回来的内容,整理格式,修饰输出,即得最终结果。
看一下我们的源代码:
index.js
//用来进行发送请求,久经考验的好基友
var request = require('request');
//Node爬虫界的大拿,分析网页代码很有一套
var cio = require('cheerio’);
//装饰命令行上面的输出,添加色彩等
var colors = require('colors');
var url = require('url');
//网站网址
var webSiteUrlPrefix = 'http://www.biquge.tw';
//小说链接
var webSiteUrl = 'http://www.biquge.tw/0_680/';
//开始请求数据
request(webSiteUrl, function(err, res, body) {
//做异常处理检查
if (!err && res.statusCode == 200) {
//cheerio进行数据处理的第一步,穿个马甲
var $ = cio.load(body);
//缓存最后一项的节点
var target = $('div#list dd:last-of-type');
//通过CSS selector来筛选数据
//这里表示
var src = target.children('a').attr('href');
//get文章标题
var pageTitle = target.text();
//得到文章实际地址
var contentsUrl = webSiteUrlPrefix + src;
//再次请求,这次得到文章的实际内容
request(contentsUrl, function(err, res, body) {
if (err) {
return;
} else {
if (res.statusCode == 200) {
var $ = cio.load(body);
//调整格式,去掉多余空格
var pageContents = $('div#content').text().replace(/\s+/g, '\n ');
//加点颜色看看
console.log(pageTitle.green + '\n\n' + pageContents.yellow);
} else {
return;
}
}
})
} else {
console.log('bad request');
}
});
接下来是bin/index.js的讲解:
和上面的文件基本完全一样,唯一不同的是:
#! /usr/bin/env node
表示启用Node来运行脚本,这也是生成命令行工具的精髓
最后是package.json文件介绍:
和之前的 Express 系列:结合实例讲解如何开发一个自己的npm包 类似,唯一不同的是:
"bin": {
"n-novel": "bin/index.js"
}
这里提示各位,一定要将包含“#! /usr/bin/env node”的index.js文件路径写入这里,因为这里面的文件最终会被软连接到/usr/local/bin/里面去,而那里的程序运行方式都是脚本,位置失误的话,程序运行会出错哦。
3.发布流程
首先编辑自己的.npmignore文件
其次确认自己已注册npm账号,可以通过如下命令来检查
$ npm whoami
发布(打不打tag都可以)
$ npm publish
哒哒哒,发布成功!
4.起来嗨
发布之后我们要检查自己的战斗成果,通过
Npm install -g n-novel
安装到全局,运行结果如下:
然后运行n-novel,稍待片刻,新鲜出炉的小说最新章节就放到了你的命令行上面。
下节介绍
Intro
经过以上两节的学习,我们既能开发属于自己的包,又能写得了命令行工具,是不是觉得自己已然飞起?下节我们将要介绍怎样通过持续结成和构建保证自己的项目代码都是久经测试的,杠杠的靠得住,也就是持续集成:travis,测试覆盖:coveralls,查看模块依赖:david-dm等等。