云服务器公网ip（云服务器公网ip与本地 内网ip互通）〔云服务器公网ip用法〕

　　阅读文本大概必要 2 分钟。

提示

　　以鄙人在GitHub上的辣鸡代码为例, 其他Scrapy的项目操纵 雷同 , 本文同样实用 于不利用 云服务器的情况 (排撤除 前期预备 部分 即可).

前期预备

(也可以到腾讯云开辟 者实行 室体验)1. 购买云服务器

　　选择一家云服务厂商, 购买云服务器, 如今 国内主流服务均有提供门生 版

　　假如 第一次购买, 可以戳这个链接

　　https://cloud.tencent.com/redirect.php?redirect=1010cps_key=e042d9552c4c0be2cd377436ca42ee62

2. 下载Xshell, 利用 ssh毗连 服务器

　　Xshell门生 和家用是免费的, 下载地点 https://www.netsarang.com/download/free_license.html

　　下载安装完成后,利用 体系 分配的公网IP, 体系 用户名和对应暗码 毗连 服务器.

在Github上克隆代码

git clone https://github.com/FesonX/JobCrawler.git

安装相干 依靠 1. 安装Python3

　　项目利用 Python3.6, 可以利用 以下毗连 安装, 将文中的3.5改为3.6即可.

　　ubuntu14.04安装python3.5而且 将其设置为python3默认启动

　　(https://blog.csdn.net/fireflychh/article/details/78195778)

2. 利用 virtualenv(也可以利用 Anaconda或Pycharm管理)

　　Virtualenv允很多 版本Python同时在电脑上共存, 安装完Python3及pip后 终端键入

# 安装

pip3 install virtualenv

# 创建假造 环境

virtualenv spider-env

# 激活假造 环境

source spider-env/bin/activate

# 退出

deactivate

3. 安装库依靠

　　由于 Scrapy依靠 Python.h,在安装库依靠 前在终端键入

sudo apt-get install libpython3.6-dev

　　然后安装依靠 , 假如 失败, 请逐条实行

# 在JobCrawler/JobCrawler目次 下

pip install -r requirements.txt

4. 安装MongoDB

　　参照以下毗连 安装 MongoDB Community Edition

　　(https://docs.mongodb.com/manual/administration/install-community/)

运行爬虫

　　终端cd到项目根目次 , 键入

# -o job.csv为可选参数, 参加 则输出到指定文件中

scrapy crawl jobCrawler -o job.csv

扩展: 使爬虫开机运行

　　使爬虫在体系 开机时主动 运行, 对于很多 体系 来说 ，最简单 (假如 不是最好的)的方式是利用 rc.local文件 具体 实现方式就交由你本身 用搜刮 引擎探索啦

　　欢迎 点击查察 原文关注我的腾讯云社区账号

　　入门小白, 欢迎 各人 指堕落 误, 技能 交换

　　QQ:994342122, Email: fesonx@foxmail.com

　　本日 作者: 光光同砚 _

　　不爱看影戏 的拍照 师不是好的程序员