nene
-
Python爬虫入门
自己在网上学习的一些内容，分享给大家，希望大家和我一样，可以快速掌握Python爬虫 一、爬虫入门 1. Python爬虫入门一之综述 2. Python爬虫入门二之爬虫基础了解 3. Python爬虫入门三之Urllib库的基本使用 4. Python爬虫入门四之Urllib库的高级用法 5. Python爬虫入门五之URLError异常处理 6. Pyt…
-
Docker 实例
1、Docker 安装 Nginx 方法一：通过 Dockerfile构建 创建Dockerfile 首先，创建目录nginx,用于存放后面的相关东西。 # mkdir -p nginx/www nginx/logs nginx/conf www目录将映射为nginx容器配置的虚拟目录 logs目录将映射为nginx容器的日志目录 conf目录里的配置文件将…
-
Docker入门
一、Docker 架构 Docker 使用客户端-服务器 (C/S) 架构模式，使用远程API来管理和创建Docker容器。 Docker 容器通过 Docker 镜像来创建。 容器与镜像的关系类似于面向对象编程中的对象与类。 Docker 面向对象 容器 对象 镜像 类 Docker 镜像(Images) Docker 镜像是用于创建 Docker 容器的…
-
Python模块及详解（2）
目录： 一、报表之Excel操作XlsxWriter模块 二、Python与rrdtool的结合模块 三、构建集中式的病毒扫描机制 四、系统批量运维管理器paramiko详解 五、系统批量运维管理器Fabric详解 一、报表之Excel操作XlsxWriter模块 Excel是当今最流行的电子表格处理软件，支持丰富的计算函数及图表，在系统运营方面广泛用于运营…
-
Python的模块及详解(1)
psuitil模块 filecmp模块 pycurl模块 一、系统性能信息模块psuitil psutil是一个跨平台库（http://code.google.com/p/psutil/），能够轻松实现获取系统运行的进程和系统利用率（包括CPU、内存、磁盘、网络等）信息。它主要应用于系统监控，分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能，…
-
Python基础篇之过程型程序设计
一、Python过程型程序设计 面向过程 以指令为中心，由指令处理数据 如何组织代码解码问题 面向对象 以数据为中心，所有的处理代码都围绕数据展开 如何设计数据结构组织数据，并提供对此类数据所允许处理操作 简单方法： 1)、编译安装新版本至某特定路径 # yum install readline-devel # tar xf Python-2.7.6.tar…
-
NoSQL之MongoDB
分布式系统理论 1、 CAP: 分布式系统只能满足其中两个 Consistency ：一致性 Availibility：可用性 Partitions Tolerance ：分区容错性 C,A ： SQL 传统的数据库。 两段机制。 C,P ：悲观枷锁机制，分布式加锁机制。加锁机制与SQL不太一样。 这里的C为最终一致性。 放弃C后的特例，既可以保证可用性，…
-
rsync+inotify实现数据的实时同步更新
rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样就可以解决同步数据的实时性问题。 一、rsync的优点与不足 rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的…
-
haproxy
12.1 高性能负载均衡软件HAProxy介绍 随着互联网业务的迅猛发展，大型电商平台和门户网站对系统的可用性和可靠性要求越来越高，高可用集群、负载均衡集群成为一种热门的系统架构解决方案。在众多的负载均衡集群解决方案中，有基于硬件的负载均衡设备，例如F5、Big-IP等，也有基于软件的负载均衡产品，例如HAProxy、LVS、Nginx等。在软件的负载均衡产…
-
Nagios
一、Nagios简介 Nagios是一款开源的电脑系统和网络监视工具，能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员，在状态恢复后发出正常的邮件或短信通知。 Nagios原名为NetSaint，由Ethan Galstad开发并维护至今…
-
redis主/从配置及基于sentinel的故障转移
一、NoSQL基础概念: ACID:原子性、一致性、隔离性、持久性；特性：数据量大、数据变化非常大（数据增长化、流量分布变化、数据间耦合结构变化）、数据源很多； CAP、BASECAP C:多个数据节点的的数据一致；A:用户发出请求后的有限时间范围内返回结果；P:network partition，网络发生分区后，服务是否依可用；CAP理论：一个分布式系统…
-
OpenStack私有云部署
架构 实验环境 角色 主机名 网卡 系统环境 Controller Node controller.qween.com 管理接口eth0：192.168.22.128 外部接口eth1：192.168.36.130CentOS6.8Compute Nodecompute1.qween.com管理接口eth0：192.168.22.129 隧道接口eth1：1…
-
hadoop分布式集群
分布式集群的实现 环境： 192.168.36.129 node1：NN,SNN,RM 192.168.36.130 node2：DN,NM 192.168.36.132 node3：DN,NM 192.168.36.133 node4：DN,NM 配置java环境，每个节点时间同步，基于主机名互相通信，定义/etc/hosts 文件 &nb…
-
Hadoop伪分布式模型
# java -version # vim /etc/profile.d/java.sh export JAVA_HOME=/usr # yum install java-1.8.0-openjdk-devel # mkdir /bdapps # tar xf hadoop-2.7.4.tar.gz -C /bdapps/ # cd /bdapps # ln…
-
Hadoop hdfs分布式文件系统
一、MapReduce理论基础 每个MapReduce job都是Hadoop客户端想要执行的一个工作单元，它一般由输入数据、MapReduce程序和配置信息组成，而Hadoop会把每个job分隔成两类任务(task)：map任务和reduce任务。在Hadoop集群中有两类节点来执行两类job进程的执行 1.1 大数据处理 任何基础业务包含了收集、分析、监…
