为什么选用 ELK日志分析平台

为什么选用ELK日志分析平台 Elasticsearch 咱们先说一下ELK是什么 E=ElasticSearch 实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上 L=LogStash , 是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错...

[阅读更多 →]

ELK 系统长期运行和进程管理

ELK系统长期运行和进程管理 Elasticsearch 本章节问题对于一个运维来说应该属于基础知识,如果你是运维同学,我想你可以跳过本章的学习。 在构建ES的时候,甚至后面构建ELK系统的时候更明显。当你启动ES后,终止进程常用的 Ctrl+C,停下标准输入输出。那如果你想长期后台运行,甚至可以想常见的server命令(如 service mysql restart) 启动、终止ES相关进程,应该怎么去做那。...

[阅读更多 →]

Elasticsearch 系列教程 - Elasticsearch API 基本操作

Elasticsearch 系列教程 - Elasticsearch API基本操作 Elasticsearch Elasticsearch提供了非常全面和强大的以JSON为数据交互格式的REST API,利用这个REST API你可以同你的集群交互。比如: 检查你的集群、节点和索引的健康状态、和各种统计信息 管理你的集群、节点、索引数据和元数据 对你的索引进行CRUD(创建、读取、更新和删除)和搜索操作 执行高...

[阅读更多 →]

Elasticsearch 系列教程 -(2)-基本知识

Elasticsearch 基本知识 基本知识 万事开头难,咱们要由浅入深,大家需要先了解一些基础的概念。对后面的学习啊起一个基础的作用。希望大家这里把基础打好 1、接近实时(NRT) Elasticsearch是一个接近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)。 2、集群(cluster) 一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一...

[阅读更多 →]

Elasticsearch 系列教程 -(1)- 环境及系统安装

Elasticsearch系列教程 -(1)- 环境及系统安装 安装 本篇文章编于2017.11.16日 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口,隐藏Lucene的复杂性。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时...

[阅读更多 →]

如何在 Git 提交前进行代码质量检测

git 测试代码检测钩子 v0.0.1 测试版 钩子 代码检测 1、安装钩子 1、下载git-ziroon-check.sh 安装脚本 https://github.com/sqc157400661/code_checked 2、将git-ziroon-check.sh 安装脚本 放置到你的项目目录下 3、双击执行,完成后该安装脚本自动消失即为安装成功 2、注意说明 1、确保本地git版本>1.6 2、目前...

[阅读更多 →]

MySQL 双主一致性架构优化

MySQL双主一致性架构优化 MySQL 一致性 一、双主保证高可用 MySQL数据库集群常使用一主多从,主从同步,读写分离的方式来扩充数据库的读性能,保证读库的高可用,但此时写库仍然是单点。 在一个MySQL数据库集群中可以设置两个主库,并设置双向同步,以冗余写库的方式来保证写库的高可用。 二、并发引发不一致 数据冗余会引发数据的一致性问题,因为数据的同步有一个时间差,并发的写入可能导致数据同步失败,引起数据丢失...

[阅读更多 →]

DB 主从一致性架构优化 4 种方法

DB主从一致性架构优化4种方法 MySQL 主从一致性 需求缘起 大部分互联网的业务都是“读多写少”的场景,数据库层面,读性能往往成为瓶颈。如下图:业界通常采用“一主多从,读写分离,冗余多个读库”的数据库架构来提升数据库的读性能。 图1 这种架构的一个潜在缺点是,业务方有可能读取到并不是最新的旧数据: 图2 (1)系统先对DB-master进行了一个写操作,写主库 (2)很短的时间内并发进行了一个读操作,读从库...

[阅读更多 →]

大话 PHP 反射机制

大话PHP反射机制 反射 PHP 可能大家刚听到‘反射’这个名次的时候那,会感觉一头雾水。是不是还有折射什么的;好了下面我就给大家进行一个介绍; 其实PHP 面向对象编程中被赋予了自省的能力,而这个自省的过程就是反射。直观的理解就是根据到达地找出出发点和来源。具体点说那它是指在PHP运行状态中,扩展分析PHP程序,导出或提取出关于类、方法、属性、参数等的详细信息,包括注释。这种动态获取的信息以及动态调用对象的方法的...

[阅读更多 →]

PHP 面试题整理 1

PHP 面试题整理 1 PHP 这里是最近我去面试被问到的一些面试问题,我根据自己的记忆给大家整理下。好多题是先给大家结构,后面我在给大家出解释,不错 因为我要先弄清楚原因 .。整理时间(2017.9.11) (1) 请指出下面代码的输出结果 <?php $a='hello'; $b=&$a; unset($b); $b='world'; echo $a;...

[阅读更多 →]

使用 PHP+Shell+echarts 分析 nginx日志,统计各个地区的访问情况

使用PHP+Shell+echarts分析nginx日志,统计各个地区的访问情况 统计 2017.9.10日周末,被人问‘你们公司用户主要集中在个省市’。我当时懵了,因为确实没有统计过这个方面的数据。当时随口说句‘河南’,因为河南人口最多。哈哈哈,挺囧的。工作了2年多居然这个数据不清楚。反正周末闲着也是闲着,就着手统计一下这方面数据. 主要思路: 1、Ip数据的抓取收集 2、分析对比IP找到相应的省市 3、统计I...

[阅读更多 →]

MySQL 锁及其机制的探究和详解

MySQL锁及其机制的探究和详解 MySQL 锁 1、screen 在介绍MySQL锁之前啊,先给大家介绍一个工具的使用screen,便于大家实践检验真理: Screen是一款由GNU计划开发的用于命令行终端切换的自由软件。用户可以通过该软件同时连接多个本地或远程的命令行会话,并在其间自由切换。GNU Screen可以看作是窗口管理器的命令行界面版本。它提供了统一的管理多个会话的界面和相应的功能。 我们这次用它的一...

[阅读更多 →]

互联网公司研发 RD 如何撰写总体设计与详细设计文档

互联网公司研发RD如何撰写总体设计与详细设计文档 工作相关 工作效率 研发工程师(RD)需要撰写的设计文档主要分为:总体设计文档 + 详细设计文档,后简称为“总设”+“详设”。 总设和详设都应该包含的部分: (1) 需求:一般以产品的语言描述,这一块可以拷贝产品需求文档中的story list部分; (2) 名词解释(可选):非相关领域内的同学需要看到文档需要提前了解的一些概念性质的东西; (3) 设计目标:又分...

[阅读更多 →]

PHP 千问

PHP千问 PHP千问 1) 使用什么函数去按值对一个多维数组进行排序?如果排序中要保留关键字呢?如何对关键词对多维数组进行排序? 2) 什么时候需要为多数组排序写一个自定义函数?这个函数将返回什么值? 3) 什么事递归函数?在什么场景下递归函数很有用?当使用递归函数的时候,有哪两点值得特别注意? 4) 什么是静态变量?在什么场景下静态变量十分有用? 5) 什么是匿名函数?在PHP的哪一个版本中引入了匿名函数? 6...

[阅读更多 →]

常见算法总结(持续更新)

常见算法总结(持续更新) PHP 算法 算法是我们遇到复杂问题时,处理程序的利器。说到算法,我们先来理解算法复杂度,其实算法复杂度是一个概念,一定程度上反映一个算法的好坏程度。算法复杂度分为两个部分,时间复杂度和空间复杂度。时间复杂度反应算法执行的时间长短,空间复杂度反应是算法占用内存(或叫存储空间)的大小。 必须说一下,所谓的复杂度,不是一个具体的值,只是一个估值,在比较两种算法优劣时使用。 1、时间复杂度 时间...

[阅读更多 →]