简斋
  • 首页
  • 归档
  • 分类
  • 标签
  • 关于

Java log 不打印异常栈信息

最近查线上问题时,发现了一个不打印异常栈信息的情况,仔细排查原来和JVM优化有关
2022-01-26
Java
#Java #JVM #Log

自建直播流媒体服务

想在web端播放实时监控视频,查看了设备厂商的接口文档,不能直接获取到视频的直播流,需要我们自己实现一下。我们准备调用厂商提供的SDK将视频流拿到后推送给客户端,这中间需要搭建一个推流服务。SRS是一个简单高效的实时视频服务器,支持RTMP/WebRTC/HLS/HTTP-FLV/SRT。
2021-11-12
应用
#工具

Python更新服务器SSH密钥

出于安全考虑,需要更换服务器上的ssh密钥,但是重复一台一台服务器更改又太浪费时间,这种重复又浪费时间的工作就交给计算机吧。在网上查了查,paramiko正适合,看了看文档,不错,说干就干。
2021-11-05
Python

Pandas计算最大连续间隔时间

日常统计中总会遇到需要统计和周期有关的数据,如用户连续登录天数,事件发生的连续性等。样本数据是用户的ID和抽奖日期,准备计算出每个用户的连续抽奖最大间隔时间,我先说一下我的思路。先将根据用户ID将用户分组并按照日期排序,对相邻的日期进行比较,差异为1天的即为连续数据,对连续数据进行计数即可计算出最大的时间间隔。
2021-09-27
Python
#Pandas #Python

使用Logstash同步Mysql数据到Elasticsearch

Logstash是一个开源数据收集引擎,具有近实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。 项目用到ES做统计,需要同步Mysql数据到ES中,我们使用Logstash进行同步,Logstash安装需要依赖的包比较多,我为了方便直接使用Docker进行操作。
2021-07-07
应用
#Elasticsearch #Mysql #Logstash

Canal实现Mysql至ClickHouse实时同步

前面两篇文章(Canal推送Mysql增量数据至RabbitMQ Canal实现Mysql至Elasticsearch实时同步)介绍了如何搭建Canal并且使用Canal将Mysql的解析后的数据投放到MQ中,和从MQ中同步数据到Elasticsearch中,这篇文章主要介绍如何同步数据到关系型数据库中。
2021-06-29
应用
#Canal #Mysql #ClickHouse

Canal推送Mysql增量数据至RabbitMQ

canal [kə’næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费
2021-06-29
应用
#Canal #Mysql #RabbitMQ

Xpath语法

XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的计算机语言。 XPath基于XML的树状结构,提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。但是XPath很快的被开发者采用来当作小型查询语言。 语法 表达式 描述 nodename 选取此节点的所有子节
2021-04-27
Python
#Java #Python #Xpath #爬虫

ZooKeeper在实际开发中的应用-事件监听

事件监听Apache Curator是Netflix公司开源的一个Zookeeper客户端,与Zookeeper提供的原生客户端相比,Curator的抽象层次更高,简化了Zookeeper客户端的开发量。Patrixck Hunt(Zookeeper committer)以一句 Guava is to Java what Curator is to Zookeeper 给予高度评价。 Watche
2021-04-25
应用
#Java #中间件 #ZooKeeper

使用Docker部署Python项目

日常开发Python,环境是一个让人头疼的问题,首先Python2和Python3很多语法不兼容,开发环境难免安装多个版本的Python,即使使用同一个版本Python不同项目使用不同版本的第三方包也会导致各种问题,所以开发Python都会使用虚拟环境,不同项目使用不同的环境,其实我们也可以使用Docker将不同的环境进行区分。
2021-01-25
Python
#Python #Docker
12345

搜索

Hexo Fluid