本次记录针对ubuntu英文版，打开带有中文字符的文件是，显示乱码问题。不是给ubuntu系统切换到中文版。切换系统语言参考https://blog.csdn.net/qq_36588424/article/details/109617096

检查语言环境

出现乱码的原因其实是字符集问题。首先使用locale查看当前语言环境。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# locale
LANG=en_US
LANGUAGE=
LC_CTYPE="en_US"
LC_NUMERIC="en_US"
LC_TIME="en_US"
LC_COLLATE="en_US"
LC_MONETARY="en_US"
LC_MESSAGES="en_US"
LC_PAPER="en_US"
LC_NAME="en_US"
LC_ADDRESS="en_US"
LC_TELEPHONE="en_US"
LC_MEASUREMENT="en_US"
LC_IDENTIFICATION="en_US"
LC_ALL=

阅读全文...

1. 添加ppa源

sudo add-apt-repository ppa:ondrej/php

2. 升级源

sudo apt-get update && sudo apt-get upgrade

接下来就可以安装各种不同版本了

3. sudo apt-get install php7.0 php7.0-mysql libapache2-mod-php7.0 php7.0-mcrypt php7.0-curl

起因

虽然7.0已经停止维护了，但有些老项目也只是过度，后期直接用新项目替换，没有必要在进行升级。所以服务器还是需要用到7.0的运行环境。
本来想用apt简单按一下，结果发现apt里面已经没有php7.0了。只能自己源码安装。

阅读全文...

网络模式

VirtualBox的提供了四种网络接入模式，它们分别是：
1、NAT 网络地址转换模式(NAT,Network Address Translation)
2、Bridged Adapter 桥接模式
3、Internal 内部网络模式
4、Host-only Adapter 主机模式

阅读全文...

mitmproxy是一个非常好用的代理工具

安装

最快速的安装莫过于执行

1
2

sudo apt install mitmproxy

由于mitmproxy是基于python开发的，所以安装mitmproxy的同时，也会自动安装上python3。

如果本地已经有了python3.6以上的版本，可以用pip进行安装

1

pip install mitmproxy

阅读全文...

c compiler cc is not found

检查是否一安装gcc如果没有，执行apt install gcc进行安装
如果已经安装了gcc，但还是包错误，就需要执行apt install build-essential

阅读全文...

加上-o ServerAliveInterval=60参数就可以了

1

ssh -o ServerAliveInterval=60 root@192.168.1.1

数据库服务器硬盘满了，需要将数据迁移到另一台数据库，做一下记录

安装

去postgresql官网https://www.postgresql.org/download/，选择操作系统，我这里选择的是ubuntu。
然后根据说明进行安装

1
2
3
4
5
6
7
8
9
10
11
12

# Create the file repository configuration:
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

# Import the repository signing key:
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -

# Update the package lists:
sudo apt-get update

# Install the latest version of PostgreSQL.
# If you want a specific version, use 'postgresql-12' or similar instead of 'postgresql':
sudo apt-get -y install postgresql

值得注意的是，安装时一定要选择与老数据库相同的版本

安装完成后，就可以会自动添加一个postgres的系统用户，该用户没有密码如果想要密码可以自行设置

阅读全文...

unionid概况

微信开发过程中，经常会遇到，一个企业有多个小程序和公众号，在不同的小程序和公众号中，会有不同的openid。如果想要确定是同一个人，就需要用到unionid机制。

官方关于unionid的说明是这样的

公众号文档的描述

开发者可通过OpenID来获取用户基本信息。特别需要注意的是，如果开发者拥有多个移动应用、网站应用和公众帐号，可通过获取用户基本信息中的unionid来区分用户的唯一性，因为只要是同一个微信开放平台帐号下的移动应用、网站应用和公众帐号，用户的unionid是唯一的。换句话说，同一用户，对同一个微信开放平台下的不同应用，unionid是相同的。

小程序文档的描述

如果开发者拥有多个移动应用、网站应用、和公众帐号（包括小程序），可通过 UnionID 来区分用户的唯一性，因为只要是同一个微信开放平台帐号下的移动应用、网站应用和公众帐号（包括小程序），用户的 UnionID 是唯一的。换句话说，同一用户，对同一个微信开放平台下的不同应用，UnionID是相同的。

阅读全文...

为了便于理解kafka，先了解一下消息队列以及通讯模式。首先先了解两个名词

• 数据生产者 产生数据的程序或服务
• 数据消费者 处理数据的程序或服务

消息队列

简单的说就是个数据集散地，数据生产方把数据放到消息队列，然后消费方从队列中获得数据进行处理。
我们把消息队列比作超市，超市的供货商就相当于数据生产者，超市顾客就是数据消费者了。

使用消息队列可以让我们解决三大问题

解耦

假设没有超市，我们买菜直接从供货商手里买的话，我们如果要买不同的菜就需要联系好多的供货商。每个供货商又要给很多人供货，这是很麻烦的。超市的出现就解决了这个麻烦，所有的供货商只需要把才运送到超市这一个地方，顾客也只需要去超市这一个地方。就可以买到很多菜。
数据也是一样的，不同用户的数据都进入消息队列，然后服务，只需要从队里中获取数据进行处理就可以了。

异步

没有超市的情况下，我们跟供货商买东西，要两个人都有时间才可以，供货商没时间送货，或者消费者没时间在家接货都无法达成交易。但是有了超市，供货商不用等消费者在家，消费者也不用等供货商有时间送货。大家都是随时去超市购买即可。
数据也一样，数据生产方随时可以产生数据，而不用担心处理数据的服务是否空闲，服务也不用立即对请求进行应答。如果服务异常退出了，等再次启动后可以消息队列中获取数据进行处理。

削峰

没有超市的情况下，如果我们买了10种菜，供货商同时到了，很有可能你拿不了。方路边？万一丢了怎么办呢。有了超市就可以一次买一点多次购买多方便。
数据也一样，最容易出现这种情况的就是秒杀，大量的数据同一时间汇入，这时候很容易让服务崩掉。有了消息队列，咱们就可以轻松化解了，所有的数据先进入消息队列。后台服务从队列中获取数据处理。

通讯模式

点对点模式

前面介绍消息队列举的例子中，都是顾客主动去超市购买商品，这种方式，我们称之为点对点方式。这种模式消费者需要主动获取数据，好处是比较灵活。缺点也很明显，数据消费者或许消息不够及时。有可能你去买菜的时候，菜已经卖没了。

发布订阅模式

为了让消费者买到好的菜，超市推出了送货上面服务，供货商将菜送来的时候，超市会把菜打包好送到您手里。这样就不会买不到菜了。
这种主动送达的方式叫做发布订阅模式，数据发送到消息队列时。消息队列会主动把数据推送给数据消费者。

kafka

消息队列软件有很多种，kafka就是其中的一种。它是Linkedin公司开发，现在已经贡献给了apache基金会。kafka的创始人还在kafka的基础上，开发了好多周边软件，用于数据流转处理。如kafka connect等

kafka启动后默认使用9092端口，想这个端口发送信息，kafka就可以收到了。为了便于操作，kafka自带有Producer和Consumer的命令行工具用于简单测试

使用kafka必须先了解一下kafka的几个关键术语。

Producer

Producer即生产者，消息的产生者，它将消息发送到kafka中。安装包内有命令行工具，在java、python、php等语言也都有响应的sdk。使用Producer对象可以将消息发送到kafka服务。发送服务时会指定Topic。

Message

消息即数据，生产者发送一次数据，会产生一条消息。

Topic

消息主题，可以理解为消息分类。比如订单业务用order，订单服务就可以只接收order topic下的消息进行处理，这是非常方便的。避免了接收无用的消息。

Partition

Topic的分区，可以理解为文件夹，当数据特别多的时候如果把数据再次进行归类存储，可以有效的提高读写效率。比如有一万个文件，放在一个文件夹中查找就比较慢，如果按照哈希分散到a-z的26个文件夹中，那每个文件夹中存储的文件数量就是1/26。当我们发现要查找的文件第一个字母是a，就直接去a文件夹下。这样就提高了查找速度。

Broker

kafka实例，可以简单理解为kafka的消息容器。每个kafka集群内的broker都有一个不重复的编号。每台服务器上可以有一到多个kafka实例，为了便于理解，我们假设一台服务器上有一个kafka实例。这样你也可以理解为一个broker等于一台服务器。

Replication

topic的副本，他存放在kafka实例（broker）上。注意一下几点

• 在kafka中默认副本的最大数量是10个
• 副本的数量不能大于Broker的数量
• follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本（包括自己）。
  这样当主分区(Leader Partition)出现故障挂掉的时候，其中一份副本会转正为主分区，让业务可以正常使用

Consumer

消费者，即消息的消费方，是消息的出口。安装包内有命令行工具，在java、python、php等语言也都有响应的sdk。使用Consumer对象可以接收或获取kafka中的数据。

Consumer Group

我们可以将多个消费者组成一个消费者组，一个topic可以被多个消费组消费。但是消费组中多人同时消费一个topic时，每个分区只能有一个人消费。消费组中的消费者数量不要超过这个topic的Partition数量

场景举例

咱们有5台服务器，每台服务器一个kafka实例（broker）。
这时候我们设置副本数量要小于5（1是主分区，剩余4个borker可用作副本），我们设置为4
假设咱们设置分区（Partition）数是10

生产了个order的topic，我们有系统A和系统B都会用到订单数据。

系统A用 group-A消费者的数量不能超过5，如果超过了，会有一个消费这始终借不到数据。group-A中每个消费者都从各自的分区（Partition）中获取数据，他们每个人的数据是不重复的。
系统B如果使用group-A，那么它消费的一些数据，系统A会无法消费。因此如果想要两个系统都获得完整的数据。就需要系统B更换分组，比如使用group-B。这样两个系统互不干扰，都可以拿到消息队列中的全部数据。