iFan

Sqlalchemy Upsert

2024-10-01T01:00:00.000Z

实现不存在则插入

def upsert(table, insert_data: dict, update_data: dict):
    """
    插入或者更新
    """
    insert_stmt = insert(table).values(**insert_data)
    on_duplicate_key_stmt = insert_stmt.on_duplicate_key_update(**update_data)
    with db.engine.connect() as connect:
        connect.execute(on_duplicate_key_stmt)

def ignore_insert(table, data: dict):
    """
    忽略重复插入
    """
    insert_command = table.__table__.insert().prefix_with(' IGNORE').values(data)
    with db.engine.connect() as connect:
        connect.execute(insert_command)
        connect.commit()

Sqlalchemy 绑定多个数据库

2024-10-01T01:00:00.000Z

绑定多个数据库

SQLALCHEMY_DATABASE_URI = 'postgres://localhost/main'
SQLALCHEMY_BINDS = {
    'users':        'mysqldb://localhost/users',
    'appmeta':      'sqlite:////path/to/appmeta.db'
}

创建和删除表

db.create_all()
db.create_all(bind=['users'])
db.create_all(bind='appmeta')
db.drop_all(bind=None)

Sqlalchemy 批量插入数据

2024-10-01T01:00:00.000Z

批量插入数据测试

import time
import sqlite3

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String,  create_engine
from sqlalchemy.orm import scoped_session, sessionmaker

Base = declarative_base()
DBSession = scoped_session(sessionmaker())
engine = None

class Customer(Base):
    __tablename__ = "customer"
    id = Column(Integer, primary_key=True)
    name = Column(String(255))

def init_sqlalchemy(dbname='sqlite:///sqlalchemy.db'):
    global engine
    engine = create_engine(dbname, echo=False)
    DBSession.remove()
    DBSession.configure(bind=engine, autoflush=False, expire_on_commit=False)
    Base.metadata.drop_all(engine)
    Base.metadata.create_all(engine)

def test_sqlalchemy_orm(n=100000):
    init_sqlalchemy()
    t0 = time.time()
    for i in range(n):
        customer = Customer()
        customer.name = 'NAME ' + str(i)
        DBSession.add(customer)
        if i % 1000 == 0:
            DBSession.flush()
    DBSession.commit()
    print(
        "SQLAlchemy ORM: Total time for " + str(n) +
        " records " + str(time.time() - t0) + " secs")

def test_sqlalchemy_orm_pk_given(n=100000):
    init_sqlalchemy()
    t0 = time.time()
    for i in range(n):
        customer = Customer(id=i+1, name="NAME " + str(i))
        DBSession.add(customer)
        if i % 1000 == 0:
            DBSession.flush()
    DBSession.commit()
    print(
        "SQLAlchemy ORM pk given: Total time for " + str(n) +
        " records " + str(time.time() - t0) + " secs")

def test_sqlalchemy_orm_bulk_insert(n=100000):
    init_sqlalchemy()
    t0 = time.time()
    n1 = n
    while n1 > 0:
        n1 = n1 - 10000
        DBSession.bulk_insert_mappings(
            Customer,
            [
                dict(name="NAME " + str(i))
                for i in range(min(10000, n1))
            ]
        )
    DBSession.commit()
    print(
        "SQLAlchemy ORM bulk_save_objects(): Total time for " + str(n) +
        " records " + str(time.time() - t0) + " secs")

def test_sqlalchemy_core(n=100000):
    init_sqlalchemy()
    t0 = time.time()
    engine.execute(
        Customer.__table__.insert(),
        [{"name": 'NAME ' + str(i)} for i in range(n)]
    )
    print(
        "SQLAlchemy Core: Total time for " + str(n) +
        " records " + str(time.time() - t0) + " secs")

def test_sqlalchemy_add_all(n=100000):
    init_sqlalchemy()
    t0 = time.time()
    objs = []
    for i in range(n):
        objs.append(Customer(id = i, name = "name" + str(i)))
    DBSession.add_all(objs)
    DBSession.commit()
    print(
        "SQLAlchemy all_all: Total time for " + str(n) +
        " records " + str(time.time() - t0) + " secs")

def init_sqlite3(dbname):
    conn = sqlite3.connect(dbname)
    c = conn.cursor()
    c.execute("DROP TABLE IF EXISTS customer")
    c.execute(
        "CREATE TABLE customer (id INTEGER NOT NULL, "
        "name VARCHAR(255), PRIMARY KEY(id))")
    conn.commit()
    return conn

def test_sqlite3(n=100000, dbname='sqlite3.db'):
    conn = init_sqlite3(dbname)
    c = conn.cursor()
    t0 = time.time()
    for i in range(n):
        row = ('NAME ' + str(i),)
        c.execute("INSERT INTO customer (name) VALUES (?)", row)
    conn.commit()
    print(
        "sqlite3: Total time for " + str(n) +
        " records " + str(time.time() - t0) + " sec")

if __name__ == '__main__':
    test_sqlalchemy_orm(100000)
    test_sqlalchemy_orm_pk_given(100000)
    test_sqlalchemy_orm_bulk_insert(100000)
    test_sqlalchemy_add_all(100000)
    test_sqlalchemy_core(100000)
    test_sqlite3(100000)

Sqlalchemy 打印建表语句

2024-10-01T01:00:00.000Z

1 2	from sqlalchemy.schema import CreateTable print( CreateTable(Model.__table__ ) )

Sqlalchemy 关联查询

2024-10-01T01:00:00.000Z

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String
from sqlalchemy.orm import relationship

# Create the database engine and session
engine = create_engine('sqlite:///join_demo.db')
Session = sessionmaker(bind=engine)
session = Session()

# Create the base model
Base = declarative_base()

# Define the table models
class Table1(Base):
    __tablename__ = 'table1'
    id = Column(Integer, primary_key=True)
    name = Column(String)
    table2_rows = relationship("Table2")

class Table2(Base):
    __tablename__ = 'table2'
    id = Column(Integer, primary_key=True)
    table1_id = Column(Integer, ForeignKey('table1.id'))
    name = Column(String)

# Create the tables
Base.metadata.create_all(engine)

# Insert sample data
table1_data = [
    Table1(id=1, name='Table1 Row 1'),
    Table1(id=2, name='Table1 Row 2'),
    Table1(id=3, name='Table1 Row 3')
]
session.bulk_save_objects(table1_data)

table2_data = [
    Table2(id=1, table1_id=1, name='Table2 Row 1'),
    Table2(id=2, table1_id=3, name='Table2 Row 2')
]
session.bulk_save_objects(table2_data)

# 1. Inner Join
inner_join_query = session.query(Table1, Table2).join(Table2, Table1.id == Table2.table1_id)
inner_join_results = inner_join_query.all()
print("Inner Join Results:")
for result in inner_join_results:
    print(result[0].name, result[1].name)
print()

# 2. Left Join
left_join_query = session.query(Table1, Table2).join(Table2, Table1.id == Table2.table1_id, isouter=True)
left_join_results = left_join_query.all()
print("Left Join Results:")
for result in left_join_results:
    print(result[0].name, result[1].name if result[1] else "NULL")
print()

# 3. Right Join
right_join_query = session.query(Table1, Table2).join(Table2, Table1.id == Table2.table1_id, isouter=True).from_statement("RIGHT JOIN table1 ON table1.id = table2.table1_id")
right_join_results = right_join_query.all()
print("Right Join Results:")
for result in right_join_results:
    print(result[0].name if result[0] else "NULL", result[1].name)
print()

# 4. Full Join
full_join_query = session.query(Table1, Table2).join(Table2, Table1.id == Table2.table1_id, full=True)
full_join_results = full_join_query.all()
print("Full Join Results:")
for result in full_join_results:
    print(result[0].name if result[0] else "NULL", result[1].name if result[1] else "NULL")
print()

# 5. Cross Join
cross_join_query = session.query(Table1, Table2).cross_join(Table2)
cross_join_results = cross_join_query.all()
print("Cross Join Results:")
for result in cross_join_results:
    print(result[0].name, result[1].name)

Docker Minio 实现文件永久链接

2022-12-10T01:00:00.000Z

启动Minio

#!/bin/bash

BASEPATH=`pwd`
NAME=minio

docker rm -f $NAME
docker run -d --name $NAME \
    --restart=always \
    -v $BASEPATH/data:/data \
    -v $BASEPATH/conf:/root/.minio \
    -e "MINIO_SERVER_URL=https://APIHost地址" \ # 文件分享地址
    -e "MINIO_BROWSER_REDIRECT_URL=https://minio地址" \ # 页面查看地址
    -e "MINIO_ROOT_USER=xxxx" \
    -e "MINIO_ROOT_PASSWORD=xxxx" \
    minio/minio \
    server ./data --console-address ":9001" --address ":9000"
docker logs -f $NAME

Nginx 配置

server {
    listen 80;
    listen [::]:80;
    server_name xxxx;
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 ssl http2;
    server_name xxxx;
    location / {
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://minio:9001/; # API自行配置9000
    }
    ssl_certificate        /usr/local/openresty/nginx/cert/fullchain.cer;
    ssl_certificate_key    /usr/local/openresty/nginx/cert/ifan.host.key;
    ssl_protocols TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 10m;

    access_log  /usr/local/openresty/nginx/logs/minio.access.log;
    error_log  /usr/local/openresty/nginx/logs/minio.error.log;
}

配置本地mc

{
"version": "10",
"aliases": {
"minio": {
"url": "https://API地址",
"accessKey": "xxxx",
"secretKey": "xxx",
"api": "s3v4",
"path": "auto"
}
}
}

设置永久链接

1 2	# 设置桶为匿名可读 mc anonymous set download minio/桶名称

Minio 配置 nginx 代理

2022-12-10T01:00:00.000Z

启动Minio

#!/bin/bash

BASEPATH=`pwd`
NAME=minio

docker rm -f $NAME
docker run -d --name $NAME \
    --restart=always \
    -v $BASEPATH/data:/data \
    -v $BASEPATH/conf:/root/.minio \
    -e "MINIO_SERVER_URL=https://APIHost地址" \ # 文件分享地址
    -e "MINIO_BROWSER_REDIRECT_URL=https://minio地址" \ # 页面查看地址
    -e "MINIO_ROOT_USER=xxxx" \
    -e "MINIO_ROOT_PASSWORD=xxxx" \
    minio/minio \
    server ./data --console-address ":9001" --address ":9000"
docker logs -f $NAME

nginx配置

server {
    listen 80;
    listen [::]:80;
    server_name xxxx;
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 ssl http2;
    server_name xxxx;
    location / {
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://minio:9001/; # API自行配置9000
    }
    ssl_certificate        /usr/local/openresty/nginx/cert/fullchain.cer;
    ssl_certificate_key    /usr/local/openresty/nginx/cert/ifan.host.key;
    ssl_protocols TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 10m;

    access_log  /usr/local/openresty/nginx/logs/minio.access.log;
    error_log  /usr/local/openresty/nginx/logs/minio.error.log;
}

配置本地mc

{
"version": "10",
"aliases": {
"minio": {
"url": "https://API地址",
"accessKey": "xxxx",
"secretKey": "xxx",
"api": "s3v4",
"path": "auto"
}
}
}

设置永久链接

1 2	# 设置桶为匿名可读 mc anonymous set download minio/桶名称

Sqlalchemy 基础学习

2022-12-01T01:00:00.000Z

增删改查

添加

# 添加单个对象
user = User(name='ed', fullname='Ed Jones', nickname='edsnickname')
session.add(user)
# 添加对象忽略重复错误
insert_command = User.__table__.insert().prefix_with(' IGNORE').values(data)
with db.engine.connect() as connect:
    connect.execute(insert_command)
    connect.commit()
# 批量添加
users = [
    User(name='wendy', fullname='Wendy Williams', nickname='windy'),
    User(name='mary', fullname='Mary Contrary', nickname='mary'),
    User(name='fred', fullname='Fred Flintstone', nickname='freddy')
]
session.add_all(users)
session.commit() # 提交
session.rollback() # 回滚
# Upsert
insert_stmt = insert(User).values(**insert_data)
on_duplicate_key_stmt = insert_stmt.on_duplicate_key_update(**update_data)
with db.engine.connect() as connect:
    connect.execute(on_duplicate_key_stmt)

删除

1 2	session.delete(jack) session.query(User).filter_by(name='jack').count()

修改

from sqlalchemy import update, bindparam
stmt = update(User).where(User.c.name == "iFan").values(fullname="iFanlw")

stmt = update(user_table).where(user_table.c.name == bindparam("oldname")).values(name=bindparam("newname"))
with engine.begin() as conn:
    conn.execute(
        stmt,
        [
            {"oldname": "jack", "newname": "ed"},
            {"oldname": "wendy", "newname": "mary"},
            {"oldname": "jim", "newname": "jake"},
        ],
    )

查询

# 查询全部
session.query(User).all()

# 根据条件查询
session.query(User).filter(User.name == "iFan").all()
session.query(User).filter(User.name != "iFan").all()
session.query(User).filter(User.name.like("%ifan%")).all() # 区分大小写
session.query(User).filter(User.name.ilike("%ifan%")).all() # 不区分大小写
session.query(User).filter(User.name.in_(["ifan", "ifan1"])).all()
session.query(User).filter(User.name.in_(session.query(User.name).filter(User.name.like("%ifan%")))).all()
# 多个In条件组合
from sqlalchemy import tuple_
query.filter(tuple_(User.name, User.nickname).in_([('ed', 'edsnickname'), ('wendy', 'windy')]))
# not in 
session.query.filter(~User.name.in_(['ed', 'wendy', 'jack']))
# is None
session.query(User).filter(User.name.is_not(None)).all()
# and
from sqlalchemy import and_
session.query.filter(and_(User.name == 'ed', User.fullname == 'Ed Jones'))
# or
from sqlalchemy import or_
session.query.filter(or_(User.name == 'ed', User.name == 'wendy'))
# 存在则返回，否则返回None
session.query.filter(User.id == 1).one_or_none()
# 使用文本的查询
from sqlalchemy import text
session.query.filter(text("id = 1")).order_by(text("id").all()
session.query(User).filter(text("id<:value and name=:name")).params(value=224, name='fred').order_by(User.id).one()
session.query(User).from_statement(text("SELECT * FROM users where name=:name")).params(name='ed').all()
stmt = text("SELECT name, id, fullname, nickname FROM users where name=:name")
stmt = stmt.columns(User.name, User.id, User.fullname, User.nickname)
session.query(User).from_statement(stmt).params(name='ed').all()


# 限制返回
for user in session.query(User).filter(User.age == 18)[:18]:
    print(user.username, user.age)

分组查询

# 分组查询
from sqlalchemy import func
session.query(func.count(User.name), User.name).group_by(User.name).all()
# count
session.query(func.count('*')).select_from(User).scalar()
session.query(func.count(User.id)).scalar()

Mac clashx 自动切换代理

2022-11-27T14:00:00.000Z

设置自动切换代理

proxy-groups:
- name: "auto"
  type: url-test
  proxies:
    - ss1
    - ss2
    - vmess1
  url: 'http://www.gstatic.com/generate_204'
  interval: 300
 #tolerance: 50
 #lazy: true
 #disable-udp: true

Mac parallels 初始化网络失败

2022-11-27T14:00:00.000Z

1. parallels 初始化网络失败

1	sudo vim /Library/Preferences/Parallels/network.desktop.xml

将 -1 改为 0

2. 操作失败

在创建前选择【安装前设置】
选择【硬件】->【CPU和内存】->【高级】
选择【虚拟机监控程序】-> 【Parallels】

Mac 关闭特定的软件随系统的颜色变化

2022-11-27T14:00:00.000Z

1
2
3

osascript -e 'id of app "Mybase"'

defaults write com.wjjsoft.mybase8 NSRequiresAquaSystemAppearance -bool Yes

Mysql 统计数据库存储使用大小

2022-11-27T13:00:00.000Z

前言在 mysql 中有一个默认的数据表 information_schema，information_schema 这张数据表保存了 MySQL 服务器所有数据库的信息。如数据库名，数据库的表，表栏的数据类型与访问权限等。

再简单点，这台 MySQL 服务器上，到底有哪些数据库、各个数据库有哪些表，每张表的字段类型是什么，各个数据库要什么权限才能访问，等等信息都保存在 information_schema 表里面，所以请勿删改此表。

代码

1，切换数据库

1	use information_schema;

2，查看数据库使用大小

1	select concat(round(sum(data_length/1024/1024),2),’MB’) as data from tables where table_schema=’DB_Name’ ;

3，查看表使用大小

1	select concat(round(sum(data_length/1024/1024),2),’MB’) as data from tables where table_schema=’DB_Name’ and table_name=’Table_Name’;

网上找的一个，亲测可用:

先进去 MySQL 自带管理库：information_schema

然后查询 data_length,index_length

你自己的数据库名：dbname

你自己的表名：tablename

mysql> use information_schema;    
Database changed    
mysql> select data_length,index_length    
    -> from tables where    
    -> table_schema='dbname'    
    -> and table_name = 'tablename';   
+-------------+--------------+    
| data_length | index_length |    
+-------------+--------------+    
|   166379520 |    235782144 |    
+-------------+--------------+    
row in set (0.02 sec)    
mysql> select concat(round(sum(data_length/1024/1024),2),'MB') as data_length_MB,    
    -> concat(round(sum(index_length/1024/1024),2),'MB') as index_length_MB    
    -> from tables where    
    -> table_schema='dbname'    
    -> and table_name = 'tablename';   
+----------------+-----------------+    
| data_length_MB | index_length_MB |    
+----------------+-----------------+    
| 158.67MB       | 224.86MB        |    
+----------------+-----------------+    
row in set (0.03 sec)

1. 查看所有数据库容量大小

select  
table_schema as '数据库',  
sum(table_rows) as '记录数',  
sum(truncate(data_length/1024/1024, 2)) as '数据容量(MB)',  
sum(truncate(index_length/1024/1024, 2)) as '索引容量(MB)'  
from information_schema.tables  
group by table_schema  
order by sum(data_length) desc, sum(index_length) desc;

2.查看所有数据库各表容量大小

select  
table_schema as '数据库',  
table_name as '表名',  
table_rows as '记录数',  
truncate(data_length/1024/1024, 2) as '数据容量(MB)',  
truncate(index_length/1024/1024, 2) as '索引容量(MB)'  
from information_schema.tables  
order by data_length desc, index_length desc;

3. 查看指定数据库容量大小

例：查看 mysql 库容量大小

select  
table_schema as '数据库',  
sum(table_rows) as '记录数',  
sum(truncate(data_length/1024/1024, 2)) as '数据容量(MB)',  
sum(truncate(index_length/1024/1024, 2)) as '索引容量(MB)'  
from information_schema.tables  
where table_schema='mysql';

4. 查看指定数据库各表容量大小

例：查看 mysql 库各表容量大小

select  
table_schema as '数据库',  
table_name as '表名',  
table_rows as '记录数',  
truncate(data_length/1024/1024, 2) as '数据容量(MB)',  
truncate(index_length/1024/1024, 2) as '索引容量(MB)'  
from information_schema.tables  
where table_schema='mysql'  
order by data_length desc, index_length desc;  
select concat(round(sum(data_length/1024/1024),2),'MB') as data_length_MB, concat(round(sum(index_length/1024/1024),2),'MB') as index_length_MB  
from tables  
where table_schema='passport' and table_name='tb_user_info';

– 569.98MB 141.98MB

1
2
3

select concat(round(sum(data_length/1024/1024),2),'MB') as data_length_MB, concat(round(sum(index_length/1024/1024),2),'MB') as index_length_MB  
from tables  
where table_schema='passport_v2' and table_name='tb_user_info';

NodeJS http-proxy-middleware

2022-11-27T12:00:00.000Z

http-proxy-middleware

用于把请求代理转发到其他服务器的中间件

1	npm install --save-dev http-proxy-middleware

// 引用依赖
var express = require('express');
var proxy = require('http-proxy-middleware');

// proxy 中间件的选择项
var options = {
        target: 'http://www.example.org', // 目标服务器 host
        changeOrigin: true,               // 默认false，是否需要改变原始主机头为目标URL
        ws: true,                         // 是否代理websockets
        pathRewrite: {
            '^/api/old-path' : '/api/new-path',     // 重写请求，比如我们源访问的是api/old-path，那么请求会被解析为/api/new-path
            '^/api/remove/path' : '/path'           // 同上
        },
        router: {
            // 如果请求主机 == 'dev.localhost:3000',
            // 重写目标服务器 'http://www.example.org' 为 'http://localhost:8000'
            'dev.localhost:3000' : 'http://localhost:8000'
        }
    };

// 创建代理
var exampleProxy = proxy(options);

// 使用代理
var app = express();
    app.use('/api', exampleProxy);
    app.listen(3000);

路径匹配

proxy({...}): 匹配任何路径，将所有请求转发
proxy({'/', {...}}): 匹配任何路径，将所有请求转发
proxy({'/api', {...}}): 匹配 /api 开头的请求
proxy(['/api', '/ajax'], {....}): 匹配多个路径转发
proxy('**', {...}): 匹配任何路径，将所有请求转发
proxy('**/*.html', {...}): 匹配任何以html结尾的
proxy('/api/**/*.html', {...}): 匹配 /api 下以 html 结尾的请求
proxy(['/api/**', '/ajax/**'], {...}): 组合
proxy(['/api/**', '!**/bad.json'], {...}): 不包括 **/bad.json

var filter = function (pathname, req) {
    return (pathname.match('^/api') && req.method === 'GET');
};
var apiProxy = proxy(filter, {target: 'http://www.example.org'})

重写请求

pathRewrite 重写目标url请求

// 重写
pathRewrite: {'^/old/api' : '/new/api'}

// 移除
pathRewrite: {'^/remove/api' : ''}

// 添加
pathRewrite: {'^/' : '/basepath/'}

// 自定义
pathRewrite: function (path, req) { return path.replace('/api', '/base/api') }

router 重新指定请求转发目标

// 使用主机或者路径进行匹配，返回最先匹配到结果
// 所以配置的顺序很重要
router: {
    'integration.localhost:3000' : 'http://localhost:8001',  // host only
    'staging.localhost:3000'     : 'http://localhost:8002',  // host only
    'localhost:3000/api'         : 'http://localhost:8003',  // host + path
    '/rest'                      : 'http://localhost:8004'   // path only
}

// 自定义
router: function(req) {
    return 'http://localhost:8004';
}

http proxy

onError

// 监听proxy的onerr事件
proxy.on('error', function (err, req, res) {
  res.writeHead(500, {
    'Content-Type': 'text/plain'
  });

  res.end('Something went wrong. And we are reporting a custom error message.');
});

onProxyRes 监听proxy的回应事件

1
2
3

proxy.on('proxyRes', function (proxyRes, req, res) {
  console.log('RAW Response from the target', JSON.stringify(proxyRes.headers, true, 2));
});

onProxyReq: 监听proxy的请求事件

1
2
3

proxy.on('proxyReq', function onProxyReq(proxyReq, req, res) {
    proxyReq.setHeader('x-added', 'foobar');
});

onProxyReqWs

1
2
3

function onProxyReqWs(proxyReq, req, socket, options, head) {
    proxyReq.setHeader('X-Special-Proxy-Header', 'foobar');
}

onOpen: 监听来自目标服务器的信息

1
2
3

proxy.on('open', function (proxySocket) {
  proxySocket.on('data', hybiParseAndLogMessage);
});

onClose: 链接断开

1
2
3

proxy.on('close', function (res, socket, head) {
  console.log('Client disconnected');
});

Frida 学习

2022-08-11T06:10:00.000Z

Frida 学习笔记

环境开发

查看安卓手机的版本

1	adb shell getprop ro.product.cpu.abi

安装Python环境和frida-server

pip install frida==15.0.11
pip install frida-tools==10.2.1
pip install objection
wget https://github.com/frida/frida/releases?page=7#:~:text=frida%2Dserver%2D15.0.11%2Dandroid%2Darm64.xz
adb push frida-server-15.0.11 /data/local/tmp/
adb shell 
su root 
cd /data/local/tmp
chmod +x frida-server-15.0.11
./frida-server-15.0.11 -l 0.0.0.0:12345

frida 基础

一些函数签名

Field Descriptor	Java Language Type
Z	boolean
B	byte
C	char
S	short
I	int
J	long
F	float
D	double
`[`	array

// 修改静态参数和非静态参数
// 如果类中 成员函数 和 成员变量名称相同，则成员变量前添加 _
Java.perform(function () {
    console.log("start")
    var FridaActivity2 = Java.use("com.example.androiddemo.Activity.FridaActivity2")
    //hook静态函数直接调用
    FridaActivity2.setStatic_bool_var()
    //hook动态函数，找到instance实例，从实例调用函数方法
    Java.choose("com.example.androiddemo.Activity.FridaActivity2", {
        onMatch: function (instance) {
            instance.setBool_var()
        },
        onComplete: function () {
            console.log("end")
        }
    })
})

// Hook 内部类
var InnerClasses = Java.use("com.example.androiddemo.Activity.FridaActivity4$InnerClasses")

// 修改默认的Java Loader
Java.enumerateClassLoaders({
    onMatch: function (loader) {
        try {
            // 查看当前Loader中是否含有该类
            if(loader.findClass("com.example.androiddemo.Dynamic.DynamicCheck")){
                console.log("Successfully found loader")
                console.log(loader);
                // 如果存在则设置为默认的Loader
                Java.classFactory.loader = loader ;
            }
        }
        catch(error){
            console.log("find error:" + error)
        }
    },
    onComplete: function () {
        console.log("end1")
    }
})
Java.use("com.example.androiddemo.Dynamic.DynamicCheck").check.implementation = function () {
    return true
}

// 遍历所有静态类
Java.enumerateLoadedClasses({
    onMatch: function (name, handle){
        if (name.indexOf("com.example.androiddemo.Activity.Frida6") != -1) {
            console.log("name:" + name + " handle:" + handle)
            Java.use(name).check.implementation = function () {
                return true
            }
        }
    },
    onComplete: function () {
        console.log("end")
    }
})

// 搜索interface的具体实现类 利用反射得到类里面实现的interface数组，并打印出来。
Java.enumerateLoadedClasses({
    onMatch: function (class_name){
        if (class_name.indexOf("com.example.androiddemo") < 0) {
            return
        }
        else {
            var hook_cls = Java.use(class_name)
            var interfaces = hook_cls.class.getInterfaces()
            if (interfaces.length > 0) {
                console.log(class_name + ": ")
                for (var i in interfaces) {
                    console.log("\t", interfaces[i].toString())
                }
            }
        }
    },
    onComplete: function () {
        console.log("end")
    }
})

// Hook 构造函数
Java.use("com.tlamb96.kgbmessenger.b.a").$init.implementation = function (i, str1, str2, z) {
    this.$init(i, str1, str2, z)
    console.log(i, str1, str2, z)
    printStack("com.tlamb96.kgbmessenger.b.a")
}

// 强制转换
Java.cast(Childer, Java.use("com.androidapp.Father"))

// 新建Class
var interfaceClass = Java.use("com.androidapp.InterfaceClazz");
var newClass = Java.registerClass({
    name: 'com.androidapp.newClass',
    implements: [interfaceClass],
    methods: {
        flow: function () {
            return "OK";
        }
    }
});
console.log(newClass.$new().flow())  

// 枚举类
Java.choose("com.exampleapp.Signal",{
    onMatch:function(instance){
        console.log("instance.name:",instance.name());
        console.log("instance.getDeclaringClass:",instance.getDeclaringClass());                
    },onComplete:function(){
        console.log("search completed!")
    }
})

外部调用

import frida
import sys
import os


class HookManager:
    def __init__(self, arg, Flag):
        self.arg = arg
        self.js_code = ''
        self.JS_FILE = 'jscode/'
        self.load_js()
        if flag: self.log = open('log/' + arg + '.txt', 'w+', encoding='utf-8')

    def load_js(self):
        file_names = os.listdir(self.JS_FILE)
        for filename in file_names:
            print('载入：' + filename)
            with open(self.JS_FILE + filename, 'r', encoding='utf-8') as f:
                self.js_code += f.read()
        print('\n')

    def message(self, msg, data):
        if msg["type"] == 'send':
            print(u"[*] {0}".format(msg['payload']))
            if not self.log: return
            self.log.write(u"[*] {0}\n".format(msg['payload']))
            self.log.flush()
        else:
            print(msg)

    def hooking(self, host):
        try:
            process = frida.get_device_manager().add_remote_device(host).attach(self.arg)
            # one devices use
            # process = frida.get_remote_device(host).attach(self.arg)
            script = process.create_script(self.js_code)
            script.on("message", self.message)
            script.load()
            sys.stdin.read()
        except frida.ServerNotRunningError:
            print('没有开启对应app， 或没有开启映射端口')

    def close(self):
        self.log.close()


if __name__ == '__main__':

    bak = "com.example.test"
    host_list = [
        "192.168.191.2:9898",
    ]

    flag = True if len(host_list) ==1 else flag == False  # 只有一台机子的时候默认是调试模式， 多台就是控制模式
    hk = HookManager(bak, flag)

    for host in host_list:
        hk.hooking(host)

    hk.close()

frida-tools 方法

1	frida-ps -U # 查看当前存在的进程

1. 脱离PC使用Frida的几种方式
    a) 在手机上使用Termux终端
    b) frida-inject
    c) frida-gadget.so
        优点：可以免root使用frida、frida-gadget比较稳定
            缺点：需要重打包app，局限性较大。但是我们可以通过魔改系统，让系统帮我们注入so，免去重打包的繁琐

2. frida-inject的配置、选项和使用
    -f、-p、-n、-s、-e

3. 脱离pc后，如何判断hook是否生效
    a) 写文件，然后查看文件内容
    b) 主动调用Log的方法输出信息，然后使用logcat查看
    c) 修改某些方法逻辑

objection

# 启动并注入内存
objection -g xxx.xxx.xxx explore -P /Users/username/.objection/plugins

启动前就hook
objection -N -h  -p  -g <进程名> explore --startup-command "android hooking watch class <路径.类名>"

启动前就hook打印参数、返回值、函数调用栈
objection -N -h  -p  -g <进程名> explore -s "android hooking watch class_method <路径.类名.方法名>  --dump-args --dump-return --dump-backtrace"

如果启动前需要运行多条命令，可以写到一个文件中，使用-c选项
objection -g <进程名> explore -c "路径"

# 查看当前加载的module
memory list modules

# 查看库的导出函数
memory list exports libssl.so

# 内存搜索 
memory search 

# 列出内存中所有的类 
android hooking list classes

# 在内存中所有已加载的类的方法中搜索包含特定关键词的方法 
android hooking search methods display

# 内存中搜索指定类的所有方法 
android hooking list class_methods 类名

# 在内存中所有已加载的类中搜索包含特定关键词的类。 
android hooking search classes display

# 搜索堆中的实例
android heap search instances <类名>

# Hook该类的全部方法 打印入参 调用栈 返回
android hooking watch class 类名 --dump-args --dump-backtrace --dump-return
# Hook具体的方法的所有重载方法
android hooking watch class_method 方法名

# 调用实例的方法 
android heap execute 实例ID 实例方法

# 直接启动activity或者服务 
android intent launch_activity/launch_service activity/服务

# 查看当前可用的activity或者service 
android hooking list activities/services

# 内存堆搜索实例 
android heap search instances 类名

# 通过实例调用静态和实例方法
android heap execute  <方法名>

# 打印所有 activities （页面）
android hooking list activities 

查看与取消hook
jobs list
jobs kill 

# 关闭ssl校验
android sslpinning disable

# 关闭root检测
android root disable


# 直接生成该类的Hook方法
android hooking generate  simple  com.android.settings.DisplaySettings

！             # 执行操作系统的命令(注意:不是在所连接device上执行命令)
android     # 执行指定的 Android 命令
        clipboard
                monitor
        deoptimize    # Force the VM to execute everything in the interpreter
        heap
                evaluate    # 在 Java 类中执行 JavaScript 脚本。
                execute     # 在 Java 类中执行 方法。android heap execute 实例ID 实例方法
                print
                search
                        instances  # 在当前Android heap上搜索类的实例。android heap search instances 类名
        hooking
                generate
                        class    #  A generic hook manager for Classes
                        simple   #  Simple hooks for each Class method
                get
                        current_activity    #  获取当前 前景(foregrounded) activity
                list
                        activities    # 列出已经登记的 Activities
                        class_loaders # 列出已经登记的 class loaders 
                        class_methods # 列出一个类上的可用的方法
                        classes       # 列出当前载入的所有类
                        receivers     # 列出已经登记的 BroadcastReceivers
                        services      # 列出已经登记的 Services
                search
                        classes 关键字    # 搜索与名称匹配的Java类
                        methods 关键字    # 搜索与名称匹配的Java方法
                set
                        return_value    # 设置一个方法的返回值。只支持布尔返回
                watch
                        class           # Watches for invocations of all methods in a class
                        class_method    # Watches for invocations of a specific class method
        intent
                launch_activity    # 使用Intent启动Activity类
                launch_service     # Launch a Service class using an Intent
        keystore
                clear    # 清除 Android KeyStore
                list     # 列出 Android KeyStore 中的条目
                watch    # 监视 Android KeyStore 的使用
        proxy    
                set      # 为应用程序设置代理
        root
            disable    # 试图禁用 root 检测
            simulate   # 试图模拟已经 root 的环境
        shell_exec     # 执行shell命令
        sslpinning
                disable    # 尝试禁用 SSL pinning 在各种 Java libraries/classes
        ui
            FLAG_SECURE    # Control FLAG_SECURE of the current Activity
            screenshot     # 在当前 Activity 进行截图
cd          # 改变当前工作目录
commands        
        clear    # 清除当前会话命令的历史记录
        history  # 列出当前会话命令历史记录
        save     # 将在此会话中运行的所有惟一命令保存到一个文件中
env         # 打印环境信息
evaluate    # 执行 JavaScript。( Evaluate JavaScript within the agent )
exit        # 退出
file
        cat         # 打印文件内容
        download    # 下载一个文件
        http        
                start    # Start's an HTTP server in the current working directory
                status   # Get the status of the HTTP server
                stop     # Stop's a running HTTP server
        upload           # 上传一个文件
frida       # 获取关于 frida 环境的信息
import      # 从完整路径导入 frida 脚本并运行
ios         执行指定的 ios 命令
        bundles
        cookies
        heap
        hooking
        info
        jailbreak
        keychain
        monitor
        nsurlcredentialstorage
        nsuserdefaults
        pasteboard
        plist
        sslpinning
        ui
jobs
        kill    # 结束一个任务。这个操作不会写在卸载或者退出当前脚本
        list    # 列出当前所有的任务
ls              # 列出当前工作目录下的文件
memory
        dump
                all 文件名                      # Dump 当前进程的整个内存
                from_base 起始地址 字节数 文件  # 将(x)个字节的内存从基址转储到文件
        list
                exports    # List the exports of a module. (列出模块的导出)
                modules    # List loaded modules in the current process. (列出当前进程中已加载的模块)
        search    # 搜索模块。用法：memory search "" (--string) (--offsets-only)
        write     # 将原始字节写入内存地址。小心使用!
ping        # ping agent
plugin      
        load    # 载入插接
pwd             # 打印当前工作目录
reconnect       # 重新连接 device
rm              # 从 device 上删除文件 
sqlite          # sqlite 数据库命令
        connect  # 连接到SQLite数据库文件
ui
        alert    # 显示警报消息，可选地指定要显示的消息。(目前iOS崩溃)

wallbreaker

1 2	cd ~/.objection/plugins git clone https://github.com/hluwa/Wallbreaker.git

# 搜索类
plugin wallbreaker classsearch 

# 搜索对象
plugin wallbreaker objectsearch 

# 根据类名搜索内存中已经被创建的实例，列出 handle 和 toString() 的结果。
plugin wallbreaker classdump  [--fullname]
plugin wallbreaker objectdump  [--fullname]

frida-dexdump

1	pip3 install frida-dexdump

frida-dexdump -FU
frida-dexdump -U -f com.app.pkgname

    -o OUTPUT, --output OUTPUT  Output folder path, default is './/'.
    -d, --deep-search           Enable deep search mode.
    --sleep SLEEP               Waiting times for start, spawn mode default is 5s.

工具方法

打印调用栈


function printStack1(name) {
    Java.perform(function () {
        var Exception = Java.use("java.lang.Exception");
        var ins = Exception.$new("Exception");
        var straces = ins.getStackTrace();
        if (straces != undefined && straces != null) {
            var strace = straces.toString();
            var replaceStr = strace.replace(/,/g, "\\n");
            console.log("=============================" + name + " Stack strat=======================");
            console.log(replaceStr);
            console.log("=============================" + name + " Stack end=======================\r\n");
            Exception.$dispose();
        }
    });
}

function printStack2(str_tag) {
    var Exception=  Java.use("java.lang.Exception");
    var ins = Exception.$new("Exception");
    var straces = ins.getStackTrace();

    if (undefined == straces || null  == straces) 
    {
        return;
    }

    console.log("=============================" + str_tag + " Stack strat=======================");
    console.log("");


    for (var i = 0; i < straces.length; i++)
     {
            var str = "   " + straces[i].toString();
            console.log(str);
    }

    console.log("");
    console.log("=============================" + str_tag + " Stack end=======================\r\n");
    Exception.$dispose();
}

byte2String

function byteToString(bytes){
    const JString = Java.use('java.lang.String');
    return JString.$new(bytes);
}

Hook Md5 aes base64 等

//frida hook aes
 function hook_cipher(){
    var cipher = Java.use("javax.crypto.Cipher");
    cipher.doFinal.implementation = function(data, offset, length){
        var ret = this.doFinal(data, offset, length);
        console.log("doFinal: " + ret);
        return ret;
    }
}
function hook_aes(){
    var aes = Java.use("javax.crypto.spec.SecretKeySpec");
    aes.getEncoded.implementation = function(){
        var ret = this.getEncoded();
        console.log("getEncoded: " + ret);
        return ret;
    }
}
function hook_base64(){
    var base64 = Java.use("android.util.Base64");
    base64.encodeToString.implementation = function(data, flags){
        var ret = this.encodeToString(data, flags);
        console.log("encodeToString: " + ret);
        return ret;
    }
}
function hook_md5(){
    var md5 = Java.use("java.security.MessageDigest");
    md5.digest.implementation = function(data){
        var ret = this.digest(data);
        console.log("digest: " + ret);
        return ret;
    }
}
function hook_sha1(){
    var sha1 = Java.use("java.security.MessageDigest");
    sha1.digest.implementation = function(data){
        var ret = this.digest(data);
        console.log("digest: " + ret);
        return ret;
    }
}
function hook_sha256(){
    var sha256 = Java.use("java.security.MessageDigest");
    sha256.digest.implementation = function(data){
        var ret = this.digest(data);
        console.log("digest: " + ret);
        return ret;
    }
}
function hook_sha512(){
    var sha512 = Java.use("java.security.MessageDigest");
    sha512.digest.implementation = function(data){
        var ret = this.digest(data);
        console.log("digest: " + ret);
        return ret;
    }
}
function hook_hmac(){
    var hmac = Java.use("javax.crypto.Mac");
    hmac.doFinal.implementation = function(data){
        var ret = this.doFinal(data);
        console.log("doFinal: " + ret);
        return ret;
    }
}
function hook_rsa(){
    var rsa = Java.use("java.security.interfaces.RSAPublicKey");
    rsa.getEncoded.implementation = function(){
        var ret = this.getEncoded();
        console.log("getEncoded: " + ret);
        return ret;
    }
}
function hook_map(){
    var map = Java.use("java.util.HashMap");
    map.put.implementation = function(key, value){
        var ret = this.put(key, value);
        console.log("put: " + ret);
        return ret;
    }
       
}
function hook_list(){
    var list = Java.use("java.util.ArrayList");
    list.add.implementation = function(value){
        var ret = this.add(value);
        console.log("add: " + ret);
        return ret;
    }
}
function hook_perform_click(){
    var click = Java.use("android.view.View");
    click.performClick.implementation = function(){
        var ret = this.performClick();
        console.log("performClick: " + ret);
        return ret;
    }
}
function hook_set_text(){
    var text = Java.use("android.widget.TextView");
    text.setText.implementation = function(text){
        var ret = this.setText(text);
        console.log("setText: " + ret);
        return ret;
    }
}
function hook_get_text(){
    var text = Java.use("android.widget.TextView"); 
    text.getText.implementation = function(){
        var ret = this.getText();
        console.log("getText: " + ret);
        return ret;
    }   
}
function hook_get_package_name(){
    var package_name = Java.use("android.content.Context");
    package_name.getPackageName.implementation = function(){
        var ret = this.getPackageName();
        console.log("getPackageName: " + ret);
        return ret;
    }
}
//frida byte to string 
function hook_byte_to_string(){
    var byte = Java.use("[B");
    byte.toString.implementation = function(){
        var ret = this.toString();
        console.log("toString: " + ret);
        return ret;
    }
}
//frida string to byte
function hook_string_to_byte(){
    var string = Java.use("java.lang.String");
    string.getBytes.implementation = function(){
        var ret = this.getBytes();
        console.log("getBytes: " + ret);
        return ret;
    }
}
function hook_response(){
    var response = Java.use("okhttp3.Response");
    response.body.implementation = function(){
        var ret = this.body();
        console.log("body: " + ret);
        return ret;
    }
}
function hook_request_url(){
    var request = Java.use("okhttp3.Request");
    request.url.implementation = function(){
        var ret = this.url();
        console.log("url: " + ret);
        return ret;
    }
}
function hook_url(){
    var url = Java.use("java.net.URL");
    url.toString.implementation = function(){
        var ret = this.toString();
        console.log("toString: " + ret);
        return ret;
    }
}
function hook_url_connection(){
    var url_connection = Java.use("java.net.URLConnection");
    url_connection.getInputStream.implementation = function(){
        var ret = this.getInputStream();
        console.log("getInputStream: " + ret);
        return ret;
    }
}
function hook_output_stream(){
    var output_stream = Java.use("java.io.OutputStream");
    output_stream.write.implementation = function(data){
        var ret = this.write(data);
        console.log("write: " + ret);
        return ret;
    }
};
function hook_loadLibrary(){
    var lib = Java.use("java.lang.System");
    lib.loadLibrary.implementation = function(name){
        var ret = this.loadLibrary(name);
        console.log("loadLibrary: " + ret);
        return ret;
    }
    var linker = Java.use("dalvik.system.DexClassLoader");
    linker.loadClass.implementation = function(name){
        var ret = this.loadClass(name);
        console.log("loadClass: " + ret);
        return ret;
    }

}
function libart_hook(){
    var libart = Java.use("libart.DexFile");
    libart.openDexFile.implementation = function(path,name,flags){
        var ret = this.openDexFile(path,name,flags);
        console.log("openDexFile: " + ret);
        return ret;
    }
    var libart_native = Java.use("libart.DexFile.Native");
    libart_native.dexFileOpen.implementation = function(path,name,flags){
        var ret = this.dexFileOpen(path,name,flags);
        console.log("dexFileOpen: " + ret);
        return ret;
    }

}

自吐算法

# -*- coding: UTF-8 -*-
import frida, sys
 
jsCode = """
    function showStacks() {
        Java.perform(function () {
            send(Java.use("android.util.Log").getStackTraceString(Java.use("java.lang.Exception").$new()));
        });
    }
(function () {
    var base64EncodeChars = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/',
    base64DecodeChars = new Array((-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), (-1), 62, (-1), (-1), (-1), 63, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, (-1), (-1), (-1), (-1), (-1), (-1), (-1), 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, (-1), (-1), (-1), (-1), (-1), (-1), 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, (-1), (-1), (-1), (-1), (-1));
    this.stringToBase64 = function (e) {
        var r,a,c,h,o,t;
        for (c = e.length, a = 0, r = ''; a < c; ) {
            if (h = 255 & e.charCodeAt(a++), a == c) {
                r += base64EncodeChars.charAt(h >> 2),
                r += base64EncodeChars.charAt((3 & h) << 4),
                r += '==';
                break
            }
            if (o = e.charCodeAt(a++), a == c) {
                r += base64EncodeChars.charAt(h >> 2),
                r += base64EncodeChars.charAt((3 & h) << 4 | (240 & o) >> 4),
                r += base64EncodeChars.charAt((15 & o) << 2),
                r += '=';
                break
            }
            t = e.charCodeAt(a++),
            r += base64EncodeChars.charAt(h >> 2),
            r += base64EncodeChars.charAt((3 & h) << 4 | (240 & o) >> 4),
            r += base64EncodeChars.charAt((15 & o) << 2 | (192 & t) >> 6),
            r += base64EncodeChars.charAt(63 & t)
        }
        return r
    }
    this.base64ToString = function (e) {
        var r,a,c,h,o,t,d;
        for (t = e.length, o = 0, d = ''; o < t; ) {
            do
                r = base64DecodeChars[255 & e.charCodeAt(o++)];
            while (o < t && r == -1);
            if (r == -1)
                break;
            do
                a = base64DecodeChars[255 & e.charCodeAt(o++)];
            while (o < t && a == -1);
            if (a == -1)
                break;
            d += String.fromCharCode(r << 2 | (48 & a) >> 4);
            do {
                if (c = 255 & e.charCodeAt(o++), 61 == c)
                    return d;
                c = base64DecodeChars[c]
            } while (o < t && c == -1);
            if (c == -1)
                break;
            d += String.fromCharCode((15 & a) << 4 | (60 & c) >> 2);
            do {
                if (h = 255 & e.charCodeAt(o++), 61 == h)
                    return d;
                h = base64DecodeChars[h]
            } while (o < t && h == -1);
            if (h == -1)
                break;
            d += String.fromCharCode((3 & c) << 6 | h)
        }
        return d
    }
    this.hexToBase64 = function (str) {
        return base64Encode(String.fromCharCode.apply(null, str.replace(/\r|\n/g, "").replace(/([\da-fA-F]{2}) ?/g, "0x$1 ").replace(/ +$/, "").split(" ")));
    }
    this.base64ToHex = function (str) {
        for (var i = 0, bin = base64Decode(str.replace(/[ \r\n]+$/, "")), hex = []; i < bin.length; ++i) {
            var tmp = bin.charCodeAt(i).toString(16);
            if (tmp.length === 1)
                tmp = "0" + tmp;
            hex[hex.length] = tmp;
        }
        return hex.join("");
    }
    this.hexToBytes = function (str) {
        var pos = 0;
        var len = str.length;
        if (len % 2 != 0) {
            return null;
        }
        len /= 2;
        var hexA = new Array();
        for (var i = 0; i < len; i++) {
            var s = str.substr(pos, 2);
            var v = parseInt(s, 16);
            hexA.push(v);
            pos += 2;
        }
        return hexA;
    }
    this.bytesToHex = function (arr) {
        var str = '';
        var k,j;
        for(var i = 0; i
            k = arr[i];
            j = k;
            if (k < 0) {
                j = k + 256;
            }
            if (j < 16) {
                str += "0";
            }
            str += j.toString(16);
        }
        return str;
    }
    this.stringToHex = function (str) {
        var val = "";
        for (var i = 0; i < str.length; i++) {
            if (val == "")
                val = str.charCodeAt(i).toString(16);
            else
                val += str.charCodeAt(i).toString(16);
        }
        return val
    }
    this.stringToBytes = function (str) {  
        var ch, st, re = []; 
        for (var i = 0; i < str.length; i++ ) { 
            ch = str.charCodeAt(i);  
            st = [];                 
           do {  
                st.push( ch & 0xFF );  
                ch = ch >> 8;          
            }    
            while ( ch );  
            re = re.concat( st.reverse() ); 
        }  
        return re;  
    } 
    //将byte[]转成String的方法
    this.bytesToString = function (arr) {  
        var str = '';
        arr = new Uint8Array(arr);
        for(i in arr){
            str += String.fromCharCode(arr[i]);
        }
        return str;
    }
    this.bytesToBase64=function(e){
        var r,a,c,h,o,t;
        for (c = e.length, a = 0, r = ''; a < c; ) {
            if (h = 255 & e[a++], a == c) {
                r += base64EncodeChars.charAt(h >> 2),
                r += base64EncodeChars.charAt((3 & h) << 4),
                r += '==';
                break
            }
            if (o = e[a++], a == c) {
                r += base64EncodeChars.charAt(h >> 2),
                r += base64EncodeChars.charAt((3 & h) << 4 | (240 & o) >> 4),
                r += base64EncodeChars.charAt((15 & o) << 2),
                r += '=';
                break
            }
            t = e[a++],
            r += base64EncodeChars.charAt(h >> 2),
            r += base64EncodeChars.charAt((3 & h) << 4 | (240 & o) >> 4),
            r += base64EncodeChars.charAt((15 & o) << 2 | (192 & t) >> 6),
            r += base64EncodeChars.charAt(63 & t)
        }
        return r
    }
    this.base64ToBytes=function(e){
        var r,a,c,h,o,t,d;
        for (t = e.length, o = 0, d = []; o < t; ) {
            do
                r = base64DecodeChars[255 & e.charCodeAt(o++)];
            while (o < t && r == -1);
            if (r == -1)
                break;
            do
                a = base64DecodeChars[255 & e.charCodeAt(o++)];
            while (o < t && a == -1);
            if (a == -1)
                break;
            d.push(r << 2 | (48 & a) >> 4);
            do {
                if (c = 255 & e.charCodeAt(o++), 61 == c)
                    return d;
                c = base64DecodeChars[c]
            } while (o < t && c == -1);
            if (c == -1)
                break;
            d.push((15 & a) << 4 | (60 & c) >> 2);
            do {
                if (h = 255 & e.charCodeAt(o++), 61 == h)
                    return d;
                h = base64DecodeChars[h]
            } while (o < t && h == -1);
            if (h == -1)
                break;
            d.push((3 & c) << 6 | h)
        }
        return d
    }
})();
//stringToBase64 stringToHex stringToBytes
//base64ToString base64ToHex base64ToBytes
//               hexToBase64  hexToBytes    
// bytesToBase64 bytesToHex bytesToString
Java.perform(function () {
    var secretKeySpec = Java.use('javax.crypto.spec.SecretKeySpec');
    secretKeySpec.$init.overload('[B','java.lang.String').implementation = function (a,b) {
        showStacks();
        var result = this.$init(a, b);
        send("======================================");
        send("算法名：" + b + "|Dec密钥:" + bytesToString(a));
        send("算法名：" + b + "|Hex密钥:" + bytesToHex(a));
        return result;
    }
    var mac = Java.use('javax.crypto.Mac');
    mac.getInstance.overload('java.lang.String').implementation = function (a) {
        showStacks();
        var result = this.getInstance(a);
        send("======================================");
        send("算法名：" + a);
        return result;
    }
    mac.update.overload('[B').implementation = function (a) {
        showStacks();
        this.update(a);
        send("======================================");
        send("update:" + bytesToString(a))
    }
    mac.update.overload('[B','int','int').implementation = function (a,b,c) {
        showStacks();
        this.update(a,b,c)
        send("======================================");
        send("update:" + bytesToString(a) + "|" + b + "|" + c);
    }
    mac.doFinal.overload().implementation = function () {
        showStacks();
        var result = this.doFinal();
        send("======================================");
        send("doFinal结果:" + bytesToHex(result));
        send("doFinal结果:" + bytesToBase64(result));
        return result;
    }
    mac.doFinal.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.doFinal(a);
        send("======================================");
        send("doFinal参数:" + bytesToString(a));
        send("doFinal结果:" + bytesToHex(result));
        send("doFinal结果:" + bytesToBase64(result));
        return result;
    }
        var md = Java.use('java.security.MessageDigest');
    md.getInstance.overload('java.lang.String','java.lang.String').implementation = function (a,b) {
        showStacks();
        send("======================================");
        send("算法名：" + a);
        return this.getInstance(a, b);
    }
    md.getInstance.overload('java.lang.String').implementation = function (a) {
        showStacks();
        send("======================================");
        send("算法名：" + a);
        return this.getInstance(a);
    }
    md.update.overload('[B').implementation = function (a) {
        showStacks();
        send("======================================");
        send("update:" + bytesToString(a))
        return this.update(a);
    }
    md.update.overload('[B','int','int').implementation = function (a,b,c) {
        showStacks();
        send("======================================");
        send("update:" + bytesToString(a) + "|" + b + "|" + c);
        return this.update(a,b,c);
    }
    md.digest.overload().implementation = function () {
        showStacks();
        send("======================================");
        var result = this.digest();
        send("digest结果:" + bytesToHex(result));
        send("digest结果:" + bytesToBase64(result));
        return result;
    }
    md.digest.overload('[B').implementation = function (a) {
        showStacks();
        send("======================================");
        send("digest参数:" + bytesToString(a));
        var result = this.digest(a);
        send("digest结果:" + bytesToHex(result));
        send("digest结果:" + bytesToBase64(result));
        return result;
    }
        var ivParameterSpec = Java.use('javax.crypto.spec.IvParameterSpec');
    ivParameterSpec.$init.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.$init(a);
        send("======================================");
        send("iv向量:" + bytesToString(a));
        send("iv向量:" + bytesToHex(a));
        return result;
    }
    var cipher = Java.use('javax.crypto.Cipher');
    cipher.getInstance.overload('java.lang.String').implementation = function (a) {
        showStacks();
        var result = this.getInstance(a);
        send("======================================");
        send("模式填充:" + a);
        return result;
    }
    cipher.update.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.update(a);
        send("======================================");
        send("update:" + bytesToString(a));
        return result;
    }
    cipher.update.overload('[B','int','int').implementation = function (a,b,c) {
        showStacks();
        var result = this.update(a,b,c);
        send("======================================");
        send("update:" + bytesToString(a) + "|" + b + "|" + c);
        return result;
    }
    cipher.doFinal.overload().implementation = function () {
        showStacks();
        var result = this.doFinal();
        send("======================================");
        send("doFinal结果:" + bytesToHex(result));
        send("doFinal结果:" + bytesToBase64(result));
        return result;
    }
    cipher.doFinal.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.doFinal(a);
        send("======================================");
        send("doFinal参数:" + bytesToString(a));
        send("doFinal结果:" + bytesToHex(result));
        send("doFinal结果:" + bytesToBase64(result));
        return result;
    }
    var x509EncodedKeySpec = Java.use('java.security.spec.X509EncodedKeySpec');
    x509EncodedKeySpec.$init.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.$init(a);
        send("======================================");
        send("RSA密钥:" + bytesToBase64(a));
        return result;
    }
    var rSAPublicKeySpec = Java.use('java.security.spec.RSAPublicKeySpec');
    rSAPublicKeySpec.$init.overload('java.math.BigInteger','java.math.BigInteger').implementation = function (a,b) {
        showStacks();
        var result = this.$init(a,b);
        send("======================================");
        //send("RSA密钥:" + bytesToBase64(a));
        send("RSA密钥N:" + a.toString(16));
        send("RSA密钥E:" + b.toString(16));
        return result;
    }
});
""";
 
fw = open(sys.argv[1],'w+',encoding='utf-8')
 
def message(message, data):
    if message["type"] == 'send':
        print(u"[*] {0}".format(message['payload']))
        fw.write(u"[*] {0}\n".format(message['payload']))
        fw.flush()
    else:
        print(message)
 
process = frida.get_remote_device().attach(sys.argv[1])
script= process.create_script(jsCode)
script.on("message", message)
script.load()
sys.stdin.read()

常见算法hook

Java.perform(function () {
    var secretKeySpec = Java.use('javax.crypto.spec.SecretKeySpec');
    secretKeySpec.$init.overload('[B', 'java.lang.String').implementation = function (a, b) {
        showStacks();
        var result = this.$init(a, b);
        send("======================================");
        send("算法名：" + b + "|Dec密钥:" + bytesToString(a));
        send("算法名：" + b + "|Hex密钥:" + bytesToHex(a));
        return result;
    }
    var mac = Java.use('javax.crypto.Mac');
    mac.getInstance.overload('java.lang.String').implementation = function (a) {
        showStacks();
        var result = this.getInstance(a);
        send("======================================");
        send("算法名：" + a);
        return result;
    }
    mac.update.overload('[B').implementation = function (a) {
        showStacks();
        this.update(a);
        send("======================================");
        send("update:" + bytesToString(a))
    }
    mac.update.overload('[B', 'int', 'int').implementation = function (a, b, c) {
        showStacks();
        this.update(a, b, c)
        send("======================================");
        send("update:" + bytesToString(a) + "|" + b + "|" + c);
    }
    mac.doFinal.overload().implementation = function () {
        showStacks();
        var result = this.doFinal();
        send("======================================");
        send("doFinal结果:" + bytesToHex(result));
        send("doFinal结果:" + bytesToBase64(result));
        return result;
    }
    mac.doFinal.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.doFinal(a);
        send("======================================");
        send("doFinal参数:" + bytesToString(a));
        send("doFinal结果:" + bytesToHex(result));
        send("doFinal结果:" + bytesToBase64(result));
        return result;
    }
    var md = Java.use('java.security.MessageDigest');
    md.getInstance.overload('java.lang.String', 'java.lang.String').implementation = function (a, b) {
        showStacks();
        send("======================================");
        send("算法名：" + a);
        return this.getInstance(a, b);
    }
    md.getInstance.overload('java.lang.String').implementation = function (a) {
        showStacks();
        send("======================================");
        send("算法名：" + a);
        return this.getInstance(a);
    }
    md.update.overload('[B').implementation = function (a) {
        showStacks();
        send("======================================");
        send("update:" + bytesToString(a))
        return this.update(a);
    }
    md.update.overload('[B', 'int', 'int').implementation = function (a, b, c) {
        showStacks();
        send("======================================");
        send("update:" + bytesToString(a) + "|" + b + "|" + c);
        return this.update(a, b, c);
    }
    md.digest.overload().implementation = function () {
        showStacks();
        send("======================================");
        var result = this.digest();
        send("digest结果:" + bytesToHex(result));
        send("digest结果:" + bytesToBase64(result));
        return result;
    }
    md.digest.overload('[B').implementation = function (a) {
        showStacks();
        send("======================================");
        send("digest参数:" + bytesToString(a));
        var result = this.digest(a);
        send("digest结果:" + bytesToHex(result));
        send("digest结果:" + bytesToBase64(result));
        return result;
    }
    var ivParameterSpec = Java.use('javax.crypto.spec.IvParameterSpec');
    ivParameterSpec.$init.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.$init(a);
        send("======================================");
        send("iv向量:" + bytesToString(a));
        send("iv向量:" + bytesToHex(a));
        return result;
    }
    var cipher = Java.use('javax.crypto.Cipher');
    cipher.getInstance.overload('java.lang.String').implementation = function (a) {
        showStacks();
        var result = this.getInstance(a);
        send("======================================");
        send("模式填充:" + a);
        return result;
    }
    cipher.update.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.update(a);
        send("======================================");
        send("update:" + bytesToString(a));
        return result;
    }
    cipher.update.overload('[B', 'int', 'int').implementation = function (a, b, c) {
        showStacks();
        var result = this.update(a, b, c);
        send("======================================");
        send("update:" + bytesToString(a) + "|" + b + "|" + c);
        return result;
    }
    cipher.doFinal.overload().implementation = function () {
        showStacks();
        var result = this.doFinal();
        send("======================================");
        send("doFinal结果:" + bytesToHex(result));
        send("doFinal结果:" + bytesToBase64(result));
        return result;
    }
    cipher.doFinal.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.doFinal(a);
        send("======================================");
        send("doFinal参数:" + bytesToString(a));
        send("doFinal结果:" + bytesToHex(result));
        send("doFinal结果:" + bytesToBase64(result));
        return result;
    }
    var x509EncodedKeySpec = Java.use('java.security.spec.X509EncodedKeySpec');
    x509EncodedKeySpec.$init.overload('[B').implementation = function (a) {
        showStacks();
        var result = this.$init(a);
        send("======================================");
        send("RSA密钥:" + bytesToBase64(a));
        return result;
    }
    var rSAPublicKeySpec = Java.use('java.security.spec.RSAPublicKeySpec');
    rSAPublicKeySpec.$init.overload('java.math.BigInteger', 'java.math.BigInteger').implementation = function (a, b) {
        showStacks();
        var result = this.$init(a, b);
        send("======================================");
        //send("RSA密钥:" + bytesToBase64(a));
        send("RSA密钥N:" + a.toString(16));
        send("RSA密钥E:" + b.toString(16));
        return result;
    }
});

VS Code 开发配置

2022-08-10T01:00:00.000Z

tasks.json

{
    // See https://go.microsoft.com/fwlink/?LinkId=733558
    // for the documentation about the tasks.json format
    "version": "2.0.0",
    "tasks": [
        {
            "label": "任务名称",
            "type": "shell",
            "command": "${config:python.pythonPath}",
            "args": [
                "${workspaceFolder}/manager.py",
                "-web"
            ],
            "presentation": {
                "echo": true,
                "reveal": "always",
                "focus": false,
                "panel": "shared",
                "showReuseMessage": true,
                "clear": true
            },
            "problemMatcher": []
        },
        {
            "name": "Python Debugger: bx.py with Arguments",
            "type": "debugpy",
            "request": "launch",
            "program": "${workspaceFolder}/manager.py",
            "console": "integratedTerminal",
            "args": "${command:pickArgs}"
        }
    ]
}

sftp.json

[
    {
        "name": "sftp name",
        "host": "172.x.x.x",
        "protocol": "sftp",
        "port": 22,
        "username": "username",
        "password": "password",
        "remotePath": "远程地址",
        "uploadOnSave": true,
        "useTempFile": false,
        "openSsh": false,
        "ignore": [
            ".idea",
            ".vscode",
            ".git",
            ".DS_Store",
            "venv",
            "__pycache__"
        ]
    }
]

settings.json

{
    "editor.fontSize": 18, //编辑器字体大小
    "workbench.colorTheme": "Winter is Coming (Dark Blue)",
    "workbench.iconTheme": "vscode-icons", //vscode文件图标主题
    "go.formatTool": "goimports", //golang格式化工具
    "editor.defaultFormatter": "esbenp.prettier-vscode", //编辑器格式化工具
    "[javascript]": {
        "editor.defaultFormatter": "rvest.vs-code-prettier-eslint"
    }, //javascript格式化工具
    "[vue]": {
        "editor.defaultFormatter": "octref.vetur"
    }, //vue格式化工具
    "[go]": {
        "editor.insertSpaces": false,
        "editor.formatOnSave": true,
        "editor.codeActionsOnSave": {
            "source.organizeImports": "explicit"
        },
        "editor.defaultFormatter": "golang.go", //格式化器
        "editor.suggest.snippetsPreventQuickSuggestions": false
    },
    "[python]": { // Python 格式化工具
        "editor.defaultFormatter": "ms-python.black-formatter",
        "editor.formatOnSave": true
    },
    // "black-formatter.args": [ // black 格式化参数
    //     "--line-length",
    //     "200"
    // ],
    "editor.insertSpaces": false,
    "workbench.editor.enablePreview": false, //打开文件不覆盖
    "search.followSymlinks": false, //关闭rg.exe进程
    "editor.minimap.enabled": false, //关闭快速预览
    "files.autoSave": "afterDelay", //编辑自动保存
    "editor.lineNumbers": "on", //开启行数提示
    "editor.quickSuggestions": { //开启自动显示建议
        "other": true,
        "comments": true,
        "strings": true
    },
    "editor.tabSize": 4, //制表符符号eslint
    "editor.formatOnSave": true, //每次保存自动格式化
    "prettier.eslintIntegration": true, //让prettier使用eslint的代码格式进行校验
    "prettier.semi": true, //去掉代码结尾的分号
    "prettier.singleQuote": false, //使用单引号替代双引号
    "javascript.format.insertSpaceBeforeFunctionParenthesis": true, //让函数(名)和后面的括号之间加个空格
    "vetur.format.defaultFormatter.html": "js-beautify-html", //格式化.vue中html
    "vetur.format.defaultFormatter.js": "vscode-typescript", //让vue中的js按编辑器自带的ts格式进行格式化
    "vetur.format.defaultFormatterOptions": {
        "js-beautify-html": {
            "wrap_attributes": "force-aligned" //属性强制折行对齐
        },
        "prettier": {
            "semi": false,
            "singleQuote": true
        },
        "vscode-typescript": {
            "semi": false,
            "singleQuote": true
        }
    },
    "eslint.validate": [
        "vue",
        // "javascript",
        "typescript",
        "typescriptreact",
        "html"
    ],
    "editor.codeActionsOnSave": {
        "source.fixAll.eslint": "explicit"
    },
    "editor.suggestSelection": "first",
    "vsintellicode.modify.editor.suggestSelection": "automaticallyOverrodeDefaultValue",
    "editor.fontLigatures": true,
    "terminal.integrated.tabs.enabled": true,
    "terminal.integrated.env.osx": { // 命令行环境变量
        "PYTHONPATH": "$PYTHONPATH:${workspaceRoot}"
    },
    "code-runner.runInTerminal": true, // 在终端运行方法
    "code-runner.cwd": "${workspaceRoot}", // 运行时的父地址
    "rest-client.environmentVariables": { // rest-client 使用的公共参数
        "$shared": {}
    }
}

地铁线路图

2022-08-09T01:00:00.000Z

京东京造键位图

2022-08-09T00:56:00.000Z

Typora 修改源码模式和预览模式的宽度

2022-08-03T00:56:00.000Z

修改源码模式和预览模式的宽度

源码模式

1	/Applications/Typora.app/Contents/Resources/TypeMark/style/base-control.css

找到.CodeMirror-lines下的max-width将其修改为2048

预览模式

找到【外观】、【打开主题文件夹】、【找到自己使用的主题】

搜索 #write ，修改其属性 max-width 的值改为你想要设置的宽度

都需要关闭之后重新打开才能生效

大数据 Hbase 列族的配置

2022-07-10T06:25:00.000Z

列族的配置

一、创建表及属性查看

创建一个测试表 test，列族为 cf：

1	create 'test', {NAME => 'cf'}

默认属性如下：

hbase > describe 'test'

{
NAME => 'cf', 
BLOOMFILTER => 'ROW', 
VERSIONS => '1', 
IN_MEMORY => 'false', 
KEEP_DELETED_CELLS => 'FALSE', 
DATA_BLOCK_ENCODING => 'NONE', 
TTL => 'FOREVER', 
COMPRESSION => 'GZ', 
MIN_VERSIONS => '0', 
BLOCKCACHE => 'true',
BLOCKSIZE => '65536', 
REPLICATION_SCOPE => '0'
}

二、列族属性配置

2.1、版本数量（VERSIONS）

HBase 一切操作均为更新，Hbase Put 操作不会去覆盖一个值，只会在后面追加写，用时间戳（版本号）来区分，HBase 版本维度按递减顺序存储，以便在从存储文件读取时，首先找到最近的值；Hbase Delete 操作也不是真正删除了记录，而是放置了一个墓碑标记，过早的版本会在执行 Major Compaction 时真正删除。

0.96版本默认是3个， 0.98版本之后是1，要根据业务来划分，版本是历史记录，版本增多意味空间消耗。

插入数据的时候，版本默认是当前时间；查询的时候可以指定要获取的版本个数 get 'test', { COLUMN => 'cf', VERSIONS => 2}；

获取多个版本的时候，多个数据是按照时间戳倒序排序，也可以通过这个特性，来保存类似于事件发生的数据，查询时间历史的时候，拿出来的数据是按照时间排好序，如果要拿最新的事件，不指定版本即可。

版本的时间戳，也可以自定义，不使用默认生成的时间戳，可以自己指定业务相关的ID。

使用方法:

1	create 'test1', {NAME => 'cf', VERSIONS => 3}

更改版本号：

1	alter 'test1', NAME => 'cf', VERSIONS => 5

2.2、存活时间（TTL）

TTL 全称是 Time To Live，ColumnFamilies 可以设置 TTL(单位是s)，HBase 会自动检查 TTL 值是否达到上限，如果 TTL 达到上限后自动删除行。当然真正删除是在Major Compaction过程中执行的。

试验一下：

alter 'test1', NAME => 'cf', VERSIONS => 5, TTL => 10

put 'test1', '0001', 'cf:name', 'james'

get 'test1', '0001'

发现过 10s 后数据已经删除。

2.3、最小版本数（MIN_VERSIONS ）

如果 HBase 中的表设置了 TTL 的时候，MIN_VERSIONS 才会起作用。

每个列族可以设置最小版本数，最小版本数缺省值是0，表示禁用该特性。最小版本数参数和存活时间是一起使用的，允许配置“如保存最后T秒有价值的数据，最多N个版本，但最少M个版本”（M是最小版本，M

MIN_VERSION > 0时：Cell 至少有 MIN_VERSION 个最新版本会保留下来；
MIN_VERSION = 0时：Cell 中的数据超过TTL时间时，全部清空，不保留最低版本。

2.4、保留删除的单元格（KEEP_DELETED_CELLS）

HBase 的delete 命令，并不是真的删除数据，而是设置一个标记（delete marker）。用户在检索数据的时候，会过滤掉这些标示的数据。
该属性可以设置为 FALSE（默认）、TRUE、TTL。

可以从 java API 源码中看到：

public enum KeepDeletedCells {
  /** Deleted Cells are not retained. */
  FALSE,
  /**
   * Deleted Cells are retained until they are removed by other means
   * such TTL or VERSIONS.
   * If no TTL is specified or no new versions of delete cells are
   * written, they are retained forever.
   */
  TRUE,
  /**
   * Deleted Cells are retained until the delete marker expires due to TTL.
   * This is useful when TTL is combined with MIN_VERSIONS and one
   * wants to keep a minimum number of versions around but at the same
   * time remove deleted cells after the TTL.
   */
  TTL;
  public static KeepDeletedCells getValue(String val) {
    return valueOf(val.toUpperCase());
  }
}

FALSE：不保留删除的单元格。
TRUE：删除的单元格会保留，超期（TTL）或者数据版本数超过 VERSIONS 设置的值才会被删除；如果没有指定 TTL 或没有超出VERSIONS 值，则会永久保留它们。
TTL：超期（TTL）才会删除，当 TTL 与 MIN_VERSIONS 结合使用时，会删除过期后的数据，但是同时会保留最少数量的版本。

2.5、数据块大小（BLOCKSIZE ）

HBase 默认的块大小是 64kb，不同于 HDFS 默认 64MB 的块大小。

数据块索引存储每个 HFile 数据块的起始键，数据块大小配置会影响数据块索引的大小。数据块越小，数据块索引越大，因而占用的内存空间越大。

同时，加载进内存的数据块更小，随机查找性能更好，因为一旦找到了行键所在的块，接下来就会定位对应的单元格，使用更小的数据块效率更优。

但是如果需要更好的顺序扫描性能，那么一次能够加载更多 HFile 数据进入内存则更为合理，这意味数据块大小应该设置更大的值。相应索引将变小，将在随机读性能上付出代价。

对于不同的业务数据，块大小的合理设置对读写性能有很大的影响。如果业务请求以 Get 请求为主，可以考虑将块大小设置较小；如果以 Scan 请求为主，可以将块大小调大；默认的 64K 块大小是在 Scan 和 Get 之间取得的一个平衡。

默认块大小适用于多种数据使用模式，调整块大小是比较高级的操作。配置错误将对性能产生负面影响。因此建议在调整之后进行测试，根据测试结果决定是否可以线上使用。

2.6、块缓存（BLOCKCACHE）

默认是 true。缓存是内存存储，HBase 使用块缓存将最近使用的块加载到内存中。块缓存会根据最近最久未使用（LRU）的规则删除数据块。

如果使用场景是经常顺序访问 Scan 或者很少被访问，可以关闭列族的缓存。列族缓存默认是打开的。

2.7、激进缓存（IN_MEMORY）

HBase 可以选择一个列族赋予更高的优先级缓存，激进缓存（表示优先级更高），IN_MEMORY 默认是false。

如果设置为true，HBase 会尝试将整个列族保存在内存中，只有在需要保存是才会持久化写入磁盘。但是在运行时 HBase 会尝试将整张表加载到内存里。

这个参数通常适合较小的列族。

2.8、压缩（COMPRESSION）

数据压缩是 HBase 提供的一个特性，HBase 在写入数据块到 HDFS 之前会首先对数据块进行压缩，再落盘，从而可以减少磁盘空间使用量。

而在读数据的时候首先从 HDFS 中加载出 block 块之后进行解压缩，然后再缓存到BlockCache，最后返回给用户。

写路径和读路径分别如下：

写路径： Finish DataBlock –> Encoding KVs –> Compress DataBlock –> Flush
读路径： Read Block From Disk –> DeCompress DataBlock –> Cache DataBlock –> Decoding Scan KVs

压缩可以节省空间，但读写数据会增加CPU负载，默认为 NONE，不使用用压缩，HBase 目前提供了三种常用的压缩方式： GZip, LZO, Snappy：

GZIP 的压缩率最高，但是 CPU 密集型的，对 CPU 的消耗比其他算法要多，压缩和解压速度也慢；
LZO 的压缩率居中，比 GZIP 要低一些，但是压缩和解压速度明显要比GZIP 快很多，其中解压速度快的更多；
Snappy 的压缩率最低，而压缩和解压速度要稍微比 LZO 要快一些。

综合来看，Snappy 的压缩率最低，但是编解码速率最高，对 CPU 的消耗也最小，目前一般建议使用 Snappy。

2.9、布隆过滤器（BLOOMFILTER）

布隆过滤器用自己的算法，实现了快速的检索一个元素是否在一个较大的元素列表之中。

它的基本思想是：当一个元素被加入集合时，通过 K 个散列函数将这个元素映射成一个位数组中的 K 个点，把它们置为1；检索时，只要看看这些点是不是都是1 就（大约）知道集合中有没有它了——如果这些点有任何一个0，则被检元素一定不在，如果都是1，则被检元素很可能在。

它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难使用了Hash算法，必然会存在极限巧合下的 hash 碰撞，会将不存在的数据认为是存在的。但是存在的数据一定是可以正确判断的。

HBase 中的 BloomFilter 主要用来过滤不存在待检索 RowKey 或者 Row-Col 的 HFile 文件，避免无用的 IO 操作。它可以判断 HFile 文件中是否可能存在待检索的KV，如果不存在，就可以不用消耗 IO 打开文件进行 seek。通过设置 BloomFilter 可以提升随机读写的性能。

BloomFilter 是一个列族级别的配置属性，如果在表中设置了BloomFilter，那么HBase 会在生成 StoreFile 时包含一份 BloomFilter 结构的数据，称其为MetaBlock ，和 DataBlock (真实KeyValue数据)一起由 LRUBlockCache 维护。所以开启 BloomFilter 会有一定的存储即内存 Cache 的开销。

BloomFilter 取值有两个，row 和rowcol，需要根据业务来确定具体使用哪种。

如果业务大多数随机查询时仅仅使用 row 作为查询条件，BloomFilter 设置为row；
如果大多数随机查询使用 row+cf 作为查询条件，BloomFilter 需要设置为rowcol；
如果不确定查询类型，建议设置为 row。

2.10、数据块编码（DATA_BLOCK_ENCODING）

除了数据压缩之外，HBase 还提供了数据编码功能。

和压缩一样，数据在落盘之前首先会对 KV 数据进行编码；但又和压缩不同，数据块在缓存前并没有执行解码。因此即使后续命中缓存的查询是编码的数据块，需要解码后才能获取到具体的 KV 数据。

和不编码情况相比，编码后相同数据 block 块占用内存更少，即内存利用率更高，但是读取的时候需要解码，又不利于读性能，在内存不足的情况下，可以压榨 CPU 字段，换区更多的缓存数据。

HBase目前提供了四种常用的编码方式： Prefix_Tree、 Diff 、 Fast_Diff 、Prefix。

写路径和读路径分别如下：

写路径： Finish DataBlock –> Encoding KVs –> Compress DataBlock –> Flush
读路径： Read Block From Disk –> DeCompress DataBlock –> Cache DataBlock –> Decoding Scan KVs

2.11、复制范围（REPLICATION_SCOPE ）

HBase 提供了跨级群同步的功能，本地集群的数据更新可以及时同步到其他集群。复制范围（replication scope）的参数默认为0，表示复制功能处于关闭状态。

三、列族设置

3.1、列族数量

不要在一张表中定义太多的列族。

目前 HBase 并不能很好的处理 2~3 以上的列族，flush和compaction 操作是针对一个 Region 的。

当一个列族操作大量数据的时候会引发一个 flush，它邻近的列族也会因关联效应被触发 flush，尽管它没有操作多少数据。compaction 操作是根据一个列族下的全部文件的数量触发的，而不是根据文件大小触发的。

当很多的列族在 flush 和 compaction 时，会造成很多没用的 IO 负载。

尽量在模式中只针对一个列族进行操作。将使用率相近的列归为一个列族，这样每次访问就只用访问一个列族，既能提升查询效率，也能保持尽可能少的访问不同的磁盘文件。

3.2、列族的基数

如果一个表存在多个列族，要注意列族之间基数（如行数）相差不要太大。例如列族 A 有100 万行，列族 B 有 10 亿行，按照 RowKey 切分后，列族A可能被分散到很多很多 Region（及RegionServer），这导致扫描列族A十分低效。

3.3、列族名、列名长度

列族名和列名越短越好，冗长的名字虽然可读性好，但是更短的名字在 HBase 中更好。

一个具体的值由存储该值的行键、对应的列（列族:列）以及该值的时间戳决定。HBase 中索引是为了加速随机访问的速度，索引的创建是基于“行键+列族:列+时间戳+值”的，如果行键和列族的大小过大，甚至超过值本身的大小，那么将会增加索引的大小。并且在HBase中数据记录往往非常之多，重复的行键、列将不但使索引的大小过大，也将加重系统的负担。

四、总结

根据 HBase 列族属性配置，结合使用场景，HBase 列族可以进行如下优化：

列族不宜过多，将相关性很强的 key-value 都放在同一个列族下；
尽量最小化行键和列族的大小；
提前预估数据量，再根据 RowKey 规则，提前规划好 Region 分区，在创建表的时候进行预分区；
在业务上没有特别要求的情况下，只使用一个版本，即最大版本和最小版本一样，均为1；
根据业务需求合理设置好失效时间（存储的时间越短越好）；
根据查询条件，设置合理的BloomFilter配置。

Nginx 使用 goaccess 分析日志

2022-07-01T01:01:00.000Z

安装 Goaccess

1	sudo yum install access

创建分析脚本

#!/bin/bash
# 日志路径
LOG_PATH=/tmp/logs
# 需要分析的APP
# PS 博客的日志为 blog.access.log 和 blog.error.log
# 则 APPS 中应该填入 blog
APPS=(blog gogs)
# 创建 静态文件生成的路径
STATIC_HMTL=/tmp/goaccess
mkdir -p $STATIC_HMTL
for(( i=0;i<${#APPS[@]};i++))
do
    APP=${APPS[i]};
    cat $LOG_PATH/$APP.access.log $LOG_PATH/$APP.error.log > $APP.log
    goaccess -f $APP.log -o $STATIC_HMTL/$APP.html
    rm $APP.log
done
# 合并所有日志
for(( i=0;i<${#APPS[@]};i++))
do
    APP=${APPS[i]};
    cat $LOG_PATH/$APP.access.log $LOG_PATH/$APP.error.log >> all.log
done
goaccess -f all.log -o $STATIC_HMTL/all.html
rm all.log

创建定时任务

1 2	# 每10分钟分析一次 /10 * * * "bash /tmp/start-goaccess.sh" > /dev/null