Map
1 |
|
Unsplash 图片下载脚本
1 |
|
Scripting Redis with Lua
Redis 2.6 版本之前，如果想要一些 Redis 不能提供的功能，要么编写较复杂客户端代码实现，要么编辑 Redis 的 C 语言源码。 即使编辑源码并不困难，但是在商业环境中使用这样的版本，或者试图说服经理使用我们自己的 Redis 服务器版本，都是一件极具挑战的事。
Redis 引入了基于 Lua 语言的服务端脚本的支持，可以使得用户在 Redis 中执行更多的操作，简化代码，提升新能。
Lua
由巴西里约热内卢教皇天主教大学 （The Pontifical Catholic University of Rio de Janeiro in Brazil）的一支团队进行设计，实现和维护，高效，轻量，的嵌入式脚本语言，支持过程式编程，面向对象编程，函数式编程，数据驱动编程和数据描述；动态类型，虚拟机字节码解释执行，自动内存管理。
应用广泛： Adobe Photoshop Lightroom, 重点应用于嵌入式系统和游戏，如魔兽世界，愤怒的小鸟等
如何在 Redis 中使用 Lua 脚本
- 加载 Lua 脚本到 Redis 中
1 | > SCRIPT LOAD "Lua Script" |
Redis 会将字符串的 Lua 脚本存储起来，便于后续执行，并返回脚本的 SHA1 hash 值，当我们想要执行脚本时，通过 EVALSHA 命令，带着这个 hash 值以及 Key 和 其他脚本需要的参数列表
- 执行脚本
1 | > EVALSHA sha1 numkeys key [key ...] arg [arg ...] |
- 直接执行脚本
1 | > EVAL script numkeys key [key ...] arg [arg ...] |
Redis 会自动缓存该脚本，可以直接调用该脚本的 SHA1 hash 值
简单示例
1 | SCRIPT LOAD "return 'hello world!'" |
注意事项
Lua 脚本返回的数据类型
由于 Lua 允许数据传入和传出的方式的限制，Lua 中提供的某些数据类型不允许返回，或者在返回之前被更改。
| Lua value | Redis return |
|---|---|
| true | 1 |
| false | nil |
| nil | nil |
| 1.5 (浮点数) | 1 |
| 1e30 | 平台相关的最小整数值 |
| “string” | Unchanged |
| 1 | Integer is returned unchanged |
由于可能产生歧义性，所以应该尽可能地返回字符串，然后手动执行解析
原子性
和单条命令或者 MULTI/EXEC 命令一样，是原子性地 （单条命令一次运行以个；MULTI/EXEC 实现了简单的事务）。执行 Lua 脚本， EVAL 和 EVALSHA 以应该被视作一个命令，只不过较为复杂而已。
当执行 Lua 脚本时， Redis 不允许运行其他的读或写命令。如果编写的脚本永远不返回，就会阻塞其他客户端的执行。 Redis 提供了两种方式来停止脚本的运行。
如果脚本只是执行了一系列的读操作，且执行时间已经超过了 Redis 配置的
lua-time-limit时间， 那么可以执行SCRIPT KILL命令如果已经执行了写命令，Kill 脚本可能会导致 Redis 处于不一致的状态，想要恢复的化，可以执行
SHUTDOWN NOSAVE命令， Redis 会丢失上次快照后的所有变更; 或者丢失写到 AOF 文件的操作
记得在部署生产前，一定要严格的测试 Lua 脚本
应用到现实世界
创一个脚本加载器
键值与参数列表
应该尽可能地将要操作地 Key 作为 Keys 列表的一部分，而脚本地其他输入作为参数列表的一部分，这是因为，如果内部实现了多服务器分片，就要对这些 Keys 进行校验，是否存在于同一分片上
转换为使用 Lua 脚本实现之前的功能
应用到项目中例子
1 | local incrres = redis.call('incr', KEYS[1]) |
RSA
RSA 是一种公钥密码算法（非对称密码算法），由三位开发者的姓氏首字母进行命名。用于公钥密码和数字签名。
RSA 的加密
RSA 中，明文、密文、密钥都是数字，加密过程可用如下公式来表示：
$密文 = 明文^E \mod N$ (RSA 加密)
即明文的 E 次方求 N 的余数，这个余数就是密文。 所以直到 E 和 N 就可以进行加密，E 和 N 就是 RSA 加密的密钥，E 和 N 的组合就是 公钥 (E, N).E: Encryption, N: Number. E 和 N 是经过计算得来的，不是随意选取的。
RSA 的解密
RSA 的解密可以用如下公式来表示
$明文 = 密文^D \mod N$ (RSA 解密)
即密文的 D 次方求 N 的余数，这个余数就是明文，D 和 N 组合起来就是 RSA 的私钥 (D, N) . D: Decryption N:Number. D 是与 E 有着紧密的额联系的，否则是无法对 E 加密的密文通过 D 进行解密的。
RSA 的加密和解密使用相同的形式，并且可以用公式化进行表示。
生成密钥对
密钥对，即要生成加密使用的 (E, N) 和 解密的 (D, N), 需要生成三个数：E, D, N
(1) 求 N
准备两个很大的质数 p 和 q, p, q 太小使得破译变的容易，太长，会导致计算事件变成，所以需要均衡。假设 p 和 q 都是 521 比特。
如何生成质数？伪随机数算法 + 质数验证算法
如何判断质数？费马测试、米勒拉宾测试
$ N = p\times q$ (2) 求 L
L 在加密和解密过程中都不曾出现，只用于密钥对的生成过程。
$ L = lcm(p-1, q-1)$ L 是 p-1, q-1 的最小公倍数， lcm - least common multiple
(3) 求 E
$ 1 < E < L$ E 是一个比 1 大，比 L 小的数
$gcd(E, L) = 1$ E 和 L 的最大公约数必须为 1 (E 和 L 互质), gcd - greatest common divisor
求 E 可使用伪随机数生成器，生成 (1, L) 区间内的候选数，在判断是否满足 $gcd(E, L) = 1$ ，求最大公约数可使用欧几里得辗转相除法。
至此，已经求出了 E, N, 生成了密钥对中的公钥
(4) 求 D
D 由 E 计算而得， D, E , L 满足下列关系：
$1 < D <L$
$E\times D \mod L = 1$
只要数 D 满足上述条件，则通过 E 和 N 进行加密的密文，就可以通过 D 和 N 进行解密。要保证存在满足条件的 D, 就需要保证 E 和 L 的最大公约数为 1 $gcd(E, L) = 1$ , 时钟运算下的倒数，只有某个数和模数（如 12）的最大公约数为1，数学上称为和模数互质，才存在对应的倒数。
RSA 算法利用了求离散对数是困难的（通过密文求得明文进行破解），大整数的质因数分解是困难的（通过分解 N , 还原密钥生成的过程来进行破解）保证了机密性。
时钟运算的乘方，时钟运算的除法，时钟运算的离散对数，大整数的质因数分解
RSA 的攻击
通过密文求得明文进行破解
$密文 = ?^E \mod N$ 密文可以通过窃取得到，E, N 都是公开的，求明文, 转化为离散对数问题
通过分解 N , 还原密钥生成的过程来进行破解
已知公钥的 E N, 从密钥生成的过程破解，对 N 进行质因数分解，期望得到 p 和 q，从而求出 D, 转化为大整数的质因数分解问题
中间人攻击 (man-in-the-middle attack)
针对于所有公钥密码算法，中间人拦截发送方和接收方之间的消息，拦截接收方发送给发送方的公钥，并将自己的公钥伪装成实际接收方的公钥发送给发送方，发送方使用中间人的公钥进行加密发送，被中间人进行拦截，并通过自己的私钥进行解密，截取消息。然后通过获取的接受方的公钥将篡改的消息进行加密发送给接收方。可以使用公钥证书解决该问题。
选择密文攻击 (Chosen Ciphertext Attack)
通过将任意数据发送给解密服务，获得提示，利用解密提示，进行破译。解决方法：对密文进行认证，判断密文是否是由直到明文的人通过合法的方式生成的, RSA-OAEP 就是基于这种思路的一种 RSA 改良算法
实践
使用 openssl 生成密钥，进行加密和解密
密钥的生成与查看
1 | # 生成私钥 |
加密与解密
1 | # 从私钥中提取 pkcs8 格式的公钥 |
使用 JCA 进行解密验证
使用这里的私钥进行解密前，需要将 PKCS1 格式的私钥转换成 PKCS8 格式的私钥：
1 | # pkcs8 命令用来处理 PKCS#8 格式的密钥 |
Java 中进行解密验证
1 | public class RSACryptTest { |
最终打印出解密的结果：
1 | hello |
附录
PKCS#1 公钥 ASN.1 格式
1 | RSAPublicKey ::= SEQUENCE { |
PKCS#1 私钥 ASN.1 格式
1 | RSAPrivateKey ::= SEQUENCE { |
参考阅读
[1] 图解密码技术
[2] 深入剖析 RSA 密钥原理及实践 - [vivo互联网技术]
[3] how to load the private key from a .der file into java private key object - Stack Overflow
Quartz Stateful Job
如果想在 Quartz 定时任务的每次执行过程中，对 JobDetail 的 JobDataMap 中的属性值进行更新，也就是 stateful 的任务，如不使用 @PersistJobDataAfterExecution 注解，稍后会涉及到，最初肯定是想获取上下文的 JobDetail.JobDataMap 引用，调用 put 方法进行覆盖：
1 | public class ScheduleJob implements Job { |
结果是，每次执行时，获取到的 name 属性值还是 Jason，为此，对获取到的 dataMap 进行了 hashCode 值的打印，结果每次输出都是一样的，自认为每次 Job 执行时获取到的 JobDataMap 应用都指向同一个对象，为什么每次 put 不成功？
这个问题的答案在于，获取到的 JobDataMap 不是同一个对象，但返回的 hashCode 一样，是因为 JobDataMap 内部封装了一个 HashMap，HashMap hashCode 方法是对其中包含的每一个 Node(Entry) 中的 <K,V> 计算 HashCode 的值的加和，所以如果不同 HashMap 对象，存储相同的 K,V, 这两个 HashMap 的 hashCode 是相等，但实际上是两个不同的对象。
1 | // java.util.AbstractMap#hashCode |
再回到如何更新 JobDetail 中 JobDataMap 中的值，通过 debug, Job 每次执行的流程是，由 QuartzSchedulerThread 线程创建 JobRunShell 时，由于未使用持久化，使用默认的 RAMJobStore，每次执行时，从 JobStore 中获取执行时的上下文数据，并将其封装在 TriggerFiredBundle 对象中，并且再初始化该对象时，返回 JobDetail 对象的一个克隆对象，对应的 JobDataMap 也是原始 JobDataMap 的一个克隆对象（浅拷贝 shallow copy ），最后将这些数据封装在 JobExecutionContext 中， JobShell（Runnanle 对象） 由工作线程执行。
1 | // org.quartz.simpl.RAMJobStore#triggersFired |
上面的代码解释了为什么每次在 Job 执行时，对 JobDetail.JobDataMap 的字符串属性进行更新时，不起效，因为每次获取都是不同的 JobDataMap 对象，对克隆对象做的更新不能反映到原始的对象中，但是对引用类型的属性进行更新，可以生效，因为原始的克隆是浅拷贝（比如，在 JobDataMap 中使用一个 ArrayList, 并在每次任务执行时添加元素到这个 List 中）。
那么要如何实现对 JobDetail 中的 JobDataMap 进行更新，使得每次都可以更新一个状态，保存在里面呢？答案是使用 @PersistJobDataAfterExecution 注解，在 Job 执行结束时，会触发 JobStore 的 triggeredJobComplete 方法，做一些收尾工作, 其中会判断如果 JobClass 类上使用了该注解，会更新 JobStore 中保存的 JobDetial 和其 JobDataMap。
1 | //org.quartz.simpl.RAMJobStore#triggeredJobComplete |