2020年9月5日 | by JavaEdge

深度解析Redis线程模型设计原理

全是干货的技术号:
本文已收录在github,欢迎 star/fork:
https://github.com/Wasabi1234/Java-Interview-Tutorial

1 单线程模型设计

image

单线程模型为何效率高

纯内存操作
基于非阻塞的IO多路复用机制
避免了多线程的频繁上下文切换

2 文件事件处理器
Redis 基于 Reactor 模式开发了自己的网络事件处理器 – 文件事件处理器(file event handler,后文简称为 FEH),而该处理器…

2020年9月5日 | by 神经骚栋

ESP8266开发环境搭建, 寻寻觅觅, 依然是 Mac + Clion + PlatformIO

前言

这段时间有空就在写智能家居的项目,这一篇主要是针对Mac OS系统下的Esp8266环境搭建重新搞一下.
刚开始开发硬件的时候,我是基于 安信可官网 的Eclipse C++进行开发,优点就是傻瓜式撸代码,其实也不应该说撸代码,就是可能下载下来Demo,然后改改IP 改改端口什么的就可以完美运行了.虽然看是很简单,但是不太利于后期扩展,主要是Eclipse这个IDE都是一个老古董了(虽然我承认现在还是有人在用),但是说真的用起来是十分的难受….而且代码集成度太高,对于新手…

2020年9月5日 | by 编程异思坊

人人都在说的虚拟内存到底是什么

虚拟内存的由来
为什么会存在虚拟内存呢?原来,在以前的计算机体系中是没有虚拟内存的,程序都是直接运行在物理内存上面的。但是随着我们程序越写越大,想要实现的功能越来越多,直接将程序运行在物理内存上会带来一些问题。

多程序运行影响内存使用效率。
修改内存数据可能导致程序崩溃。

先来回答问题一,现在有多个程序需要运行,但是内存空间不足,此时我们需要把内存中的某个程序拷贝到硬盘里面,再将新的程序装入内存。这整个过程是很耗时的,而且大量数据频繁装入装出,使得内存的使用效率很低。
然后来看问题二,由于多程序…

2020年9月5日 | by 新世界杂货铺

深入剖析go中字符串的编码问题——特殊字符的string怎么转byte?

前言

前段时间发表了Go中的HTTP请求之——HTTP1.1请求流程分析,所以这两天本来打算研究HTTP2.0的请求源码,结果发现太复杂就跑去逛知乎了,然后就发现了一个非常有意思的提问“golang 特殊字符的string怎么转成[]byte?”。为了转换一下心情, 便有了此篇文章。

问题

原问题我就不码字了,直接上图:

看到问题,我的第一反应是ASCII码值范围应该是0~127呀,怎么会超过127呢?直到实际运行的时候才发现上图的特殊字符是‘�’(如果无法展示,记住该特殊字符的unicode是\u0081),并不是英文中的句号。

unicode和utf-8的恩怨纠葛

百度百科已经把unicode和utf-8介绍的很详细了,所以这里就不做过多的阐述,仅摘抄部分和本文相关的定义:

  • Unicode为每个字符设定了统一并且唯一的二进制编码,通常用两个字节表示一个字符
  • UTF-8是针对Unicode的一种可变长度字符编码。它可以用来表示Unicode标准中的任何字符。UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符,UTF-8编码与ASCII编码完全相同

go中的字符

众所周知,go中能表示字符的有两种类型,分别是byterune,byte和rune的定义分别是:type byte = uint8type rune = int32

uint8范围是0-255,只能够表示有限个unicode字符,超过255的范围就会编译报错。根据上述关于unicode的定义,4字节的rune完全兼容两字节的unicode。

我们用下面的代码来验证:

var (
        c1 byte = 'a'
        c2 byte = '新'
        c3 rune = '新'
    )
    fmt.Println(c1, c2, c3)

上述的程序根本无法运行,因为第二行编译会报错,vscode给到了十分详细的提示:'新' (untyped rune constant 26032) overflows byte

接下来,我们通过下面的代码来验证字符unicode和整型的等价关系:

    fmt.Printf("0x%x, %d\n", '�', '�') //输出:0x81, 129
    fmt.Println(0x81 == '�', '\u0081' == '�', 129 == '�') // 输出:true true true
    //\u0081输出到屏幕上后不展示, 所以换了大写字母A来输出
    fmt.Printf("%c\n", 65) // 输出:A

根据上面的代码输出的3个true可以知道,字符和unicode和整形是等价,并且整型也能转回字符的表现形式。

go中的字符串是utf8编码的

根据golang官方博客https://blog.golang.org/strings的原文:


Go source code is always UTF-8.
A string holds arbitrary bytes.
A string literal, absent byte-level escapes, always holds valid UTF-8 sequences.

翻译整理过来其实也就是两点:

  1. go中的代码总是用utf8编码,并且字符串能够存储任何字节。
  2. 没有经过字节级别的转义,那么字符串是一个标准的utf8序列。

有了前面的基础知识和字符串是一个标准的utf8序列这一结论后我们接下来对字符串“�”(如果无法展示,记住该特殊字符的unicode是\u0081)手动编码。

Unicode到UTF-8的编码方对照表:

Unicode编码(十六进制) UTF-8 字节流(二进制)
000000-00007F 0xxxxxxx
000080-0007FF 110xxxxx 10xxxxxx
000800-00FFFF 1110xxxx 10xxxxxx 10xxxxxx
010000-10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

字符‘�’(如果无法展示,记住该特殊字符的unicode是\u0081)的二进制表示为10000001,16进制表示为0x81

根据unicode转utf8的对照表,0x7f 110xxxxx 10xxxxxx。

我们按照下面的步骤对10000001转为utf8的二进制序列:

第一步:根据x数量对特殊字符的高位补0。x的数量是11,所以需要对特殊字符的高位补3个0,此时特殊字符的二进制表示为:00010000001

第二步:x有两个部分,且长度分别是5和6,所以对00010000001由底位向高位分别截取6位和5位,得到00000100010

第三步:将00000100010由低位向高位填充至模版110xxxxx 10xxxxxx,可得到utf8的二进制序列为:11000010 10000001

我们通过go对二进制转为整型:

fmt.Printf("%d, %d\n", 0b11000010, 0b10000001)
// 输出:194, 129

综上:当用字符转字节时输出的是字符本身的整型值,当用字符串转字节切片时,实际上是输出的是utf8的字节切片序列(go中的字符串存储的就是utf8字节切片)。此时,我们回顾一下最开始的问题,就会发现输出是完全符合预期的。

go中的rune

笔者在这里猜测提问者期望的结果是“字符串转字节切片和字符转字节的结果保持一致”,这时rune就派上用场了,我们看看使用rune的效果:

fmt.Println([]rune("�"))
// 输出:[129]

由上可知用rune切片去转字符串时,它是直接将每个字符转为对应的unicode。

我们通过下面的代码模拟字符串转为[]rune切片和[]rune切片转为字符串的过程:

字符串转为rune切片:

    // 字符串直接转为[]rune切片
    for _, v := range []rune("新世界杂货铺") {
        fmt.Printf("%x ", v)
    }
    fmt.Println()
    bs := []byte("新世界杂货铺")
    for len(bs) > 0 {
        r, w := utf8.DecodeRune(bs)
        fmt.Printf("%x ", r)
        bs = bs[w:]
    }
    fmt.Println()
    // 输出:
    // 65b0 4e16 754c 6742 8d27 94fa
    // 65b0 4e16 754c 6742 8d27 94fa

上述代码中utf8.DecodeRune的作用是通过传入的utf8字节序列转为一个rune即unicode。

rune切片转为字符串:

    // rune切片转为字符串
    rs := []rune{0x65b0, 0x4e16, 0x754c, 0x6742, 0x8d27, 0x94fa}
    fmt.Println(string(rs))
    utf8bs := make([]byte, 0)
    for _, r := range rs {
        bs := make([]byte, 4)
        w := utf8.EncodeRune(bs, r)
        utf8bs = append(utf8bs, bs[:w]...)
    }
    fmt.Println(string(utf8bs))
    // 输出:
    // 新世界杂货铺
    // 新世界杂货铺

上述代码中utf8.EncodeRune的作用是将一个rune转为utf8字节序列。

综上:对于无法确定字符串中仅有单字节的字符的情况, 请使用rune,每一个rune类型代表一个unicode字符,并且它可以和字符串做无缝切换。

理解go中的字符串其实是字节切片

前面已经提到了字符串能够存储任意字节数据,而且是一个标准的utf8格式的字节切片。那么本节将会通过代码来加深印象。

    fmt.Println([]byte("新世界杂货铺"))
    s := "新世界杂货铺"
    for i := 0; i 

由上述的代码可知,我们通过游标按字节访问字符串得到的结果和字符串转为字节切片是一样的,因此可以再次确认字符串和字节切片是等价的。

通常情况下我们的字符串都是标准utf8格式的字节切片,但这并不是说明字符串只能存储utf8格式的字节切片,go中的字符串可以存储任意的字节数据


    bs := []byte{65, 73, 230, 150, 176, 255}
    fmt.Println(string(bs))         // 将随机的字节切片转为字符串
    fmt.Println([]byte(string(bs))) // 将字符串再次转回字节切片

    rs := []rune(string(bs)) // 将字符串转为字节rune切片
    fmt.Println(rs)          // 输出rune切片
    fmt.Println(string(rs))  // 将rune切片转为字符串

    for len(bs) > 0 {
        r, w := utf8.DecodeRune(bs)
        fmt.Printf("%d: 0x%x ", r, r) // 输出rune的值和其对应的16进制
        bs = bs[w:]
    }
    fmt.Println()
    fmt.Println([]byte(string(rs))) // 将rune切片转为字符串后再次转为字节切片
    // 输出:
    // AI新�
    // [65 73 230 150 176 255]
    // [65 73 26032 65533]
    // AI新�
    // 65: 0x41 73: 0x49 26032: 0x65b0 65533: 0xfffd 
    // [65 73 230 150 176 239 191 189]

仔细阅读上面的代码和输出,前5行的输出应该是没有疑问的。但是第6行输出却和预期有出入。

前面提到了字符串可以存储任意的字节数据,那如果存储的字节数据不是标准的utf8字节切片就会出现上面的问题。

我们已经知道通过utf8.DecodeRune可以将字节切片转为rune。那如果碰到不符合utf8编码规范的字节切片时,utf8.DecodeRune会返回一个容错的unicode\uFFFD,这个unicode对应上面输出的16进制0xfffd

问题也就出现在这个容错的unicode\uFFFD上,因为字节切片不符合utf8编码规范无法得到正确的unicode,既\uFFFD占据了本应该是正确的unicode所在的位置。这个时候再将已经含有容错字符的rune切片转为字符串时,字符串存储的就是合法的utf8字节切片了,因此第六行输出的是含有\uFFFD的合法utf8字节切片,也就产生了和最初始的字节切片不一致的情况了。

⚠️:在平时的开发中要注意rune切片和byte切片的相互转换一定要基于没有乱码的字符串(内部是符合utf8编码规则的字节切片),否则容易出现上述类似的错误

字符串的多种表示方式

本节算是扩展了,在开发中还是尽量别用这种特殊的表示方式,虽然看起来很高级但是可读性太差。

下面直接看代码:

    bs := []byte([]byte("新"))
    for i := 0; i 

目前笔者仅发现unicode和单字节的16进制可以直接用在字符串中, 欢迎读者提供更多的表示方式以供交流。

最后,祝大家读完此篇文章后能够有所收获。

2020年9月5日 | by 新世界杂货铺

为什么go中的receiver name不推荐使用this或者self

前言
在日常的开发中我们除了定义函数以外, 我们还会定义一些方法。这本来没有什么, 但是一些从PHP或者其他面向对象语言转GO的同学往往会把receiver name命名为this, self, me等。
笔者在实际项目开发中也遇到类似的同学, 屡次提醒却没有效果,于是决心写下这篇文章以便好好说服这些同学。
CR标准做法
首先我们来看一下GO推荐的标准命名Receiver Names,以下内容摘抄自https://github.com/golang/go/wiki/CodeReviewComment…

2020年9月5日 | by 神经骚栋

SpringBoot:基于JWT的token校验、单点登录、刷新token

前言

用户鉴权一直是我先前的一个问题,以前我用户接口鉴权是通过传入参数进行鉴权,只要是验证用户的地方就写token验证,虽然后面也把token验证方法提取到基类中,但是整体来说仍然不是太雅观,当时的接口如下所示.
@RequestMapping(value = “like”,method = RequestMethod.POST)
public ResultMap userLikeOrDisLikeAction(@RequestParam(value = “shop…

2020年9月5日 | by JavaEdge

听说你还不懂 Java 的服务定位器模式(Service Locator Pattern)?

1 概述
当你想使用 JNDI 查询定位各种服务时,便可考虑该模式。
由于为某个服务查找 JNDI 的代价很高,服务定位器模式(后文简称为 SLP)充分利用了缓存技术。在首次请求某服务时,服务定位器在 JNDI 中查找服务,并缓存该服务对象。当再次请求相同服务时,服务定位器会在它的缓存中查找,便可极大提高应用程序的性能。
2 构成

服务(Service)
实际处理请求的服务。对该服务的引用可在 JNDI 服务器中查到
Context / 初始的 Context
JNDI Context 带有对要查…

2020年9月5日 | by JavaEdge

消息队列面试解析系列(六)- 异步编程妙用

0 异步的优势
太多的线程会造成频繁的cpu上下文切换,你可以想象一下,假设你的小公司只有8台电脑,你雇8个程序员一直不停的工作显然是效率最高的。考虑到程序员要休息不可能连轴转,雇佣24个人,每天三班倒,效率也还行。
但是,你要雇佣10000个人,他们还是只能用这8台电脑,大部分时间不都浪费在换人、交接工作上啦。
异步编程是通过分工的方式,是为了减少了cpu因线程等待的可能,让CPU一直处于工作状态。换句话说,如果我们能想办法减少CPU空闲时间,我们的计算机就可以支持更多的线程。
其实…

2020年9月5日 | by 架构学习基地

没有微服务项目经验,就别去面试官那里送人头了

又是跟技术战斗的一天!

后台都是在问微服务架构的面试题怎么答,想聊聊微服务架构了。微服务架构一跃成为 IT 领域炙手可热的话题也就这两年的事,大量一线互联网公司因为庞大的业务体量和业务需求,纷纷投入了微服务架构的建设中,像阿里巴巴、百度、美团等大厂,很早就已经开始了微服务的实践和应用。一线大厂的带动,让微服务成为了 Java 系程序员面试的必备考点。其中是否具有 Spring Cloud 技术能力的程序员,也是企业招聘中影响薪资的核心要素之一。

招聘要求基本都有微服务架构Spri…

2020年9月5日 | by 九九叔

Android:嵌套滑动总结

貌似这个比较复杂,记录一下

解释的比较好的。
https://blog.csdn.net/recall2012/article/details/79474172
一.何为滑动嵌套?
就是就有滑动功能的view,再嵌套另一个具有滑动功能的view,例如recyclerview嵌套recyclerview。
二.CoordinatorLayout是什么?
是协调布局,是一个超级framelayout,可以控制多个view协调运动。通过behavior来实现。主要原理是,子view获取到滑动事件后,在…

2020年9月5日 | by 南国之女

就算终有一散,也别辜负相遇

文/南国之女当我们在尘世间相遇是甘遇上苦,酸拥抱甜。尘世间的种种相遇,无论是事业、学业还是爱情总会经历诸多考验。如罗曼罗兰所言,“他们都觉得世界没有安排好,爱人家的得不到人家的爱,被人家爱的偏不爱人家,彼此相爱的又早晚得分离。”要记住,“没有不可治愈的伤痛,没有不能结束的沉沦,所有失去的,会以另一种方式归来。”纵使在世俗的药罐里煎熬,也请你有充分的忍耐去担当。品不完的苦辣,尝不尽的酸甜,才是最为真实的生活。“生活有时是文火,有时是烈焰。”其实,它深藏着一个明确的指向:担当。烈焰下的倔强,…

2020年9月5日 | by 南国之女

懂事,很多时候是被逼出来的。

文/南国之女知乎上有个姑娘说:不管我做多少家务,洗多少碗,多顺从家人的意愿,他们都不喜欢我,我真的不想再委屈求全的懂事了。懂事的孩子总是先考虑别人,把自己的需求放在心里,小心翼翼、百依百顺,不去计较、不自私、不撒娇、不任性。我们被“懂事”给绑架了。懂事的背后是我们咽下了很多的委屈。懂事的背后是我们怕惹别人不高兴的自卑。懂事的背后是讨好,看别人的脸色。而你所谓的懂事,除了让自己委屈,得不到任何一个人的感激。有网友说:“你可知道你对我做的什么事最残忍?就是你狠狠地一夜之间把我逼成了一个大人”…

关注我们的微信公众号获取更多健身信息
蜀ICP备15013372号