一、为什么要有内存模型

  • 在现代多核处理器中,每个处理器都有自己的缓存,需要定期的与主内存进行协调。

  • 想要确保每个处理器在任意时刻知道其他处理器正在进行的工作,将需要很大的开销,且通常是没必要的。

1.1 硬件的效率与一致性

1、 由于计算机的存储设备与处理器的运算能力之间有几个数量级的差距,所以现代计算机系统都不得不加入一层读写速度尽可能接近处理器运算速度的高速缓存(cache)来作为内存与处理器之间的缓冲:将运算需要使用到的数据复制到缓存中,让运算能快速进行,当运算结束后再从缓存同步回内存之中没这样处理器就无需等待缓慢的内存读写了。

2、多个处理器运算任务都涉及同一块主存,需要一种协议可以保障数据的一致性,这类协议有MSI、MESI、MOSI及Dragon Protocol等。Java虚拟机内存模型中定义的内存访问操作与硬件的缓存访问操作是具有可比性的。

3、基于高速缓存的存储交互很好地解决了处理器与内存的速度矛盾,但是引入了一个新的问题:

缓存一致性(Cache Coherence)。在多处理器系统中,每个处理器都有自己的高速缓存,而他们又共享同一主存,下面会介绍这个问题


二、CPU和缓存一致性

2.1 为什么需要CPU cache

因为CPU的频率太快了,快到主存跟不上,这样在处理器时钟周期内,CPU常常需要等待主存,浪费资源。CPU往往需要重复处理相同的数据、重复执行相同的指令,如果这部分数据、指令CPU能在CPU缓存中找到,CPU就不需要从内存或硬盘中再读取数据、指令,从而减少了整机的响应时间,所以cache的出现,是为了缓解CPU和内存之间速度的不匹配问题(结构:cpu -> cache -> memory)

在程序执行的过程中就变成了:

当程序在运行过程中,会将运算需要的数据从主存复制一份到CPU的高速缓存当中,那么CPU进行计算时就可以直接从它的高速缓存读取数据和向其中写入数据,当运算结束之后,再将高速缓存中的数据刷新到主存当中。

在Intel官网上产品-处理器界面内对缓存的定义为:CPU高速缓存是处理器上的一个快速记忆区域。英特尔智能高速缓存(SmartCache)是指可让所有内核动态共享最后一级高速缓存的架构。这里就提及到了最后一级高速缓存的概念,即为CPU缓存中的L3(三级缓存),那么我们继续来解释一下什么叫三级缓存,分别又是指哪三级缓存。

2.2 三级缓存(L1、L2、L3)

1) 三级缓存(L1一级缓存、L2二级缓存、L3三级缓存)都是集成在CPU内的缓存 2) 它们的作用都是作为CPU与主内存之间的高速数据缓冲区 3) L1最靠近CPU核心,L2其次,L3再次 运行速度方面:L1最快、L2次快、L3最慢

容量大小方面:L1最小、L2较大、L3最大

4) CPU会先在最快的L1中寻找需要的数据,找不到再去找次快的L2,还找不到再去找L3,L3都没有那就只能去内存找了。

5) 单核CPU只含有一套L1,L2,L3缓存;如果CPU含有多个核心,即多核CPU,则每个核心都含有一套L1(甚至和L2)缓存,而共享L3(或者和L2)缓存。

单CPU双核的缓存结构:

在单线程环境下,cpu核心的缓存只被一个线程访问。缓存独占,不会出现访问冲突等问题在多线程场景下,在CPU和主存之间增加缓存,就可能存在缓存一致性问题,也就是说,在多核CPU中,每个核的自己的缓存中,关于同一个数据的缓存内容可能不一致,这也就是我们上面提到的缓存一致性的问题

2.3 乱序执行优化

从java源码到最终实际执行的指令序列,会经历下面3种重排序:

重排序的现象:

  • a=10,b=a 这一组 b依赖a,不会重排序

  • a=10,b=50 这一组 a和b 没有关系,那么就有可能被重排序执行 b=50,a=10

  • cpu和编译器为了提高程序的执行效率会按照一定的规则允许指令优化,不影响单线程程序执行结果,但是多线程就会影响程序结果


三、java内存模型

Java内存模型即Java Memory Model,简称JMM。JMM定义了Java 虚拟机(JVM)在计算机内存(RAM)中的工作方式。JVM是整个计算机虚拟模型,所以JMM是隶属于JVM的。

Java内存模型(Java Memory Model ,JMM)就是一种符合内存模型规范的,屏蔽了各种硬件和操作系统的访问差异的,保证了Java程序在各种平台下对内存的访问都能保证效果一致的机制及规范。可以避免像c++等直接使用物理硬件和操作系统的内存模型在不同操作系统和硬件平台下表现不同,比如有些c/c++程序可能在windows平台运行正常,而在linux平台却运行有问题。

注意JMM与JVM内存区域划分的区别: JMM描述的是一组规则,围绕原子性、有序性和可见性展开; 相似点:存在共享区域和私有区域

Java线程之间的通信采用的是过共享内存模型,这里提到的共享内存模型指的就是Java内存模型(简称JMM),JMM决定一个线程对共享变量的写入何时对另一个线程可见。从抽象的角度来看,JMM定义了线程和主内存之间的抽象关系:线程之间的共享变量存储在主内存(main memory)中,每个线程都有一个私有的本地内存(local memory),本地内存中存储了该线程以读/写共享变量的副本。本地内存是JMM的一个抽象概念,并不真实存在。它涵盖了缓存,写缓冲区,寄存器以及其他的硬件和编译器优化。

从上图来看,线程A与线程B之间如要通信的话,必须要经历下面2个步骤:

  1. 线程A把本地内存A中更新过的共享变量刷新到主内存中去。

  2. 线程B到主内存中去读取线程A之前已更新过的共享变量。具体示意图:

如上图所示,本地内存A和B有主内存中共享变量z的副本。假设初始时,这三个内存中的z值都为0。线程A在执行时,把更新后的z值(假设值为1)临时存放在自己的本地内存A中。当线程A和线程B需要通信时,线程A首先会把自己本地内存中修改后的z值刷新到主内存中,此时主内存中的z值变为了1。随后,线程B到主内存中去读取线程A更新后的z值,此时线程B的本地内存的z值也变为了1。

从整体来看,这两个步骤实质上是线程A在向线程B发送消息,而且这个通信过程必须要经过主内存。JMM通过控制主内存与每个线程的本地内存之间的交互,来为java程序员提供内存可见性保证。

3.1 JVM对Java内存模型的实现

在JVM内部,Java 内存模型把 Java 虚拟机内部划分为:线程栈和堆

线程栈:

每一个运行在 Java 虚拟机里的线程都拥有自己的线程栈。这个线程栈包含了这个线程调用的方法当前执行点相关的信息。一个线程仅能访问自己的线程栈。一个线程创建的本地变量对其它线程不可见,仅自己可见。即使两个线程执行同样的代码,这两个线程任然在在自己的线程栈中的代码来创建本地变量。因此,每个线程拥有每个本地变量的独有版本。

线程堆:

堆上包含在 Java 程序中创建的所有对象,无论是哪一个对象创建的。这包括原始类型的对象版本。如果一个对象被创建然后赋值给一个局部变量,或者用来作为另一个对象的成员变量,这个对象任然是存放在堆上。

  • 一个本地变量如果是原始类型,那么它会被完全存储到栈区

  • 一个本地变量也有可能是一个对象的引用,这种情况下,这个本地引用会被存储到栈中,但是对象本身仍然存储在堆区

  • 对于一个对象的成员方法,这些方法中包含本地变量,仍需要存储在栈区,即使它们所属的对象在堆区

  • 对于一个对象的成员变量,不管它是原始类型还是包装类型,都会被存储到堆区

  • Static类型的变量以及类本身相关信息都会随着类本身存储在堆区

  • 堆中的对象可以被多线程共享。如果一个线程获得一个对象的应用,它便可访问这个对象的成员变量。如果两个线程同时调用了同一个对象的同一个方法,那么这两个线程便可同时访问这个对象的成员变量,但是对于本地变量,每个线程都会拷贝一份到自己的线程栈中

3.2 Java内存模型和硬件架构之间的桥接

Java内存模型和硬件内存架构并不一致。硬件内存架构中并没有区分栈和堆,从硬件上看,不管是栈还是堆,大部分数据都会存到主存中,当然一部分栈和堆的数据也有可能会存到CPU寄存器中,如下图所示,Java内存模型和计算机硬件内存架构是一个交叉关系:

3.3 Java内存模型 - 同步八种操作

1) lock(锁定):作用于主内存的变量,把一个变量标识为一条线程独占状态

2) unock(解锁):作用于主内存的变量,把一个处于锁定状态的变量释放出来,释放后的变量才可以被其他线程锁定

3) read(读取):作用于主内存的变量,把一个变量值从主内存传输到线程的工作内存中,以便随后的load动作使用

4) load(载入):作用于工作内存的变量,它把read操作从主内存中得到的变量值放入工作内存的变量副本中

5) use(使用):作用于工作内存的变量,把工作内存中的一个变量值传递给执行引擎

6) assign(赋值):作用于工作内存的变量,它把一个从执行引擎接收到的值赋值给工作内存的变量

7) store(存储):作用于工作内存的变量,把工作内存中的一个变量的值传送到内存中,以便随后的write的操作

8) write(写入):作用于工作内存的变量,它把store操作从工作内存中一个变量的值传送到主内存的变量中

3.4 Java内存模型 - 同步规则

  • 如果要把一个变量从主内存中复制到工作内存,就需要按顺序地执行read和load操作,如果把变量从工作内存中同步回主内存中,就要按顺序地执行store和write操作。但Java内存模型只要求上诉操作必须按顺序执行,而没有保证必须是连续执行

  • 不允许read和load、store和write操作之一单独出现

  • 不允许一个线程丢弃它的最近assign的操作,即变量在工作内存中改变了之后必须同步到主内存中

  • 不允许一个线程无原因的(没有发生过任何assign操作)把数据从工作内存同步回主内存中

  • 一个新的变量只能在主内存中诞生,不允许在工作内存中直接使用一个未被初始化(load或assign)的变量。即就是对一个变量实施use和store操作之前,必须先执行过了assign和load操作

  • 一个变量在同一时刻只允许一条线程对其进行lock操作,但lock操作可以被同一条线程重复执行多次,多次执行lock后,只有执行相同次数的unlock操作,变量才会解锁。lock和unlock必须成对出现

  • 如果对一个变量执行lock操作,将会清空工作内存中此变量的值,在执行引擎使用这个变量前需要重新执行load或assign操作初始化变量的值

  • 如果一个变量事先没有被lock操作锁定,则不允许对它执行unlock操作,也不允许去unlock一个被其他线程锁定的变量

  • 对一个变量执行unlock操作之前,必须先把此变量同步到主内存中(执行store和write操作)

原子性、可见性、有序性:可以查看我上一篇文章:线程安全性详解(原子性、可见性、有序性)


四、并发的优势与风险

优势:1) 速度:使用处理多个请求,响应更快,复杂的操作可以分成多个进程同时执行 2) 设计:程序设计在某些情况下更简单,也可以有更多的选择 3) 资源利用:CPU能够在等待IO的时候做一些其他的事情

风险:1) 安全性:多个线程共享数据时可能会产生于期望不相符的结果 2) 活跃性:某个操作无法继续进行下去时,就会发生活跃性问题。比如死锁、饥饿等问题 3) 性能:线程过多时会使得:CPU频繁切换,调度时间增多;同步机制;消耗过多内存


五、总结

CPU多级缓存:缓存一致性、乱序执行优化 Java内存模型:JMM规定、抽象结构、同步八种操作及规则 Java并发的优势与风险