hashmap死循环(hadoop常见问题)

admin 453 0

这篇文章给大家聊聊关于hashmap死循环,以及hadoop常见问题对应的知识点,希望对各位有所帮助,不要忘了收藏本站哦。

一、HashMap为什么不安全

我们都知道HashMap是线程不安全的,在多线程环境中不建议使用,但是其线程不安全主要体现在什么地方呢,本文将对该问题进行解密。

在jdk1.8中对HashMap做了很多优化,这里先分析在jdk1.7中的问题,相信大家都知道在jdk1.7多线程环境下HashMap容易出现死循环,这里我们先用代码来模拟出现死循环的情况:

publicclassHashMapTest{publicstaticvoidmain(String[]args){HashMapThreadthread0=newHashMapThread();HashMapThreadthread1=newHashMapThread();HashMapThreadthread2=newHashMapThread();HashMapThreadthread3=newHashMapThread();HashMapThreadthread4=newHashMapThread();thread0.start();thread1.start();thread2.start();thread3.start();thread4.start();}}classHashMapThreadextendsThread{privatestaticAtomicIntegerai=newAtomicInteger();privatestaticMapmap=newHashMap<>();@Overridepublicvoidrun(){while(ai.get()<1000000){map.put(ai.get(),ai.get());ai.incrementAndGet();}}}

上述代码比较简单,就是开多个线程不断进行put操作,并且HashMap与AtomicInteger都是全局共享的。

在多运行几次该代码后,出现如下死循环情形:

其中有几次还会出现数组越界的情况:

这里我们着重分析为什么会出现死循环的情况,通过jps和jstack命名查看死循环情况,结果如下:

从堆栈信息中可以看到出现死循环的位置,通过该信息可明确知道死循环发生在HashMap的扩容函数中,根源在transfer函数中,jdk1.7中HashMap的transfer函数如下:

voidtransfer(Entry[]newTable,booleanrehash){intnewCapacity=newTable.length;for(Entrye:table){while(null!=e){Entrynext=e.next;if(rehash){e.hash=null==e.key?0:hash(e.key);}inti=indexFor(e.hash,newCapacity);e.next=newTable[i];newTable[i]=e;e=next;}}}

在对table进行扩容到newTable后,需要将原来数据转移到newTable中,注意10-12行代码,这里可以看出在转移元素的过程中,使用的是头插法,也就是链表的顺序会翻转,这里也是形成死循环的关键点。

hash算法为简单的用key mod链表的大小。

最开始hash表size=2,key=3,7,5,则都在table[1]中。

如果在单线程环境下,最后的结果如下:

这里的转移过程,不再进行详述,只要理解transfer函数在做什么,其转移过程以及如何对链表进行反转应该不难。

然后在多线程环境下,假设有两个线程A和B都在进行put操作。线程A在执行到transfer函数中第11行代码处挂起,因为该函数在这里分析的地位非常重要,因此再次贴出来。

线程A挂起后,此时线程B正常执行,并完成resize操作,结果如下:

这里需要特别注意的点:由于线程B已经执行完毕,根据Java内存模型,现在newTable和table中的Entry都是主存中最新值:7.next=3,3.next=null。

此时切换到线程A上,在线程A挂起时内存中值如下:e=3,next=7,newTable[3]=null,代码执行过程如下:

注意此次循环:e.next=7,而在上次循环中7.next=3,出现环形链表,并且此时e=null循环结束。

在后续操作中只要涉及轮询hashmap的数据结构,就会在这里发生死循环,造成悲剧。

线程A和线程B进行put操作,同样线程A挂起:

此时线程B已获得CPU时间片,并完成resize操作:

同样注意由于线程B执行完成,newTable和table都为最新值:5.next=null。

此时切换到线程A,在线程A挂起时:e=7,next=5,newTable[3]=null。

执行newtable[i]=e,就将7放在了table[3]的位置,此时next=5。接着进行下一次循环:

将5放置在table[1]位置,此时e=null循环结束,3元素丢失,并形成环形链表。并在后续操作hashmap时造成死循环。

在jdk1.8中对HashMap进行了优化,在发生hash碰撞,不再采用头插法方式,而是直接插入链表尾部,因此不会出现环形链表的情况,但是在多线程的情况下仍然不安全,这里我们看jdk1.8中HashMap的put操作源码:

这是jdk1.8中HashMap中put操作的主函数,注意第6行代码,如果没有hash碰撞则会直接插入元素。

如果线程A和线程B同时进行put操作,刚好这两条不同的数据hash值一样,并且该位置数据为null,所以这线程A、B都会进入第6行代码中。

假设一种情况,线程A进入后还未进行数据插入时挂起,而线程B正常执行,从而正常插入数据,然后线程A获取CPU时间片,此时线程A不用再进行hash判断了,问题出现:线程A会把线程B插入的数据给覆盖,发生线程不安全。

首先HashMap是线程不安全的,其主要体现:

在jdk1.7中,在多线程环境下,扩容时会造成环形链或数据丢失。

在jdk1.8中,在多线程环境下,会发生数据覆盖的情况。

二、HashMap为什么会死锁

因为HashMap是非线程安全的,所以死锁一般发生在并发的情况下。

我们假设有二个线程T1、T2,HashMap容量为2

首先T1线程放入key A、B、C、D、E。在T1线程中A、B、C Hash值相同,于是形成一个链接,假设为A->C->B,而D、E Hash值不同,于是容量不足,需要新建一个更大尺寸的hash表,然后把数据从老的Hash表中迁移到新的Hash表中(refresh)。这时T2线程闯进来了,T1暂时挂起,T2线程也准备放入新的key,这时也发现容量不足,也refresh一把。refresh之后原来的链表结构假设为C->A,之后T1线程继续执行,链接结构为A->C,这时就形成A.next=B,B.next=A的环形链表,并且这里并不会报错和出现异常,只有当使用get来进行取值的时候进入这个环形链表就陷入了死循环。

其实,关键就在于rehash过程。在前面我们说了后续调用 HashMap的get()方法才会造成死锁。既然是 get()造成的死锁,一定是跟put()进去元素的位置有关,所以我们从 put()方法开始看起。

看到最后这个函数transfer(),就算找到了问题的关键:

我们会发现转移的时候是逆序的。假如转移前链表顺序是1->2->3,那么转移后就会变成3->2->1。这时候就有点头绪了,死锁问题不就是因为1->2的同时2->1造成的吗?所以,HashMap的死锁问题就出在这个transfer()函数上。

并且个人认为,这不算是死锁,毕竟原因是因为进入了回环链表。死锁是两个线程互相等待对方释放锁才对。。。。。

https://blog.csdn.net/u010988549/article/details/104815268

三、HashMap 多线程操作导致死循环问题

在多线程下,进行 put操作会导致 HashMap死循环,原因在于 HashMap的扩容 resize()方法。由于扩容是新建一个数组,复制原数据到数组。由于数组下标挂有链表,所以需要复制链表,但是多线程操作有可能导致环形链表。复制链表过程如下:

以下模拟2个线程同时扩容。假设,当前 HashMap的空间为2(临界值为1),hashcode分别为 0和 1,在散列地址 0处有元素 A和 B,这时候要添加元素 C,C经过 hash运算,得到散列地址为 1,这时候由于超过了临界值,空间不够,需要调用 resize方法进行扩容,那么在多线程条件下,会出现条件竞争,模拟过程如下:

线程一:读取到当前的 HashMap情况,在准备扩容时,线程二介入

线程二:读取 HashMap,进行扩容

这个过程为,先将 A复制到新的 hash表中,然后接着复制 B到链头(A的前边:B.next=A),本来 B.next=null,到此也就结束了(跟线程二一样的过程),但是,由于线程二扩容的原因,将 B.next=A,所以,这里继续复制A,让 A.next=B,由此,环形链表出现:B.next=A; A.next=B

注:1.7链表元素采用的是头插法,1.8改成尾插法

OK,关于hashmap死循环和hadoop常见问题的内容到此结束了,希望对大家有所帮助。