1. 主页 > 用户投稿

redis线程池 最大连接(redisson 线程池)

大家好,小编今天为大家分享关于redisson 线程池(redis线程池 更大连接)的信息,很多人还不知道,今天让我们一起来看看吧!

1、Redis6引入了多线程IO。我们来对比一下Netty的多线程模型。分析思路:初始化线程?如何分配client给thread?如何处理读写事件,在什么线程处理?如何处理命令的逻辑,在什么线程处理?Netty的多线程模型

2、用户代码ServerBootstrapb=newServerBootstrap();b.group(bossGroup,workerGroup).channel(NioServerSocketChannel.class).childOption(ChannelOption.TCP_NODELAY,true).childAttr(AttributeKey.newInstance("childAttr"),"childAttrValue").handler(newServerHandler()).childHandler(newChannelInitializer(){@OverridepublicvoidinitChannel(SocketChannelch){ch.pipeline().addLast(newAuthHandler());//..}});ChannelFuturef=b.bind(8888).sync();f.channel().closeFuture().sync();复制代码初始化线程(ServerBootsrap.bind())Netty初始化线程,创建一个boss线程池和一个work线程池,给new一个通道处理注册线程的连接,并为这个通道添加一个ServerBootstrapAcceptor的通道。

3、操作线程:主线程执行执行时机:初始化线程执行代码:ServerBootsrap.bind()如何给线程分配客户端?操作线程:主线程执行执行时机:新连接接入新连接的建立可以分为三个步骤:1.检测到新的连接;在工作线程组中注册新的连接;注册新连接的读取事件。线程组的NioEventLoop.run()不断检查所有管道,并在管道状态为可读或已连接时读取它们。if((readyOps&(SelectionKey.OP_READ|SelectionKey.OP_ACCEPT))!=0||readyOps==0){unsafe.read();}复制代码然后按照渠道的责任链来传递。

4、unsafe.read()—->pipeline.fireChannelRead(byteBuf);—->ServerBootstrapAcceptor.channelRead()—->MultithreadEventLoopGroup.register(child)分配一个线程给这个channel,一个线程可能拥有多个channel如何搭配螺纹DefaultEventExecutorChooserFactory.java用线程个数取余来分配@OverridepublicEventExecutornext(){returnexecutors[Math.abs(idx.getAndIncrement()%executors.length)];}AbstractChannel.java@Overridepublicfinalvoidregister(EventLoopeventLoop,finalChannelPromisepromise){//重点!!!这个线程就永远被挂靠在channel上面了AbstractChannel.this.eventLoop=eventLoop;//监听读事件NIO底层的注册register0(promise);}}复制代码如何处理读写事件,在什么线程中?channelinboundhandler.channelread如何处理命令的逻辑,在什么线程中?channelinboundhandler.channelread总结:Netty开始注册一个Boss线程池(通常是一个)来监控(NioEventLoop,run)连接的通道。如果有要连接的通道,就找

5、serverbootstrapacceptor。Channelread()并将其分配给通道的一个线程(NioEventLoop),这个线程(NioEventLoop)会通过run()不断读取并处理通道中的命令。

6、Redis多线程模型

7、初始化线程(initThreadedIO()函数)操作线程:主线程执行执行时机:初始化线程首先,如果用户没有打开多线程IO,也就是io_thread_num==1,就按照单线程处理;如果超过线程IO_THREADS_MAX_NUM的数量,则异常退出。创建io_threads_num个线程(listCreate)并处理除主线程之外的线程(id==0):(listCreate创建一个线程)初始化线程的等待任务为0获取锁,使得线程不能进行操作将线程tid与Redis中的线程id进行映射/*InitializethedatastructuresneededforthreadedI/O.*/voidinitThreadedIO(void){io_threads_active=0;/*Westartwiththreadsnotactive.*//*Don'tspawnanythreadiftheuserselectedasinglethread:*we'llhandleI/Odirectlyfromthemainthread.*///如果用户没有开启多线程IO直接返回使用主线程处理if(server.io_threads_num==1)return;//线程数设置超过上限if(server.io_threads_num>IO_THREADS_MAX_NUM){serverLog(LL_WARNING,"Fatal:toomanyI/Othreadsconfigured.""Themaximumnumberis%d.",IO_THREADS_MAX_NUM);exit(1);}/*SpawnandinitializetheI/Othreads.*///初始化io_threads_num个对应线程for(inti=0;i< server.io_threads_num;="" i++)="" {="" things="" we="" do="" for="" all="" the="" threads="" including="" the="" main="" thread.="" */="" io_threads_list[i]="listCreate();" if="" (i="=" 0)="" continue;="" index="" 0为主线程,跳过="" things="" we="" do="" only="" for="" the="" additional="" threads.="" */="" 非主线程则需要以下处理="" pthread_t="" tid;="" 为线程初始化生成对应的锁="" pthread_mutex_init(&io_threads_mutex[i],null);="" 线程等待状态初始化为0="" io_threads_pending[i]="0;" 初始化后将线程锁住="" pthread_mutex_lock(&io_threads_mutex[i]);="" if="" (pthread_create(&tid,null,iothreadmain,(void*)(long)i)="" !="0)" {="" serverlog(ll_warning,"fatal:="" can't="" initialize="" io="" thread.");="" exit(1);="" }="" 将index和对应线程id加以映射="" io_threads[i]="tid;">

8、// 读取到一个客户端的请求int postponeClientRead(client *c) { if (io_threads_active && // 线程是否在不断(spining)等待IO server.io_threads_do_reads && // 是否多线程IO读取 !(c->flags&(CLIENT_MASTER|CLIENT_SLAVE|CLIENT_PENDING_READ))){//client不能是主从,且未处于等待读取的状态//将Client设置为等待读取的状态Flagc->flags|=CLIENT_PENDING_READ;//把client加入到等待读列表listAddNodeHead(server.clients_pending_read,c);return1;}else{return0;}}复制代码此时,服务器维护一个clients_pending_read,其中包含一个具有挂起读取事件的所有客户端的列表。如何将客户端分配给线程(handleclientswithpendingreadsusingthreads)操作线程:主线程执行执行时机:执行处理事件之后首先,Redis检查等待读取的客户端列表长度(

9、server.clients_pending_read)如果长度不为0,则执行while循环,并将每个等待的客户端分配给该线程。当等待长度超过线程时,每个线程可以被分配一个以上的客户端;intitem_id=0;while((ln=listNext(&li))){client*c=listNodeValue(ln);//在线程组取余inttarget_id=item_id%server.io_threads_num;listAddNodeTail(io_threads_list[target_id],c);item_id++;}并且修改每个线程需要完成的数量(初始化为0)://所有线程for(intj=1;j< server.io_threads_num;="" j++)="" {="" 拿出当前线程需要处理多少个客户端="" int="" count="listLength(io_threads_list[j]);" 设置当前线程需要多少客户端="" io_threads_pending[j]="count;}等待处理直到没有剩余任务:while(1)" {="" unsigned="" long="" pending="0;" 拿出所有线程,查看线程是否还有需要的客户端="" 这里主要是监听子线程是否完全处理好任务="" for="" (int="" j="1;" j="">< server.io_threads_num;="" j++)="" pending="" +="io_threads_pending[j];" if="" (pending="=" 0)="" break;}当本次io的所有(读/写)线程处理完毕之后,清空client_pending_read:主线程会在这里处理命令listrewind(server.clients_pending_read,&li);while((ln="listNext(&li)))" {="" client="" *c="listNodeValue(ln);" c-="">flags&=~CLIENT_PENDING_READ;if(c->flags&CLIENT_PENDING_COMMAND){c->flags&=~CLIENT_PENDING_COMMAND;processCommandAndResetClient(c);}processInputBufferAndReplicate(c);}listEmpty(server.clients_pending_read);复制代码如何处理读取请求(IOThreadMain)操作线程:子线程执行时机:子线程启动时while执行在上面的流程中,任务分配后,每个线程按照正常流程处理自己客户端的读缓冲区的内容,和原来的单线程没有太大区别。

10、Redis为每个客户端分配一个输入缓冲区,其作用是临时存储客户端发送的命令,Redis则从输入缓冲区中拉出命令并执行。输入缓冲区为客户机向Redis发送命令以供执行提供了缓冲功能。在Redis线程IO模型中,所有线程一次只能执行或写/读操作,由IO_Threads_OP控制,同时负责每个线程的客户端执行一次://iothread主函数,在各个子线程执行void*IOThreadMain(void*myid){//线程ID,跟普通线程池的操作方式一样,都是通过线程ID进行操作longid=(unsignedlong)myid;while(1){/**这里的等待操作比较特殊,没有使用简单的sleep,*避免了sleep时间设置不当可能导致糟糕的性能,*但是也有个问题就是频繁loop可能一定程度上造成cpu占用较长*/for(intj=0;j< 1000000;="" j++)="" {="" if="" (io_threads_pending[id]="" !="0)" break;="" }="" 根据线程="" id="" 以及待分配列表进行="" 任务分配="" listiter="" li;="" listnode="" *ln;="" listrewind(io_threads_list[id],&li);="" 有可能分配了两个客户端连接="" while((ln="listNext(&li)))" {="" client="" *c="listNodeValue(ln);" if="" (io_threads_op="=" io_threads_op_write)="" {="" 当前全局处于写事件时,向输出缓冲区写入响应内容="" writetoclient(c,0);="" }="" else="" if="" (io_threads_op="=" io_threads_op_read)="" {="" 当前全局处于读事件时,从输入缓冲区读取请求内容="" readqueryfromclient(c-="">conn);}else{serverPanic("io_threads_opvalueisunknown");}}listEmpty(io_threads_list[id]);io_threads_pending[id]=0;if(tio_debug)printf("[%ld]Donen",id);}复制代码readQeuryFromClient()->processInputBuffer(c)->Process()分发并处理processCommand。

11、这里的readQueueFromClient只写入客户端的输入缓冲区://复制到Client缓存区elseif(c->flags&CLIENT_MASTER){c->pending_querybuf=sdscatlen(c->pending_querybuf,c->querybuf+qblen,nread);}voidprocessInputBuffer(client*c){while(c->qb_pos< sdslen(c-="">querybuf)){//如果我们在IO线程(子线程)的时候//我们不能直接执行命令,flags设置为CLIENT_PENDING_COMMAND//然后让主线程执行if(c->flags&CLIENT_PENDING_READ){c->flags|=CLIENT_PENDING_COMMAND;break;}}}复制代码每个线程执行readQueryFromClient,将相应的请求放入队列,并在单个线程中执行(从输入缓冲区读取内容)。线程将结果写入客户端的buff。在每一轮处理中,需要打开每个线程的锁,并设置相关标志:voidstartThreadedIO(void){if(tio_debug){printf("S");fflush(stdout);}if(tio_debug)printf("---STARTINGTHREADEDIO---n");serverAssert(io_threads_active==0);for(intj=1;j

12、但是命令的具体执行是以单线程(队列)的形式。因为Redis希望保持坚定的结果,避免锁和竞争问题,而且读写缓存占用了很大比例的命令执行和声明周期,所以处理这部分IO模型对性能带来了显著的提升。Netty和Redis6的区别:如何给线程分配客户端?Netty:当Boss监听连接事件时,netty会给一个通道分配一个线程。

13、这个线程负责读写这个通道的事件,可以用来解析或者执行命令。Redis6:每当接收到一个read事件时,客户机被放入队列中等待读取。处理事件执行后,主线程会将客户端统一分配给线程池中的线程。

14、将线程客户端要读取的所有缓冲区放入客户端的缓存中。主线程等待所有io线程执行完毕,然后主线程执行客户端的缓存成为命令。如何处理读写事件,在什么线程中?Netty:在子线程中执行,读写后直接执行逻辑redis6在子线程中执行,读写后放入客户端的缓冲区。

15、如何处理命令的逻辑,在什么线程中?Netty:在子线程中执行,直接执行逻辑redis6:在主线程中执行,主线程遍历并等待队列读缓冲区编译成命令后再执行。

redisson 线程池(redis线程池 更大连接)的介绍就到这里,感觉你的阅读!

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至 203304862@qq.com

本文链接:https://jinnalai.com/n/199238.html

联系我们

在线咨询:点击这里给我发消息

微信号:

工作日:9:30-18:30,节假日休息