大流量：大流量和高并发应对手段总结

　　【温馨提醒】文章内容仅供参考,海外服务器租用\托管方案,请咨询YINGSOO客服,24小时免费电话400-630-3752

　　【热门主机】香港主机服务器丨日本独立服务器丨美国服务器租用丨俄罗斯服务器

　　【热搜问题】海外游戏服务器租用价格多少合适?该如何选择

大流量

　　大流量和高并发的常规应对手段

　　扩容、动静分离、缓存、服务降级和限流。

　　限流的常用算法和实践思路

^{[韩国cn2服务器]}

　　抢购商品高并发读需求

　　对于一件抢购商品的流量来说，因为key是同一个，所以流量必然会都引入到同一个redis缓存节点中，这时就容易出现单点故障。因此有下面两种解决方式： 1. 在每个master节点都挂slave从节点，当主节点挂了可以自动顶上。 2. 多级cache方案，多用Localcache来过滤掉一部分流量。 - 本地缓存一般只缓存一些热点商品数据，缓存内容一般是商品详情和商品库存。 - 本地缓存跟分布式缓存的同步一般有两种方式：一种是定时主动拉取更新策略。这种会存在一定时间的不一致，要视业务情况而定，例如库存，暂时的不一致导致超卖，单到真正下单的时候还会再进行库存的判断，所以影响较小，可以接受。这种方式要注意关掉缓存的定时失效，防止当用户流量突然过大，都到分布式缓存中拉取数据；第二种方式是每次商品更新，都发布一个消息，订阅此消息的节点监听到后再更新本地缓存的内容。

　　实时热点自动发现方案

　　可以将交易系统产生的相关数据，以及在上游系统中埋点上报的相关数据异步写入日志系统中，然后通过实时热点自动发现平台对收集到的日志数据做调用次数统计和热点分析。数据符合热点条件后，就立即通知交易系统做好热点保护。

　　redis使用watch命令实现高并发抢购需求

^{[韩国云主机租用]}

　　缓存雪崩，缓存穿透，缓存并发，缓存预热，缓存算法

缓存雪崩：可能是因为数据未加载到缓存中，或者缓存同一时间大面积的失效，从而导致所有请求都去查数据库，导致数据库cpU和内存负载过高，甚至宕机。解决思路：加锁计数（即限制并发的数量，可以用semphore）或者起一定数量的队列来避免缓存失效时大量请求并发到数据库。但这种方式会降低吞吐量。分析用户行为，然后失效时间均匀分布。或者在失效时间的基础上再加1~5分钟的随机数。如果是某台缓存服务器宕机，则考虑做主备。缓存穿透：指用户查询数据，在数据库没有，自然在缓存中也不会有。这样就导致用户查询的时候，在缓存中找不到，每次都要去数据库中查询。解决思路：如果查询数据库也为空，直接设置一个默认值存放到缓存，这样第二次到缓冲中获取就有值了，而不会继续访问数据库。设置一个过期时间或者当有值的时候将缓存中的值替换掉即可。可以给key设置一些格式规则，然后查询之前先过滤掉不符合规则的Key。缓存并发：如果网站并发访问高，一个缓存如果失效，可能出现多个进程同时查询db，同时设置缓存的情况，如果并发确实很大，这也可能造成db压力过大，还有缓存频繁更新的问题。解决思路：对缓存查询加锁，如果KeY不存在，就加锁，然后查db入缓存，然后解锁；其他进程如果发现有锁就等待，然后等解锁后返回数据或者进入db查询。缓存预热：目的就是在系统上线前，将数据加载到缓存中。解决思路：数据量不大的话，在系统启动的时候直接加载。自己写个简单的缓存预热程序。缓存算法： FiFo算法：First in First out，先进先出。原则：一个数据最先进入缓存中，则应该最早淘汰掉。也就是说，当缓存满的时候，应当把最先进入缓存的数据给淘汰掉。 LFU算法：Least Frequently Used，最不经常使用算法。 LRU算法：Least Recently Used，近期最少使用算法。 LRU和LFU的区别。LFU算法是根据在一段时间里数据项被使用的次数选择出最少使用的数据项，即根据使用次数的差异来决定。而LRU是根据使用时间的差异来决定的。

　　协程（纤程）Fiber

协程概念：一种用户态的轻量级线程，其实就是单线程，指定执行整个函数中到一部分然后就先出去执行别的，等条件满足时，协程下次更新帧到了再继续往下执行。优点是无需线程上下文切换的开销，充分开发了单cpU的能力，资源占用低，适合高并发i/o。缺点也很明显，就是没办法利用多cpU的优势。框架：Quasar，调度器使用ForkJoinpool来调度这些fiber。Fiber调度器Fiberscheduler是一个高效的、work-stealing、多线程的调度器。场景：服务A平时需要调用其他服务，但其他服务在并发高的时候延迟很严重。一开始可以用httpclient连接池+线程池来处理，但如果调用服务的时候延迟太高或者超时，则会导致服务A的吞吐量会特别差。原因主要是一般一个链接由一个线程来处理，是阻塞的，所以在线程池数有限的情况下，吞吐量肯定上不去。并且当所有线程都i/o阻塞的时候，会很浪费cpU资源，并且cpU会一直做无用的上下文切换。这时候可以考虑协程来替换。

　　ForkJoinpool线程池

Fork/Join框架是Java7提供了的一个用于并行执行任务的框架，是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。工作窃取（work-stealing）算法是Fork/Join框架最重要的特性。一般一个线程会对应一个任务队列，当处理较快的线程处理完自己的任务之后，就会窃取另外一个处理比较慢的线程对应的任务，这时候会存在两个线程同时处理一个队列的情况，所以任务队列一般使用双端队列，被窃取任务线程永远从双端队列的头部拿任务执行，而窃取任务的线程永远从双端队列的尾部拿任务执行。优点是充分利用线程进行并行计算，并减少了线程间的竞争。

　　本公司在全球超过120个国家部署数据中心,提供海外全球多个国家服务器租用,所有服务器均可根据需求配置大带宽大流量,美国g口独享大带宽服务器,从此告别网络拥堵;

　　香港云服务器速度快又便宜

　^{[CDN视频存储]}　关于租借大陆周边海外服务器建立网站的站长朋友中，因为需要保证网站的性价比和速度要兼顾，而且还要保证数据的安全性，所以许多站长都会挑选香港vps主机布置网站，那么为何香港vps主机更适合针对大陆地区流量的网站呢，这儿依据功能和安全等几个方面进行介绍。

　　1.直连线路在海外的vps中，不少站长之所以挑选香港vps主机的话，自然因为香港vps主机拥有直连线路，因为香港vps主机是布置在香港机房的，所以接入的线路和物理服务器是一样的，而有资质的香港vps主机机房还供给CN2直连线路，所以假如首要来历是来自我国大陆地区的话主张挑选能够供给双线直连的专业机房，这样才干保证数据的安稳。租借香港vps主机建立网站快速又便宜-五九

　　2.无需备案租借香港云vps主机由所以海外服务器所以本身是不需要走备案流程的，所以不少站长朋友关于在建立网站的过程中关于域名备案所带来的时间本钱，这份担心是不需要的。在挑选香港vps主机的时分根本都是即开即用所以无论是用来建立网站仍是用来布置事务都是比较便利的。

　　3.弹性晋级租借香港vps主机相关于普通物理服务器最大的优势便是能够支撑定制化的配置挑选，无论是从CPU的核心数仍是内存容量乃至是带宽都可以依据自己的事务需求进行配置，因为有些事务关于硬件配置的变动比较大，相关于物理服务器而言，牢靠的vps能够充沛下降这些事务的时间本钱。

　　4.服务牢靠不少用户都会担心一旦vps呈现故障的话是不是只能通过网页控制后台才干够处理，这一点彻底不必担心，因为现在首要的vps假如遇到问题的话，人工处理仍是更为有效率，例如不少闻名的香港vps主机服务商(例如本公司)还供给24小时的在线运维服务，让您省去网页后台使用的学习本钱，供给更为高效的服务。租借香港vps主机要挑选合适的香港vps主机服务商，例如全国数據香港vps主机就供给专业的香港vps主机租借服务，功能安稳牢靠，支撑动态弹性晋级，支撑winlinux等常见^{[超值低价高配服务器选哪家好]}所有系统系统兼容。

　　YINGSOO热线：400 630 3752