晚上八点一过,机房群里又开始哀嚎。买日本软银线路服务器做国内业务的,十个有九个在骂TCP重传率飙到15%以上。别动不动就怪硬件拉胯,这锅得让路由表来背。
软银(SoftBank)的ASN2914在晚高峰就是个大漏斗。数据包到了东京节点,如果不做干预,大概率被塞进拥堵的公共池。想活命,必须从内核层面强行接管发包逻辑。
拆解软银晚高峰路由表机制
别信那些玄学测速。直接上MTR抓包,看第6跳之后的AS路径。如果看到绕去美国或者走CMI中转,延迟直接破200ms。
- 改拥塞控制:把默认的cubic换成bbr,强行拉高吞吐量。
- 锁队列规则:用fq代替pfifo_fast,减少队列头阻塞。
- 调窗口大小:把rmem和wmem最大值拉到16MB,喂饱高延迟链路。
这套组合拳打下去,ping loss基本能压到1%以内。代码直接抄:
sysctl -w net.ipv4.tcp_congestion_control=bbr
sysctl -w net.core.default_qdisc=fq
sysctl -w net.ipv4.tcp_rmem='4096 87380 16777216'
sysctl -w net.ipv4.tcp_wmem='4096 16384 16777216'软银直连与绕路数据对比
光调内核不够,还得看机房上游怎么接BGP。下面这组数据是我们在东京机房实测算出来的,别被销售忽悠了。
| 线路类型 | 晚高峰延迟 | 丢包率 | 路由走向 |
|---|---|---|---|
| 原生软银BGP | 110-180ms | 8%-15% | AS2914随机绕路 |
| 锁AS2914直连 | 60-85ms | 1%-3% | 强制走东京-上海 |
| BBTEC企业级 | 45-60ms | 0.1% | BBTEC海底光缆直连 |
看出来没?原生BGP就是给小白准备的坑。真要跑核心业务,必须加钱上BBTEC或者让机房锁死直连路由。
这三种业务场景千万别买
不是所有业务都适合软银。如果你属于下面这三种情况,趁早退钱,别在这浪费电费。
- 做欧美出海:流量先绕回国内再出去,延迟直接爆炸,纯粹给自己找不痛快。
- 纯日本本地业务:软银的本地互联带宽很抠门,打日本本地游戏卡成PPT。
- 大流量视频分发:软银对UDP限速极严,跑CDN节点分分钟被拔网线。
作者简介:在东京机房蹲了8年的网络排障工,专治各种路由不服。
别拿业务去赌晚高峰的运气。现在就去查你的MTR路由表,该改内核改内核,该换线换线,今晚就把丢包率压下去。