さくらのVPSで異常にアクセスが遅い時の対処方法が公式で公開されていました。

http://sakura.cb-faq.com/faq/public/app/servlet/qadoc?QID=001387

TSOをオフにすると症状が改善するようです。
自分の環境では問題なかったのですが、一般公開サイトや、問題の出ている方は試してみてはいかがでしょうか。

rootで以下を実行

[root@ ~]# ethtool -K eth0 tso off

rebootしても設定を有効にするには、設定ファイルを作成します。

[root@ ~]# vi /etc/udev/rules.d/50-eth_tso.rules

ACTION=="add", SUBSYSTEM=="net", KERNEL=="eth0", RUN+="/sbin/ethtool -K eth0 tso off"