2011-05-29 Twitterにおける大規模システム構築、3つの原則 － Publickey Twitter 記事読んだメモ。 データとしては Twitterでは１日に約１５５ミリオンのツイートが発生している。１週間に１ビリオン。 ピーク時は１秒間に６９３９ツイート。日本のお正月ツイート。 １日に４６万アカウントが新規作成。 ３つの原則 プラグマティズム 実際的(プラグマティズム)な方針 コモディティなハードウェア、ソフトウェアの利用 疎結合 ソフトローンチ(ゆっくりとした立ち上げ) 新機能は無効状態で立ち上げ、徐々に有効化する。 問題があれば即オフにして改善する。 MySQL Twitterのコアアーキテクチャ。 MySQLの弱いところを ID生成は苦手なので外部コンポーネント(Snowflake)を使用。 分散フレームワーク(Gizzard)で、データのシャーディング、レプリケーション、ジョブスケジュール管理。 フォローリストやブロックリストなどのID間の関連をFlockDBで。 Cassandraも使う。 Hadoopも使う。Apacheログなどの非構造型データの分析。 Verticaも使う。SQLで分析できる。
