要求定義の正しさを証明する3%の動きから全体の傾向を把握より。

すごく期待して読んだのですが、

田中氏らが実践したのは,顧客からのアクセスのうちランダムに選んだ3%を,リニューアル候補である新しいUIのページにアクセスさせる,という方法である。従来のUIと新しいUIとで顧客の動きを比較すれば,新しいUIの良しあし,つまり要求仕様の正しさや間違いが分かるというもの。人間の感覚では決めにくいところを,定量的な根拠をもって判断するための手法と言える。

UIって慣れの問題があると思うのですが・・・
最初のうちは戸惑うけど、慣れれば使いやすいものと、最初は使いやすいんだけど、慣れるとかったるとかあると思うのですが・・・
新しいUIの良しあしで、つまり要求仕様の正しさや間違いが分かるんですか・・・
単にユーザビリティだと思うのですが・・・
統計学的に3%のサンプルだとかなりのサンプル数を集めないと有意性は判断できないのに、定量的な根拠を得られるのですか・・・
開発者としては、興味あるアプローチでした。ユーザとしては、ほしいものが検索にひかかってくれて、簡単に絞り込めればいいだけなんですが・・・
グーグルのマイナスオプションを愛用しています。
UIを改善する前に、注文のたびに、店舗からメールが送られないようにチェックをはずす手前をなくしてほしい。こんな単純なことを改善しないで、UIの良し悪しを語られても困ります。まぁ、これだけで、楽天が購買者より店舗を向いていることはわかるんですけどね。これでどれだけのユーザが逃げたのかの分析をしたうえで、このUIにしたということをこの記事は述べているのかな。UIの良し悪しも、きっとより高い商品が売れる、よりたくさん商品が売れるという基準になんでしょうね。