作者在內文舉例 Netflix 在 2006-2009 的時候舉辦了一次電影推薦演算法的競賽,參賽隊伍超過 4000 隊來自世界各地的菁英。不幸的是,最終一個演算法都沒被 Netflix 採用,其實並不是冠軍隊伍的模型不好,最根本的原因在衡量過營運成本後,Netflix 發現與其追求「更精準」的模型將模型部署,還不如將這些時間和成本花在其他的工作上。
文中作者透過不同角度來檢視何謂「最好的模型」以及機器學習在研究導向和產業導向的區別,一再地強調在產業應用中,準確度不應該是最重要的指標,提醒業界人員除了注意準確度之外,更應該多花點時間思考如何能最大化模型為企業帶來的影響力,完成彈性更高的模型,例如 smaller standard deviations, less error rate between trianing/testing, 及運算時間。
來源:RapidMiner Blog - Model accuracy isn’t enough: You need resilient models