Aggregation 就是把多個 hyphothesis 合在一起。
假設有很多方法做出了 ,要如何合併他?
舉例而言,我們選取效果最好的那個 (validation)。
或是平均
更廣泛點,加權平均
或是再更廣泛點,不同的資料點可能適合不同的演算法,照點的性質決定權重
Affregation 對應到先前授課的技巧,可以用此圖作為例子:

左圖中,雖然只允許單一 hyphothesis 是水平或垂直,
但是透過多人投票,可以作到接近斜線分割的效果。
右圖中,我們平均了所有被允許的分割線,平均後的結果應該會接近 SVM 求出的線,
類似之前 regression 的效果。