NTU ML14 notes

Aggregation 就是把多個 hyphothesis 合在一起。 假設有很多方法做出了 ,要如何合併他?

舉例而言,我們選取效果最好的那個 (validation)。

或是平均

更廣泛點,加權平均

或是再更廣泛點,不同的資料點可能適合不同的演算法,照點的性質決定權重

Affregation 對應到先前授課的技巧,可以用此圖作為例子:

Aggregation example

左圖中,雖然只允許單一 hyphothesis 是水平或垂直, 但是透過多人投票,可以作到接近斜線分割的效果。

右圖中,我們平均了所有被允許的分割線,平均後的結果應該會接近 SVM 求出的線, 類似之前 regression 的效果。