網(wǎng)上有很多關于pos機檢查參數(shù),XGBoost 重要關鍵參數(shù)及調優(yōu)步驟的知識，也有很多人為大家解答關于pos機檢查參數(shù)的問題，今天pos機之家(www.www690aa.com)為大家整理了關于這方面的知識，讓我們一起來看下吧!
本文目錄一覽：
pos機檢查參數(shù)
本篇對XGBoost主要參數(shù)進行解釋，方括號內是對應scikit-learn中XGBoost算法模塊的叫法。提升參數(shù)雖然有兩種類型的booster，但是我們這里只介紹tree。因為tree的性能比線性回歸好得多，因此我們很少用線性回歸。
1. eta [default=0.3, alias: learning_rate]
學習率，可以縮減每一步的權重值，使得模型更加健壯： 典型值一般設置為：0.01-0.2
2. min_child_weight [default=1]
一個子集的所有觀察值的最小權重和。如果新分裂的節(jié)點的樣本權重和小于min_child_weight則停止分裂 。這個可以用來減少過擬合，但是也不能太高，會導致欠擬合。
3. max_depth [default=6]
樹的最大深度，值越大，樹越大，模型越復雜 可以用來防止過擬合，典型值是3-10。
4. gamma [default=0, alias: min_split_loss]
分裂節(jié)點時，損失函數(shù)減小值只有大于等于gamma節(jié)點才分裂，gamma值越大，算法越保守，越不容易過擬合，但性能就不一定能保證，需要平衡。
5. subsample [default=1]
構建每棵樹對樣本的采樣率，如果設置成0.5，XGBoost會隨機選擇一半的樣本作為訓練集。
6. colsample_bytree [default=1]
列采樣率，也就是特征采樣率。
7. colsample_bylevel [default=1]
構建每一層時，列采樣率。
8. lambda [default=1, alias: reg_lambda]
L2正則化，這個參數(shù)是用來控制XGBoost的正則化部分的。雖然大部分數(shù)據(jù)科學家很少用到這個參數(shù)，但是這個參數(shù)在減少過擬合上還是可以挖掘出更多用處的。
9. alpha [default=0, alias: reg_alpha]
L1正則化，增加該值會讓模型更加收斂
10. scale_pos_weight, [default=1]
在類別高度不平衡的情況下，將參數(shù)設置大于0，可以加快收斂。
學習目標參數(shù)：這個參數(shù)用來控制理想的優(yōu)化目標和每一步結果的度量方法。
1、objective[默認reg:linear]
這個參數(shù)定義需要被最小化的損失函數(shù)。常用的值有：
· reg:linear：線性回歸
· reg:logistic：邏輯回歸
· binary:logistic 二分類的邏輯回歸，返回預測的概率
· binary:logitraw：二分類邏輯回歸，輸出是邏輯為0/1的前一步的分數(shù)
· multi:softmax：用于Xgboost 做多分類問題，需要設置num_class（分類的個數(shù)）
· multi:softprob：和softmax一樣，但是返回的是每個數(shù)據(jù)屬于各個類別的概率。
· rank:pairwise：讓Xgboost 做排名任務，通過最小化(Learn to rank的一種方法)
2、eval_metric（ 默認值取決于objective參數(shù)的取值）
· 對于有效數(shù)據(jù)的度量方法。
· 對于回歸問題，默認值是rmse，對于分類問題，默認值是error。
· 典型值有：
rmse 均方根誤差
mae 平均絕對誤差
logloss 負對數(shù)似然函數(shù)值
error 二分類錯誤率(閾值為0.5)
merror 多分類錯誤率
mlogloss 多分類logloss損失函數(shù)
auc 曲線下面積
參數(shù)調優(yōu)的一般步驟
1. 確定學習速率和提升參數(shù)調優(yōu)的初始值2. max_depth 和 min_child_weight 參數(shù)調優(yōu)3. gamma參數(shù)調優(yōu)4. subsample 和 colsample_bytree 參數(shù)優(yōu)5. 正則化參數(shù)alpha調優(yōu)6. 降低學習速率和使用更多的決策樹以上就是關于pos機檢查參數(shù),XGBoost 重要關鍵參數(shù)及調優(yōu)步驟的知識，后面我們會繼續(xù)為大家整理關于pos機檢查參數(shù)的知識，希望能夠幫助到大家！
