1. 如何建模廣告之間的相互影響，廣告和自然搜索結果的相互影響。

幾乎所有的廣告系統進行廣告點擊率預測時候都基于廣告之間是獨立的假設，但是實際上這顯然是不對的。假設有三個廣告，上下順序不一樣時，每個廣告點擊的概率都是會有變化的。目前也有一些學術界的論文從不同角度解釋的這個現象，但沒有一個完全解決這個問題的，因為有兩大困難：

1）廣 告之間的影響是復雜的，不容易利用一些假設來反映人看到整個頁面時的反應。

2）假設能建模出影響，現有的競價和收費機制能否好兼容，如何解釋都是大問 題。同時，現在用戶看到的結果有很多，不但有自然搜索結果，靜態創意的廣告，甚至還有動態創意的廣告，以及其它形式的檢索結果。這些檢索結果的點擊率是受 所有看到因素影響的。如何在保證檢索效率的前提下，來大化點擊率是個很大的問題。

2. 如何保證新策略能長期有效？

假設設計和開發了新策略，模型預測效果和小流量效果都很好。那么它是絕對好的嗎？答案是否定的。影響一個新策略長期有效的因素有 很多，比如流量的變化，廣告庫的變化，訓練樣本的更新變化，線上其它策略的影響等。假設其它變化我們無法控制除外，訓練樣本的變化則是我們自身策略無法保 持長期優秀的一個重要因素。這也屬于的“雞和蛋，誰先有”的問題。假設一個樣本集合，我們更新了模型的特征或者模型自身的一些參數，然后再上面訓練出了一 個比之前的更好的模型，小流量效果也都很贊。當這個新策略上線后，它改變了廣告的排序（每個廣告的點擊率由新策略影響），然后基于這些受影響后的樣本重新 訓練模型效果就不一定像第一次那么穩定，而且大多時候是比第一次更新時候有所衰減的。

3. 如何做好個性化？

不同用戶個性差異很大，因此在很多系統中都有個性化因素的考慮。搜索廣告點擊率預測當然也不例外，去年百度高獎之一就是這方面 的項目。那么個性化會有哪些困難？

首先是技術方面的：

1）個性化的feature會更大更稀疏，模型訓練會更加困難；

2）如何檢測識別出個體，設計 cookie mapping，session segment等。

然后就是產品層面的：

1）如何給客戶解釋個性化因素在每次廣告展示的影響；

2）個性化會給系統異常排查帶來較大困難，特別是比較難回歸 case。

4. 如何做好相關性和預測點擊率在排序中影響？

幾乎每個人都不會否認相關性對點擊率的影響，但也總能找出很多廣告其點擊率很高，但相關性不高，也總能找出很多廣告相關性很高但 點擊率很低。那么在廣告排序中如何做好兩者的和諧共存呢？

業界有兩種做法：

1）相關性和預測點擊率都直接參與排序；

2）相關性在觸發階段保證，排序階段只 考慮預測點擊率。兩者孰優孰劣，沒有定論。更復雜的是，每類廣告設置每個廣告這兩者在排序時的影響都應該是不一樣的。比如有些敏感廣告，色情廣告他們的點 擊率一般都不會低，此時可能應該更考慮相關性的限制。