淘宝作为世界最大的在线零售平台之一，每天为百万量级的广告主投放数十亿的在线展示广告。在CPC(Cost per Click)广告扣费模式中，广告主通过对特定的资源位和人群出价从而竞争获取流量。平台综合用户体验、广告主利益及平台收入等因素实时展现最优广告。传统广告系统中，广告主针对特定人群设定固定出价，其可被看做是一种粗粒度流量的次优出价策略。针对出价策略优化问题，我们提出了OCPC(Optimized Cost per Click)智能调价算法。从平台视角出发，该算法基于强化学习进化计算解法求解组合优化问题，优化流量分配效率，在双十一实战中的业务指标上取得了显著的提升效果。从广告主视角出发，广告主通过出价优化自身利益的同时，不仅要考虑用户诉求，同时要考虑其他参与竞争的广告主对博弈环境的影响。因此，我们将多广告主博弈竞价问题建模为多智能体强化学习问题。为了克服大规模数量智能体学习的困难，我们提出了智能体聚类的建模方法，并对我们实际的分布式系统做了适配。实验验证了该方法相比于单智能体建模的优势以及对博弈均衡优化的效果。