文字
縮放
增大字体
减小字体
上海交通大学 刘卫东教授:Distributed Robust Estimation on Sparse Linear Regression

([西财新闻] 发布于 :2019-07-24 )

光華講壇——社會名流與企業家論壇第5508期

 

主題:Distributed Robust Estimation on Sparse Linear Regression

主講人:上海交通大学 刘卫东教

主持人:统计学院统计研究中心 林华珍教授

時間:2019年7月25日上午10:30-11:30

地點:人人棋牌柳林校区弘远楼408会议室

主辦單位:统计研究中心 统计学院 科研处

 

主講人簡介:

劉衛東,上海交通大學教授。2003年本科畢業于浙江大學數學系,于2008年獲得浙江大學博士學位,2008-2011年在香港科技大學和美國賓夕法尼亞大學沃頓商學院擔任博士後研究員,2018年獲國家傑出青年科學基金。主要研究方向爲統計學理論和機器學習等。

主要內容:

This paper studies distributed estimation and support recovery for high-dimensional linear regression model with heavy-tailed noise. To deal with heavy-tailed noise whose variance can be infinite, we adopt the quantile regression loss function instead of the commonly used squared loss. However, the non-smooth quantile loss poses new challenges to high-dimensional distributed estimation in both computation and theoretical development. To address the challenge, we transform the response variable and establish a new connection between quantile regression and ordinary linear regression. Then, we provide a distributed estimator that is both computationally and communicationally efficient, where only the gradient information is communicated at each iteration. Theoretically, we show that the proposed estimator achieves the optimal convergence rate (i.e., the oracle convergence rate when all the data is pooled on a single machine) without any restriction on the number of machines. Moreover, we establish the theoretical guarantee for the support recovery. The simulation and real data analysis are provided to demonstrate the effectiveness of our estimator.

這篇文章研究了具有厚尾噪聲的高維線性回歸模型的分布估計和支撐複原問題。針對方差爲無窮大的厚尾噪聲,我們采用分位數回歸損失函數代替常用的平方損失函數。然而,非光滑分位數損失在計算和理論發展上都對高維分布估計提出了新的挑戰。爲了解決這個問題,我們對響應變量進行了轉換,並在分位數回歸和普通線性回歸之間建立了新的聯系。然後,我們提供了一個可計算、通信便捷的分布式估計量,其中只有梯度信息在每次叠代中進行通信。從理論上,我們證明了該估計量達到了最優收斂速度(當所有數據彙集在一台機器上時的oracle收斂速度),而不受機器數量的限制。同時,我們還建立了支撐複原的理論保障。仿真和實際數據分析表明了該估計量的有效性。

☆該新聞已被浏覽: 次★

【打印本文】 【關閉窗口