    
   
  


           
              
            
             
            
              
 
            
             
            
             
     

      
  
           
        
      
  
       
          
  
     
            

   
             
   
Selected Projects

             
                 
                 
              
           
       
             
         
            
      

              
               
          
               
               
             
                
    
      
     


            
               
                
               
     
 
    

     
            
               
             
   
     
    
    
Selected Projects
        
          
           
            
              
  
            
     
    
Selected Projects
     
                 
             
                 
       
               
               
           
 

     
      

  
  

  

  
         
         
         

 

 
         
        
      

  
         
        

    

   
    
               
               
    Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery & Data
Mining 
             
                 
      VLDB 
               
              
               
               
             3rd IEEE
International Conference on Artificial Intelligence Circuits and Systems, AICAS 2021
                
       International Conference on Machine Learning

              
             
   International Conference on Machine Learning 
               
         Advances in Neural Information
Processing Systems 
         DoubleSqueeze    
     International Conference on Machine Learning 
             
   Proceedings of Machine Learning Research      
    
           D
2
   
  International Conference on Machine Learning 
             
  International Conference on Machine Learning   
               
          
 Advances in Neural Information Processing Systems     
             
  International Conference on Artificial Intelligence and Statistics 
               
      Advances in Neural Information Processing Systems 
              
           Advances in
Neural Information Processing Systems 
              
  International Joint Conference on Artificial Intelligence 
              
  Advances in Neural Information Processing Systems     
 
                
      (
0.8

0.2
)   Physical Review
B    

       Stochastic Recursive Variance Reduction for Efficient Smooth Non-
Convex Compositional Optimization   1912.13515 [stat.ML]
               APM-
Squeeze: A Communication Efficient Adam-Preconditioned Momentum SGD Algorithm   2008 .
11343 [cs.DC]
         Stochastic Recursive Momentum for Policy Gradient
Methods  
2003.04302 [stat.ML]
 
 
 
     

        
       
        
         
       
   
           
    
       
    
       
      
      
    
    
 
       
    


 
 
 
   
   
     
    
  
     
 

      
           
 

    Bagua! Distributed Communication Library

  Technology best practices - Large scale GPU based learning system for ad recommendation
  DoubleSqueeze: parallel stochastic gradient descent with double-pass error-compensated com-
pression
  On model compression and distributed training of the Face Landmarks model

    Asynchronous Parallel Empirical Variance Guided Algorithms for
the Thresholding Bandit Problem
  Asynchronous Decentralized Parallel Stochastic Gradient Descent
  D2: Decentralized Training over Decentralized Data

        Accelerating Deep Learning via Decentralized Par-
allel Optimization

    Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization
 
   
   
       

                
               
              
 
               
            
 
   
     
             
                
    
           
 
           
            
   
      
 

       
      
         
    
   
  
    
        
      
                
       
           io_uring 
epoll         
       no_std
             
  
 
          
          
  
    
 
     
     
        