潘汉年还在苏北大肆攻击饶漱石，引起黄花塘事件；在延安攻击饶漱石受到刘少奇彭真的点名批评，并落选中央委员，以后几乎无事可做