排华法案与白人工厂主没有直接关系，是民意的结果