文革开始后的1967年5月，潘被送入秦城监狱。1970年被判无期徒刑。1975年送长沙劳动教养，直到1977年死于肝病。