元祐元年，除权发遣开封府推官公事。时朝廷渐欲更改役法等，而谏者或诋斥裕陵。公上书曰：「先帝末年，参用韩琦、富弼之语，釐改新法之不便于民者，以十七八计。为其子者，正当遵用父道，以守其成。故《论语》曰：『三年无改于父之道，可谓孝矣』。今先帝陵土未乾，即议更变，以理言之，得为孝乎？今群臣诋斥者，实繁有徒。使先帝政事傥有不善，当先帝时何不尽言指陈，上疏极谏，而今乃迎合时好，妄肆莠言也？臣乃先帝识擢之人，难以改节立朝，乞除臣外任差遣」。乃除河东路提点刑狱公事。陛辞之日，又以劄子极言先帝政事不可轻改，且言：「司马光在先帝时，与王安石议论，闲废几十五年，其意必欲自行己学，此为有理。若他人在熙、丰则附熙、丰，在元祐则附元祐，此乃反覆射利之人，不可不察」。因自陈身受裕陵之恩，不忍取合群小之意，至于泣下。宣仁哀之，谓曰：「卿忠臣孝子也，但朝臣多言熙、丰政事有未便者。已令子细讲求利害，非轻改也（《续资治通鉴长编》卷四○三原注引。）」。

为熙宁御史，则逐于熙宁；为元祐廷臣，则逐于元祐；为绍圣谏官，则逐于绍圣；为崇宁大臣，则逐于崇宁；为大观宰相，则逐于政和。