桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　顧長康道畫：“手揮五弦易，目送歸鴻難。”

　　謝虎子嘗上屋熏鼠。胡兒既無由知父為此事，聞人道“癡人有作此者”。戲笑之。時道此非復壹過。太傅既了己之不知，因其言次，語胡兒曰：“世人以此謗中郎，亦言我共作此。”胡兒懊熱，壹月日閉齋不出。太傅虛托引己之過，以相開悟，可謂德教。