民進黨定調持續支持823第二波罷免行動，總統兼黨主席賴清德在中常會宣示將與公民團體同行到最後一刻，黨內全力動員。然而，中常委王世堅卻當場表達異議，直言社會不應再撕裂，呼籲罷團撤案。他成為會中唯一反對聲音，隨即遭多名中常委反擊，卻堅稱「不以為意，我做該做的」。
王世堅表示，罷免不是解決朝小野大問題的唯一方式，應透過協商與制度改革凝聚社會共識。他直言自己在民進黨服務已久，看得比年輕人深遠，尊重同仁，但不會違背自身價值。他更強調：「你可以管我的行為，但不能管我的靈魂，我不說『大罷免大成功』六個字，就是不願講假話。」
同黨林楚茵批評「偽君子還是真小人」，王世堅沒有回應，僅回應「誰闖禍誰擦屁股」。他強調，理念與民進黨一致，無退黨打算，只是不願被情緒與政治綁架。他堅持：「言語和靈魂不受法律管。」
