基隆市長謝國樑罷免案最終沒通過，不過外界認為，明年恐會有一波「大罷免潮」。日前民進黨立委許智傑就提出「7地區9立委國民黨危險名單」，葉元之就是其中之一。對此，葉元之反擊，自己的選區是五五波，甚至還偏綠，「我是因為付出比人家多2倍努力，我才選上，所以我要被罷免？」葉元之更開嗆許智傑，「你希望我離開立法院，那我也希望你離開」。
許智傑15日受訪時表示，以目前的狀況來看，國民黨有不少立委可能會被罷免，他分析指出，這其中包括勝選票數較少的，比如台東的黃建賓、桃園的涂權吉和邱若華、新北的葉元之，雲林的丁學忠、南投的游灝、台中的廖偉翔等人，也包括因在三腳督中勝選的李彥秀，仇恨質高的羅廷瑋等等。
被許智傑點名的葉元之，昨（16）日上政論節目《少康戰情室》被問到此問題時也做出回應。他直接開嗆許智傑，「那你就跳脫同溫層，不要躲在深綠區」，來港湖區或板橋區選看看，你躲在同溫層，「站著說話不腰疼」，怎麼好意思去跟一個五五波選區的人說，「因為你贏得少，我要罷免你」，哪有這種道理？
葉元之再轟，那以後乾脆改《選罷法》，全都讓民進黨選到贏為止好不好？國民黨贏了不算，都要給民進黨選。
葉元之更大酸，你許智傑不是想選高雄市長嗎？那就不要吃碗內看碗外，大家都不要在立院當同事，「你希望我離開立法院，那我也希望你離開」，怒批「每天吃飽撐著，把民進黨心裡話都說出來！」
這番話一出，同台的同黨立委柯志恩和徐巧芯都鼓掌叫好，其中有望代表藍營選高雄市長的柯志恩更說，許智傑連演都不演了，就是在高雄安逸太久了，若是到五五波選區，還敢講這種話嗎？
