行政机关应当三日内撤回行政处罚。
可以依据行政复议决定或人民的判决对已生效的行政处罚进行撤销。根据我国法律规定，公开的行政处罚决定被依法变更、撤销、确认违法或者确认无效的，行政机关应当在三日内撤回行政处罚决定信息并公开说明理由。并且行政处罚的撤销，需要先提起行政复议，行政复议机关在对被申请人作出的具体行政行为进行审查时，认为其依据不合法，本机关有权处理的，应当在三十日内依法处理；无权处理的，应当在七日内按照法定程序转送有权处理的国家机关依法处理。处理期间，中止对具体行政行为的审查。
行政处罚遵循的原则有：
1、处罚法定原则。对违法行为给予行政处罚的规定必须公布；未经公布的，不得作为行政处罚的依据；
2、公正公开的原则。行政处罚法第四条规定，行政处罚遵循公正、公开的原则；
3、处罚与教育相结合的原则。行政处罚法第五条规定，实施行政处罚，纠正违法行为，应当坚持处罚与教育相结合，教育公民、法人或者其他组织自觉守法。设定和实行行政处罚必须以事实为依据，与违法行为的事实、性质、情节以及社会危害程度相当；
4、保障当事人陈述权利原则。行政处罚法第三十二条规定，当事人有权进行陈述和申辩。行政机关必须充分听取当事人的意见，对当事人提出的事实、理由和证据，应当进行复核；当事人提出的事实、理由和证据成立的，行政机关应当采纳。
综上所述，公开的行政处罚决定被依法变更、撤销、确认违法或者确认无效的，行政机关应当在三日内撤回行政处罚决定信息并公开说明理由。行政处罚决定依法作出后，当事人应当在行政处罚决定的期限内，予以履行。
【法律依据】：
《中华人民共和国行政处罚法》第四十
具有一定社会影响的行政处罚决定应当依法公开。
公开的行政处罚决定被依法变更、撤销、确认违法或者确认无效的，行政机关应当在三日内撤回行政处罚决定信息并公开说明理由。
第四十九条
发生重大传染病疫情等突发事件，为了控制、减轻和消除突发事件引起的社会危害，行政机关对违反突发事件应对措施的行为，依法快速、从重处罚。
