当发现行政处罚程序存在错误时，应按照以下步骤进行处理：
撤销原决定
撤销原行政处罚决定需要由行政机关的负责人召集集体讨论决策，而不是由低于原来决策机构层级的机构来执行。
重新履行调查程序
如果原处罚决定被撤销，相关案件将从法律意义上不存在。若违法事实不存在，则原处罚案件以撤案方式终结；若违法事实存在，行政机关应重新履行立案、调查取证、听证告知等调查程序。
作出新的决定
调查取证结束后，行政机关应依照行政处罚的相关法律法规规定，依法决策后作出新决定。如果撤销原处罚决定仅仅因为适用法律错误等不需调查取证、改变原认定事实的情形，新决定可与撤销原决定的决定一并作出。
主动纠正违法行为
行政机关发现相应的行政处罚错误时，应当主动纠正自己的违法行为，并重新启动对事件的调查及相应的法律适用，对已经造成损失的行政处罚进行撤销或赔偿。
行政复议和行政诉讼
当事人对行政处罚因程序不合法不服的，可以选择申请行政复议或行政诉讼。如果行政机关能自动纠错的，对程序不合法的处罚可以进行撤销，重新作出处罚决定。在诉讼中，人民法院以违反法定程序为由，判决撤销被诉具体行政行为的，行政机关也可以重新作出具体行政行为。
监督和检查
行政机关应建立健全对行政处罚的监督制度，县级以上人民政府应加强对行政处罚的监督检查。
责令改正
行政处罚错误由上级行政机关或有关部门责令改正，可以对直接负责的主管人员和其他直接责任人员依法给予行政处分。
通过以上步骤，可以确保行政处罚程序的合法性和公正性，维护当事人的合法权益。
