对于违反会计制度的行为，只有县级以上财政部门有权进行处罚。

依据原文，县级以上人民政府财政部门是唯一具有处罚权的行政机关，其他部门无权直接处罚。