税务行政处罚的设定机关只能是国务院和地方各级人民政府。

根据《税务行政处罚实施办法》规定，税务行政处罚的设定必须依据法律、法规，而非仅限于政府机关。