虚开增值税专用发票税务稽查已经罚款还要追究刑事责任吗？

虚开发票罚款处罚同时，如数额大肯定要被追究刑事责任。

税务机关对逃税行为进行行政处罚，并且补缴税费后，一般不再追究刑事责任。如果构成犯罪要追究刑事责任的，不能给予行政处罚。
《 人民共和国刑法》
第二百零一条 【逃税罪】纳税人采取欺骗、隐瞒手段进行虚假纳税申报或者不申报，逃避缴纳税款数额较大并且占应纳税额百分之十以上的，处三年以下 或者拘役，并处罚金;数额巨大并且占应纳税额百分之三十以上的，处三年以上七年以下 ，并处罚金。
扣缴义务人采取前款所列手段，不缴或者少缴已扣、已收税款，数额较大的，依照前款的规定处罚。
对多次实施前两款行为，未经处理的，按照累计数额计算。
有第一款行为，经税务机关依法下达追缴通知后，补缴应纳税款，缴纳滞纳金，已受行政处罚的，不予追究刑事责任;但是，五年内因逃避缴纳税款受过刑事处罚或者被税务机关给予二次以上行政处罚的除外。
税务机关的职责
(1)税务机关应当广泛宣传税收法律、行政法规，普及纳税知识，无偿地为纳税人提供纳税咨询服务;
(2)税务机关应当加强队伍建设，提高税务人员的政治业务素质。国家税务总局应当制定税务人员行为准则和服务规范;
(3)税务机关、税务人员必须秉公执法、忠于职守、清正廉洁、礼貌待人、文明服务，尊重和保护纳税人、扣缴义务人的权利，依法接受监督;
(4)税务人员不得索贿受贿、徇私舞弊、玩忽职守、不征或者少征应征税款;不得滥用职权多征税款或者故意刁难纳税人和扣缴义务人;
(5)各级税务机关应当建立、健全内部制约和监督管理制度;
(6)税务机关负责征收、管理、稽查、行政复议的人员的职责应当明确，并相互分离、相互制约;
(7)税务人员征收税款和查处税收违法案件，与纳税人、扣缴义务人或者税收违法案件有利害关系的，应当回避;
(8)任何单位和个人都有权检举违反税收法律、行政法规的行为。收到检举的机关和负责查处的机关应当为检举人保密。税务机关应当按照规定给予奖励。

一般不会。但数量大、情节重，可以移交司法机关追究刑事责任。

这是偷税漏税，虽然已经罚款，也应该追究刑事责任。