单位上交非税的违约金，财政可以开具往来款发票吗？

可以。
单位上交非税的违约金，只要该笔违约金进入财政账户，可以开具财政收据。

财政票据是指由省财政厅统一印制和发放，由国家机关、事业单位、或经法律法规授权的具有管理公共事务职能的机构、代行政府职能的社会团体以及其他组织(以下简称执收单位)，依据有关法律、法规和省人民政府有关规定，征收或者收取政府非税收入，政府举办的非营利性医疗机构从事医疗服务取得的收入，社会团体收取会费，以及上述执收单位进行财务往来结算活动等，应当使用财政票据的财务行为时，向公民、法人及其他组织开具的收款或缴款凭证。
财政票据是单位财务收支的法定凭证和会计核算的原始凭证，也是银行代理政府非税收入业务的重要凭证，是财政、审计、监察等部门进行监督检查的重要依据。