Difformità posizione edificio sul lotto, è un abuso ?

Il caso che Vi sottopongo, consiste in un nuovo intervento di demolizione e ricostruzione di un fabbricato. Il Comune mi contesta un parziale abuso, che consiste nella traslazione dell'immobile (autorizzato nel 1962) nel proprio lotto, che era stato previsto a 5,00 ml dal confine, ma realizzato a ml. 3,20 ( all'epoca la distanza minima dai confini da mantenere era ml. 3,00), la superficie ed il volume realizzati, sono esattamente quelli autorizzati. E' un effettivo abuso ? che non mi permette di conteggiare il volume esistente in difformità per l'applicazione del Piano casa ?