Quesito: agevolazioni prima casa e cessione del compromesso.

Nel 2008 ho firmato un compromesso con un costruttore edile per una casa in costruzione, e successivamente ho pagato un tot di acconti ad avanzamento lavori pagando per ognuno di essi l'IVA agevolata al 4% poichè avevo i requisiti per le agevolazioni prima casa.
Successivamente, per una serie di questioni personali, ho purtroppo dovuto rinunciare all'acquisto e, d'accordo con il venditore, ho trovato una terza persona che mi potesse subentrare a rogito.
Ora, in vicinanza del rogito, il notaio mi ha detto che dovremmo fare una "cessione del compromesso" ma questo comporterebbe, dal momento che non acquisterò più l'immobile, che io perderei le agevolazioni prima casa e quindi dovrei andare a pagare per tutti gli acconti già precedentemente versati un plus di IVA del 6%.
Non riesco però a trovare una logica, dal momento che anche il nuovo proprietario ha diritto alle agevolazioni fiscali prima casa; che senso ha che io versi ulteriore IVA per un bene che non acquisterò più ?