I'm sorry that I got angry at you and that we fought yesterday. Mi dispiace di essermi arrabbiato con te e che ieri abbiamo litigato. Alternatively, you can say Mi spiace di essermi adirato con te e che ieri abbiamo litigato. The expression "mi spiace" is the same as "mi dispiace"; just a bit more slang. The verbs "arrabbiarsi" and "adirarsi" are synonyms. I'm sorry we keep getting into fights. Mi dispiace che continuiamo a litigare.

Mi dispiace perché mi sono arrabbiata con te e abbiamo litigato ieri. Mi dispiace perché continuiamo a litigare.

Mi dispiace di essermi arrabiato con te e di aver litigato ieri. Mi dispiace continuare a litigare.

Mi dispiace di essermi arrabbiato e di aver litigato con te ieri. Mi dispiace che continuiamo a litigare. (Or: Mi dispiace che litighiamo continuamente)