If you went to Brazil once or a few times and it's been a while, say: “Eu já fui ao Brasil” or “Eu já viajei para o Brasil.”
If you usually go to Brazil, say: “Eu viajo para o Brasil sempre” ou “Eu costumo viajar para o Brasil (nas minhas férias or a trabalho or uma vez ao ano...)