Beide Sätze sind grammatikalisch korrekt, drücken aber inhaltlich was anderes aus. Wenn man KEIN Student der Geschichte/Geschichtststudent ist, dann geht nur die erste Formulierung: "Ich studiere nicht Geschichte." Der andere Satz wäre nur in einem sehr seltenen Fall möglich ;)