Your sentence is correct (no grammatical error) but it doesn't sound natural. In particular, 그런데 is completely unnecessary in such a simple sentence. Here are ways to say the same thing better: - 방금 퇴근해서 도서관에 갔다가 지금 집에 가는 길이에요. - 조금 전에 퇴근해서 도서관에 들렸다가 이제 집에 가고 있어요 [가는 중이에요]. - 조금 전에 퇴근해서 도서관에 들렸는데, 이제 집에 가고 있어요. (if you want to emphasize "but ...").

correct :)