Właściwie oba są prawidłowe, choć znaczą troszkę co innego. Oba te wyrażenia są też potoczne. "zabrać się" używa się zwłaszcza przy jakichś środkach transportu np. "Zabrał się do miasta samochodem razem z dziećmi." = "Pojechał do miasta samochodem" "zebrać się" oznacza bardziej "wyruszyć w końcu po jakichś przygotowaniach", co w przypadku dzieci ma pewnie sens : ) "W końcu zebrałem się z dziećmi i pojechaliśmy do miasta." Lepszym wyrażeniem tutaj byłoby "wybrać się" - oznacza po prostu wyruszyć, pojechać: "Wybrał się z dziećmi do miasta."

"zabrał się z dziećmi do miasta" – 'He went to town with children'. If this is the meaning you were looking for, then the first phrase is correct one.