Hebrew Verbs
דפוסי פועל עברית עדיין מאתגרים מאוד עבורי. כשמדברים בעברית, אתה תמיד צריך לזכור את מינו מינם של האנשים שאתה מדבר איתו איתם.
Hebrew verb patterns are still very challenging to me. When speaking in Hebrew, you always have to remember the gender of the people you are talking with.
----------
As Dorit said, you can also say האנשים שאיתם אתה מדבר, it sounds a little more formal.
and you can say מאתגרים מאוד עבורי - it's not a mistake, maybe it's even a more accurate way to say it, just a bit formal for a small talk.
As you just said - you should pay attention to the gender, in this case אנשים is male plural