初めて→for the first time 始める→when you start If you want a greeting, you should write in only hiragana「はじめまして」

Both are the same. Some people might write 初めまして, but others might write 始めまして. I always write the phrase in hiragana, はじめまして.

Please let me write in Spanish for my poor English. 初 se usa para "primero / primera vez" y 始 se utiliza para "el comienzo". Usamos 初めまして para presentarnos por primera vez, como "encantado/a". Cuando quieras decir "comencé a estudiar japonés", debe ser 日本語の勉強を始めました o 日本語を勉強し始めました. Espero que te ayude.

Both are OK but this word is used when people meet for the first time so 初めまして looks more the expression close to the meaning, I feel.