もともとは、性癖、または性的趣向の「SM」から、役割の S：sadist　 M：masochist から来ています。 ただし、日本語の日常会話で使われる どS どM は、極端な性癖を日常会話の中で吐露しているのではなく、 主に どS：人に対していじる（からかう、大きな態度をとる）傾向がある どM：人にいじられる（からかわれる、など）をされることが楽しい傾向がある ということを言っているのだと考えてくれれば大丈夫かと思います。

sとmについては、他の回答者の説明どおりです。 「ど」は、とても（very, strongly, highly）という意味です。なので、たとえば「どＳ」と言った場合は、サディスト的な傾向がとても強いという意味です。