You don't have to remove the "e" when you use "penso di". For example it's correct to say "penso di mangiare una pizza stasera" or "penso di essere più alto di lui". But with "dovere", "potere", "essere" or "avere" you can lose the "e" when they are followed by another verb, like "penso di dover preparare il pranzo", "penso di poter andare a casa", "penso di esser stato a casa sua la settimana scorsa" or "penso di aver sbagliato". It's not wrong not to lose the final "e" (especially with "essere" it is usually kept), but it sounds more natural if you do. Hope it was clear