Как правило, это означает что говорящий уезжает в места, не располагающие к хранению кучи писем, будь то армия, тюрьма, турпоход или просто какое-то место, где ему возможно будет нелегко. Впоследствии утратило какой-то особенный смысл и прибрело шутливый оттенок.
*выдыхает*