They are interchangeable sometimes. You can use both เกือบ and แทบ in these sentences. มาแทบจะไม่ทัน มาเกือบจะไม่ทัน แทบแย่ เกือบแย่ เหนื่อยแทบแย่ เหนื่อยเกือบตาย แทบไม่ไหว เกือบไม่ไหว In these cases, you can't use แทบ instead of เกือบ เกือบสวย เกือบรวย เกือบไปแล้ว We always use เกือบ followed by จะ. I don't think we have the rules for เกือบ and จะ as they have almost the same meaning.

In addition to the answer from Khun Nui, เกือบ is more likely to use with timing and a period of time; while แทบ is hardly used. For instance: เกือบตีสามแล้ว เขายังไม่กลับมาเลย เรากินข้าวที่ร้านอาหารจนเกือบบ่ายสาม จึงชวนกันไปซื้อของที่ซุปเปอร์มาร์เก็ต ฉันทำงานกับเขาเกือบสี่ปี ไม่เคยได้ยินเขาพูดถึงลูกเมียเขาเลยนะ เด็กร้องไห้มาเกือบชั่วโมงแล้ว แม่เขาไปไหนนะ