Oui, en effet. On ne dit pas "le plus tard temp". Je vous propose d'utiliser une question comme celle qui suit : À quelle heure devons-nous arriver chez vous, au plus tard ? (Jusqu'à quelle heure pouvons-nous arriver chez vous ?) C'est juste une idée. Je ne sais pas si ça correspond vraiment à ce que vous voulez dire. Il y a d'autres phrases sur ce thème à étudier ici : https://www.linguee.fr/francais-anglais/traduction/%C3%A0+quelle+heure+pouvons+nous+arriver.html

Quelle est l'heure la plus tard à laquelle nous pouvons venir chez vous?

On peux aussi dire : quelle est l'heure limite à laquelle nous pouvons venir ?