Why not "Il avait du mal à vous trouver."?
I think so too
why not "temps difficiles"?
You can also say "Il a eu de la peine à te trouver."
Il avait un moment difficile vous trouver ?
That is the exact answer I typed in multiple times and it would not accept it.