No sé quién dice "andar a caballo", pero en todo caso deben aceptar "puedo ir a caballo" si se refiere a que puede ir de un sitio a otro por varios medios y ha elegido ir a caballo, o "puedo montar a caballo" que se refiere a que en general tienes la habilidad de montar un caballo, como montar en bici, por ejemplo.