Let чаще разговорный, allow - более строгий. И, в отличие от let, allow можно использовать в пассиве. "NO COLORED ALLOWED"
По-моему, "let" - это скорее "предоставить возможность", а "allow" - "предоставить разрешение".
"Let me think" - "Дайте подумать"
"Let me go!" - "Отпустите меня!"