Yes, because what the speaker is referring to is unspecified. In a decent context, it should agree with the mentioned object:

Ai mai mulți câini. Eu am unul, tu ai trei. (masculine)
Ai mai multe pisici. Eu am una, tu ai trei. (feminine)
Ai mai multe obiecte. Eu am unul, tu ai trei. (neutral).

As a side note, you can omit the second occurrence of the verb and say "Eu am unul, tu trei".