Would - Fråga inte mig varför- also work
It could work in certain contexts depending on what you want to stress, but the most common way would be fråga mig inte varför by far.
Ask me not why?
Does "fråga mig varför inte" mean "ask me why not"?