Bei der Frageform wird ein „did“ vorangestellt. Das Verb wird danach nicht ins Simple Past gesetzt, sondern steht im Infinitiv. Und "goes" wäre dann Präsens!
This does not seem right to me. Shouldn't the correct translation be, "When did he leave?" There is nothing in the German sentence about time -- or does "Wann" imply time?