Você se importa se nós formos mais tarde? Is it correct too?
Yeh, it's also correct.
Você se importa de irmos mais tarde?
'Go later' sounds like 'goleira'.
Esse Duo!