"Esta experiencia quedará por siempre en mi memoria."

Por siempre - немного более литературно, может быть даже поэтически. В разговорной речи чаще говорят para siempre.

Сказки обычно заканчиваются так: Y vivieron felices por siempre jamás. - И жили они долго и счастливо.

Иногда разницу можно понять как para siempre - навсегда, por siempre - всегда.
Вот такой пример:
Una especie cuando se extingue, desaparece para siempre, pero continuarán por siempre surgiendo nuevas especies.
Когда какой-то вид (животных) вымирает, он исчезает навсегда, но всегда будут появляться новые виды.