Engine, ou falando em português motor, refere-se a partes em jogos reutilizáveis. Como assim reutilizáveis? Fácil. Se você criar um jogo do tipo quiz (perguntas e respostas) terá que criar algum mecanismo de sorteio das perguntas e contabilização das respostas, certo? Esse será o motor, núcleo ou coração do jogo.
Caso daqui a algum tempo, você como grande desenvolvedor de jogos estará fazendo seu RPG gigante e deseja colocar um mini-game dentro dele de quiz, onde seu personagem ganha itens para cada resposta certa dada. Poderá ser utilizado o mesmo sistema daquele seu primeiro jogo feito lá no passado.

Atualmente existem muitas engines de diversos tipos e variadas finalidades, desde engines para sistemas gráficos 2d e 3d a engines que simulam as leis da física dentro de jogos. No site da DevMaster existe uma lista enorme de engines (comerciais e grátis) para pesquisa e (se possível) download, vale a pena dar uma checada.