Hola, lo mas probable es que tu aplicacion sea sacada de ram cuando vayas al home de tu celular, entonces cuando la vuelvas a iniciar, se tendra que iniciar desde 0 desde la activity principal
Si el aparato en el que estas probando tiene 512 de ram, es lo mas probable que sea lo que esta pasando. A mi me pasa esto en mi motorola Defy de 512 de ram, cuando minimizo las aplicaciones duran muy poco en ram si es que abro otras. Mientras que si lo pruebo en una tablet con 1gb de ram, este problema casi que no sucede (solo pasa cuando minimizas tu aplicacion, y abres alguno q otros juegos, q levantan bastante ram).
Si en cambio, estas probando con un dispositivo de 1 o 2 gb de ram, lo mas probable que este no sea el problema. En este caso abria que ver entonces si estas usando algun Activity.Finish o algo que haga cerrar las activity y capaz lo estas pasando por alto