Wieviel RAM hat der Rechner, auf dem Du entwickelst?
Sieht so aus, als wenn Du zu wenig Hauptspeicher frei hast.
Unter C:\Users\<user>\AppData\Roaming\Anywhere Software\Basic4android gibt es eine INI-Data (Bei mir b4xV5.ini) und darin ist eine Zeile
MaxRamForDex=1024
Damit wird 1GB RAM zum Übersetzen allokiert. Das scheint für Dein System zu viel zu sein. Entweder Auslagerungsdatei vergrößern, mehr Speicher in den Rechner einbauen oder den Wert versuchsweise mal etwas verringern. Allerdings lassen sich dann größere Programme vermutlich nicht mehr übersetzen.
Edit: Sehe gerade, dass er ja schon beim Java Übersetzen den Fehler bringt. Also wird die Einstellung für den Dexer gar nichts bringen. Da hilft vermutlich nur mehr RAM in der Maschine bzw. Auslagerungsdatei vergrößern.