Muchas gracias como siempre
@José J. Aguilar , un poco tardada mi respuesta, pero despues de una noche sin dormir lo solucione.
Primero, el tabhost, a este le di el ancho a 0 desde el diseñador, asi tengo paneles deslizantes sin que se vean las tabs.
Segundo, puse ImageViews y sobre estos Paneles transparentes, maneje el evento con esta sub:
Private Sub pnl9_Touch (Action As Int, X As Float, Y As Float)
IngresarNumero(1, 9)
End Sub
Asi aunque haga Swipe en el tabhost, el panel detecta el touch (yo queria detectar un click, pero al deslizar no se da).
Muchas gracias gracias nuevamente, y ahora si esta 100% resuelto el tema (o casi, lo estoy implementando en un android wear y los numeros estan muy pequeños, por lo que se dificulta un poco el Swipe, pero vere como solucionarlo) .
Saludos!!