Transformaciones

Traslacion[{x0_, y0_}, {x_, y_}]  :=  {x0 + x, 
        y0 + y}
Homotecia[{x0_, y0_}, 
        k_, {x_, y_}]  :=  {x0, y0}  +  
        k {x - x0, y - y0}
Giro[{x0_, y0_}, α_, {x_, y_}] :={x0, y0}+ Flatten[(({{Cos[α], -Sin[α]}, {Sin[α], Cos[α]}})).(({{x - x0}, {y - y0}}))]

Los datos del problema

ptP = {0, 0};
ptB = {1, 0};
ptC = {6, 0};

Solve[{(((x - 1))^2) + (y^2) == 9, (((x - 6))^2) + (y^2) == 
          16}, {x, y}]

ptA = {x, y}  /.  %[[1]]

Una aproximación

Descomponemos la semejanza en tres transformaciones: una homotecia con centro B y radio 1/2, un giro de 30º alrededor de P y una traslación con un vector de módulo 1 a lo largo de la segunda recta

T1[X_]  :=  Homotecia [ptB, (1/2), X];
T2[X_]  :=  Giro[ptP, (π/6), X];
T3[X_]  :=  Traslacion[T2[ptB], (π/6), X];

T[X_]  :=  T3[T2[T1[X]]]

El punto fijo

Hallamos el punto fijo

ptO = {x, 
          y}  /. Solve[T[{x, y}] == {x, y}, {x, y}][[1]]

Comprobación

Comprobamos que la semejanza es producto de un giro y una homotecia, ambos con centro el punto fijo:

T4[X_]  :=  Giro[ptO, (π/6), X];
T5[X_]  :=  Homotecia [ptO, (1/2), X];
Simplify[T[{x, y}] - T5[T4[{x, y}]]]