Colin Anson se narodil jako Claus Ascher v Berlíně. Byl nucen uprchnout z nacistického Německa, neboť jeho otec Curt Ascher patřil ve třicátých letech k nemnoha Hitlerovým politickým odpůrcům. Po zatčení gestapem byl uvězněn v Dachau a tam také v roce 1937 zemřel. Když se ocitl v ohrožení i Colin, odešel do Británie a vstoupil do britské armády.