Filho de Accacio Castanho de Almeida e Joanna Pires Castanho, dom José Castanho nasceu em Guareí-SP, no dia 14 de maio de 1930. Estudou Filosofia no seminário central do Ipiranga (SP) e na Universidade Mogi das Cruzes (SP). Realizou os estudos de Teologia na faculdade Nossa Senhora Assunção (SP) e formou-se bacharel em Direito pela faculdade de Direito de Sorocaba (SP). Sua ordenação sacerdotal foi em Sorocaba (SP) no dia 8 de dezembro de 1953.

Foi pároco da catedral de Nossa Senhora da Ponte, vigário geral da diocese de Sorocaba e diretor espiritual do seminário diocesano de São Carlos Borromeu. Foi nomeado bispo em 10 de março de 1982 e, em de maio do mesmo ano, ordenado pelas mãos de dom Paulo Evaristo Cardeal Arns, em Sorocaba. Foi nomeado bispo auxiliar de Santos (SP), onde ficou até 9 de setembro de 1987.

Enquanto esteve na diocese de Santos foi nomeado vigário episcopal da Região Norte (Caraguatatuba, Ilha Bela, São Sebastião e Ubatuba). Em 25 de outubro de 1987 tomou posse como bispo da diocese de Itumbiara (GO). De 1994 a 2003, foi o primeiro bispo da diocese de Araçatuba (SP). Desde então passou a viver em Sorocaba (SP), sob os cuidados de sua família até seu falecimento no dia 27 de fevereiro de 2022.