Los Angeles'da doğan ama Manhattan'da büyüyen Cromwell, Carnegie-Mellon'da oyunculuk dersleri aldı. Tiyatro, TV ve film oyunculuğunun yanısıra karikatürist de olan Cromwell, Shalespeare'den deneysel tiyatroya kadar geniş bir yelpazede oyunculuk yaptı.

Yılların karakter oyuncusu James Cromwell kariyerini daha çok TV ve tiyatro sahnelerinde sürdürdü. Ancak 90'lı yıllarda sinemada kendine yer bulan bu uzun boylu aktörün ilk önemli rolü Babe filmindeki çiftçi karakteriydi. Bu filmle en iyi yardımcı erkek oyuncu dalında Oscar'a

Yönetmen bir baba ve oyuncu bir annenin çocuğu olarak gençlik döneminde makina mühendisi olmayı istedi ama babasıyla birlikte geçirdiği bir yaz süresince oyunculuğu keşfetti ve aktör olmaya karar verdi. Küçük tiyatrolarda başlayan, TV'de iş bulan Cromwell'in ilk uzun metrajlı filmi bir komedi yapımı olan Murder by Death oldu.

Daha sonra Babe'in başarısıyla The People vs. Larry Flynt, Star Trek: First Contact ve L.A. Confidential gibi popüler filmlerde rol alan aktör, kötü adam rollerinde olduğu kadar çizdiği duyarlı ve hassas karakterlerle de döneminin önemli bir karakter oyuncusu olarak öne çıkıyor.