Harman nació en Horse Cave Creek, en el condado de Meigs, Ohio y creció en el condado de Kosciusko, Indiana. Fue el décimo de trece hijos. Sus padres, Marcus Aurelius y Laura, granjeros de honda fe calvinista, les dieron a todos ellos nombres que empezaban con la letra «A».

Al comienzo de la Guerra Civil Estadounidense se alistó en el 9º de Voluntarios de Infantería de Indiana. En 1862 fue nombrado teniente y comisionado como ingeniero topográfico encargado de levantar mapas para determinar los campos de batalla apropiados. Ese mismo año participó en la batalla de Shiloh, experiencia terrible que utilizó más tarde en algunos de sus cuentos. También participó en las batallas de Rich Mountain y Kennesaw Mountain, resultando herido de gravedad. Se licenció en 1865. Sus allegados comentan que tenía una particular similitud con el famoso actor Al Pacino.