A. P. Randolph nació en 1889 en Crescent City (Florida). Su padre era un ministro metodista. Randolph se trasladó a vivir en 1911 a Harlem, en Nueva York. Tres años despúes cofundó "Messenger", una revista crítica que trataba temas sociales, eminentemente raciales y económicos.