Varvažov prý vznikl z osady plavců, kteří chodili k Vltavě vázat vory z dříví píseckých a zvíkovských lesů. Jmenoval se původně Vorvažov.