Bebyggelsen kring Kvarntorget har gamla anor. Redan på Lars Lindbloms karta från 1751 finns ett 20-tal tomter markerade. De låg längs Vagnmansgatan och vidare ner i Stora Norregatan fram till den nuvarande Föreningsgatan. Flertalet låg längs Norregatan. Av det fastighetsregister som är kopplat till Lindbloms karta framgår att fem av tomterna tillhörde medlemmar i det gamla vagnmansskrået. Vagnmännen kan betraktas som föregångare till dagens budfirmor, och hade alltså hand om transporterna i staden. Genom skrålagstiftningen hade de i princip monopol på transporterna av gods inom staden, men i viss mån också till och från Landskrona. Den verksamhet som vagnmännen bedrev krävde givetvis möjlighet att stalla upp hästar men också att kunna köra in hästar och gods under tak. Parallellt med körslorna drev man jordbruk på mark som arrenderades ut av staden.
Gårdarna som byggdes hade ofta den traditionella skånska fyrlängade gården som förebild, dvs med bostadshuset mot vägen och vagnslider och andra uthus mot den kringbyggda gården. Genom en körport kom man in på gården. Till skillnad från den rena landsbygden, där gårdarna låg relativt fria, måste man här anpassa sig till ett mindre utrymme. Gårdarna lades därför tätt intill varandra längs gatan.
Anledningen till att vagnmännen kom att koncentreras till detta område var troligen dels den nära tillgången på betesmark och dels närheten till stadsporten. Vägarna till Malmö och Helsingborg strålade ju samman vid Norreport. De övriga gårdarna i området beboddes av hantverkare, och någon var handelsman.
Kvarnen som än i dag står på Kvarnbacken hörde till mjölnaren som bodde strax intill. Kvarnen byggdes strax före 1750, årtalet 1746 är inskuret i en bjälke. De äldre kopparsticken visar flera kvarnar runt Landskrona, men den som står på Kvarnbacken är den enda som finns kvar. Kanske tack vare de svenskamerikaner med rötter i Landskrona som donerade pengar till möllans bevarande på 1920-talet.